сверхбольшие архивы спутниковых данных и возможности их распределенного анализа

назад

Опыт использования различных подходов к распараллеленной обработке спутниковых данных

Матвеев А.М., Кобец Д.А., Радченко М.В.

Материалы 19-й Международной конференции «Современные проблемы дистанционного зондирования Земли из космоса». Электронный сборник материалов конференции. Институт космических исследований Российской академии наук. Москва, 2021. С.104.

ISBN 978-5-00015-008-5
Современное многообразие и быстрое развитие национальных и международных систем ДЗЗ привело к доступности большого количества спутниковой информации для потребителя, в том числе с российских приборов и спутников. Также необходимо отметить расширение области применения спутниковых данных, и, соответственно, рост количества информационных продуктов, использующихся в тех или иных областях. Таким образом, для обработки как «сырых» данных, так и информационных продуктов требуется все больше вычислительных ресурсов. Базовая архитектура станций обработки, используемая в ИКИ РАН, состоит на данный момент из множества выделенных компьютеров (преимущественно 1-юнитовых). Каждая машина имеет в наличии от 8 до 16 процессорных ядер и от 8 до 16 Гигабайт оперативной памяти. Создать высокую нагрузку и, как следствие, увеличить скорость обработки исходных данных должны помочь технологии параллельных вычислений.
В старой версии архитектуры обработки было предусмотрена следующая схема – 1 «задание» (комплект данных и ПО для обработки) на один обработчик. Что не слишком эффективно, особенно если учесть, что некоторые средства обработки 32-разрядные и имеют ограничение в 3 Гб. занимаемой оперативной памяти.
В докладе рассматриваются следующие подходы:
1. Распараллеливание с помощью виртуалок
2. Запуск нескольких легких заданий на одном обработчике
3. Одновременный запуск нескольких приложений в рамках одного задания
4. Распараллеленные процессы при помощи CreateThread внутри одного приложения.
Ссылка на текст: http://conf.rse.geosmis.ru/files/books/2021/8959.htm
  • Институт космических исследований РАН, Москва
назад