сверхбольшие архивы спутниковых данных и возможности их распределенного анализа

назад

Создание инструментов для удаленной обработки спутниковых данных в современных информационных системах

Кашницкий А.В., Балашов И.В., Лупян Е.А., Толпин В.А., Уваров И.А.

// Современные проблемы дистанционного зондирования Земли из космоса, 2015. № Т. 12. № 1.. С.156-170.

ISSN: 2070-7401 eISSN: 2411-0280

В последние годы все актуальней становится задача разработки новых технологий работы с данными дистанционных наблюдений, которые должны позволить организовывать эффективную работу со сверхбольшими, постоянно пополняющимися архивами. “Традиционные” подходы предполагают сначала выбор необходимых наборов данных из архивов, создание их локальных копий у пользователя (исследователя), а потом проведение обработки и анализа. Использование такого подхода ограничивается целым рядом факторов, наиболее существенными из которых являются взрывной рост данных, поступающих от систем спутниковых наблюдений Земли, необходимость выборки, передачи и хранения больших объемов информации и наличие существенных вычислительных ресурсов для анализа данных, которые не всегда имеются у конкретных исследователей. В настоящей работе представлена разработанная в Институте космических исследований Российской академии наук (ИКИ РАН) технология организации распределенной обработки спутниковых данных. Технология ориентирована на то, чтобы обеспечить возможности не только выбора и просмотра различной спутниковой информации, но и проведение ее обработки и анализа полученных результатов с использованием вычислительных средств, расположенных в центрах архивации и представления данных. Технология позволяет исследователям использовать распределенные информационные и вычислительные ресурсы с той же легкостью, что и локальные, обеспечивает возможность эффективной работы со сверхбольшими распределенными архивами спутниковых данных и результатами их обработки. В работе описывается предлагаемая архитектура построения систем распределенной обработки данных, ее основные возможности. Приведены примеры реализации процедур обработки и их использование в различных системах дистанционного мониторинга для организации обработки и анализа спутниковых данных, в том числе гиперспектральных.

Ссылка на текст: http://d33.infospace.ru/d33_conf/sb2015t1/156-170.pdf
  • Институт космических исследований РАН, Москва
назад