сверхбольшие архивы спутниковых данных и возможности их распределенного анализа

назад

Организация автоматизированной многопотоковой обработки спутниковой информации в системах дистанционного мониторинга

Кобец Д.А., Матвеев А.М., Мазуров А.А., Прошин А.А.

// Современные проблемы дистанционного зондирования Земли из космоса, 2015. № Т. 12. № 1.. С.145-155.

ISSN: 2070-7401 eISSN: 2411-0280

В настоящей работе рассматриваются возможности библиотеки управления процессами «commonbat.pm», реализованной на языке программирования PERL. Этот программный продукт предназначен для построения эффективных распределенных систем обработки информации и контроля над их функционированием. Рассматриваются основные объекты и понятия, с которыми работает библиотека: сессии, потоки и задания. Подробно описываются предпосылки возникновения библиотеки и её основные задачи, также представлена инфраструктура, в которой используется представленный функционал. Приводится структура базы данных для хранения статистической информации. Кратко рассматриваются основные возможности библиотеки, такие как возможность параллельного запуска приложений в разных областях дискового пространства, механизм задания таймаутов операций и их аварийного завершения, отслеживание кодов возврата запускаемых процедур и ведение подробных логов всех процессов с возможностью их последующего анализа. Также приведены примеры и ссылки на различные информационные системы, в которых применяются разработанные методы обработки спутниковых данных, такие как ИСДМ Рослесхоз, сервис ВЕГА и другие. Однако следует отметить, что реализованные методы и алгоритмы работы с данными могут применяться и в других системах обработки информации, в том числе с другими типами данных.

Ссылка на текст: http://d33.infospace.ru/d33_conf/sb2015t1/145-155.pdf
  • Институт космических исследований РАН, Москва
назад