сверхбольшие архивы спутниковых данных и возможности их распределенного анализа

назад

Система контроля функционирования сложных распределенных программно-аппаратных комплексов, обеспечивающих доступ к данным ДЗЗ и результатам их обработки

Прошин А.А., Бурцев М.А., Сычугов И.Г., Кобец Д.А.

Материалы 19-й Международной конференции «Современные проблемы дистанционного зондирования Земли из космоса». Электронный сборник материалов конференции. Институт космических исследований Российской академии наук. Москва, 2021. С.51.

ISBN 978-5-00015-008-5
Современные системы доступа к данным ДЗЗ и результатам их обработки представляют из себя сложные территориально распределенные программно-аппаратные комплексы, в работе которых участвуют многие десятки компьютеров, функционирующих в автоматизированном режиме. К таким системам, безусловно, относится реализованный в ИКИ РАН центр коллективного пользования системами архивации, обработки и анализа данных спутниковых наблюдений ЦКП «ИКИ-Мониторинг». В настоящее время в его работе задействовано более 50 серверов архивации и специализированных систем хранения данных (NAS), свыше 60 серверов, предназначенных для обработки спутниковых данных, а также более десяти специализированных серверов, предназначенных для формирования спутниковых изображений для картографических WEB интерфейсов. В настоящее время пользователям ЦКП «ИКИ-Мониторинг» обеспечивается доступ к архивам данных ДЗЗ, суммарный объем которых превышает 5 петабайт, при этом ежесуточно в архивы центра поступает более 3 Тб новых данных.
Для обеспечения бесперебойного функционирования программно-аппаратного комплекса ЦКП «ИКИ-Мониторинг» был реализован целый ряд программных решений, позволяющих автоматически выявлять большую часть возникающих в его работе сбоев и ошибок, оперативно оповещать о них персонал и отслеживать процесс их устранения. В частности, обеспечивается контроль за своевременным поступлением различных типов спутниковых данных в архивы, контроль за работой всех аппаратных компонент и контроль работы ключевых сервисов для доступа к данным. При этом все реализованные программные инструменты объединены в единую систему документирования и контроля проектов (СДКП), которая позволяет комплексно решать вышеописанные задачи, а также отдельно контролировать работу специализированных информационных систем, создаваемых в рамках конкретных проектов.
Доклад посвящен рассмотрению основных задач по обеспечению бесперебойного функционирования сложного распределенного программно-аппаратного комплекса, которые актуальны не только для ЦКП «ИКИ-Мониторинг», но для других сложных систем подобного назначения. В нем также приводятся краткие сведения о современных возможностях основных инструментов контроля и управления, реализованных в отделе «Технологии спутникового мониторинга» ИКИ РАН, а также перспективы их дальнейшего развития.
Ссылка на текст: http://conf.rse.geosmis.ru/files/books/2021/8955.htm
  • Институт космических исследований РАН, Москва
назад