сверхбольшие архивы спутниковых данных и возможности их распределенного анализа

назад

Анализ эффективности системы динамического блочного доступа к данным для предоставления их системам обработки

Прошин А.А., Лупян Е.А.

Материалы 19-й Международной конференции «Современные проблемы дистанционного зондирования Земли из космоса». Электронный сборник материалов конференции. Институт космических исследований Российской академии наук. Москва, 2021. С.106.

ISBN 978-5-00015-008-5
Практика позывает, что многие задачи, связанные с обработкой и визуализацией пространственных данных, могут быть наиболее эффективно решены с использованием блочного подхода, в рамках которого используются данные по тайлам, на которые равномерно разбита вся зона интереса. Такой подход позволяет обеспечить требуемую степень распараллеливания обработки на различных вычислительных узлах, реализовать гибкий механизм кэширования и снизить нагрузку на централизованные ресурсы. Наиболее распространенным вариантом реализации описываемого подхода является использование заранее подготовленных архивов данных с фиксированным пространственным разбиением. Однако такой вариант реализации оказывается нецелесообразным, когда возникает необходимость использования разных пространственных разбиений для одних и тех же данных, в частности, когда необходимо совместно обрабатывать различные типы спутниковой информации, отличающиеся как по разрешению, так и по организации их хранения в архиве. В таких случаях наиболее эффективным оказывается динамическое формирование блоков данных в таком пространственном разбиении и с такими характеристиками, которые будут оптимальны для решения конкретной задачи по обработке или визуализации данных. С целью реализации такого механизма в ИКИ РАН была разработана технология динамического блочного доступа к архивам спутниковых данных ЦКП «ИКИ-Мониторинг».
Настоящий доклад посвящен комплексному анализу основных факторов, влияющих на производительность системы динамического блочного доступа к распределенным архивам спутниковых данных. В первую очередь, к таким факторам можно отнести производительность систем хранения, скорость сетевых соединений, размер и тип предоставляемых спутниковых данных и др. Разработанная методика позволяет в короткие сроки оценить ресурсы, необходимые для предоставления заданного набора блоков данных с нужными характеристиками.
Ссылка на текст: http://conf.rse.geosmis.ru/files/books/2021/8953.htm
  • Институт космических исследований РАН, Москва
назад