сверхбольшие архивы спутниковых данных и возможности их распределенного анализа

назад

Технология динамического блочного представления спутниковых данных системам распределённой обработки

Прошин А.А., Лупян Е.А., Балашов И.В., Кашницкий А.В., Матвеев А.М., Руткевич Б.П.

// Современные проблемы дистанционного зондирования Земли из космоса, 2020. № Т. 17. № 7.. С.79-93.

ISSN: 2070-7401eISSN: 2411-0280

Во многих задачах, связанных собработкой ивизуализацией пространственных данных, зна-чительный выигрыш даёт использование блочного (тайлового) подхода, врамках которого используются данные, представленные ввиде блоков, на которые равномерно разбита вся зона интереса. Это позволяет эффективно организовать параллельную обработку данных на различных вычислительных узлах, использовать механизм кэширования иснизить нагруз-ку на централизованные ресурсы. При этом, как правило, используются уже подготовленные архивы данных сфиксированным пространственным разбиением. Вто же время во многих случаях, впервую очередь когда необходимо совместно обрабатывать различные типы спут-никовой информации, использование подготовленных архивов данных может быть нецеле-сообразным. Это связано стем, что различные типы спутниковых данных существенно раз-личаются как попространственному разрешению, так ипо схемам организации их хранения. Врезультате практически невозможно выбрать одно пространственное разбиение, которое было бы оптимальным для организации работы со всеми типами данных. Поэтому требует-ся разработка таких подходов корганизации обработки спутниковых данных, которые могли бы максимально использовать преимущества блочного метода иоптимизации схемы хранения каждого конкретного типа данных. Встатье представлен такой подход организации обработки спутниковых данных сиспользованием динамического блочного доступа кразнородным ар-хивам спутниковых данных, врамках которого необходимые для обработки данные формиру-ются позапросу втаком пространственном разбиении ис такими характеристиками, которые будут оптимальны для проведения конкретного типа обработки. Вработе приводится краткое описание разработанной технологии, атакже рассматривается методика оценки оптимальных параметров разбиения для конкретной обработки иимеющейся инфраструктуры.

Ссылка на текст: http://d33.infospace.ru/d33_conf/sb2020t7/79-93.pdf
  • Институт космических исследований РАН, Москва
назад