Материалы 18-й Всероссийской открытой конференции «Современные проблемы дистанционного зондирования Земли из космоса»
Москва, ИКИ РАН, 16–20 ноября 2020 г.

(http://conf.rse.geosmis.ru)

XVIII.B.583

Технология динамического блочного доступа к данным в архивах для проведения их эффективной параллельной обработки

Прошин А.А. (1), Лупян Е.А. (1), Бурцев М.А. (1), Кашницкий А.В. (1), Матвеев А.М. (1)
(1) Институт космических исследований РАН, Москва, Россия
Аннотация. В настоящее время для решения многих задач, связанных с изучением и мониторингом процессов и явлений, используется широкий спектр различных типов спутниковых наблюдений, отличающихся как набором спектральных каналов, так и пространственным разрешением. При этом схемы организации их хранения в архивах зависят от их специфики и, как правило, существенно отличаются для разных типов данных. Это приводит к существенному усложнению процедур обработки данных, а в особенности, совместной обработки разных типов данных. Особенно это актуально при реализации параллельной распределенной обработки спутниковых данных по большим территориям, для проведения которой необходимо разбить область интереса на сравнительно небольшие участки, обрабатываемые на отдельных вычислительных узлах. Статья посвящена описанию технологии динамического блочного доступа к данным в архивах для проведения их эффективной параллельной обработки. Эта технология позволяет предоставлять под обработку данные в такой схеме, которая наиболее оптимальна для проведения конкретного типа обработки. В статье приводится краткое описание реализации технологии, а также же рассматривается методика выбора оптимальной схемы предоставления данных для конкретной процедуры обработки.
Работа выполнена в рамках темы "Большие данные в космических исследованиях: астрофизика, солнечная система, геосфера" (госрегистрация №0024-2019-0014), c использованием ресурсов ЦКП «ИКИ-Мониторинг» [1,2] и входящих в его состав инструментов разработанных, в том числе, в рамках проектов РФФИ 13-07-00513, РФФИ 11-07-12028-офи-м-2011.

Ключевые слова: Параллельная обработка спутниковых данных, архивы спутниковых данных, динамический блочный доступ
Литература:
  1. Лупян Е.А., Прошин А.А., Бурцев М.А., Кашницкий А.В., Балашов И.В., Барталев С.А., Константинова А.М., Кобец Д.А., Мазуров А.А., Марченков В.В., Матвеев А.М., Радченко М.В., Сычугов И.Г., Толпин В.А., Уваров И.А. Опыт эксплуатации и развития центра коллективного пользования системами архивации, обработки и анализа спутниковых данных (ЦКП «ИКИ-Мониторинг») // Современные проблемы дистанционного зондирования Земли из космоса. 2019. Т. 16. № 3. С. 151-170. DOI: 10.21046/2070-7401-2019-16-3-151-170.
  2. Лупян Е.А., Прошин А.А., Бурцев М.А., Балашов И.В., Барталев С.А., Ефремов В.Ю., Кашницкий А.В., Мазуров А.А., Матвеев А.М., Суднева О.А., Сычугов И.Г., Толпин В.А., Уваров И.А. (2015в) Центр коллективного пользования системами архивации, обработки и анализа спутниковых данных ИКИ РАН для решения задач изучения и мониторинга окружающей среды // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12. № 5. С. 263–284


Ссылка для цитирования: Прошин А.А., Лупян Е.А., Бурцев М.А., Кашницкий А.В., Матвеев А.М. Технология динамического блочного доступа к данным в архивах для проведения их эффективной параллельной обработки // Материалы 18-й Всероссийской открытой конференции «Современные проблемы дистанционного зондирования Земли из космоса». Москва: ИКИ РАН, 2020. C. 97. DOI 10.21046/18DZZconf-2020a

Технологии и методы использования спутниковых данных в системах мониторинга

97