XXI.B.466
Организация работы с данными архивов ЦКП «ИКИ-Мониторинг» на основе использования интерактивной среды разработки Jupyter Notebook
Прошин А.А. (1), Бурцев М.А. (1)
(1) Институт космических исследований РАН, Москва, Россия
Интерактивная среда разработки Jupyter Notebook в последние годы находит все более широкое применение для широкого спектра задач, связанных с анализом и обработкой данных, включая данные дистанционного зондирования Земли. Она, как и следующее ее поколение JupyterLab, реализована в виде удобного веб-интерфейса, позволяющего запускать отдельные участки программного кода и в этом же интерфейсе наглядно представлять результаты операций в виде графиков, изображений или таблиц. Этот инструмент особенно хорошо подходит для решения частных задач, связанных с анализом данных, выработкой алгоритмов, проверкой гипотез и т.п. При этом реализованные в среде документы могут быть наглядным и интерактивным представлением полученных результатов и для других исследователей и разработчиков.
Доклад посвящен организации удаленной работы с данными сверхбольших архивов ЦКП «ИКИ-Мониторинг» [1] в среде Jupyter Notebook. В настоящее время на языке программирования Python реализован базовый набор инструментов для получения доступа к данным архивов по месту их физического хранения, а также ко всей необходимой для работы с ними справочной информации. При этом сами операции над данными могут быть проведены на основе сторонних библиотек. В перспективе планируется поддержать использование широкого спектра тематических инструментов для анализа и обработки спутниковых данных [2], разработанных в ИКИ РАН. Также планируется создание программной инфраструктуры, которая позволила бы обеспечить доступ к этой среде широкому кругу исследователей из различных организаций.
Разработка выполняется в рамках темы Минобрнауки РФ «Большие данные в космических исследованиях: астрофизика, солнечная система, геосфера» (№122042500019-6) с использованием возможностей ЦКП «ИКИ-Мониторинг» (http://ckp.geosmis.ru/, [1]), функционирование и развитие которого осуществляется при поддержке Минобрнауки (тема "Мониторинг" № 122042500031-8).
Ключевые слова: ДЗЗ, спутниковый мониторинг, сверхбольшие архивы данных, обработка спутниковых данныхЛитература:
- Лупян Е.А., Прошин А.А., Бурцев М.А., Кашницкий А.В., Балашов И.В., Барталев С.А., Константинова А.М., Кобец Д.А., Мазуров А.А., Марченков В.В., Матвеев А.М., Радченко М.В., Сычугов И.Г., Толпин В.А., Уваров И.А. Опыт эксплуатации и развития центра коллективного пользования системами архивации, обработки и анализа спутниковых данных (ЦКП «ИКИ-Мониторинг») // Современные проблемы дистанционного зондирования Земли из космоса. 2019. Т. 16. № 3. С. 151-170. DOI: 10.21046/2070-7401-2019-16-3-151-170.
- Кашницкий А.В., Лупян Е.А. Удаленный анализ и обработка данных ДЗЗ, предоставляемых сверхбольшими распределенными системами архивации // Труды Всероссийской конференции "Обработка пространственных данных в задачах мониторинга природных и антропогенных процессов", 29-31 августа 2017, Новосибирск, 2017. С. 102-106.
Презентация доклада
Ссылка для цитирования: Прошин А.А., Бурцев М.А. Организация работы с данными архивов ЦКП «ИКИ-Мониторинг» на основе использования интерактивной среды разработки Jupyter Notebook // Материалы 21-й Международной конференции «Современные проблемы дистанционного зондирования Земли из космоса». Москва: ИКИ РАН, 2023. C. 101. DOI 10.21046/21DZZconf-2023aТехнологии и методы использования спутниковых данных в системах мониторинга
101