В настоящее время в ИКИ РАН созданы и эксплуатируются целый ряд информационных сервисов дистанционного мониторинга, работающих со сверхбольшими распределенными архивами спутниковых данных. В рамках каждого из сервисов используются специализированные варианты обработки спутниковых данных, и создание создание такого количества систем было бы невозможным без технологии UNISAT (Прошин и др., 2019), обеспечивающей автоматическое ведение сверхбольших архивов и позволяющей описывать и формировать виртуальные продукты обработки спутниковых данных «на лету» по запросам пользователей и систем обработки. До настоящего времени для различных сценариев использования таких продуктов применялсь различные программные блоки, решающие, по сути, одинаковую задачу.
Настоящий доклад посвящен описанию универсального модуля построения продуктов спутниковых данных UNISAT, который будет применен для всех сценариев получения продуктов обработки данных, хранящихся в архивах, включая построение карт, выдачу исходных данных, получение продуктов для задач расчета характеристик объектов. В работе описывается базовый алгоритм получения запрашиваемого продукта по области интереса. Описываются основные этапы обработки запроса на получение данных, включая формирование уточненного запроса с полными путями к данными и правил построения для необходимого продукта. Далее, подробно рассматриваются этапы обработки гео-привязанных данных с использованием библиотеки GDAL, где происходит перепроецирование данных из проекции данных в проекцию карты, обрезка данных по области интереса, формирование данных запрашиваемого размера и этап вычислений продукта, происходящий над числовыми массивами.
В докладе описываются основные задачи и проблемы, возникающие при обработке численных данных в соответствии с требованиями (правилами) для отдельных продуктов, включая задачи обработки различных сценариев работы, такие как попадание области интереса на несколько файлов с данными, необходимые вычисления для каждого канала в соответствии с выбранным продуктом, перенормировку данных, подготовку выходных данных при различных типах формируемого продукта.
В заключении приводится обзор основных нюансов, возникших при реализации модуля для различных версий программного пакета GDAL и языка программирования Python, а так же, результаты опыта экплуатации в сценарии построения карт для картографических интерфейсов сервисов спутникового мониторинга.
Работа выполнена в рамках темы "Большие данные в космических исследованиях: астрофизика, солнечная система, геосфера" (госрегистрация №0024-2019-0014), c использованием ресурсов ЦКП «ИКИ-Мониторинг» (Лупян и др., 2015, 2019).