• Методы цифровой обработки и восстановления изображений, получаемых при дистанционном зондировании в различных диапазонах электромагнитных волн
  Руководители направления
  

  Новичихин Евгений Павлович с.н.с., к.ф.-м.н
  Кокошкин Александр Владимирович с.н.с.

  
  

  Цифровые изображения, получаемые при дистанционном зондировании земной поверхности и объектов, могут искажаться вследствие влияния различных метеорологических и технических факторов, таких, как туман, дождь, снег, дефокусировка, смаз, лакуны и т.д. Для восстановления искаженных изображений и повышения их качества разрабатываются эффективные методы обработки.

  Исходное модельное изображение с фрагментами разной степени дефокусировки – (а). Восстановленное изображение – (б)

• Радиовидение на миллиметровых волнах
  
  

  В настоящее время интенсивно развивается радиовидение, одними из направлений которого являются ближнее пассивное радивидение и радиоголография. Перспективность применения ближнего пассивного радивидения в диапазоне миллиметровых волн обусловлена тем, что устойчивость яркостных контрастов в туманах, дымах, пыли существенно выше, чем в ИК диапазоне, при этом сохраняется приемлемое угловое разрешение. Кроме того, поляризационное радиовидение обеспечивает возможности различения диэлектрических деталей на кузове автомобилей, некоторых их конструктивных особенностей, а также идентификации отдельных видов покровов и поверхностей, включая бетонные взлетно-посадочные полосы.
  Так, впервые в мире получены поляризационные радиоизображения объектов техники и местности.

  а)

  б)

  в)

  Фотография (а), яркостное изображение (б) и разностно-поляризационное изображение (в)

  Многочисленные исследования показали возможности широкого применения радиоголографических систем, например, в сфере безопасности, для бесконтактного контроля строительных конструкций, в медицине. При решении некоторых задач требуется высокая оперативность формирования радиоизображений объектов. В связи с этим в лаборатории разработан метод получения радиоизображений по одномерным ортогональным радиоголограммам, превосходящий широко используемый метод 2D-голограмм по оперативности получения изображений объектов.

  а)

  б)

  в)

  Схема расположения решетки в плоскости XOY и надписи, находящейся на 0.05 м ниже решетки (а), изображения, полученные на десяти частотах в полосе 29.5…30.5 ГГц по двум ортогональным одномерным голограммам, вычисленным вдоль отрезков Azi и Bzi: фокусировка на решетке( б) и на буквах (в)

• Дистанционное зондирование снежного покрова в микроволновом диапазоне волн
  
  

  Основная цель исследований – оценка возможностей восстановления толщины и водного эквивалента снежного покрова по результатам пассивного дистанционного зондирования из космоса в микроволновом диапазоне волн. Разработка алгоритмов восстановления толщины и водного эквивалента осуществляется в течение 40-ка лет в таких странах, как США, Канада, Швейцария, Финляндия, Китай, Индия и др. Основные трудности связаны с отсутствием строгой теории объемного рассеяния электромагнитных волн в плотных случайных дискретных средах с частицами, соизмеримыми с длиной волны, а также с многообразием структур слоистого снежного покрова.
  Для выявления основных закономерностей объемного рассеяния в снеге разработана полуэмпирическая модель FIRE, основанная на переносе излучения в рассеивающей среде при падении плоской волны, и развернуты широкие экспериментальные наземные исследования свойств излучения различных структур снега на частотах 22.5, 37.5 и 94 ГГц.

  

  Схема измерения параметров теплового излучения и ослабления когерентной интенсивности снега и снегоподобных сред в лабораторных условиях. ЧТ₁ и ЧТ₂ – охлаждаемые жидким азотом черные тела.

  

  Фото лабораторной измерительной установки

• Разработан метод восстановления изображений при известных только главном лепестке аппаратной функции и универсальном опорном спектре, основанный на компенсации вклада неизвестных боковых лепестков в спектр искаженного изображения. Показана высокая эффективность метода при превышении в четыре раза яркостного вклада неизвестных боковых лепестков относительно главного лепестка в искаженном изображении.

  

  а)        б)

  Зависимости среднеквадратичного отклонения яркости от отношения суммарного вклада амплитуд БЛ к ГЛ для трех способов восстановления искаженного изображения при отсутствия шума - (а) и при однородном шуме с амплитудой 0.5 - (б). Штриховые кривые соответствуют варианту пренебрежения влиянием боковых лепест­ков (восстановление с помощью АФ только с ГЛ); пунктирные кривые  – восстановлению по полностью известной АФ с БЛ; сплошные кривые  – восстановлению по АФ с неизвестными БЛ согласно предложенной методике.

  Публикации:
  
  • Cherepenin V.A., Kokoshkin A.V., Korotkov V.A., Korotkov K.V., Novichikhin E.P. Recovery of Images Distorted by an Instrument Function with Unknown Side Lobe // J. Communications Technology and Electronics, 2018, Vol. 63, No. 3, pp. 212–219

• Разработана методика применения интерполяции последовательно вычисляемого спектра Фурье для достижения сверхразрешения изображений на основе анализа нескольких кадров низкого разрешения, которая в сравнении с известными методиками позволяет реализовать сверхразрешение при меньшем количестве кадров и более высокой скорости вычислений.

  

  Схема работы метода суперразрешения. Цифрами 1, 2, 3 обозначены кадры низкого разрешения. Цифра 4 обозначает изображение из совмещённых с учётом субпиксельных смещений кадров низкого разрешения. Цифра 5 соответствует интерполированному изображению, полученному из изображения 4

  Публикации:
  
  • Kokoshkin A.V., Korotkov V.A., Novichikhin E.P. Comparison of interpolation methods when achieving super-resolution of images based on the analysis of several frames // RENSIT. – 2019. – V. 11. – N 1. – P. 85-91

• Разработан метод амплитудных итераций и модифицирован метод интерполяции последовательно вычисляемого спектра Фурье (МИПВС) для восстановления разреженных акустических сигналов и сигналов со сплошными лакунами. На конкурентоспособность предложенные методы тестировались совместно с известным подходом проекций на выпуклые множества (POCS) и его модификацией, реализованной с помощью эволюционного частотно-временного преобразования на основе базовых функций Слепиана. В случае сплошных лакун к сравнениям привлекается, родственная нейронным сетям, одномерная модификации метода image inpainting. По объективному показателю ((mean absolute error MAE) средняя абсолютная ошибка в зависимости от ширины лакуны) установлено, что метод амплитудных итераций (МАИ) имеет наилучшие показатели при заполнении сплошных лакун. В случае разреженных сигналов, предпочтительным выбором является МИПВС.

  

  Зависимость MAE от длины сплошной лакуны NLa для: image inpainting (полужирный пунктирная кривая), МИПВС (пунктирная кривая), МАИ (штриховая кривая), POCS (сплошная кривая), лакуны (штрихпунктирная кривая).

  Публикации:
  
  • Kokoshkin A.V., Korotkov V.A., Novichikhin E.P. Reconstruction of Acoustic Signals According to Incomplete Data // J. of Communications Technology and Electronics. 2020. Vol. 65. №. 12. P. 1399–1406

• Разработана методика спектральной и пространственной обработки изображений, полученных с помощью радиолокаторов с синтезированной апертурой (РСА) и гидролокаторов, с целью повышения их качества. Для подавления спекл-шума используется метод перенормировки с ограничением (МПО), а для повышения различимости мелких деталей изображений производится пространственная яркостная постобработка с применением лапласиана.

  

  Исходное гидролокационное изображение – (а); исходное изображение обработанное МПО – (б); объёмный вид пространственных яркостей исходного гидролокационного изображения - (в); объёмный вид пространственных яркостей исходное изображение обработанное МПО (рис.2) - (г).

  Публикации:
  
  • Kokoshkin A.V., Novichikhin E.P., Smolyaninov I.V. Application of spectral and spatial processing methods to sonar images // RENSIT. – 2021. – V. 13. – N 3. – P. 377-382.

• Разработаны методики восстановления разреженных изображений. В качестве основы использованы два подхода. Первый - метод интерполяции последовательно вычисляемого спектра Фурье (МИПВС). Второй - метод амплитудных итераций (МАИ). Для улучшения работы МИПВС, при сильной разреженности изображений, в его алгоритм включается внутренняя процедура дополнительного итерационного уточнения каждой из гармоник. При использовании МАИ вводится ограничение по пространственным частотам. Тестирование методик проведено для реконструкции различных типов изображений с высокой степенью разреженности (по случайно-равномерному закону удалено от 90 процентов информации). Проведенные исследования позволяют сделать заключение о возможности применения этих алгоритмов при дистанционном зондировании земной поверхности как с целью возможного сокращения объёмов первичных данных, так и в целях реконструкции частично утраченной информации. Предложенные методы, совместно с применением яркостной и спектральной обработки, перспективны для обработки цифровых изображений получаемых в разных диапазонах электромагнитных волн.

  

  а)

  б)

  в)

  Исходное цифровое аэрокосмическое изображение "Сан-Диего" размером 512 на 512 пикселей - (а); Разреженное изображение (известно 10 процентов от общего объёма данных) - (б); Восстановление МИПВС рисунка 5б (256 гармоник 1 итерация) - (в).

  Публикации:
  
  • Kokoshkin A.V., Novichikhin E.P. Application of the Interpolation Method of Sequential Computation of the Fourier Spectrum to Sparse Images. RENSIT: Radioelectronics. Nanosystems. Information Technologies, 2022, 14(2):165-174e.
  • Кокошкин А.В. Алгоритмы метода амплитудных итераций и POCS для реконструкции разреженных двумерных сигналов. Журнал радиоэлектроники [электронный журнал]. 2022. №9.

• В целях повышения оперативности получения изображений объектов разработан метод одномерных радиоголограмм. Существенная особенность метода – наклонное зондирование объектной плоскости. Возможности метода исследуются с помощью компьютерного моделирования. Показано, что при зондировании точечных и плоских объектов на десяти частотах в интервале 29.5…30.5 ГГц удовлетворительное качество восстановленных изображений достигается при регистрации двух ортогональных одномерных голограмм.

  Публикации:
  
  • Golunov V.A., Korotkov V.A., Korotkov K.V. The Possibility of Obtaining Object Radio Images of by the Method of One-Dimensional Radio Holograms. J. of Communications Technology and Electronics, 2019, Vol. 64, No. 1, pp. 29–34

• Измеренные на частотах 22.2, 31, 37.5 и 94 ГГц значения коэффициентов отражения и пропускания однослойного и многослойного снега сопоставлялись с их расчетными значениями. Показано, что, во-первых, измеренные зависимости коэффициентов отражения и пропускания от толщины однослойного снега удовлетворительно аппроксимируются соответствующими формулами теории Кубелки-Мунка. Во-вторых, расхождения между расчетными и измеренными значениями вышеуказанных коэффициентов для двух-, трех- и четырехслойного снега практически не выходят за пределы грубой погрешности измерений. Итоговые результаты исследования показали целесообразность создания основанного на экспериментальных данных и двухпотоковой модели Кубелки-Мунка банка данных характеристик микроволнового излучения однородного (однослойного) сухого снежного покрова при широком наборе параметров его структуры. В этом случае становится возможным достаточно просто и точно прогнозировать яркостные характеристики слоистого снежного покрова.
  
  На рисунке показаны результаты измерений коэффициентов отражения и пропускания двух-, трех- и четырехслойного снега на частотах 22.2, 31 и 37.5 ГГц.

  

  Расчетные и экспериментальные значения коэффициентов отражения (а) и пропускания (б) слоистого снега.

  Публикации:
  
  • Голунов В.А. Рассеяние микроволнового излучения в сухом слоистом снеге. РЭНСИТ. 2019. Т. 11. № 1. С.39-48

• Экспериментально обнаружены сильные вариации коэффициента пропускания когерентной интенсивности теплового микроволнового излучения в образцах свежевыпавшего и мелкозернистого снега. Наблюдаемые вариации оказались коррелированными на частотах 22.2, 30, 37.5, 60 и 94 ГГц. Установлено, что одной из причин вариаций является сильное рассеяние когерентной интенсивности вперед на крупномасштабных в сравнении с длиной волны неоднородностях плотности снега.

  Публикации:
  
  • Golunov V.A. Scattering of Thermal Microwave Radiation by Density Irregularities of Freshly Fallen and Fine-Grained Snow // Journal of Communications Technology and Electronics, 2019. 64(10), 1065-1072

• Разработан метод расчета радиоголограмм для объемных объектов, основанный на представлении объектов в виде ансамблей виртуальных точечных источников, распределенных на множестве параллельных плоскостей. Предложенный метод является развитием известного метода, в котором объекты представляются в виде ансамбля точечных рассеивателей. Возможности предложенного метода показаны на примере расчета голограммы фрагмента сферы, на котором случайным образом выбраны 1000 точек, в которых рассеивается излучение, исходящее из центра сферы. Расчеты выполнены для диапазона частот 2-100 ГГц при радиусе сферы 0.5 м, размере двумерной голограммы 0.65×0.65 м и количестве пикселей 512×512. Показано, что в сравнении с известным методом предложенный метод позволяет рассчитывать амплитуду голограммы с удовлетворительной точностью, если виртуальные источники размещать на параллельных плоскостях в количестве свыше 64-х штук. В случае объектов, требующих представления в виде ансамбля точечных рассеивателей в количестве свыше 1000 штук, предложенный метод при расчете их голограмм оказывается существенно производительнее, чем известные методы.

  Публикации:
  
  • Golunov V.A., Korotkov V.A. Methods for calculating radio holograms of volumetric objects. RENSIT, 2020, 12(4):429-436

• На основе результатов измерения полных коэффициентов отражения и пропускания теплового излучения сухого снега с мелкой и крупной структурами на частотах 22.2 и 37.5 ГГц рассмотрены возможности восстановления толщины снежного покрова методом пассивного дистанционного зондирования из космоса. Практически все современные алгоритмы основаны на линейной зависимости разности радиояркостных температур снежного покрова, измеренных на двух базовых частотах 18-19 и 35-37 ГГц, от толщины снега. Показано, что в однослойном покрове по мере возрастания размера частиц снега до 2 мм эта разность увеличивается нелинейно, но однозначно, при этом интервал значений толщины слоя, на котором ее зависимость от толщины близка к линейной, сокращается до 0.2 м. При возрастании размера частиц свыше 2 мм эта разность уменьшается вплоть до смены знака. Разность радиояркостных температур слоистого снежного покрова зависит от его толщины неоднозначно, особенно, при наличии слоя крупнозернистого снега. Таким образом, задача восстановления толщины снежного покрова с неизвестной структурой по измеренным значениям разности радиояркостных температур на частотах 18-19 и 35-37 ГГц не имеет однозначного решения.

  

  Графики экспериментальных зависимостей восстановленной толщины снежного покрова от разности полных коэффициентов отражения на частотах 37.5 и 22.2 ГГц: 1, 2 – d<1мм; 3 – d<1 мм (рис. 1а); 4 – d=1-2 мм (рис. 1б); 5 – 8 – слоистые структуры

  Публикации:
  
  • Голунов В.А. Спектральные особенности микроволнового излучения крупнозернистого и слоистого снега, ограничивающие возможности современных алгоритмов восстановления толщины снежного покрова методом пассивного дистанционного зондирования из космоса // Современные проблемы дистанционного зондирования Земли из космоса. - 2021.- V 13. – N 4.- P. 435-442

• Методом призмы на частоте 37.5 ГГц выполнено экспериментальное исследование зависимости показателя преломления сухого снега от объемной плотности на интервале ее значений 0.16…0.535 и размеров частиц до 10 мм. Исследованные образцы снега имели как самосформировавшуюся, так и разрушенную структуру. Кроме того, использованы различные комбинации смеси из кусков мелкозернистой снежной корки и крупных осколков сосулек. Сравнительный анализ полученных в данной работе экспериментальных данных с известными данными показал, что зависимость действительной части комплексной диэлектрической проницаемости сухого снега от объемной плотности описывается формулой Полдер-ван Сантена независимо от структуры снега при размерах частиц, по крайней мере, соизмеримых с длиной волны.

  

  Схема измерения показателя преломления: 1- генератор, 2 – сканер, 3 – полая призма, заполненная снегом, 4- линза, 5 – приемник

  

  Зависимости действительной части комплексной диэлектрической проницаемости от объемной плотности снега: 1 – модель Tiuri et al, 1984, 2 – модель Hallikainen, Ulaby, Abdelrazik. 1986, 3 – модель Полдер-ван Сантена, 4 – линейная аппроксимация, символы – экспериментальные данные, включая данные (Cumming, 1952), показанные символами в виде сплошных ромбов

  Публикации:
  
  • Голунов В.А. Экспериментальное исследование диэлектрических свойств сухого снега с крупными частицами на частоте 37,5 ГГц // Современные проблемы дистанционного зондирования Земли из космоса. 2022. Т. 19. № 5. С. 19–27

Информациа о лаборатории доступна также на сайте Фрязинского филиала ИРЭ им. В.А.Котельникова РАН