Аналіз підходів до видалення хмарності на космічних знімках дистанційного зондування землі

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Аналіз підходів до видалення хмарності на космічних знімках дистанційного зондування землі

О.М. Наумчак

Анотація

Сучасний розвиток космічних технологій та дистанційного зондування Землі надає унікальні можливості для вирішення завдань у багатьох сферах, зокрема й у військовій. Космічні знімки, отримані за допомогою дистанційного зондування, часто відіграють ключову роль у процесі прийняття рішень на всіх рівнях військового управління. Тому одним із важливих завдань у цьому контексті є видалення хмарності. Це важливий етап обробки даних дистанційного зондування, спрямований на реконструкцію інформації, прихованої цими атмосферними збуреннями. Стаття присвячена аналізу різних підходів до видалення хмарності та покращення якості отриманих даних. Традиційні підходи, що базуються на використанні різноманітних алгоритмів обробки зображень, мають певні обмеження, пов «язані з частою втратою корисної інформації. Особливу увагу приділено методам глибокого навчання, які набули популярності в розв'язанні проблем видалення хмарності. Глибокі нейронні мережі (DNN) демонструють свій великий потенціал для відновлення прихованої хмарами інформації на космічних знімках. У статті розглянуто різні архітектури DNN (згорткові нейронні мережі (CNN), умовно-генеративні змагальні мережі (cGAN)) та їх модифікації, визначено їх переваги та недоліки. Використання новітніх методів є більш точним та ефективним порівняно із традиційними методами обробки зображень, адже нейронні мережі можуть адаптуватися до різноманітних умов та типів знімків. Проаналізовані недоліки злиття суто оптичних даних дозволили дійти висновку, що найкращим вирішенням завдання видалення хмарності з космічних знімків є поєднання оптичних та радіолокаційних даних. Незважаючи на складність такого підходу, він може показати найбільшу ефективність для розв «язання порушеної в статті проблеми. Розглянуто виклики та перспективи подальшого вдосконалення методів видалення хмарності на космічних знімках, зокрема з використанням алгоритмів штучного інтелекту для автоматичної детекції та видалення хмар. Обґрунтовано потребу у створенні стандартизованих методик для порівняння та оцінювання ефективності різних підходів.

Ключові слова: космічні знімки; дистанційне зондування Землі; хмарність; нейронні мережі.

Abstract

O.M. Naumchak

Analysis of approaches to cloud removal on remote sensing images

The modern development of space technologies and remote sensing creates unique opportunities for solving problems in many areas, including the military. Remote sensing imagery often plays a key role in decision-making at all levels of military command, so one of the most important tasks in this context is cloud detection and extraction. This is an important stage of remote sensing data processing aimed at reconstructing information hidden by clouds. The article is devoted to the analysis of different approaches to cloud removal and improvement of the data quality. The approaches based on the use of various image processing algorithms (traditional approaches) have certain limitations associated with the frequent loss of useful information. Special attention is paid to deep learning methods, which have gained popularity in solving cloud removal problems. Deep Neural Networks show great potential for recovering information on satellite images that is hidden by clouds. This paper discusses various Deep Neural Networks architectures, such as convolutional neural networks, conditional generative adversarial networks, and their modifications. Their advantages and disadvantages are also considered. The use of such methods is more accurate and efficient compared to traditional image processing methods, as neural networks can adapt to various conditions and types of images. The analyzed disadvantages of fusing purely optical data led to the conclusion that the best approach to solving the problem of removing clouds from satellite images would be to combine optical and radar data. Despite the complexity of such an approach, it can show the greatest efficiency in solving the problem considered in this article. The challenges and prospects for further improvement of cloud removal methods on satellite images are considered. In particular, the use of artificial intelligence algorithms for automatic cloud detection and removal, as well as the need to create standardized methods for comparing and evaluating the effectiveness of different approaches.

Keywords: satellite imagery; remote sensing; cloud cover; neural networks.

Основна частина

Постановка проблеми в загальному вигляді. Безперервний технологічний прогрес, зокрема й у космічній галузі (підвищення розрізненності зображень, розширення можливостей оброблення даних, мініатюризація супутникових компонентів тощо), сприяє розвитку спроможностей, що становлять інтерес і для військових цілей. Ці досягнення розширюють потенціал космічних апаратів (КА) дистанційного зондування Землі (ДЗЗ) та роблять їх більш доступними. Останні тенденції в галузі лише підтверджують актуальність окресленої теми.

Аналіз перебігу сучасної російсько-української війни показав, що вона переходить на новий етап, який характеризується статичними та виснажливими боями. Така «позиційна» війна вигідна ворогу, тому що дозволить акумулювати резерви та відновити військову міць. Тому Збройні Сили України потребують удосконалення ключових військових можливостей і технологій, щоб вийти з такого роду війни [1]. Використання даних ДЗЗ (особливо космічних знімків високої розрізненності) відіграє важливу роль для підтримки прийняття рішень на усіх рівнях, оскільки цей процес безпосередньо залежить від оперативності й достовірності оброблення цих даних.

Деталізація космічних знімків високої розрізненності дозволяє вирішувати широкий спектр завдань [2]. Але недоліками використання КА з високою просторовою розрізненністю є: низька оперативність (4-12 годин) оновлення інформації про район спостереження, велика радіометрична розрізненність знімків, складність їх передачі, зберігання й обробки. Вирішенням цієї проблеми є використання даних із систем ДЗЗ середньої та низької розрізненності, що мають відкриті коди передачі даних. Це дозволить оперативно виявляти зміни в обстановці, а потім деталізувати їх за допомогою даних із систем високої розрізненності.

Як зазначено вище, для виконання військових завдань важливою є просторова розрізненність. Виокремлюють цілу низку факторів, які можуть вплинути на неї, з-поміж них важливими є [3]: атмосферні умови (хмари та шторми, що охоплюють територію); просторова розрізненність на поверхні Землі (GSD); смуга огляду (FOV); розмиття в русі та геометричні спотворення; методи обробки даних; характеристики датчика.

Космічні знімки часто захмарені, це перешкоджає огляду земної поверхні. Дослідження, проведене інструментом MODIS показує, що загальна глобальна хмарність становить близько 67%, а частка хмар над сушею - близько 55% [4], відповідно, саме цей фактор має найбільший вплив на достовірність даних ДЗЗ.

Отже, видалення хмарності є важливим та актуальним науково-практичним завданням.

Аналіз останніх досліджень і публікацій. Оскільки такі атмосферні збурення, як хмари, - це регулярно повторювані погодні явища, то їх видалення або реконструкція зашумленої інформації є хоч і давньою, але й досі актуальною проблемою для космічного спостереження Землі. За останні десятиліття досліджень у галузі ДЗЗ з'явилася значна кількість робіт, присвячених цій проблемі.

У середньому на понад половину всіх оптичних спостережень, отриманих за допомогою космічних знімків земної поверхні, впливають хмари. Оскільки хмарне покриття серйозно перешкоджає поточному спостереженню Землі, автоматизована реконструкція зашумленої або покритої хмарами інформації є постійною проблемою в обробці сигналів і дистанційному зондуванні [5, 6]. Тому з метою удосконалення чинних програм (алгоритмів) ДЗЗ необхідно проаналізувати відомі підходи та методи для видалення хмарності з космічних знімків.

У [7] здійснено комплексний огляд традиційних методів. Видалення хмар стає незамінним етапом попередньої обробки даних ДЗЗ та має на меті реконструювати відсутню інформацію, спричинену цими природними явищами. Особлива увага приділяється пошуку способів виконання конкретного завдання видалення хмар в оптичних зображеннях. Методи, що базуються на традиційних підходах, можна 91 розділити на три основні групи: мультиспектральні, мультитемпоральні та методи «зафарбовування», - а решта зазвичай є їх гібридною комбінацією.

Мультиспектральні підходи застосовують у разі серпанку та тонких перистих хмар, коли оптичні сигнали не блокуються повністю, але частково залежать від довжини хвилі поглинання та відображення. У таких випадках інформація про поверхню може бути відновлена за допомогою математичних [8] або фізичних моделей [9].

Перевага мультиспектральних методів - використання інформації з оригінального космічного знімка, що не потребує будь-яких додаткових даних. Але недоліком є те, що вони можуть бути результативними лише з напівпрозорими хмарами.

Мультитемпоральні підходи відновлюють хмарні космічні знімки шляхом інтеграції інформації з еталонних зображень, отриманих в умовах ясного неба [10]. Для цього також інколи використовують мультитемпоральні методи навчання каталогу. Мультитемпоральні дані також можуть надходити з різних датчиків різних супутників [11]. Ці методи є популярними через свою простоту та практичну значущість. Оскільки вони замінюють пошкоджені хмарні пікселі реальними безхмарними спостереженнями, то потребують вибору найсвіжіших, найменш хмарних спостережень з усіх доступних. Але є обмеження використання таких підходів: якщо в будь-який момент часу немає повністю безхмарних спостережень, то отриманий прогноз також міститиме захмарені пікселі. Тому в умовах швидких змін умов поверхні виникають проблеми через різницю в часі між космічним знімком, що реконструюється, та еталонним. Єдиний шлях усунення цього обмеження - збільшення частоти вибірки або часового діапазону спостереження, але хмарність може зберігатися протягом тривалого часу залежно від району та сезонності [4], тому найближче безхмарне спостереження може бути знайдене лише в застарілих та неактуальних даних.

Ранні спроби вирішити проблему видалення хмар на космічних знімках базувалися на припущенні, що захмарені ділянки та решта районів на знімку мають однакові статистичні та геометричні структури. Підходи «корекції» заповнюють пошкоджені фрагменти, використовуючи інформацію про поверхню з чітких частин того ж самого космічного знімка [12]. Такі методи не вимагають додаткових даних, але досягають хороших результатів лише в разі незначної хмарності. Щоб нівелювати цю проблему, процес вибору найбільш подібного пікселя для клонування часто ґрунтується на використанні допоміжних даних, наприклад, мультитемпоральних [13] або даних з радарів із синтезованою апертурою (SAR) [14]. Такі методи дають хороші результати, але мають підвищену складність через необхідність мультитемпоральних або мультисенсорних додаткових даних. Близькими до них є методи інтерполяції, які виділяють інформацію, приховану хмарами, завдяки просторовим інтерференціям від сусідніх або досить близьких пікселів без хмар. Такі методі базуються на методі найближчих сусідів [15] або кригінгу [16]. Їх недоліком є те, що хмари можуть безперервно покривати великі прилеглі райони, тоді припущення про близькість не ефективне.

На сучасному етапі розвитку технологій особливої популярності для вирішення проблеми хмарності набули методи, керовані даними, що використовують глибоке навчання. Проблеми, які виникають у ході застосування традиційних алгоритмів, можуть бути вирішені за допомогою навчання глибоких нейронних мереж (DNN), що мають великий потенціал для відновлення відсутньої інформації на космічних знімках ДЗЗ. 92

Формулювання завдання дослідження. Ескалація територіальних війн і конфліктів у всьому світі спонукає провідні країни зосереджувати зусилля на технологіях спостереження для національної безпеки. Дані з КА ДЗЗ можуть мати вирішальне значення для військових цілей. Як наслідок, у всьому світі зростає попит на технології ДЗЗ у військовій сфері. Але використання космічних знімків часто неможливе через вплив погодних та атмосферних умов. Отже, актуальним науково-практичним завданням є видалення хмарності на космічних знімках в умовах необхідного безперервного моніторингу (спостереження). Метою статті є аналіз підходів, які використовують для видалення хмарності на космічних знімках.

Виклад основного матеріалу. Для досягнення переваги у війні з російською федерацією Україна має акумулювати всі наявні внутрішньодержавні ресурси, а також максимально ефективно використовувати допомогу, яку надають партнери. Широке застосування сучасних інформаційних технологій у системі управління забезпечуватиме інформаційну перевагу над противником, що в результаті дозволятиме випереджати його в питаннях щодо ситуаційної обізнаності та ухвалюванні рішень, а в цілому забезпечить досягнення мети проведення операції в умовах позиційної війни. Ключовими складовими, які впливатимуть на досягнення переваги в ситуаційній обізнаності, є процеси організації зв'язку, розвідки, спостереження та рекогносцирування [1]. Космічні знімки часто є як допоміжним, так і основним інструментом для виконання різноманітних військових завдань (табл. 1) [2].

Таблиця 1. Вимоги до даних ДЗЗ для вирішення військових завдань

Не лише державні, але й приватні компанії запускають власні КА ДЗЗ, у такий спосіб сприяючи зростанню конкуренції та розвитку інновацій (рис. 1). Усе більше приватних компаній відкривають доступ до власних космічних даних, це створює умови для їх використання у військових цілях. Застосування комплексованих даних із відкритих джерел від різних систем ДЗЗ - один із шляхів покращення ситуаційної обізнаності.

Рис. 1. Зростання кількості запусків КА ДЗЗ (станом на 25.10.2023)

За останні роки кількість КА, що ведуть спостереження Землі з космосу в різних діапазонах, значно зросла. Згідно з [17], лідерами за кількістю лишаються США (661), Китай (318), рф (45), Аргентина (43), Індія (42), Фінляндія (37), Японія (29) та Франція (29).

Таблиця 2. Дані про хмарність у найбільших містах України за 2023 рік

В Україні середньорічний показник хмарності становить близько 62%. У табл. 2 проаналізовано дані з порталу [18] про хмарність у найбільших містах упродовж 2023 року (для аналізу обрано середні значення хмарності, зафіксовані о 14:00 1-го, 5-го, 10-го, 15-го, 20-го та 25-го числа щомісяця).

Моделі на основі DNN можна навчити справлятися з різними типами хмар та іншими залишковими атмосферними умовами.

Базисом для підходів, що ґрунтуються на згорткових нейронних мережах (CNN), стала суть процесу видалення хмарності, що полягає в реконструюванні високоякісного чистого зображення з низькоякісного зашумленого аналога. У [19] запропоновано метод, де використовується просторово-часово-спектральна згорткова нейронна мережа (CNN) для відновлення даних Landsat TM.

Більш сучасною архітектурою CNN є умовно генеративна змагальна мережа (cGAN). У [21] модель cGAN навчена видаляти змодельовані хмари із зображень видимого (RGB) спектра з Worldview-2, використовуючи зображення з ближнього інфрачервоного (NIR) спектра як допоміжні дані. Модель McGAN [20] - це генеративна архітектура з основою pix2pix [21], що зіставляє захмарене зображення з видимого та ближнього інфрачервоного спектральних діапазонів.

Подальший розвиток cGAN - Cycle-GAN не потребує для навчання парних хмарно - вільних космічних знімків [22].

Незважаючи на потужні генеративні можливості, недоліком cGAN є нестабільність навчання та прогнозування в разі наявних неякісних вхідних даних (наприклад, космічні знімки з великим покриттям хмар).

Альтернативою GAN є мережа [23], яка застосовує залишкову архітектуру для видалення серпанку. Але є певна межа, до якої такий підхід об'єднання суто оптичних даних (включаючи додатковий ближній інфрачервоний діапазон) буде ефективним у відновленні захмарених знімків.

Наведені вище дослідження дають перспективні результати, але використані набори даних дуже обмежені. Важливою проблемою розглянутих підходів є потреба у великих наборах реальних даних. Також варто зазначити, що оцінювання здатності мереж видаляти хмарність на нових космічних знімках (наприклад, знімках районів, які не використовувалися в ході навчання моделі) практично неможливе.

Спільним недоліком розглянутих вище підходів є їх зосередженість на вузьких ділянках поверхні, що становлять інтерес, а також залежність від синтезованих зразків хмарності, що унеможливлює узагальнення на більш розгалужені області та реальні умови. Тобто щоразу модель потрібно розробляти заново для кожного регіону, знання про один район не можуть бути перенесені на інший.

Тому особливої уваги заслуговують підходи, що ґрунтуються на злитті SAR та оптичних даних. У [24] запропоновано крос-модальний кореляційний підхід, що рекомендує «зафарбовувати» хмарні пікселі відповідно до тих безхмарних, чиї одночасно зафіксовані дані є найближчими до вимірювань SAR пікселів, які підлягають відновленню. У [25] об'єднуються радіолокаційні дані з інформацією з допоміжного оптичного зображення за допомогою методу найближчої спектральної відповідності [26]. Хоча оптичні й радіолокаційні датчики вимірюють різні величини, і тому їх важко 95 пов'язати один з одним, це стало базисом для подальшого розвитку підходів глибокого навчання з метою об'єднання даних SAR в оптичну область і злиття даних із декількох датчиків [27].

Оскільки SAR є інваріантним до умов денного світла і стійким до атмосферного шуму [28], але відрізняється за вимірюваними величинами від оптичних сенсорів, то виникає нова проблема подолання розриву між їх модальностями. Хоча підхід об'єднання оптичних та SAR-даних демонструє можливість виконання завдання з видалення хмарності зі знімків, не всі спектральні властивості земного покриву можуть бути виведені з відповідних радіолокаційних вимірювань, що фундаментально обмежує метод SAR2OPT [29].

Наприклад, у [30] використано підхід для створення безхмарних зображень завдяки прямому злиттю SAR та оптичних даних за допомогою cGAN. Аналогічна модель, запропонована в [31], поєднує дані з оптичних та радіолокаційних датчиків. Але такий підхід часто обмежується простим початковим нагромадженням ознак, вилучених із інформації, отриманої від різних джерел, із подальшим їх злиттям.

Важливою частиною згаданих вище мереж є не тільки їхня архітектура та поправки, зроблені для адаптації до обробки супутникових знімків, але й дані, на яких вони були навчені та протестовані. Зокрема, наявність значних обсягів специфічної інформації набула все більшого значення з появою DNN. Наприклад, відсутність достатньої кількості загальнодоступних даних для навчання моделей значно ускладнює їх порівняння. Тому за таких умов деякі розглянуті моделі навчали на знімках, що містять синтетичні хмари, згенеровані за допомогою шуму Перліна [32], альфа-змішування або за допомогою моделювання Релея, які не завжди відповідають фізичним та спектральним характеристикам реальних хмар.

Винятком із цих обмежень є набори даних RICE [33], які містять парні (хмарні та безхмарні) реальні космічні знімки, а також космічні спостереження, отримані за допомогою Google Earth або із супутника Landsat-8. Однак усі дані, зібрані на вузьких ділянках, не надають можливості для розв'язання проблеми видалення хмарності й потребують подальшої роботи.

Дослідження, у яких запропоновані нейронні мережі для видалення різночасових хмар, спрямовані на видалення й інших дефектів [33]. Для цього використано залишкову архітектуру із сіамською обробкою супутникових знімків, особливості якої складаються та інтегруються в реконструйоване зображення. Також у [34] розглянуто мережу для двоетапного видалення хмар, яка реконструює інформацію про хмарність на одному супутниковому знімку шляхом використання даних з іншого безхмарного оптичного зображення й коригування їх відповідно до структури та спектра отриманого зображення.

Використання можливостей SAR-даних для видалення хмар передбачає два аспекти. Перший - глобальне злиття, яке керує взаємозв'язком між усіма локальними оптичними вікнами, щоб підтримувати структуру відновленої ділянки відповідно до решти безхмарних областей. Другий - локальне злиття, що передає додаткову інформацію, вбудовану в зображення SAR, яка відповідає хмарним районам, для створення надійних деталей текстури відсутніх частин, і використовує динамічну фільтрацію, щоб зменшити погіршення продуктивності, спричинене спекл-шумом. Такий підхід може створювати високоякісні зображення без хмар і перевершувати найсучасніші алгоритми їх видалення.

Відповідно, узагальнена схема моделі видалення хмарності на космічних знімках буде мати такий вигляд (рис. 2), де на вхід енкодера подаються пари оптичних та SAR космічних знімків, а в результаті навчена модель реконструює захмарене оптичне зображення.

космічний зондування військовий дистанційний

Рис. 2. Модель формування безхмарного оптичного зображення

Обраний підхід проєктує хмарний вхідний часовий ряд пар космічних знімків T х C_inх H xWна єдине безхмарне оптичне зображення 1 х K х H х W.

Модель складається з трьох основних частин, які застосовуються вздовж головної магістралі блоків згорткової мережі, тобто оброблення карт ознак із повнорозмірним вхідним зображенням.

Енкодер паралельно обробляє всі зображення часового ряду T. Потім часовий агрегатор, використовуючи підхід на базі механізму уваги, обраховує відповідну маску уваги n_headх T х H xWдо дискретизованих карт ознак T х 2.d_mх H xW, збільшуючи їх до повної розмірності за допомогою білінійної інтерполяції. Карти ознак слугують для агрегування послідовності спостережень. Інтегрована в часі карта ознак d_mх H х W обробляється блоком декодера. Для кожного каналу, що прогнозує реконструкцію зображення, застосовується сигмоїдальна функція для стиснення вихідних даних до визначеної розмірності. У результаті реконструюється безхмарне зображення 1х K х H х W.

Висновки. Досвід ведення російсько-української війни вимагає якісно нового інформаційного забезпечення Збройних Сил України. Основним шляхом його удосконалення має стати використання на комерційній основі КА середнього розрізнення, які мають можливість проведення багатоспектрального (гіперспектрального) знімання. Захмареність космічних знімків заважає цілковито використовувати дані ДЗЗ (або серйозно впливає на часову та просторову доступність спостережень на поверхні Землі). За результатами аналізу можливостей даних ДЗЗ середнього просторового розрізнення та порівняння методів формування безхмарного оптичного зображення відібрано підхід, що ґрунтується злитті SAR та оптичних даних для використання синергетичних властивостей у ході реконструкції зображень.

Отже, наукова новизна отриманих результатів полягає в обґрунтуванні перспективності комплексування оптичних даних та даних з радарів із синтезованою апертурою для виконання завдання щодо видалення хмарності на космічних знімках.

Перспективи подальших досліджень пов'язані з удосконаленням методичного апарату видалення хмарності з багатоспектральних космічних знімків із використанням даних ДЗЗ середнього просторового розрізнення.

Список бібліографічних посилань

1. The commander-in-chief of Ukraine's armed forces on how to win the war // The Economist. URL: https://www.economist.com/by-invitation/2023/11/01/the-commander-in-chief-of-ukraines armed-forces-on-how-to-win-the-war (last accessed: 29.11.2023).

2. Ковбасюк С.В., Каневський Л.Б., Романчук М.П. Шляхи удосконалення інформаційного забезпечення Збройних Сил України при використанні даних дистанційного зондування Землі середнього просторового розрізнення // Проблеми створення, випробування, застосування та експлуатації складних інформаційних систем: зб. наук. праць. Житомир: ЖВІ, 2017. Вип. 14. С. 105-115.

3. Types of Resolution in Remote Sensing // LIDAR and RADAR. URL: https://lidarandradar.com/resolution-in-remote-sensing-and-its-types/(last accessed: 29.11.2023).

4. Spatial and temporal distribution of clouds observed by MODIS onboard the Terra and Aqua satellites / M. King, S. Platnick, W. Menzel, S. Ackerman, P. Hubanks // IEEE transactions on geoscience and remote sensing. 2013. №51 (7). Р. 3826-3852. http://dx.doi.org/10.1109/tgrs.2012.2227333

5. Schowengerdt R. Remote Sensing, Models and Methods for Image Processing. (3d ed.). Burlington: Elsevier, 2007. 560 p. https://doi.org/10.1016/b978-0-12-369407-2.x5000-1

6. Rees W.G. Physical Principles of Remote Sensing. (3d ed.). Cambridge University Press, 2012. 336 p. https://doi.org/10.1017/CBO9781139017411

7. Missing Information Reconstruction of Remote Sensing Data: A Technical Review / H. Shen et al. // IEEE Geoscience and Remote Sensing Magazine. 2015. Vol. 3, №3. P. 61-85. https://doi.org/10.1109/mgrs.2015.2441912

8. Thin cloud removal from optical remote sensing images using the noise-adjusted principal components transform / M. Xu et al. // ISPRS Journal of Photogrammetry and Remote Sensing. 2019. Vol. 149. P. 215-225. https:ZZdoi.org/10.1016Zj.isprsjprs.2019.01.025

9. Lv H., Wang Y., Shen Y. An empirical and radiative transfer model based algorithm to remove thin clouds in visible bands // Remote Sensing of Environment. 2016. Vol. 179. P. 183195.https://doi.org/10.1016/j.rse.2016.03.034

10. Nonlocal Tensor Completion for Multitemporal Remotely Sensed Images' Inpainting / T.-Y. Ji et al. // IEEE Transactions on Geoscience and Remote Sensing. 2018. Vol. 56, №6. P. 3047-3061. https://doi.org/10.1109/tgrs.2018.2790262

11. Cloud removal in remote sensing images using nonnegative matrix factorization and error correction / X. Li et al. // ISPRS Journal of Photogrammetry and Remote Sensing. 2019. Vol. 148. P. 103-113. https://doi.org/10.1016/j.isprsjprs.2018.12.013

12. A Sparse Dictionary Learning-Based Adaptive Patch Inpainting Method for Thick Clouds Removal from High-Spatial Resolution Remote Sensing Imagery / F. Meng et al. // Sensors. 2017. Vol. 17, №9. P. 2130. https://doi.org/10.3390/s17092130

13. Cloud removal for remotely sensed images by similar pixel replacement guided with a spatio-temporal MRF model / Q. Cheng et al. // ISPRS Journal of Photogrammetry and Remote Sensing. 2014. Vol. 92. P. 54-68. https://doi.org/10.1016/j.isprsjprs.2014.02.015

14. Removal of Optically Thick Clouds from Multi-Spectral Satellite Images Using MultiFrequency SAR Data / R. Eckardt et al. // Remote Sensing. 2013. Vol. 5, №6. P. 2973-3006. https://doi.org/10.3390/rs5062973

15. Siravenha A., Sousa D., Bispo A., Pelaes E. Evaluating Inpainting Methods to the Satellite Images Clouds and Shadows Removing // Signal Processing, Image Processing and Pattern Recognition (SIP, 2011). Communications in Computer and Information Science, Vol. 260. Springer, Berlin, 2011. https://doi.org/10.1007/978-3-642-27183-0 7

16. Kriging interpolation method and its application in retrieval of MODIS aerosol optical depth / C. Yu et al. // 19th International Conference on Geoinformatics, Shanghai, China. June 24-26, 2011. https://doi.org/10.1109/geoinformatics.2011.5981052

17. Land Remote Sensing Satellites. // Science for a changing world. URL: https://www.usgs.gov/calval/land-remote-sensing-satellites (last accessed: 29.11.2023).

18. Ventusky - Weather Forecast Maps. Ventusky - Wind, Rain and Temperature Maps. URL: https://www.ventusky.com/(last accessed: 29.11.2023).

19. Missing data reconstruction in remote sensing image with a unified spatial-temporal-spectral deep convolutional neural network / Q. Zhang et al. // IEEE Transactions on Geoscience and Remote Sensing. 2018. Vol. 56, №8. P. 4274-4288. https://doi.org/10.1109/tgrs.2018.2810208

20. Filmy cloud removal on satellite imagery with multispectral conditional Generative Adversarial Nets / K. Enomoto, K. Sakurada, W. Wang et al. // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, arXiv: 1710.04835. 2017. P. 1533-1541. https://doi:10.1109/CVPRW.2017.197

21. Isola P., Zhu J., Zhou T., Efros A. Image-to-image translation with conditional adversarial networks // In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017. P. 1125-1134. http://dx.doi.org/10.1109/cvpr.2017.632

22. Remote Sensing Object Detection Meets Deep Learning: A metareview of challenges and advances / X. Zhang et al. // IEEE Geoscience and Remote Sensing Magazine. 2023 Vol. 11, Iss. 4, Р. 8-44. http://dx.doi.org/10.1109/mgrs.2023.3312347

23. Dehazing for multispectral remote sensing images based on a convolutional neural network with the residual architecture / M. Qin, F. Xie, W. Li et al. // IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. 2018. №11 (5). P. 1645-1655. http://dx.doi.org/10.1109/jstars.2018.2812726

24. Hoan N., Tateishi R. Cloud Removal of Optical Image Using SAR Data for ALOS Applications. Experimenting on Simulated ALOS Data // Journal of remote sensing. 2009. Iss. 29. P. 410-417.

25. Removal of Optically Thick Clouds from Multi-Spectral Satellite Images Using MultiFrequency SAR Data / R. Eckardt et al. // Remote Sensing. 2013. Vol. 5, №6. P. 2973-3006. https://doi.org/10.3390/rs5062973

26. Meng Q., Borders B., Cieszewski C., Madden M. Closest spectral fit for removing clouds and cloud shadows // Photogrammetric Engineering & Remote Sensing. 2009. №75 (5). P. 569-576. http://dx.doi.org/10.14358/pers.75.5.569

27. Schmitt M., Zhu. X. Data fusion and remote sensing: An ever-growing relationship // IEEE Geoscience and Remote Sensing Magazine. 2016. №4 (4). P. 6-23. http://dx.doi.org/10.1109/mgrs.2016.2561021

28. Bamler R. Principles of synthetic aperture radar // Surveys in Geophysics. 2020. №21 (2-3). P. 147-157.

29. SAR-to-optical image translation using supervised cycle-consistent adversarial networks / L. Wang, X. Xu, Y. Yu et al. // IEEE Access. 2019. №7. P. 129136-129149. https://doi:10.1109/ACCESS.2019.2939649

30. Synthesis of Multispectral Optical Images From SAR/Optical Multitemporal Data Using Conditional Generative Adversarial Networks / J.D. Bermudez et al. // IEEE Geoscience and Remote Sensing Letters. 2019. Vol. 16, №8. P. 1220-1224.

31. Li W., Li Y., Chan J. Thick cloud removal with optical and SAR imagery via convolutional - mapping-deconvolutional network // IEEE Transactions on Geoscience and Remote Sensing. 2019. №58 (4). P. 2865-2879. http://dx.doi.org/10.1109/tgrs.2019.2956959

32. Perlin K. Improving noise // In Proceedings of the Annual Conference on Computer Graphics and Interactive Techniques. 2002. P. 681-682.

33. A remote sensing image dataset for cloud removal / D. Lin, G. Xu, X. Wang et al. // Computer Vision and Pattern Recognition. 2019. arXiv:1901.00600. https://doi.org/10.48550/arXiv.1901.00600

34. Thick clouds removal from multitemporal ZY-3 satellite images using deep learning / Y. Chen, L. Tang, X. Yang et al. // IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. 2019. №13. P. 143-153. http://dx.doi.org/10.1109/jstars.2019.2954130

References

1. The commander-in-chief of Ukraine's armed forces on how to win the war. (n.d.). The Economist. Retrived from https://www.economist.com/by-invitation/2023/11/01/the - commander-in-chief-of-ukraines-armed-forces-on-how-to-win-the-war

2. Kovbasiyuk, S.V., Kanevsky, L.B., & Romanchuk, M.P. (2017). Shliakhy udoskonalennia informatsiinoho zabezpechennia Zbroinykh Syl Ukrainy pry vykorystanni danykh dystantsiinoho zonduvannia Zemli serednoho prostorovo-ho rozriznennia [Study of Ways for Improving Information Support of the Armed Forces of Ukraine Using Data Distal Sounding of the Earth of Space Models of Middle Space Distribution]. Problemy stvorennia, vyprobuvannia, zastosuvannia ta ekspluatatsii skladnykh informatsiinykh system: zb. nauk. prats ZhVI [Problems of Construction, Testing, Application and Operation of Complex Information Systems. Scientific journal of Korolov Zhytomyr Military Institute], Iss. 14, 105-115 [in Ukrainian].

3. Types of Resolution in Remote Sensing. (n.d.). LIDAR and RADAR. Retrived from https://lidarandradar.com/resolution-in-remote-sensing-and-its-types/

4. King, M., Platnick, S., Menzel, W., Ackerman, S., & Hubanks, P. (2013). Spatial and temporal distribution of clouds observed by MODIS onboard the Terra and Aqua satellites. IEEE transactions on geoscience and remote sensing, №51 (7), 3826-3852. http://dx.doi.org/10.1109/tgrs.2012.2227333

5. Schowengerdt, R. (2007). Remote Sensing, Models and Methods for Image Processing. (3d ed.). Burlington: Elsevier. https://doi.org/10.1016/b978-0-12-369407-2.x5000-1

6. Rees, W.G. (2012). Physical Principles of Remote Sensing. (3d ed.). Cambridge University Press. https://doi.org/10.1017/CBO9781139017411

7. Shen, H. et al. (2015). Missing Information Reconstruction of Remote Sensing Data: A Technical Review. IEEE Geoscience and Remote Sensing Magazine, Vol. 3, №3, 61-85. https://doi.org/10.1109/mgrs.2015.2441912

8. Xu, M. et al. (2019). Thin cloud removal from optical remote sensing images using the noise - adjusted principal components transform. ISPRS Journal of Photogrammetry and Remote Sensing, Vol. 149, 215-225. https://doi.org/10.1016/j.isprsjprs.2019.01.025

9. Lv, H., Wang, Y., & Shen, Y. (2016). An empirical and radiative transfer model based algorithm to remove thin clouds in visible bands. Remote Sensing of Environment, Vol. 179, 183-195. https://doi.org/10.1016/i.rse.2016.03.034

10. Ji, T.-Y. et al. (2018). Nonlocal Tensor Completion for Multitemporal Remotely Sensed Images' Inpainting. IEEE Transactions on Geoscience and Remote Sensing, Vol. 56, №6, 30473061.https://doi.org/10.1109/tgrs.2018.2790262

11. Li, X. et al. (2019). Cloud removal in remote sensing images using nonnegative matrix factorization and error correction. ISPRS Journal of Photogrammetry and Remote Sensing, Vol. 148, 103-113. https://doi.org/10.1016/j.isprsjprs.2018.12.013

12. Meng, F. et al. (2017). A Sparse Dictionary Learning-Based Adaptive Patch Inpainting Method for Thick Clouds Removal from High-Spatial Resolution Remote Sensing Imagery. Sensors, Vol. 17, №9, 2130. https://doi.org/10.3390/s17092130

13. Cheng, Q. et al. (2014). Cloud Removal for Remotely Sensed Images by Similar Pixel Replacement Guided with a Spatio-temporal MRF Model. ISPRS Journal of Photogrammetry and Remote Sensing, Vol. 92, 54-68. https://doi.org/10.1016/j.isprsjprs.2014.02.015

14. Eckardt, R. et al. (2013). Removal of Optically Thick Clouds from Multi-Spectral Satellite Images Using Multi-Frequency SAR Data. Remote Sensing, Vol. 5, №6, 2973-3006. https://doi.org/10.3390/rs5062973

15. Siravenha, A., Sousa, D., Bispo, A., & Pelaes, E. (2011). Evaluating Inpainting Methods to the Satellite Images Clouds and Shadows Removing. Signal Processing, Image Processing and Pattern Recognition (SIP, 2011). Communications in Computer and Information Science, Vol. 260. Springer, Berlin. https://doi.org/10.1007/978-3-642-27183-0 7

16. Yu, C. et al. (2011). Kriging Interpolation Method and its Application in Retrieval of MODIS Aerosol Optical Depth. In 19th International Conference on Geoinformatics. Shanghai, China, June 24-26, 2011. https://doi.org/10.1109/geoinformatics.2011.5981052

17. Land Remote Sensing Satellites. (n.d.). Science for a changing world. Retrived from https://www.usgs.gov/calval/land-remote-sensing-satellites

18. Ventusky - Weather Forecast Maps. Ventusky - Wind, Rain and Temperature Maps. (n.d.). Retrived from https://www.ventusky.com/

19. Zhang, Q. et al. (2018). Missing Data Reconstruction in Remote Sensing Image with a Unified Spatial-temporal-spectral Deep Convolutional Neural Network. IEEE Transactions on Geoscience and Remote Sensing, Vol. 56, №8, 4274-4288. https://doi.org/10.1109/tgrs.2018.2810208

20. Enomoto, K., Sakurada, K., & Wang, W. et al. (2017). Filmy Cloud Removal on Satellite Imagery with Multispectral Conditional Generative Adversarial Nets. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, arXiv: 1710.04835, (pp. 1533-1541). https://doi:10.1109/CVPRW.2017.197

21. Isola, P., Zhu, J., Zhou, T., & Efros, A. (2017). Image-to-image Translation with Conditional Adversarial Networks. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. (pp. 1125-1134). http://dx.doi.org/10.1109/cvpr.2017.632

22. Zhang, X. et al. (2023). Remote Sensing Object Detection Meets Deep Learning: A Metareview of Challenges and Advances. IEEE Geoscience and Remote Sensing Magazine, Vol. 11, Iss. 4, 8-44. http://dx.doi.org/10.1109/mgrs.2023.3312347

23. Qin, M., Xie, F., & Li, W. et al. (2018). Dehazing for Multispectral Remote Sensing Images Based on a Convolutional Neural Network with the Residual Architecture. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, №11 (5), 1645-1655. http://dx.doi.org/10.1109/jstars.2018.2812726

24. Hoan, N., & Tateishi, R. (2009). Cloud Removal of Optical Image Using SAR Data for ALOS Applications. Experimenting on Simulated ALOS Data. Journal of Remote Sensing, Iss. 29, 410-417.

25. Eckardt, R. et al. (2013). Removal of Optically Thick Clouds from Multi-Spectral Satellite Images Using Multi-Frequency SAR Data. Remote Sensing, Vol. 5, №6, 2973-3006. https://doi.org/10.3390/rs5062973

26. Meng, Q., Borders, B., Cieszewski, C., & Madden, M. (2009). Closest Spectral Fit for Removing Clouds and Cloud Shadows. Photogrammetric Engineering & Remote Sensing, №75 (5), 569-576. http://dx.doi.org/10.14358/pers.75.5.569

27. Schmitt, M., & Zhu, X. (2016). Data fusion and remote sensing: An ever-growing relationship. IEEE Geoscience and Remote Sensing Magazine, №4 (4), 6-23. http://dx.doi.org/10.1109/mgrs.2016.2561021

28. Bamler, R. (2020). Principles of synthetic aperture radar. Surveys in Geophysics, №21 (2-3), 147-157.

29. Wang, L., Xu, X., & Yu, Y. et al. (2019). SAR-to-optical Image Translation Using Supervised Cycle-consistent Adversarial Networks. IEEE Access, №7, 129136-129149. http://dx.doi.org/10.1109/access.2019.2939649

30. Bermudez, J.D. et al. (2019). Synthesis of Multispectral Optical Images From SAR/Optical Multitemporal Data Using Conditional Generative Adversarial Networks. IEEE Geoscience and Remote Sensing Letters, Vol. 16, №8, 1220-1224. https://doi.org/10.1109/lgrs.2019.2894734

31. Li, W., Li, Y., & Chan, J. (2019). Thick Cloud Removal with Optical and SAR Imagery Via Convolutional-Mapping-Deconvolutional Network. IEEE Transactions on Geoscience and Remote Sensing, 58 (4), 2865-2879. http://dx.doi.org/10.1109/tgrs.2019.2956959

32. Perlin, K. (2002). Improving noise. In Proceedings of the Annual Conference on Computer Graphics and Interactive Techniques. (pp. 681-682).

33. Lin, D., Xu, G., & Wang, X. et al. (2019). A Remote Sensing Image Dataset for Cloud Removal. Computer Vision and Pattern Recognition. arXiv:1901.00600. https://doi.org/10.48550/arXiv.1901.00600

34. Chen, Y., Tang, L., Yang, X. et al. (2019). Thick Clouds Removal from Multitemporal ZY-3 Satellite Images Using Deep Learning. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, №13, 143-153. http://dx.doi.org/10.1109/jstars.2019.2954130

Размещено на Allbest.ru