Информационная модель поиска аномалий на сравниваемых фотопланах инспектируемых территорий

Размещено на http://www.allbest.ru//

Размещено на http://www.allbest.ru//

Информационная модель поиска аномалий на сравниваемых фотопланах инспектируемых территорий

П.О. Архипов

В статье авторы описывают информационную модель поиска аномалий на сравниваемых фотопланах инспектируемых территорий. Сравнение разновременных фотопланов, полученных с беспилотного летательного аппарата, производится по предварительно выделенным ключевым точкам, основываясь на их цветовых и пространственных характеристиках. Для связи фотографий с GPS-координатами бортового журнала БПЛА производится привязка центров фотографий к их географическим координатам на местности. фотоплан аномалия территория беспилотный

Ключевые слова: аэрофотосъемка; фотография; фотоплан; беспилотный летательный аппарат; цвет; изображение; пиксель; контуры объекта; ключевые точки.

In the article the authors describe an information model of anomaly search on the compared photographic planes of the inspected territories. The comparison of multi-temporal photographic maps obtained with the unmanned aerial vehicle, produced by the pre-selected key points, based on their color and spatial characteristics. To link photos to GPS coordinates of the UAV in-flight magazine is produced binding of photo centers to their geographical coordinates on the ground.

Keywords: aerial photography; photograph; photoplan; unmanned aerial vehicle; color; image; pixel; the contours of the object; singular points.

Развитие аэрофотосъемки с беспилотных летательных аппаратов (БПЛА) нашло свое применение во многих областях производства и строительства, где необходим оперативный мониторинг за технологическими процессами и выявлением аномалий. Использование беспилотных летательных аппаратов позволяет максимально быстро, дёшево и точно доставить камеру к объекту съёмки, совершенно свободно выбирать ракурс.

Быстрое маневрирование по высоте даёт уникальную возможность, как показать событие общим планом, показав перспективу сверху, так и моментально «спикировать» вниз, обратив внимание зрителя на детали. Благодаря «летающей камере» любое происшествие, техногенная катастрофа, народный праздник, демонстрация, концерт или военный парад станут смотреться ещё более выигрышно. Далеко не во всяком городе разрешены полёты авиации над жилыми кварталами. Для мультикоптеров такого ограничения нет, они практически незаметны жителями и почти не шумят.

Ещё одним преимуществом беспилотных или дистанционно пилотируемых «летающих камер» является скорость развёртывания. Для съёмки быстро протекающего и внезапно возникшего сюжета, например, стихийной демонстрации протеста или техногенной аварии это наиболее удобный инструмент. В отличие от пилотируемого самолёта или вертолёта, которому требуется получить разрешение на полёт, добраться от аэродрома базирования до точки съёмки, БПЛА стартует и начинает снимать практически мгновенно.

При этом обычной авиации требуется возвращаться на базу для дозаправки или отдыха пилота. Мультикоптер может быть повторно приведён в рабочее состояние прямо на месте работы и почти мгновенно - нужно лишь заменить аккумулятор. Усталость оператора также не является проблемой, так как современные мультикоптеры могут совершать полёт и выполнять задание в полностью автоматическом режиме.

В настоящее время все большее значение имеет применение БПЛА для аэрофотосъемки объектов жилищно-коммунального хозяйства (ЖКХ) и строительства, исторических и архитектурных памятников и разнообразного мониторинга. Во время полета БПЛА накапливается большой количество отснятого материала, который затем можно преобразовать в фотоплан инспектируемой местности. На следующем этапе необходимо выполнить аналитику полученных данных и осуществить выявление аномалий, которые могут произойти с наблюдаемыми объектами. Такая аналитика подразумевает автоматизацию процесса сопоставления разновременных фотопланов, полученных при пролете БПЛА над одной и той же инспектируемой территорией, по одному маршруту, но в различные промежутки времени [1].

Задача идентификации и выявления аномалий будет основана на сравнении особых точек (ОТ) на изображениях и вычислении отклонений координат ОТ по цветовым и геометрическим значениям.

Информационная модель поиска аномалий на сравниваемых фотопланах инспектируемых территорий

Детектирование аномалий представляет собой процесс обработки цветных изображений (фотопланов), в ходе которого выполняются следующие этапы:

полутоновое представление сравниваемых изображений;

гауссово размытие;

вычисление ключевых точек и их дескрипторов;

сравнение наборов ключевых точек;

фильтрация ключевых точек, полученных в результате сравнения в качестве несовпадающих;

группировка отличающихся ключевых точек в объекты;

вычисление границ полученных объектов;

отображение отличий на фотопланах.

БПЛА совершая облет территории по заданной траектории, через установленные промежутки времени, осуществляет фотосъемку местности и ведение журнала полета. Журнал полета представляет собой структурированный текстовый файл, в котором блоками записаны GPS-координаты, связанные с центром соответствующего изображения, а также другие данные о положении БПЛА в пространстве и ходе его полета. В виду наличия нескольких видов форматов представления GPS-координат, для полноты получаемой информации было принято решение использовать формат, включающий в себя не только целочисленные градусы и десятичные минуты, но и десятичные градусы (DD.DDDDD) [2-4]. При этом используется два значения координат точки: градусы восточной долготы - «E» и северной широты - «N». Множество значений GPS-координат можно представить в виде следующего обозначения:

где - множество GPS координат;

- порядковый номер блока данных в журнале полета, соответствующий порядковому номеру изображения, полученному в ходе полета. При этом максимальное значение данного параметра соответствует общему количеству изображений - NI, полученных в ходе облета; j=1,...,NI;

- значение координат восточной долготы;

- значение координат северной широты.

Для обработки изображений выбираются пары изображений и выполняются этапы обработки данных изображений для выполнения сшивания в фотоплан местности. Полученные ключевые точки обрабатываемых изображений могут быть использованы для сшивания изображений в фотоплан.

После выполнения процедуры фильтрации множества псевдосовпадающих точек (точки, определенные как совпадающие, до выполнения фильтрации) функцией с вычислением матриц гомографии () для каждого изображения обрабатываемой пары, выполняется процедура склеивания этих изображений (). Склейка изображений в фотоплан включает в себя не только совмещение изображений, но и перспективные преобразования изображений, и масштабирование на основе матриц гомографии обрабатываемых изображений. При выполнении процедуры перспективного преобразования и масштабирования изображений изменяется и значение координат центра изображения, который связан с GPS-координатами в журнале полета. Для обеспечения взаимного соответствия координат центров изображений после склеивания и значений GPS-координат из журнала полета, предлагается воспользоваться формулой пересчета значений координат [5]:

где i - порядковый номер изображения в паре: ;

- локальные координаты точки i-ого изображения, являющейся центром данного изображения.

При вычислении новых значений локальных координат привязки изображений к географическим координатам, выполняется дополнительно еще и сравнение цветовых характеристик пикселя одного и того же изображения до и после перспективных преобразований. Если значения цветовых характеристик выходят за рамки коэффициента цветоразличия, то данная точка может быть сохранена, но использоваться в качестве точки привязки не будет [6, 7]. Каждое вычисленное значение координат привязки при этом необходимо сохранять в отдельный массив, значения из которого должны быть пересчитаны во время осуществления очередной склейки изображений, чтобы расширить локальную систему координат от одного склеиваемого изображения до целого фотоплана без потери данных об этих координатах. В результате будет сформирован фотоплан местности с набором точек привязки отдельных его частей к географическим координатам.

После получения результирующего изображения (фотоплана) - Imgresi необходимо провести процедуру создания второго фотоплана Imgres(i+1), который будет получен из следующего набора цветных фотографий за последующий облет инспектируемых территорий, после чего выполняется сравнение двух полученных фотопланов и нахождения области изменившихся, сгруппированных пикселей - {gr}i. Таким образом, выполняется процедура детектирования аномалий на инспектируемой территории за выбранные промежутки времени.

Информационная модель поиска аномалий на сравниваемых фотопланах инспектируемых территорий, имеет вид в соответствии с рисунком 1.

Рисунок 1 - Информационная модель поиска аномалий на сравниваемых фотопланах инспектируемых территорий

На представленном рисунке 1 использованы следующие обозначения:

- цветное изображение (i-я фотография);

- множество значений GPS-координат;

- полутоновое представление i-го изображения;

- функция полутонового преобразования цветного изображения;

представление i-го изображения с Гауссовым размытием;

функция Гауссового размытия полутонового изображения;

- радиус размытия;

- ключевая точка;

- дескриптор точки;

- функция вычисления ключевых точек с их дескрипторами с помощью детектора SIFT;

- процедура фильтрации ключевых точек с дескрипторами;

- множество совпадающих ключевых точек двух обрабатываемых изображений;

- функция сравнения наборов ключевых точек двух обрабатываемых изображений;

- множество совпадающих ключевых точек изображения i с дескрипторами;

- процедура пересчета координат центров сшиваемых изображений;

- функция склеивания двух изображений;

- матрица гомографии;

- фотоплан, результат сшивания цветных изображений;

- функция вычисления матрицы гомографии по данным GPS-координат для i-го фотоплана;

- матрица гомографии по данным GPS-координат i-го фотоплана;

- функция применения матрицы гомографии к i-му фотоплану;

- приведенный к значениям GPS-координат i-й фотоплан;

- функция сравнения наборов ключевых точек двух фотопланов (поиск несовпадающих ключевых точек);

- максимальное значение отклонения цветовых координат ключевых точек;

- множество несовпадающих ключевых точек и их дескрипторов;

- процедура фильтрации несовпадающих ключевых точек с дескрипторами;

- отфильтрованное множество несовпадающих ключевых точек и их дескрипторов;

- процедура группировки несовпадающих ключевых точек в объекты;

- детектированные объекты i-го фотоплана.

- максимальное расстояние между соседними ключевыми точками;

- максимальное количество ключевых точек, которое может располагаться на расстоянии r ? ;

- максимальное декартово расстояние между соседними точками для определения принадлежности к одному объекту.

Заключение

Разработана информационная модель поиска аномалий на сравниваемых фотопланах инспектируемых территорий, включающая в себя вычисление ключевых точек и их дескрипторов, сравнение наборов ключевых точек и их фильтрацию, группировку отличающихся ключевых точек в объекты.

Предложена технология привязки центра каждого получаемого изображения с его GPS-координатами из журнала полета БПЛА.

Автоматизированная система сравнения разновременных фотопланов, полученных при аэрофотосъемке инспектируемой территории, позволит: проводить детектирование возникающих аномалий, классифицировать их по типам и передавать актуальную информацию на пульты систем специальных ведомств.

Список литературы

1. Архипов П.О. Информационная технология выявления аномалий на фотографиях объектов жилищно-коммунального хозяйства // Информационные системы и технологии, 2017. - №6(104). - С. 68-72.

2. Александров И. Космическая радионавигационная система НАВСТАР // Зарубежное военное обозрение. - М., 1995. - № 5. - С. 52-63. - ISSN 0134-921X.

3. Козловский Е. Искусство позиционирования // Вокруг света. - М., 2006. - № 12. - С. 204-280.

4. Шебшаевич В. С., Дмитриев П. П., Иванцев Н. В. и др. Сетевые спутниковые радионавигационные системы / под ред. В. С. Шебшаевича. - 2-е изд., перераб. и доп. - М.: Радио и связь, 1993. - 408 с. - ISBN 5-256-00174-4.

5. Geometric Image Transformation [Электронный ресурс]. - URL: https://docs.opencv.org/2.4/modules/imgproc/doc/geometric_transformations.html.

6. Архипов П.О., Сорокин А.И. Информационная технология формирования характеристических признаков предварительной идентификации цветных изображений // «Информационные технологии в науке, образовании и производстве». - Орел: Известия ОрелГТУ, 2012. - № 6. - С. 120-124.

7. Архипов П.О. Детектирование особенностей в цветных видеоизображениях Системы высокой доступности, 2015 г., т. 11, № 3. С. 3-6.

Размещено на Allbest.ru