Обгрунтування перспектив використання бібліотеки комп’ютерного зору OpenCV при розробці програмного забезпеченя для обробки відеоінформації випробувань

Размещено на http://www.allbest.ru/

Обгрунтування перспектив використання бібліотеки комп'ютерного зору OpenCV при розробці програмного забезпеченя для обробки відеоінформації випробувань

Єрмоленко Ф.В., Зозуля В.М., Рижков О.В. Державний науково-дослідни йінститут випробувань і сертифікації озброєння та військової техніки

У статі висвітлено доцільність розробки програмного забезпечення для обробки відеоінформації, отриманої під час випробувань зразків озброєння та військової техніки (ОВТ). Проведено стислий огляд основних бібліотек комп'ютерного зору, що є у відкритому доступі. Наведено приклади результатів використання бібліотеки комп'ютерного зору OpenCVу програмі Kinovea. Обґрунтовано доцільність використання OpenCVв програмних засобах, що можуть розроблятися для обробки відеоінформації, одержаної під час випробувань ОВТ.

SUBSTANTIATION OF PERSPECTIVES OF USING THE LIBRARY OF COMPUTER VISION OpenCV IN THE DEVELOPMENT OF SOFTWARE FOR PROCESSING VIDEO INFORMATION TESTS

1) perspective correction;

2) compensation (correction) of distortion (optical effect "fish eye”);

3) scale determination of the video material 's frame;

4) conducting of static measurements;

5) position determination of the image object in a sequence of video stream's frames.

A brief overview of major open-access computer libraries (Accord.NET, VXL (Vision-something-Libraries), OpenCV (Open Source Computer Vision Library)) were conducted.

To demonstrate how the above operations were performed by the OpenCV library, examples of the results of using it in Kinovea program were presented.

An analysis of the popularity of computer vision libraries was conducted, which made it possible to assess the prospects for their further development and information support.

The rationale for using OpenCV in software was fulfilled, that can be developed to process the video information obtained during testing of weapons and military equipment specimens.

Keywords: video recording, video information, software for video information processing, determining the parameters of object' motion trajectory, testing weapons and military equipment, Accord.NET OpenCV, Kinovea, VXL..

бібліотека комп'ютерного зору opencv

Постановка проблеми

Під час проведення випробувань зразків озброєння та військової техніки виникає завдання отримання параметрів процесів розподілених у просторі та часі, а саме: траєкторії руху, швидкості, прискорення об'єкта, розповсюдження викидів дульного полум'я, динаміки вибуху боєприпасів різноманітного призначення. В окремих випадках отримати необхідні вимірювання можливо тільки за допомогою відеофіксації процесів з використанням відеокамер з подальшою обробкою отриманих відеоматеріалів спеціальним програмним забезпеченням (ПЗ).

Актуальність дослідження. Наявне ПЗ для визначення параметрів руху, що використовується в інституті, розроблене більше 10 років тому. Воно не працює на сучасних комп'ютерах, має вузький спектр застосування та потребує додаткових умов, як до організації експериментів, так і до попередньої підготовки отриманих відеоматеріалів сторонніми програмами для подальшої роботи з ними. Це призводить до витрати значної кількості часу на обробку та отримання результатів. Крім того, в окремих випадках, за відсутності алгоритмів корекцій це призводить ще й до зайвих повторень експериментів. Аналогічне стороннє ПЗ постачається зі спеціалізованим відеообладнанням та (або) має значну вартість, що ускладнює його закупівлю, і в деяких випадках його використання (закупівля) може бути надлишковим. Тому є сенс розробляти власне ПЗ.

Мета статті. Розглянути бібліотеки комп'ютерного зору, які вільно розповсюджуються через Інтернет, для оцінки перспективності використання їх при розробці спеціального ПЗ.

Основна частина

У процесі обробки відеоматеріалів можна окреслити наступні основні операції:

1) при необхідності виконати корекцію перспективи;

2) у випадку використання ширококутних об'єктивів, за потреби виконати компенсацію (корекцію) дисторсії (оптичний ефект “рыбий глаз”);

3) визначити масштаб кадру відеоматеріалу;

4) виконати необхідні статичні виміри;

5) визначити положення зображення об'єкту на послідовності кадрів відеопотоку.

Перші дві операції мають за мету збільшити точність вимірів шляхом виправлення

зображення або урахуванням даних корегування викривлень під час виконання вимірів. Третя операція обов'язкова для більшості вимірів, які передбачаються. Четверта операція полягає в тому, що треба зафіксувати максимальні та (або) мінімальні розміри явищ (об'єктів) з одного кадру без динаміки. П'ята операція потрібна для отримання параметрів руху об'єкту (швидкість, прискорення, відхилення тощо).

Далі коротко розглянемо розповсюджені бібліотеки комп'ютерного зору, що доступні у відкритому доступі та можуть бути використані для вирішення окреслених задач і достатньо документовані.

Accord.NET- це платформа для наукових обчислень в .NET[1]. Вона включає в себе близько 20 бібліотек, написаних мовою C#, що охоплюють широкий спектр задач для наукових обчислень, таких, як статистична обробка даних, машинне навчання, комп'ютерне прослуховування, розпізнання образів, у тому числі комп'ютерний зір. Використання бібліотек можливо у програмах, працюючих на пристроях, що працюють під управлінням операційних систем Windows, Linux. Розповсюджується за ліцензієюGNULesserPublicLicensev2.1. Останнє оновлення до версії 3.8 опубліковане 07.11.2017 року.

VXL(Vision-something-Libraries) - бібліотека, написана мовою C++ [2]. Вона призначена для дослідження і реалізації комп'ютерного зору. Ця бібліотека включає в себе модулі, які охоплюють числові алгоритми, обробку зображень, координатні системи, геометрію камери, стерео, відео обробку, дизайн графічного інтерфейсу, класифікацію, відстеження об'єктів, топологію, маніпулювання структурою, 3D-візуалізацію. Перевагою даної бібліотеки є те, що кожен базовий компонент може використовуватися без посилання на інші, тому можна компілювати і компонувати окремо тільки ті модулі, які необхідні. Для завантаження доступні версії бібліотек під Windows, Linuxта Solaris. Назва ліцензії розповсюдження явно не вказана, але за змістом аналогічна ліцензії BSD[3]. Останнє оновлення до версії 2.0.2 опубліковано 29 11.2018 року.

OpenCV (OpenSourceComputerVisionLibrary) - одна з найбільш відомих бібліотек комп'ютерного зору [4]. В даній бібліотеці реалізовано понад 2500 оптимізованих алгоритмів для вирішення задач, пов'язаних з обробкою і аналізом видеопослідовностей у сфері комп'ютерного зору. OpenCVрозроблена на мові програмування C/C++ і може використовуватись на операційних системах Windows, Linux, Android, MacOS.Для реалізації механізму відеоаналітики в даній бібліотеці є функції, які виконують фільтрацію, геометричні перетворення, пошук контурів і побудова гістограм. Крім цих функцій в OpenCV реалізовані алгоритми вибору характерних ознак, аналізу рухів, виявлення і стеження за об'єктами, зокрема, людьми, захоплення відео з камер та з відеофайлів і т. д. Використання даної бібліотеки полегшує роботу з методами комп'ютерного зору, оскільки дана бібліотека орієнтована на підвищення ефективності обчислень і поліпшення продуктивності. Отже, OpenCV дозволяє використовувати механізми комп'ютерного зору в реальному часі. Розповсюджується за ліцензією BSD. Останнє оновлення до версії 4.2.0 опубліковано 23.12.2019 року.

Для ознайомлення з можливостями бібліотеки існує програма OpenCV Demonstrator. Проте, для ілюстрації виконання наших завдань більш підходить програма Kinovea [5], яка також використовує у своїй роботі бібліотеку OpenCV та розповсюджується за ліцензією GPLv2. За допомогою програми Kinovea 0.9.1 бета версії наведемо приклади результатів реалізації операцій, перелічених вище.

На рисунку 1 представлено кадр з відео із зображенням полігону, знятий квадрокоптером. Для оцінки кучності влучань, координатну площину було скориговано сіткою перспективи по площині поверхні полігону. Звичайно точність таких вимірів залежить від багатьох факторів. Таких як роздільна здатність відеопотоку, кута огляду камери, кута вісі камери відносно площини полігону, дальності до цілі вимірювання і т.д. І визначення координат за допомогою GPS-приймачів можуть мати більшу точність. Втім, такі заміри виконуються після виконання стрільб, і у зв'язку з цим є складнощі пошуку місць влучань, визначення належності цих влучань до поточного експерименту та їх послідовності. За умови швидкого виконання аналізу (вимірів) відеоматеріалу доцільно поєднати ці два метода вимірювань. До виїзду фахівців на пошук та визначення координат влучань, виконати експрес аналіз відео. І за отриманими результати здійснити пошук та заміри координат місцьвлучань. Такий порядок значно спростить і прискорить роботу фахівців з GPS-приймачами, дозволить їм ідентифікувати місця влучань та відсіяти ті, що не мають відношення до поточного експерименту. Таке поєднання призведе до підвищення ефективності та якості роботи фахівців за рахунок швидкості пошуку і, додатково, мінімізації включення до вимірювань хибних об'єктів.

Рис. 1. Приклад накладання сітки корекції перспективи а - координатна сітка до корекції; б - координатна сітка після корекції.

Щоб компенсувати дисторсійний вплив (викривлення) на відеозображення, необхідно визначити значення коефіцієнтів корегування та врахувати їх під час виконання вимірювань.

Для визначення коефіцієнтів корегування готується плакат із нанесеною на нього “шаховою дошкою”.

Камеру з налаштуваннями, що були (будуть) використані під час відеозйомки, розташовують перпендикулярно плакату та так, щоб він займав весь кадр, і виконують зйомку.

Далі в програмі на зображення “шахової дошки” наносять сітку викривлення (рис. 2) та через вікно калібровки виконується визначення та застосування коефіцієнтів корегування (рис. 3), які використовуються у подальших розрахунках.

Рис. 2. Кадр з “шаховою дошкою” з нанесеною сіткою викривлень для визначення калібровочних даних.

Рис. 3. Визначення та застосування коефіцієнтів для компенсації дисторсії у Kinovea: а - до компенсації; б - після компенсації.

На рисунку 4 зображено визначення максимальних розмірів дульного полум'я та іскор при пострілі. У нижній лівій частині видно еталонний відрізок для визначення масштабу кадру.

Рис. 4. Визначення максимальних розмірів дульного полум'я та іскор при пострілі

Рис. 5. Визначення траєкторії та вертикальної швидкості (зниження) парашутиста

Приклад відстеження зображення об'єкта на послідовностях кадрів проілюстровано на рисунку 5, де оброблено приземлення парашутиста з визначенням вертикальної швидкості на кінцевій ділянці траєкторії приземлення.

Наведені приклади не описують більшу частину можливостей бібліотеки OpenCVчи інших бібліотек комп'ютерного зору. Проте, в процесі освоєння цих технологій є можливість ширше використати потенціал, закладений у їх алгоритми, що дозволить досягти кращих результатів та прискорити обробку відеоматеріалів.

З огляду на перспективність цього напрямку в майбутньому, важливо підтримувати та розвивати використання цих бібліотек. Оскільки вони популярні серед фахівців, то тривалий час можна розраховувати на розвиток та допомогу у вирішені питань і способів можливих варіантів їх використання.

Для оцінки популярності бібліотек скористуємося сервісом GoogleTrends[6], який дозволяє виконувати оцінку частот пошукових запитів і подальше їх порівняння.

На рис. 6 видно, що за останні 5 років запитів по OpenCVзначно більше ніж кількість запитів по VXLта Accord.NET. Це означає, що ризик зупинки розвитку та підтримки бібліотек Accord.NETта VXLзначно вищий, ніж для бібліотеки OpenCV. Додатково про це свідчать дати та частота виходу оновлень. Станом на березень 2020 року останні оновлення на Accord.NETвийшли більш ніж 2-ва роки тому, на VXLбільше року тому, а на OpenCV- 3 місяці, при цьому, за 2019-й рік їх було 9, для різних версій бібліотеки.

Рис. 6. Графіки частоти пошукових запитів по Accord.NET, VXL, OpenCVсформовані сервісом GoogleTrends. Графік VXLне відривається від 0-ої відмітки, Accord.NETспостерігаються незначні сплески до 1 -ці.

Висновок

Серед оглянутих бібліотек комп'ютерного зору найбільш перспективною для використання є OpenCV. Серед її переваг треба виділити популярність, що забезпечує їй розвиток і велику інформаційну підтримку, та наявність готових прикладів роботи алгоритмів, отриманих за допомогою програми Kinovea, яка також є проектом з відкритими вихідними кодами. Це дає змогу використовувати вихідні коди Kinoveaдля аналізу та прикладу взаємодії з бібліотекою OpenCV.

Список літератури

1. Офіційна інтернет-сторінка проекту Accord.NET. [Електронний ресурс]. - Режим доступу: http://accord-framework.net. - дата доступу: 23.02.2020.

2. Офіційна інтернет-сторінка проекту VXL. [Електронний ресурс]. - Режим доступу: https://vxl.github.io. - дата доступу: 25.02.2020.

3. Текст ліцензії росповсюдження бібліотеки комп'ютерного зору VXL[Електронний ресурс]. - Режим доступу: https://github.eom/vxl/vxl/blob/master/core/vxl_copyright.h. - дата доступу: 24.02.2020.

4. Офіційна інтернет-сторінка проекту OpenCV. [Електронний ресурс]. - Режим доступу: https://opencv.org. - дата доступу: 20.02.2020.

5. Офіційна інтернет-сторінка проекту Kinovea. [Електронний ресурс]. - Режим доступу: https://www.kinovea.org. - дата доступу: 27.02.2020.

6. GoogleTrends--публічний web-додаток корпораціїGoogle.[Електронний ресурс]. - Режим доступу: https://trends.google.ru/trends. - дата доступу: 26.02.2020.

Размещено на Allbest.ru