Аназіз учасних тифлотехнічних аудіо-навігаційних технологій та шляхи їх удосконалення

Размещено на http://www.allbest.ru

Аназіз учасних тифлотехнічних аудіо-навігаційних технологій та шляхи їх удосконалення

О. В. Хапченко

О. М. Лисенко, д-р техн. наук, проф.



Хапченко О. В., Лисенко О. М.

АНАЛІЗ СУЧАСНИХ ТИФЛОТЕХНІЧНИХ АУДІО-НАВІГАЦІЙНИХ ТЕХНОЛОГІЙ ТА ШЛЯХИ ЇХ УДОСКОНАЛЕННЯ

За оцінками ВООЗ у всьому світі на сьогодні налічується близько 2,2 млрд людей з вадами зору. До їх числа входять особи, які страждають помірними або важкими порушеннями далекого зору або сліпотою, зумовленими не скорегованими аномаліями рефракції (88,4 млн), катарактою (94 млн), глаукомою (7,7 млн), помутнінням рогівки (4,2 млн), діабетичною ретинопатією (3,9 млн) і трахомою (2 млн), а також порушенням ближнього зору, викликаним не скорегованою пресбіопією очей (826 млн). При цьому однією із найбільших проблем, з якою вони стикаються, є труднощі їх самостійної орієнтації при пересуванні поза межами свого житла, в тому числі в громадському транспорті. Проаналізувавши останні дослідження, проведеними у Великій Британії, встановлено, що майже половина людей із вадами зору хотіла б частіше залишати свій будинок.

У роботі проаналізовано останні дослідження та публікації сучасних тифлотехнічних навігаційних систем. У таких системах поміж GPS навігації, використовуються різноманітні маяки на основі WiFi, Bluetooth, спеціальних картинок та комп 'ютерного зору. Проаналізовано супутні додатки, які можуть допомогти у вирішенні завдання по створенню тифлотехнічного рішення. З поміж інших систем виділяється створена на основі відкритого стандарту Wayfindr, який забезпечує навігаційні системи єдиним інструментарієм для надання людям з вадами зору послідовної, надійної та плавної навігації. Досліджено результати її експериментальної апробації в умовах міста, що підтвердило її працездатність, ефективність та відповідність стандарту. Розглянуто структуру створеного додатку та проведено його порівняльний аналіз із альтернативним технічним рішенням NaviLens, яке використовує замість електронних маяків спеціальні різнокольорові картинки, які нагадують QR-коди. Обґрунтовано розширення функціональних можливостей створених тифлотехнічних аудіо-навігаційних рішень за результатами оцінки користувачами та сформовано вектори для їх подальшого удосконалення. тифлотехнічний аудіо навігаційний

Ключові слова: аудіо-навігація; навігація для слабозорих; стандарт Wayfindr, технологія NaviLens



KhapchenkoO., Lysenko O.

ANALYSIS OF MODERN AUDIO-VISUAL TECHNOLOGY AND HOW IT CAN BE IMPROVED

The WHO estimates that there are now around 2.2 billion visually impaired people worldwide. This includes those with moderate or severe visual impairment or blindness due to uncorrected refractive anomalies (88,4 million), Cataracts (94 million.), Glaucoma (7,7million), Corneal opacity (4,2 million), Diabetic retinopathy (3,9 million), and Trachoma (2 million), and near vision disturbances caused by uncorrected presbyopia of the eye (826 million). However, one of the biggest problems they face is the difficulty they have in navigating independently outside their homes, including on public transport. Having analyzed recent research from the UK, it has been found that almost half ofpeople with visual impairments wish they could move out of their homes more often.

The paper analyzed recent research and publications on modern visually impaired navigation systems. In between GPS navigation, such systems use a variety of beacons based on WiFi, Bluetooth, special pictures, and computer vision. Related applications that can help in the task of creating typhlo-technical solutions are analyzed. Among others, the system stands out created based on the open standard Wayfindr, which provides navigation systems with a single tool to provide visually impaired people with consistent, reliable, and smooth navigation. The results of its experimental testing in city conditions are studied, confirming its performance, efficiency, and compliance with the standard. The structure of the created application was considered and its comparative analysis with alternative technical solution NaviLens which uses special multi-colored pictures resembling QR codes instead of electronic beacons was carried out. It is justified the expansion of functional capabilities of the created audio navigation solutions based on the results of user evaluation and formed vectors for their further improvement

Keywords: audio navigation; navigation for the visually impaired; Wayfindr standard, NaviLens technology



Вступ

За оцінками Всемірної організації охорони здоров'я (ВООЗ) у всьому світі на сьогодні налічується близько 2,2 млрд людей з вадами зору. До їх числа входять особи, які страждають помірними або важкими порушеннями зору або сліпотою, зумовленими не скоригованими аномаліями рефракції (88,4 млн), катарактою (94 млн), глаукомою (7,7 млн), помутнінням рогівки (4,2 млн), діабетичною ретинопатією (3,9 млн) і трахомою (2 млн), а також порушенням ближнього зору, викликаним не скоригованою пресбіопією очей (826 млн) [1]. При цьому однією із найбільших проблем, з якою вони стикаються, є труднощі їх самостійної орієнтації при пересуванні поза межами свого житла, в тому числі в громадському транспорті.

Для допомоги інвалідам по зору у вирішенні зазначеної вище проблеми наразі використовується спеціальне тифлотехнічне аудіо- навігаційне обладнання. Нижче наведемо визначення окремих термінів, які його характеризують, з метою кращого розуміння викладеного нижче матеріалу статті:

Тифлотехніка -- сукупність різних приладів, технічних пристроїв та способів їх застосування, які дозволяють людям із суттєвими дефектами зору одержувати необхідну інформацію, використовуючи інші види чутливості (слухову, дотикальну, вібраційну).

Тег-мітка у вигляді різнокольорової картинки, яка нагадує QR-код, розроблена компанією NaviLens, яка допомагає додатку їх розрізняти та зчитувати.

Аналіз останніх досліджень та публікацій

Останніми дослідженнями, проведеними у Великій Британії, встановлено, що майже половина людей із вадами зору хотіла б частіше залишати свій будинок [2].

Дещо раніше це вже стало приводом для створення навігаційних систем для інвалідів по зору і постійного з плином часу їх удосконалення. Перші проєкти були зосереджені головним чином на забезпеченні підтримки уникнення перешкод і стали основою для розроблення численних пристроїв з мінімальними вагою, вартістю, споживанням, високою надійністю тощо. Прикладами таких рішень є «вбудована» тростина Ultra Cane[3] та ручний пристрій Mini Guide [4], які використовують вібрації з метою надання користувачеві адаптованих даних з ультразвукових датчиків. При цьому також ураховувалось те, що ширина смуги руху здорової людини становить 600-700 мм, а людини, що користується тростиною, збільшується до 700-950 мм [5]. Разом з тим велике когнітивне навантаження обмежувало обсяг даних, які користувач міг би ефективно засвоювати. Це змусило дослідників створювати навігаційні системи, що включали в себе комп' ютерно-модельовані карти навколишнього середовища і потребували кількох вбудованих датчиків та зовнішніх орієнтирів для відстеження положення користувачів.

При цьому із поширенням портативних пристроїв пріоритети були віддані рішенням, які не вимагали безперервного контакту з підлогою. Одним із технічних досягнень, які зробили найбільший вплив на такі рішення, була поява глобальних навігаційних супутникових систем (GNSS) і, зокрема, глобальної системи позиціонування (GPS). Її використання потребувало проведення значної кількості обчислень, що суттєво ускладнило виготовлення компактних мобільних навігаційних пристроїв. Однак, на сьогодні майже всі користувачі мають смарт- фони з достатніми обчислювальними потужностями, що дозволило вирішити зазначену вище проблему.

На рис. 1 наведено дані попиту використання мобільних телефонів і комп'ютерів, у тому числі кількість користувачів на Британських Віргінсь- ких островах, які використовують ці пристрої для доступу в Інтернет.

Рис. 1. Відсоток іспанських користувачів мобільних телефонів (синій) та комп'ютерів (помаранчевий); відсоток тих, хто користується Інтернетом (сірий) і рівень загальної кількості населення (зелений) [7]

Активне його використання серед молодшого покоління сприяє розробленню та впровадженню тифлотехнічних рішень саме на базі смартфонів.

Ця тенденція також відображається і в створенні таких організацій як Amovil [6], яка просуває доступність цих пристроїв для жителів Британських Віргінських островів при використанні ними громадського транспорту, тим самим надаючи їм допомогу та забезпечуючи автономію їх пересування.

У цьому середовищі дослідження навігаційних систем для користувачів Британських Віргінських островів виявили нове поле для використання, наприклад, додаток для смартфо- нів NavCog [8], який допомагає інвалідам по зору орієнтуватися використовуючи:

картографічний сервер, який зберігає інформацію, що характеризує кожне середовище та модель, необхідні для вірної локалізації користувача;

Bluetooth-маяки, які періодично передають свій індикатор найближчим смартфонам з підтримкою NavCog;

додаток NavCog для iOS, за допомогою якого користувач пересувається до місця призначення на основі завантаженої карти та декількох Bluetooth-маяків, які використовуються для локалізації смартфона в оточуючому середовищі.

У праці [9] представлена тифлотехнічна система навігації у великих приміщеннях для людей зі слабим зором, яка використовує набір пасивних орієнтирів з унікальними ідентифікаторами, встановленими на стелі; інфрачервону камеру, яка виводить ідентифікатор, відстань та кут наближення до найближчого орієнтиру; бібліотеку програмного забезпечення з відкритим кодом.

При використанні системи її камеру та акумулятор встановлюють на пояс користувача, який він носить під час використання додатку (рис. 2).

Рис. 2. Користувач із системою навігації на поясу [9]

Для допомоги незрячим у вирішенні широкого кола питань з поміж інших додатків виділяється EyeMusic [10], який передає та декодує основну інформацію про форму та колір об' єкта за допомогою пристрою сенсорного заміщення (Sensory-substitutiondevice, SSD) у вигляді компактного твердотільного візуально- слухового диску. Він генерує слухові стимули із використанням музичних нот пентатонічної шкали, створені природними інструментами, для приємної передачі візуальної інформації. Цим самим в середньому за 2 год можна навчити користувача зрозуміти, який колір підтримується певним звуком. Це може бути дуже корисним і для вирішення завдань орієнтації, коли мова йде про колір світлофору.

З іншого боку, такі програми як Seeing AI [11] або TapTapSee [12] надають користувачам аудіо- інформацію про захоплені камерою зображення, використовуючи ресурси віддаленої обробки у схемі хмарних обчислень. Якщо TapTapSee після двох дотиків до екрану смартфону фотографує та озвучує назву об'єкту, то Seeing AI може озвучувати текст, як тільки об'єкт з'являється перед камерою; надавати звукові сигнали, щоб допомогти знайти штрих-коди, а потім сканує їх для ідентифікації продуктів; впізнає друзів і описує людей навколо користувача, включаючи їх емоції; ідентифікує валютні рахунки при оплаті готівкою та читає рукописний текст.

При створенні портативного тифлотехнічного навігаційного пристрою слід також не забувати, що людина з вадами зору звично користується для орієнтування тактильною тростиною. І у разі розрядження пристрою користувач зможе далі пересуватися з мінімальними травмами чи зовсім без них традиційним способом -- за допомогою тростини. На сьогодні спостерігається перехід від читання шрифтом Брайля до аудіоінформації, однак за рельєфно-тактильним шрифтом ще залишається ряд переваг перед звуковою передачею інформації [13]. Тому у такій тростині на верхівці її ручці є сенс використовувати виїжджаючі кульки для передавання символу шрифтом Брайля, щоб користувач міг скористатися не лише аудіо-навігаційними підказками.

Створені програмні додатки потребують стандартизації та використання єдиного підходу, тому ще у 2014 році британське благодійне товариство «Королівське товариство для сліпих дітей» (RSBC) та новатори цифрових технологій з компанії UsTwo, яка базується в Лондоні, об'єдналися з метою розроблення та впровадження єдиного глобального підходу, який дозволяє людям із вадами зору самостійно орієнтуватися. Мова йде про відкритий стандарт Wayfindr Open Standard -- повний набір керівних принципів, інструментів та методів для інтеграції аудіо-навігації в існуючі цифрові навігаційні продукти, який було затверджено Міжнародним союзом електрозв' язку відповідно до рекомендації ITU-T F.921 [14]. Стандарт Wayfindr надає виробникам цифрових навігацій та власникам громадських організацій інструментарій для забезпечення людей із вадами зору постійними високоякісними послугами цифрової навігації.

В основу технології реалізації стандарту Wayfindr покладено комбінацію Bluetooth-маяків, програмних додатків смартфона та навушників для керування рухом людей із вадами зору.

Маяки складаються з модулів, розташованих у стратегічних місцях, наприклад, підземки або залізничного вокзалу, BLE-передавачі (Bluetooth Low Energy) яких використовуються для оповіщення мобільних пристроїв користувачів з порушеннями зору. При цьому програмний додаток смартфона збирає сигнали трьох найближчих маяків, фізичні місця яких вже запрограмовані в додатку як шляхові реперні точки та порівнюючи їх рівні визначає розташування користувача відносно точок маршруту, передаючи йому голосові навігаційні інструкції через навушники Brand Show. Оскільки ці навушники генерують вібрації через щоки, вони не блокують вушні канали користувача, дозволяючи йому почути все, що відбувається навколо нього.

У праці [15] авторами зроблено спробу надати цілісне уявлення про навігаційні системи для зазначеної вище групи населення. Розглянуто доцільність використання класичного та нового дизайну архітектури навігаційних систем, запропоновано нову потенційну архітектуру їх побудови, функціональні вимоги та доцільність якої розглянуто виходячи із минулого досвіду, наявної технології та потреб і обмежень користувачів. Обґрунтовано вибір її трьох основних складових: модулів позиціонування, моніторингу навколишнього середовища та інтерфейсу користувача. Передбачається, що система узгоджуватиме вищезгадані модулі з додатковими даними, такими як карти, розклади громадського транспорту тощо, доступними через Інтернет. Показано, що існуючі рішення для надання допомоги інвалідам по зору на маршрутах, у приміщенні та на відкритому повітрі, на жаль, не повністю відповідають технічним вимогам та потребам користувачів.

Альтернативою Wayfindr є створена технологія Navi Lens [16], яка допомагає людям із вадами зору орієнтуватися у просторі та слухати рідну мову і була розроблена в рамках партнерства між Mobile Vision Research Lab в Університеті Аліканте (Іспанія) та іспанським стартапом Neosistic. Її основу складає набір кольорових піксельних тегів (схожих на QR-коди) і супутній додаток для смартфона (рис. 3). Камера смартфона користувача сканує оточення на предмет тегів, у той час як додаток вмикає збережену аудіо-інформацію тега. Кожна мітка стратегічно розміщена і індивідуально запрограмована з інформацією про маршрут, відстань і напрямок до платформ, інформацію про прибуття та відправлення, а також про квиткові кіоски і місця відпочинку. Тег має квадратну форму зі сторонами приблизно 13 см і найважливіше, що зі смартфону його можна прочитати на відстані до 12 м за 30 мс. Зчитування працює також і під час руху і навіть без фокусування.

Рис. 3. Приклад візуального вигляду тегу [16]

У праці [17] показано, що користувач може також створити власні теги, щоб позначити продукти в шафі, записати зустрічі в календар, відзначити треки на компакт-диску або навіть записати банківські реквізити з метою самостійного доступу до них. Navi Lens пропонує кілька безкоштовних міток для особистого використання в домашніх умовах [17].

У праці [18] зазначено, що технологія Navi Lens була протестована і схвалена асоціаціями людей з порушенням зору по всьому світу (RNIB, ONCE, The Lighthouse Guild, Bartimaus) і була швидко впроваджена в дуже важливих системах громадського транспорту, зокрема, таких як Американська організація громадського транспорту, метро і автобусні зупинки Нью- Йорка, метро і 2400 автобусних зупинок Барселони, Мадридська станція Аточа, станція Сото-де-Енарес, метро Лос-Анджелеса, автобусні зупинки Аліканте, автовокзал Сан-Себастьяна, трамвай Мурсії тощо.

У праці [19] авторами було розроблено засоби навігації для інвалідів по зору, які здійснювали озвучення об'єктів інфраструктури шляхом використання WiFi-маяків з активним каналом радіозв'язку і оснащених гучномовцями. Також є сайт для реєстрації активних маяків, при цьому користувач може обрати будь-який маяк та прокласти до нього маршрут з використанням GPS навігації. Присутня також можливість провести сканування оточення на наявність активних найближчих маяків. При наближенні на відстань 50-70 м подається звуковий або вібросигнал, який інформує користувача про можливість керування маяком, наприклад, включити звуковий сигнал на ньому.

З другої половини 2017 року стрімкого зростання набирає ще одна технологія -- доповненої реальності, коли одразу на двох найпопулярніших мобільних платформах виходять у вільний доступ інструменти ARCore [20] для Andoid та ARKit [21] для iOS. Саме ці два фреймворки дозволяють широкому колу розробників створювати нові програмні продукти, пов' язані з доповненою реальністю. Ці рішення працюють завдяки системі візуально- інерційного одометра, яка об' єднує дані з візуальної (камера) та інерційної (акселерометр, гіроскоп) підсистем пристрою для визначення положення і переміщення. ARKit та ARCore також володіє «розумінням» сцени, що дозволяє визначати горизонтальні і вертикальні поверхні, а також умови освітленості.

Використання цих технологій у навігаційних системах вдало демонструє компанія Google, яка ще в 2019 році інтегрувала у свої карти доповнену реальність (рис. 4).

Рис. 4. Приклад візуального вигляду Google Maps з використанням доповненої реальності

Слід відмітити, що компанія Google розробила нове доповнення для Google Maps, а саме підтримку для внутрішніх карт, яка називається Live View [22]. Це доповнення дозволяє користувачу пересуватися по торгівельним центрам, аеропортам та іншим великим приміщенням тримаючи телефон та з допомогою камери отримувати голосові повідомлення і відповідне відображення стрілок на екрані телефону. Однією з найважливіших цілей Live View було донести стандартний досвід використання карт Google до вказаних вище популярних приміщень, де не так просто вловити сигнал GPS, а також відсутні дорожні знаки або інші видимі позначки місцезнаходження.

Останніми роками все більше компаній використовують в своїх додатках нейронні мережі. Однак мобільні пристрої накладають свої обмеження на роботу нейромереж, тому при їх використанні кращим вибором стане готове рішення від Google (ML Kit) або розробка і впровадження своєї нейронної мережі за допомогою TensorFlow Lite. Такий додаток для аудіо-навігаційного тифлотехнічного рішення для людей з вадами зору можна розробити, наприклад,шляхом використання системи розпізнавання зображень з нейромережевою архітектурою на основі технології глибинного навчання [23].

Постановка проблеми

Однак, на превеликий жаль, існуючі найбільш перспективні технології Wayfindr та NaviLens, покладені в основу сучасних навігаційних рішень для орієнтації та допомоги людям з вадами зору на маршрутах всередині та зовні приміщень, не відповідають повною мірою потребам користувачів та потребують подальшого розвитку і удосконалення.

Мета

Розглянуті вище підходи диктують необхідність проведення порівняльного аналізу існуючих на сьогодні найбільш ефективних тифлотехнічних аудіо-навігаційних рішень та визначення шляхів їх удосконалення, зокрема, в напрямку подальшого розширення їх функціональних можливостей на основі реакції користувачів.

Аналіз аудіо-навігаційної системи Лос- Анджелес Юніон

У рамках вказаного вище спільного проєкту

було проведено експеримент, метою якого було дослідити та визначити ефективність застосування створеної на основі стандарту Wayfmdr аудіо-навігаційної системи в

громадському транспорті, зокрема, на станції Лос-Анджелес Юніон [24]. До участі у випробуванні було запрошено 53 особи з вадами зору. У групи був рівномірний тендерний розподіл. При цьому близько 20 % учасників були молодшими 35 років; 50 % -- від 35 до 60 років; а решта 30 % були старші 60 років. 45 % учасників були сліпими, а 55 % -- слабозорими. Користувачів із собаками-поводи- рями було 8 (20 %), тоді як решта 80 % були з довгими тростинами.

Зупинимось більш детально на особливостях цього випробовування.

Розроблені інструкції були однаковими для кожного учасника, але передбачали різні рівні деталізації для користувачів з тростинами та собаками-поводирями, а також для тих, хто не використовував ніяких засобів навігації. Додаток було налаштовано на повідомлення інструкцій за 6 м заздалегідь відповідно до рекомендації [14] та, крім того, на генерування повідомлення заспокоєння з інтервалом від 10 до 15 м.

Перший маршрут було розроблено для імітації прибуття особи із вадами зору на станцію на приватному автомобілі (рис. 5).

Рис. 5. Схема першого маршруту [24]

Початкова точка маршруту була за декілька кроків від типової точки висадки, де служби таксі доставляють та забирають пасажирів. Учасникам було поставлено завдання пройти поруч зі стіною та увійти на станцію по золотій лінії. Потім асистенти повертали їх на протилежний бік сходів, щоб продовжувати рух вздовж лівої сторони проходу, поки вони не дійдуть до Східного порталу.

Другий маршрут було розроблено для повернення учасників до асистента: він є

коротшим та простішим (рис. 6).

Учасникам було запропоновано пройти лівою стороною коридору по фіолетовій лінії і повернути до столу асистента поруч із інформаційним бюро по золотій лінії.

У результаті опитування на питання «Вам легко чи складно було прокласти шлях, дотримуючись інструкцій?» 0 % відповіли -- дуже складно, 2 % -- досить складно, 21 % -- не складно та не легко, 57 % -- відповіло легко, 19 % -- дуже легко.

Структура програмного додатку аудіо- навігаційної системи

Алгоритмічні рішення, які визначали наведені вище маршрути руху, були реалізовані із застосуванням програмних продуктів, одним із яких є база даних SQLite з інформацією про макет станції Union Station. Також вона містила в собі шляхові реперні точки та інструкції по пересуванню для користувачів. Набір даних, використаний у цій пробній версії, включав файл SQLite з геометріями SpatiaLite, набір бібліотек Python для експорту даних із бази даних SpatiaLite для створення файлів TRACE, інструкцій, шляхових точок, визначних місць та маршрутів (рис. 7).

Рис. 7. Структура програмного додатку [25]

Усі дані зберігаються в одному файлі SQLite за допомогою структур даних SpatiaLite [26]. Щоб допомогти заповнити та налаштувати базу даних, використовується ряд імпортованих текстових файлів GeoJSON [27], які застосовуються як файли визначення даних цієї бази.

Шар для використання в TRACE та інструкціях визначається як окремий набір таблиць даних, що описують призначення шару.

Усього використовувалось п'ять типів шарів:

а) рівний шар підлоги -- рівна поверхня з подібною висотою;

б) перехідний шар -- шар, який пов'язує два рівні шари підлоги;

в) шар ліфта/ліфта -- шар, який зв'язує кілька плоских підлог;

г) зовнішній шар -- шар, який може знаходитись під сигналами GPS і не є обов'язково плоским.

д) інформаційний шар -- це рівень, який містить адміністративну та іншу інформацію, яка не пов'язана з фізичним рівнем.

Щоб створити відповідний шар, необхідно використовувати зображення плану поверху. Далі використовуючи супутниковий вигляд та растровий плагін Freehand потрібно розмістити зображення підлоги у найбільш підходящому місці на карті.

Порівняльний аналіз технології Wayfindr з аналогом NaviLens

Спільним для обох технологій таке:

в обох випадках використовується власний додаток на смартфоні, який і забезпечує передавання користувачу необхідної аудіо- інформації;

для отримання інформації із навколишнього середовища використовуються або Bluetooth-маяки, або спеціальні кольорові картинки, які нагадують QR-коди.

Особливості обох технологій полягають у такому:

Wayfindr більше приділяє увагу переміщенню користувача в потрібному напрямку в той час, як NaviLens більш націлений на інформування користувача про те, що він вже на місці або де саме знаходиться, а також скільки часу йому слід чекати на транспорт;

смартфон при використанні Wayfindr можна покласти до кишені і спокійно пересуватися; застосовуючи NaviLens потрібно постійно тримати телефон в руках та направляти камеру на смартфоні всліпу навколо себе; при цьому не треба забувати, що час від часу об'єктив камери необхідно протирати для більш якісного і швидкого отримання інформації;

аудіоінформація в NaviLens коротка за фактом та визначається різнокольоровою картинкою; в Wayfindr інформація є більш заспокійливою та визначається поточним Bluetooth-маяком;

NaviLens є більш бюджетною, ніж Wayfindr, адже друк картинок і закріплення їх на стінах об' єктів не потребує таких витрат, як при встановленні Bluetooth-маяків.

Підсумовуючи зазначене вище слід зазначити, що перший і другий способи виконують свою певну функцію, а саме: довести незрячого користувача до платформи метро, де GPS навігації немає. І це досягається за рахунок або Bluetooth маячків, як це зроблено в експерименті Wayfindr, або за допомогою різнокольорових спеціальних картинок NaviLens. В обох випадках необхідні смартфон та спеціальний додаток на телефоні.

Шляхи удосконалення розглянутих технічних рішень

На основі проведеного аналізу відгуків користувачів встановлено, що розглянуті вище додатки на основі технології Wayfindr та NaviLens потребують розширення функціональних можливостей шляхом:

уведення функцій «пауза» та «відтворення», які забезпечують призупинення відтворення голосових інструкцій та відповідно відновлення;

уведення функції «де я?» для заспокоєння;

генерації повідомлення, які стосуються часу або відстані із врахуванням швидкості ходьби. МСЕ F.921 рекомендує повідомлення про запевнення оголошувати кожні 10 м, але для повільних користувачів ця відстань може бути коротшою;

при плануванні додатком маршруту слід також враховувати і особливості дресирування собаки-поводиря та її здатність вести через відкриті простори або вздовж стін, що нерідко призводить до відхилення користувача від заданого маршруту і, як наслідок, появи у нього хвилювань;

зміни тембру голосу та звукових повідомлень при виявленні підвищеної тривожності користувача;

при зміні маршруту руху користувача, що відрізняється від запланованого,перепитувати, чи це є планово і чи слід прокласти маршрут до нової реперної точки або залишити відстеження до поточного кінцевого маршруту, який буде скореговано відносно поточного розташування; користувачам із проблемами орієнтації це вкрай необхідно;

генерації попередження про різку зміну погоди, наприклад, несподіваний дощ, спеку, град тощо, якщо користувач планує пересуватися пішки;

введення режиму «я втомився» для

пропонування маршрутів, які більше

використовують транспорт або пропонування автоматичного виклику таксі від поточної до кінцевої реперних точок, при цьому обов'язково проговорюючи кінцеву точку маршруту;

інтеграції сервісів таксі для замовлення їх з додатку;

виклику при потребі швидкої допомоги, міліції чи пожежників;

використання окрім Bluetooth маяків або кольорових картинок традиційної GPS навігації;

додавання пам'ятних місць, наприклад, дім, робота, відпочинок у лісі тощо, які користувач може запам' ятати в додатку сказавши «збережи це місце під назвою... »;

розрахунку вартості шляху, щоб користувач зміг одразу відкласти цю суму та введення допоміжного режиму оцінки номіналів купюр; при оплаті за допомогою картки введення голосового повідомлення про зняту суму грошей для запобігання шахрайства;

генерації попередження про наявність на маршруті руху події, ярмарку, концерту тощо, щоб користувач мав можливість змінити маршрут і обійти натовп;

уведення голосового керування додатком;

система, яка спирається на додаткові реперні точки, наприклад, у вигляді навколишніх споруд використовуючи нейронну мережу та камеру.



Висновки

Проведено аналіз існуючого стандарту Wayfindr та аудіо-навігаційної системи на його основі, яка використовує Bluetooth в умовах недоступності супутникового зв'язку (відсутності GPS сигналу), як це відбувається, наприклад, в метро на прикладі станції Лос- Анджелес Юніон.

Наведено структуру програмного додатку, яка містить базу даних SQLite з розширенням SpatiaLite для збереження і роботи з геоданими; набір бібліотек Python для експорту необхідної інформації з бази даних; GeoJSON для заповнення та налаштування баз даних. Оскільки цей додаток має відкритий код, це дозволяє при потребі провести його модифікацію.

На основі порівняльного аналізу технологій Wayfindr та NaviLens встановлено їх спільні риси та особливості. Зокрема, спільним є використання власного додатку та наявність на території, де використовується додаток, Bluetooth модулів або спеціальних картинок. Особливістю є використання різної інформації з навколишнього середовища, для першої необхідні Bluetooth маяки, а для другої -- спеціальні картинки, тобто перша технологія використовує Bluetooth модуль на смартфоні, тому телефон можна покласти просто в кишеню, а друга -- використовує камеру, тому телефон потрібно тримати в руках. У першому випадку додаток більш зорієнтований на проведенні користувача по маршруту, а в другому -- в отриманні ще й додаткової інформації про те, де саме знаходиться користувач, як довго чекати транспорт і де неподалік можна відпочити.

На основі проведеного аналізу відгуків користувачів встановлено, що додаток на основі технології Wayfindr та NaviLens потребує розширення функціональних можливостей шляхом введення додаткових наступних функцій: «пауза», «відтворення», «де я?», «вибір напрямку», «час та відстань до кінцевої точки», «виправлення напрямку користувача», «врахування особливостей дресирування собак- поводирів», «зміна повідомлень при тривожності», «попередження про зміну погоди», «я втомився»,

«таксі», «виклик екстреної допомоги», «GPS навігація», «улюблені місця», «вартість шляху», «оцінка номіналів купюр» та «голосове

керування».

Напрямком подальших досліджень є реалізація запропонованих в роботі удосконалень, направлених на розширення функціональних можливостей аудіо-навігаційних технічних рішень.



Література

Vision Loss Expert Group of the Global Burden of Disease Study. (2020). Causes of blindness and vision impairment in 2020 and trends over 30 years: evaluating the prevalence of avoidable blindness in relation to “VISION 2020: the Right to Sight”. Lancet Global Health. DOI:10.1016/S2214-109X(20)30489-7

Slade J., Edwards R. (2015). MyVoice 2015: The view sandex periences of blindan dpartiall ysightedpeop leinthe UK. London.

Ultracane. Retrieved fromhttps://www. ultracane.com/

Hersh, M. A. Johnson, M. A. (2008). Assistive Technology. Retrieved from https://link. springer. com/book/10.1007/978-1-84628-867-8

Matveev V. (2016). Problem yadaptatsy y usovershen stvovany iazhyloisredydliaslepykh y slabovy diashchy khliudei [Problems of adaptation and improvement of the living environment for blind and partially sighted people]. Teorii ataprakty kadyzainu [Theory and practice of design], 10, 93-101. Kyiv: NAU [in Russian].

Amovil. Retrieved fromhttp://www. amovil.es/en

Riehle T. H., Lichter P., Giudice N. A. (2008). Anindoornavigationsystemtosupportthevisuallyi mpaired. // Proceedingsofthe 2008 30th Annual nternational Conferenceofthe IEEE Engineering in Medicine and Biology Society, Vancouver, BC, Canada. 4435-4438.

DOI: 10.1109/IEMBS.2008.4650195

Ahmetovic D., Gleason С ., Ruan С ., Kitani К., Takagi H., Asakawa C. (2016). NavCog: A Navigational Cognitive Assistant for the Blind. 18th International Conferenceon HumanComputer Interaction with Mobile Devicesand Services Florence, Italy, 90-99.

Apostolopoulos I., Fallah N., Folmer E.,

Bekris, K. E. (2012). Integratedon linelocalization and navigation for people with visualimpairmentsusingsmartphone s. //

Proceeding sof the International Conferenceon Robotics and Automation, SaintPaul, MN, USA, 1322-1329. DOI: 10.1145/2499669

Abboud S., Hanassy S., Levy-Tzedek S., Maidenbaum S., Amedi A. (2014). EyeMusic: Introducing a “visual” colorful experience for the blindusin gauditory sensorysu bstitution. Restorative Neurology and Neuroscience, 247257. DOI: 10.1016/j.neubiorev.2013.11.007

Microsoft. Seeing AI. Retrieved from https://www. microsoft.com/en-us/ai/seeing-ai Cameo Chattin. (2018). A mobile application

designedtoimproveclothingchoiceforvisuallyim pairedusers: anapplication of human-centereddesign. A the sissubmittedto the Graduate Council of Texas State University in partialfulfillmentoftherequirementsforthedegree of Master of FineArtswith a Majorin Communication Design

Artamonov Ye. B., Dluzhevskyi A. O.,

Panforov O. V. (2016). Pidkhid do rozrobky kompiuternykhsystemnavchanniainvalidivzoru [Approach to the development of computer systems for the visual impairment]. Naukoiemnitekhnolohii, [Science-based technologies], 30, 156-161. (In Ukrainian)

Audio-based in doorandout doorne twor knavigationsystemforpersonswithvisionimpair ment. Retrieved fromhttps://www.itu.int/rec/ T-REC-F.921-201808-I/en

Real S., Araujo A. (2019). Navigation Systems for the Blind and Visually Impaired: Past Work, Challenges and Open Problems. Sensors. https://doi.org/10.3390/s19153404

NaviLens. Technology for the visually

impaired. Retrieved from

https://www.navilens.com/

NaviLens -- the navigation and labelling app empowering people with sight loss. Retrieved fromhttps://www.rnib.org.uk/sight-loss- advice/technology-and-useful- products/technology-resource-hub-latest-facts- tips-and-guides/technology-guides-everyday- living/navilens

NaviLens -- the next generation QR code for a smart and inclusive mobility. Retrieved fromhttps://tomorrow.city/a/navilens-navilens- the-next-generation-qr-code-for-a-smart-and- inclusive

Poliakov A. O., Radchenko K. M. (2017-2018).

Aparatno-prohramnyi kompleks

navihatsiidlialiudei z invalidnistiuzazorom. Nauko varobotadliauchasti u Vseukrain skomukonkursistudentskykhtanaukovykhrobit z pryrodnychykh, tekhnichnykh i human itarnykhnauk u haluzi «Elektronika» [Hardware and software navigation system for the visually impaired. Scientific work for participation in the All-Ukrainian competition of student and

scientific works in natural, technical and human sciences in the field of “Electronics”] Retrieved fromhttp://inel.stu.cn.ua/konkurs/2018/Blind Navigation.pdf Kyiv: NAU (in Ukrainian)

ARCore. Retrieved fromhttps://developer. apple.com/augmented-reality/

ARKit. Retrieved from https://developer. apple.com/augmented-reality/

Indoor Live View. Retrieved fromhttps:// www.google.com/maps/about/partners/indoormaps/

T. V. Kholiavkina, Ya. O. Rezaiev, O. O. Kharchenko. (2020). Systema rozpiznavannia zobrazhen z neiromerezhe voiuarkhite kturo iunao snovitekhnolohiihlybynnohonavchannia [Image recognition system with neural network architecture based on deep learning technology]. Nauko iemni tekhnolohii [Science-based technologies], 50, 101-106. (in Ukrainian)

ArielWesler. (2019). Indoor GPS CouldHelp Visually Impaired Riders Navigate Union Station. Los Angeles. Retrieved fromhttps://spectrumnews1.com/ca/la- west/news/2019/05/08/indoor-gps-could-help- visually-impaired-riders-navigate-union-station Open Standard forAudio-basedWayfinding. (2018). Retrieved from http://www.wayfindr. net/wp-content/uploads/2018/07/Wayfindr- Open-Standard-Rec-2.0.pdf

Spatia Liteis a spatialextension to SQLite,

providingvectorgeodatabasefunctionality. Retrieved fromhttps ://live .osgeo .org/en/ overview/spatialite_overview.html

GeoJSONis a formatforencoding a varietyofgeographicdatastructures. Retrieved

fromhttps://geojson.org/

Размещено на Allbest.ru