Разработка системы дополненной реальности с поддержкой распознавания жестов в режиме реального времени

Размещено на http://www.allbest.ru/

Оглавление

Введение

1. Дополненная реальность

1.1 Определение дополненной реальности

1.2 Классификация систем дополненной реальности

1.3 AR устройства

1.3.1 Дисплеи

1.3.2 Устройства ввода

1.3.3 Устройства отслеживания

1.3.4 Компьютер

1.4 AR интерфейсы

1.4.1 Материальный AR интерфейс

1.4.2 Совместный AR интерфейс

1.4.3 Гибридный AR интерфейс

1.4.4 Мультимодальный AR интерфейс

1.5 Мобильные системы дополненной реальности

1.5.1 Социально приемлемые технологии

1.5.2 Персональные системы

1.5.3 Технологии отслеживания для мобильных систем

1.6 Обзор существующих приложений

1.6.1 Рекламные и коммерческие приложения

1.6.2 Развлекательные и образовательные приложения

1.6.3 Специализированные приложения

1.6.4 Мобильные AR приложения

2. Взаимодействие с виртуальными объектами

2.1 Общая характеристика

2.2 Основные концепции взаимодействий

2.2.1 Взаимодействие с помощью сенсорного экрана

2.2.2 Основанная на устройстве концепция

2.2.3 Основанная на жестах концепция

2.4 Взаимодействие с виртуальными объектами, интегрированными в физическое окружение

2.4.1 Виды взаимодействий

3. Разработка прототипа

3.1 Выбор Фреймворка для разработки системы

3.1.1 Обзор альтернатив

3.1.2 Таблица альтернатив и критериев

3.2 Проектирование системы

3.2.1 Архитектура

3.2.2 Разработка системы

3.3 Надежность

4. Экономическая часть

5. Охрана труда

5.1 Общие положения

5.2 Влияние мобильных устройств на здоровье человека

Заключение

Список литературы

Приложение

Введение

В мобильной дополненной реальности (AR), пользователи смотрят на прямое изображение, полученное с видеокамеры на их мобильном устройстве и сцены, которые они видят (т.е. реальный мир) обогащаются (дополняются) интегрированными трехмерными виртуальными объектами (т.е. дополненной реальности). Эта технология имеет огромный потенциал в таких областях, как реклама, развлечения, культурно-выставочная сфера и т.д.

Если виртуальный объект просто накладывается на реальное изображение, а не интегрируется в него, то для создания среды дополненной реальности могут быть использованы дополнительные сенсоры, присутствующие в современных мобильных устройствах, такие как акселерометр, компас, GPS. Используя информацию о местоположении, пользователь может перемещаться по миру дополненной реальности. Если виртуальные объекты имеют непосредственную связь с реальным миром, большую чем просто глобальное положение, например виртуальное здание, построенное на реальном пустыре, то для такой дополненной реальности необходима дополнительная информация, такая как границы пустыря и его размеры. Получение этой дополнительной информации обычно достигается при помощи специальных маркеров или с помощью специальных функций распознавания.

Для того чтобы в полной мере раскрыть потенциал дополненной реальности на мобильных устройствах, необходимо предоставить пользователю возможность создавать, изменять и взаимодействовать с виртуальными объектами в трехмерном пространстве. Тем не менее, текущее взаимодействие пользователя с виртуальной средой ограничивается двумерными манипуляциями с экраном устройства.

В связи с этим появляются некоторые проблемы:

- Пользователи должны держать устройство направленным на месторасположение виртуального объекта в реальном мире, при этом взаимодействие может быть неудобным;

- В дополненной реальности размер виртуальных объектов продиктован реальным окружением, и он может быть слишком мал для удобного управления с помощью сенсорного экрана;

- Пространственные взаимодействия, такие, как помещение виртуального объекта в конкретную точку, должны осуществляться с помощью двумерных операций на экране;

- При сочетании реальных и виртуальных объектов, пользователю приходиться постоянно переключаться между манипуляциями с реальным объектом в физическом окружении и взаимодействием с виртуальным объектом посредствам сенсорного экрана.

Решением этих проблем является распознавание жестов пользователя. Очевидно, что наиболее выгодный вариант для сохранения всего потенциала технологии дополненной реальности является совмещение двухмерных манипуляций на экране и трехмерных манипуляций в реальном мире. Это позволит реализовать естественное и удобное взаимодействие.

Постановка задачи

Актуальность

Технология дополненной реальности с каждым днем становится все более и более популярной и все чаще используются в различных областях. Эта технология имеет большой потенциал и поэтому она активно развивается.

При взаимодействии с объектами в дополненной реальности на мобильных телефонах пользователь смотрит на реальный мир через камеру своего устройства и при этом изображение дополняется виртуальными объектами, интегрированными в физическое окружение. Чаще всего взаимодействие с пользователем в таких приложениях ограничивается обычными нажатиями по экрану, как и в обычных приложениях. Такое взаимодействие с виртуальными объектами является ограниченным и не удобным, например, из-за маленького размера экрана устройства.

Для устранения этой проблемы требуется реализация альтернативных методов взаимодействия.

Указанные обстоятельства определяют актуальность и практическую значимость данной работы.

Цель дипломной работы

Целью настоящей дипломной работы является исследование, и разработка системы дополненной реальности с поддержкой распознавания жестов в режиме реального времени.

Перечень решаемых задач

Для достижения поставленной цели необходимо решение следующих задач:

- обзор существующих решений;

- исследование требований, методов и алгоритмов решения поставленной задачи;

- разработка структуры программного обеспечения;

- создание опытного образца программного обеспечения.

1. Дополненная реальность

1.1 Определение дополненной реальности

Термин дополненной реальности (augmented reality, AR) предположительно был предложен работавшим на корпорацию Boeing исследователем Томом Коделом в 1990 г.

Важно понимать различия между дополненной реальностью и смешанной реальностью. В широком смысле дополненная реальность представляет собой процесс просмотра реального мира и виртуальных объектов одновременно, где виртуальная информация накладывается, выравнивается и интегрируется в физическом мире. В литературе по человеко-машинному взаимодействию дополненная реальность находится в непрерывном диапазоне интерфейсов от "реальности" до виртуальной реальности "полного погружения" (Рисунок 1).

Рисунок 1. Диапазон технологий смешанной реальности.

Существенным отличием дополненной реальности от виртуальной является сохранение физического мира как контекста, в котором представлены виртуальные объекты и с которым они взаимодействуют. Виртуальная реальность полностью абстрагируется от физического мира, чтобы поместить пользователя полностью в виртуальный мир. Виртуальная реальность использует специальные позиционные трекеры с дисплеями (очки виртуальной реальности), которые динамически обновляют видимое пользователем пространство в виртуальной среде. Важно понимать, что дополненная реальность полностью меняет это парадигму, и в итоге виртуальные объекты размещаются реальном окружении пользователя.

Таким образом, дополненная реальность (augmented reality) - это технологии, позволяющие дополнять изображение реальных объектов различными объектами компьютерной графики, а также совмещать изображения, полученные от разных источников компьютерной среды: видеокамер, акселерометров, компасов и т.д. Схема среды дополненной реальности представлена на рисунке 2.

В отличие от "виртуальной реальности", которая предполагает полностью искусственный синтезированный мир (видеоряд), дополненная реальность предполагает интеграцию виртуальных объектов в естественные видеосцены.

Рисунок 2. Схема среды дополненной реальности.

Рональд Азума (Ronald Azuma) [1] выделил ряд признаков, которыми должна обладать расширенная реальность:

1) комбинирование реального и виртуального мира;

2) интерактивность;

3) трехмерное представление объектов.

1.2 Классификация систем дополненной реальности

Человек получает представление об окружающем пространстве с помощью большого набора органов чувств. Система дополненной реальности, являясь посредником между человеком и реальностью, должна создавать сигнал для одного из таких органов. Таким образом, по типу представления информации системы дополненной реальности бывают:

1. Визуальные. В их основе лежит зрительное восприятие человека. Задача таких систем - создать изображение, которое будет использовано человеком. Поскольку изображение для человека является более информативным и понятным, такой вид систем является более распространенным.

2. Аудио. Такие системы ориентированы на слуховое восприятие. Особенности таких систем рассматриваются в работе [2]. Чаще всего такие системы используются в навигации. Например, они выдают специальные сигналы, когда человек достигает определенного места. Возможно использование стереоскопического эффекта, позволяющего человеку идти в нужном направлении, ориентируясь на источник звука. Примером такой системы является Hear&There [3].

3. Аудиовизуальные. Это комбинация двух предыдущих типов, однако, аудиоинформация в них имеет лишь вспомогательный характер.

Системы дополненной реальности всегда нуждаются в информации, получаемой из окружающей среды. Именно на основе этих данных строятся виртуальные объекты. Каждая из таких систем обладает определенным набором сенсоров - устройств, позволяющих собирать информацию из окружающей среды: звуковые и электромагнитные колебания, ускорение и т.д. Для классификации имеет смысл разделять сенсоры не по типам регистрируемых физических величин, а по их назначению, поскольку сходные по своей природе сигналы могут нести различную информацию. По типу сенсоров можно выделить следующие системы:

1. Геопозиционные. Ориентируются, прежде всего, на сигналы систем позиционирования GPS [5] или ГЛОНАСС [6]. В дополнение к приемникам таких сигналов геопозиционные системы могут использовать компас и акселерометр для определения угла поворота относительно вертикали и азимута.

2. Оптические. Такие системы обрабатывают изображение, полученное с камеры, которые могут перемещаться вместе с системой или вне зависимости от нее.

Системы дополненной реальности можно различать по степени взаимодействия с пользователем. В некоторых системах пользователь играет пассивную роль, он лишь наблюдает за реакцией системы на изменения в окружающей среде. Другие же системы требуют активного вмешательства пользователя - он может управлять как работой самой системы для достижения результатов, так и изменять виртуальные объекты. По этому признаку системы делятся на:

1. Автономные. Они не требуют вмешательства пользователя. Задача таких систем сводится к предоставлению информации об объектах. Например, подобные системы могут анализировать объекты, находящиеся в поле зрения человека и выдавать справочную информацию о них. Также системы такого типа используются в медицине. Например, система Gait Aid [6] для людей с нарушениями опорно-двигательного аппарата. Она путем использования виртуальных объектов предоставляет мозгу дополнительную информацию, помогающую координировать движения.

2. Интерактивные. Такие системы основаны на взаимодействии с пользователем. На различные действия пользователь получает различный ответ. В подобных системах необходимо устройство ввода информации. В качестве такого устройства может применяться сенсорный экран мобильного телефона, планшет или специальный манипулятор. Выбор устройств ввода зависит от специфики системы. В случае простых действий с виртуальным объектом, достаточно простого указывающего устройства. Если же необходима имитация каких-либо реальных процессов и выполнения сложных манипуляций с объектами используются специальные манипуляторы, имеющие различное количество степеней свободы. Примером могут служить устройства PHANTOM [10].

Интерактивность выражается в различной степени. Бывают системы, позволяющие пользователю активно изменять виртуальную среду [7]. Обычно это системы-симуляторы каких-либо реальных действий. Они используются в случае, когда использование реальных объектов невозможно, например, специализированные медицинские тренажеры, позволяющие начинающим врачам отрабатывать необходимые навыки [9].

Существуют другие системы, где пользователю не нужно изменять виртуальную среду. Вместо этого пользователь выбирает, какие виртуальные объекты он хочет увидеть. Пользователь также имеет возможность манипулировать виртуальными объектами, но не на уровне структуры, а на уровне отображения, т.е. применять, например аффинные преобразования типа поворота, перемещения и т.д. К данной группе можно отнести различные архитектурные системы [8], позволяющие увидеть, как впишется в реально существующую обстановку новое сооружение или его часть, а также навигационные и геоинформационные системы [10]. Подобные системы могут показывать части объектов интереса, скрытые другими постройками, дополнительную информацию о выбранных объектах и т.д.

По степени мобильности системы дополненной реальности можно классифицировать как:

1. Стационарные. Системы этого типа предназначены для работы в фиксированном месте; перемещение таких систем означает частичную или полную приостановке их работоспособности.

2. Мобильные. Системы этого типа могут без труда перемещаться; зачастую такое перемещение и лежит в основе выполняемой ими функции.

Принадлежность к тому или иному типу определяется функциями системы. Так, симулятор хирургического стола не должен быть мобильным, поскольку его задача - воссоздать для человека специальные условия, максимально приближенных к реальным. В то же время навигационная система должна быть как можно более мобильной, чтобы она могла перемещаться вместе с транспортным средством или человеком, не создавая дополнительных расходов на ее перемещение.

1.3 AR устройства

Основными устройствами, используемым в системах дополненной реальности являются дисплеи, устройства ввода, устройства отслеживания и компьютер.

1.3.1 Дисплеи

Существует три основных типа дисплеев, используемых в дополненной реальности: head mounted displays (HMD), ручные дисплеи и пространственные.

Рисунок 3. Оптико-прозрачный HMD

HMD является устройством, которое закрепляется на голове пользователя, либо на специальном шлеме и помещает изображения реальной и виртуальной среды перед глазами пользователя. HMD может быть либо видео-прозрачным или оптико-прозрачным (рисунок 3). Видео-прозрачной системы более требовательны, чем оптико-прозрачные так, как они требуют, чтобы пользователь носил две камеры на голове, а следовательно обработки данных с обеих камер, чтобы отображать как "реальную часть" дополненной сцены, так и виртуальные объекты. В это время оптико-прозрачные системы используют технологию половины серебряного зеркала позволяющую смотреть на реальный физический мир через специальную "линзу" накладывающую дополнительную графическую информацию. Сцена, а также реальный мир в такой системе воспринимаются более естественно. С другой стороны, в видео-прозрачных системах дополненная реальность уже изначально совмещена с реальной, что дает гораздо больше контроля над результатом. Таким образом, контроль над временем конечной сцены может быть достигнут путем синхронизации виртуального изображения до его отображения. В оптически-прозрачном варианте, отображение реального мира не может быть замедлено, однако это приводит к задержке при введении в систему, графики и обработке изображений.

Под ручными дисплеями понимаются небольшие вычислительные устройства с дисплеем, которые пользователь может держать в руках. Они используют видео-прозрачные методы для наложения графики на реальную среду, а так же используют дополнительные датчики, такие как компас, GPS и акселерометр. Для реализации систем дополненной реальности часто используются системы распознавания маркеров, такие как ARToolKit, или методы компьютерного зрения, такие как SLAM. Такими устройствами могут быть: смартфоны, КПК и планшетных ПК [11]. Смартфоны портативные и широко распространённые устройства, сочетающие мощный процессор, камеру, набор необходимых сенсоров, что делает их очень перспективной платформой для AR систем. Планшетные ПК намного более мощные, чем смартфоны, но они значительно дороже и слишком тяжелые для длительного использования. Однако с развитием технологий планшеты становятся все более перспективной платформой для работы с дополненной реальностью.

Пространственная дополненная реальность (SAR) с использованием видеопроекторов, оптических элементов, голограмм, и других технологий предоставляет графическую информацию непосредственно на физические объекты, не требуя от пользователя носить или держать дисплей [12].

Пространственные дисплеи отделяют большинство технологий от пользователя и интегрируют их в окружающую среду. Это позволяет SAR естественно масштабироваться до групп пользователей, что позволяет осуществлять их совместную работу, повышая интерес к таким систем дополненной реальности в университетах, лабораториях, музеях. Существуют три различных подхода к SAR, которые в основном отличаются по способу дополнения окружающей среды: видео-прозрачный, оптико-прозрачный и прямого дополнения. Видео-прозрачные SAR строятся на основе экрана, общего для использования. Оптически-прозрачные пространственные дисплеи генерируют изображения, которые совмещены в пределах физической среды. Пространственные оптические технологии, такие как плоские или изогнутые зеркала светоделители, прозрачные экраны или оптических голограммы являются важными компонентами таких систем [12]. Как и видео-прозрачные дисплеи, построенные на базе оптико-прозрачных технологий системы не поддерживают мобильных приложений за счет пространственно-выровненной оптики и технологии дисплеев.

В таблице 1 представлено сравнение различных типов дисплеев.

Таблица 1. Сравнение различных типов дисплеев.

Тип	HMD	Ручной	Пространственные
Технология	Видеопрозрачный	Оптико-прозрачный	Видеопрозрачный	Видеопрозрачные	Оптико-прозрачные	Прямое дополнение
Достоинства	визуальный контроль, синхронизация виртуального и реального окружения, Ожидание обработки видеопотока с камер	технология половины серебряного зеркала, натуральное восприятие реального окружения	портативный, мощный, сочетание многих датчиков	Цена, Может быть адаптирован для стандартного оборудования	Наиболее натуральное восприятие реальных объектов	Отображение прямо на поверхности физически объектов
Недостатки	Необходимо закреплять устройства на голове, Ненатурально восприятие реального окружения	Временная задержка, Дрожание виртуальных элементов	Маленький дисплей, Вес(для планшетов)	Не поддерживает мобильные системы	Не поддерживает мобильные системы	Не зависит от пользователя (все видят одно и тоже)

1.3.2 Устройства ввода

Есть много типов устройств ввода для AR систем. Некоторые системы используют перчатки. Другие, такие как ReachMedia [13] используют беспроводные браслета. В случае смартфонов, телефон сам по себе может быть использован в качестве указательного устройства, например, в приложении Google Sky Map на Android телефон требует от пользователя направить камеру в направлении звезды или планеты, о которой он хочет узнать. Выбор устройств ввода в значительной степени зависит от типа разрабатываемой системы и типа выбранного дисплея. Например, если приложение требует, чтобы руки пользователя были свободными, устройства ввода будут выбраны соответственно Аналогичным образом, если система использует портативный дисплей, разработчики могут использовать в качестве устройства ввода сенсорный экран.

1.3.3 Устройства отслеживания

Устройствами слежения являются цифровые камеры или другие оптические датчики, GPS, акселерометры, компасы, беспроводные датчики и т.д. Каждая из этих технологий имеет различную степень точности и во многом зависит от типа разрабатываемой системы. В [14], авторы определили основные технологии отслеживания дополненной реальности: механическая, магнитная, GPS, ультразвуковая, инерциальная и оптическая.

1.3.4 Компьютер

Система дополненной реальности должна обладать мощным процессором и иметь достаточный объем оперативной и видео памяти для обработки изображений с камеры. С развитием технологий и появлением новых портативных и одновременно мощных устройств, таких как смартфоны и планшетные ПК, проблема недостатка мощности отошла на второй план.

1.4 AR интерфейсы

Один из наиболее важных аспектов при создании систем дополненной реальности - это создать соответствующий интуитивно понятный интерфейс между пользователем и виртуальными объектами в системе. Существуют четыре основных способа взаимодействия в приложениях AR: материальный AR интерфейс, совместный AR интерфейс, гибридные AR интерфейс, и новые мультимодальных интерфейсы.

1.4.1 Материальный AR интерфейс

Материальные интерфейсы поддерживают прямое взаимодействие с реальным миром, с использованием реальных физических объектов и инструментов. Классическим примером материальных пользовательских интерфейсов является VOMAR приложение, разработанное компанией Kato [15], которое позволяет человеку выбрать и переставить мебель в комнате в дополненной реальности с помощью реального, физического интуитивно понятного жеста. Жесты на основе команд, таких как "зачерпнуть" объект, чтобы выбрать его для движения или "удара" по нему, для отмены.

Еще один пример материального пользовательского интерфейса AR является TaPuMa [16].

TaPuMa является настольным интерфейсом, использующим физические объекты для взаимодействия с цифровым миром. Используя реальные объекты, которые пользователь носит с собой, в качестве запросов для поиска мест или информации на карте.

Преимущество такого приложения является, использование объектов в качестве ключевых слов, что устраняет языковой барьер обычного графического интерфейса (хотя большинство из них имеют мульти языковую версию, они часто бывают неправильно переведены).

С другой стороны, использование объектов как ключевых слов, может быть неоднозначным, из-за многих возможных трактовок.

Другим примером ощутимого взаимодействия AR является использование перчаток или специальных браслетов.

1.4.2 Совместный AR интерфейс

Совместные AR интерфейсы включают в себя использование нескольких дисплеев для поддержки удаленной совместной деятельности. Для создания совместной рабочей области используются 3D интерфейс. В удаленном обмене, AR может легко интегрироваться из несколько устройств из нескольких мест для проведения телеконференций.

Пример такого интерфейса может быть Studierstube. При первом представлении Studierstube в [17], разработчики представили интерфейс, который "использует совместную дополненную реальность для объединения нескольких пользовательский интерфейсов: Многопользовательского, контекстного и регионного, а также приложений, 3D-окн, хостов, дисплейных платформ и операционных систем".

Удаленный обмен может быть использован для улучшения телеконференций [18]. Такие интерфейсы могут быть интегрированы с медицинскими приложениями для выполнения диагностики, операций.

1.4.3 Гибридный AR интерфейс

Гибридные интерфейсы сочетают особенности различных, но взаимодополняющих интерфейсов, а также возможность взаимодействовать с помощью широкого спектра устройств. Они обеспечивают гибкую платформу для незапланированного, ежедневного взаимодействия, когда не известно заранее, какой тип дисплея или устройства будет использоваться. В работе [19], разработан гибридный интерфейс пользователя с помощью HMD дисплея, обрабатывающего не только видео, но и звук.

1.4.4 Мультимодальный AR интерфейс

Мультимодальные интерфейсы объединяют реальные формы устройств ввода с натуральными формами языка и поведения, такими как речь, осязание, жесты рукой или направление взгляда. Эти типы интерфейсов в последнее время наиболее популярны. Примером является "six sense" - разработанный в MIT [20] интерфейс жестов, называемый WUW. WUW предоставляет пользователю информацию, которая проецируется на различные поверхности, а взаимодействие осуществляется через естественные жесты рук, движения пользоателя или непосредственные манипуляции с самим объектом. В другом примере мультимодального взаимодействия [21] используется распознавание взгляда пользователя. Этот тип взаимодействия настоящее время быстро развивается и, несомненно, будет одним из предпочтительных типов взаимодействия в будущем, поскольку он предлагает относительно надежную, эффективную и очень мобильную форму взаимодействия человека с компьютером. В мультимодальной системе есть возможность гибко сочетать типы взаимодействия или переключаться с одного режима ввода к другому в зависимости от задачи или настройки. Кроме того, мультимодальные интерфейсы могут обеспечивать свободу выбора режима взаимодействия для пользователя в зависимости от контекста (общественное место, музей, библиотека и т.д.). Это свобода выбора способа взаимодействия имеет решающее значение для более широкого распространения систем дополненной реальности в общественных местах.

1.5 Мобильные системы дополненной реальности

Мобильные системы дополненной реальности включают в себя мобильные приложения для телефонов. Мобильные AR подразумевают использование различных мобильных интерфейсов для взаимодействия пользователя с виртуальными, данными, дополняющими реальный мир. Использование мобильных телефонов для дополненной реальности имеет как преимущества так и недостатки. Большинство мобильных устройств в настоящее время оборудовано камерами, что делает мобильный телефон одной из наиболее удобных платформ для реализации систем дополненной реальности. Кроме того, большинство сотовых телефонов имеют дополнительные встроенные датчики такие как: акселерометры, магнитометры и GPS-приемники, которые могут улучшить работу AR приложения. Но, несмотря на быстрый прогресс в развитии мобильных телефонов, их вычислительная мощность для сложных приложений по-прежнему довольно мала. В результате, во многих приложениях используется клиент-серверная архитектура, когда данные передают на удаленный компьютер, который производит вычисления и отправляет результат обратно на мобильное устройство. Но при таком подходе может возникнуть проблема ограниченной пропускной способности, а это может быть критичным для сложных AR систем. Тем не менее, с учетом быстрого развития мобильных технологий, эта проблема вскоре может быть решена, а это значит, что скоро появится возможность создания приложений, обрабатывающих данные для AR локально в реальном времени.

Успешной мобильной AR системой, как приложения, является система которая позволяет пользователю сосредоточиться на самом функционале системы, реализует взаимодействие с устройством в натуральном и социально приемлемом виде, а также предоставляет пользователю дополнительную полезную информацию. Это указывает на необходимость разработки в легких, портативных мобильных устройствах обладающих достаточной мощностью для сложных вычислений и высокими характеристиками датчиков для, надежного слежения и распознавания.

1.5.1 Социально приемлемые технологии

Многие исследовательские группы поднимали проблему социально приемлемых технологий. Мобильные системы, постоянно сталкиваются с проблемой социального признания при переходе из лабораторий к потребителям. Для систем, чтобы быть успешным на рынке, разработчики должны учитывать не только технические данные, но также и эргономические и эстетические показатели систем.

1.5.2 Персональные системы

Мобильные системы дополненной реальности должны быть личными, это означает, что отображаемая информация должна быть доступна другим людям, только с разрешения самого пользователя. Разработанная в MIT система "six sense" [20] хоть и очень продвинутая, но не предоставляет высокой степени конфиденциальности для своих пользователей. Из-за использование прямого функционального дополнения техники без использования каких-либо устройств для защиты информации, любой желающий может увидеть то же самое, что и пользователь. Это создает дилемму: отсутствие дополнительных устройств делает WUW удобным и стильным устройством, привлекательным для пользователя; однако, это пагубно влияет на конфиденциальность.

1.5.3 Технологии отслеживания для мобильных систем

Хорошо известно, что для качественных AR систем, чтобы предоставить реалистичный результат требуется очень точно отслеживать реальную среду для дальнейшей интеграции в нее виртуальных объектов. Наиболее распространенный тип системы слежения для мобильных систем - это слежение путем комбинирования данных поступающих с нескольких датчиков. В уличных системах в основном используют GPS или инерционные методы отслеживания с помощью акселерометров, гироскопов, компасов и других датчиков, наряду с методами компьютерного зрения. Система GPS обеспечивает простоту отслеживания, несмотря на малую точность. Для более точной оценки положение пользователя и его ориентация GPS используется в сочетании с различными инерциальными датчиками.

Таким образом, точки интереса пользователя сужаются, и это позволяет упростить визуальное отслеживание. В помещении GPS обладает плохими показателями, а следовательно не может быть использована, поэтому используются только визуальные и инерционные методы. Сочетание этих методов имеет свои особенности: визуальное отслеживание достигает наилучших результатов при низкой частоте движения, а инерциальные датчики лучше работают при высокой частоте движения. Во время медленного движения они не дают хороших результатов из-за шума и дрейфа смещения. Взаимодополняющий характер этих систем приводит к совместному их использованию в большинстве гибридных систем.

Некоторые системы полагаются только на компьютерное зрение[21], но большинство из них рассчитаны на работу в помещениях, где окружающая среда легко контролируется. Когда дело доходит до визуального отслеживания на улице, появляются внешние факторы, которые значительно усложняют задачу. Одина из самых "продвинутых" мобильных систем является Google Goggles [22]; эта система может: распознавать объекты простой формы, например, штрих-коды или книги; определять местоположение и направление движения, благодаря GPS и акселерометру, которые помогают системе определить направление взгляда, чтобы сузить точку интереса.

1.6 Обзор существующих приложений

Хотя существует множество инновационных способов использования дополненной реальности, можно выделить четыре типа приложений, в которых чаще всего используются AR технологии: рекламные и коммерческие, развлекательные и образовательные, специализированные и мобильное приложения.

1.6.1 Рекламные и коммерческие приложения

Дополненная реальность в основном используется маркетологами для продвижения новых продуктов. Большинство приложений используют маркеры, которые пользователь размещает перед камерой, специальное программное обеспечение распознает его и дополняет какой-либо информацией. Так, например, в декабре 2008 года известная автомобильная компания, MINI [23], использовала дополненную реальность для рекламы в нескольких немецких автомобильных журналах [24]. Читатель просто мог зайти на сайт MINI [23], поместить объявление перед камерой, и 3-D модель MINI появлялась на экране, как показано на рисунке 4. Beyond Reality [25] выпустили рекламный журнал, страницы которого являются маркерами и могут быть распознаны специальным программным обеспечением на сайте, Обработка маркера является отправной точкой для игры в дополненной реальности. В последствии в такую систему добавляются "платные" варианты программного обеспечение, которые позволяют пользователю получить дополнительные возможности.

Рисунок 4. Рекламное приложение для MINI

Дополненная реальность также является решением проблемы в построении и представлении макетов. Действительно, производители сталкиваются с необходимостью, при дорогостоящем производстве продукта, выявлять, до коммерциализации, необходимые изменения или просто продемонстрировать макет и определить, соответствует ли продукт ожиданиям. Если принимается решение о внесении изменений, обычно приходится изготавливать новый прототип, что означает дополнительные затраты времени и денег. Группа при Институте Промышленной Технологий и Автоматики (ITIA) Национального Совета Исследований (CNR) Италии [26] в Милане работает с AR и VR системами в качестве инструмента для виртуального прототипирования. ITIA-CNR-участвует в исследованиях промышленных систем и приложений, которые с помощью VR и AR, в реальном времени, используют 3D-моделирование для тестирования продуктов, их развития и оценки (рисунок 5).

Рисунок 5. Виртуальный прототип фабрики

1.6.2 Развлекательные и образовательные приложения

Развлекательная и образовательная область включает в себя "культурные" приложения для осмотра достопримечательностей и музейные путеводители, игровые приложения представляют собой традиционные игры с добавлением AR интерфейсов. Так же в эту группу можно включить мобильные приложения, которые используют AR для развлекательных или образовательных целей.

Среди "культурных" приложений, существует несколько систем, в которых AR используются для реконструкции древних руин, например, в [28] (рисунок 6) или для предоставления виртуальной исторической справки [29].



Рисунок 6. Реконструкция древних руин с помощью AR

Есть также несколько систем, которые используют AR для музейных путеводителей, такие как [29]. В [29], авторы использовали преимущества дополненной реальности, в качестве интерфейса предоставляющего эффективное взаимодействие с пользователем через мультимедийные презентаций, естественную и интуитивно понятную техника и низкие эксплуатационные расходы на приобретение технологии для музея в случае использования смартфона в качестве интерфейса. И действительно, использование смартфона или другого мобильного устройства - более функциональный и совершенный метод, чем поиск экспоната по номеру в путеводителе, особенно когда почти у каждого посетителя музея имеется свое собственное мобильное устройство (рисунок 7).

Рисунок 7. Мобильное AR приложение для музея

AR может также использоваться для обучения. В области образования системы дополненной реальности могут иметь широкое применение во многих областях, таких как история, математика и т.д. Например, Mark Billinghurst [30] разработал Magic Book, книга, страницы которой включены простые технологии AR, для того, чтобы сделать чтение более увлекательным. Malaka [31] создали мобильную систему дополненной реальности, используя их ранние разработки из проекта GEIST. Они создали приложение для оказания помощи пользователям при изучении истории с помощью игры-рассказа, в которой пользователь должен освободить призрак из прошлого.

Рисунок 8. AR игра ARCC

Игровые приложения с дополненной реальностью имеют много преимуществ перед традиционными играми. Например, способность введения анимации и других мультимедийных эффектов может не только добавить интереса к игре, но также может служить для обучения игроков. В работе [30], авторы реализовали с помощью дополненной реальности китайскую игру в шашки, которая называется ARCC (рис. 8).

И здесь, дополненная реальность не в полной мере достигла своего потенциала, чтобы выйти на рынок. Например, приведенные музейные системы наведения были разработаны применимо только к конкретному музею или выставке. Это связано с тем, что системы опирались на окружающую среду музея или выставки для распознавания, в отличие от обнаружения объектов исключительно используя алгоритмы компьютерного зрения.

Как было видно из методов компьютерного зрения в разделе AR, некоторые объекты имеют неправильную форму и, хотя, это может показаться легким для человека, но распознавание произвольных образов очень сложный процесс для компьютера.

1.6.3 Специализированные приложения

Существует достаточно широкий спектр областей науки и техники, в которых может применяться дополненная реальность.

Однако в первую очередь можно выделить следующие из них:

1) Медицина;

2) Сервисные приложения

3) Картография и ГИС.

В медицине технологии дополненной реальности востребованы для создания реалистичных тренажеров. Это позволяет врачам, практиковаться в проведении, различного рода, хирургических операции? на тренажере, создающем условия, максимально приближенные к реальным, и только затем начинать работать с пациентами. При этом интерактивность и реалистичность тренажеров будут гарантировать правильность действий врача при проведении реальной операции. В качестве примера может рассматриваться система BoneSim [32]позволяющая имитировать операции на костной ткани.

В качестве примера сервисных приложений можно привести систему компании BMW для ремонта автомобилей [33].

В картографии и ГИС дополненная реальность стала востребована в связи с широким распространением мобильных устройств оснащенных большим количеством датчиков. Так, подобные системы могут идентифицировать окружающие объекты, позволяя человеку с легкостью ориентироваться в пространстве. В качестве примера можно привести сервис Layar [34] позволяющий получать в реальном времени доступ к информации об окружающем мире через камеру мобильного телефона. Это может быть информация о кафе, ресторанах, гостиницах и так далее.

1.6.4 Мобильные AR приложения

Мобильные приложения дополненной реальности чаще всего являются развлекательными, образовательными, навигационными или информационные.

Например приложение WikitudeDrive [35], которое представляет собой навигатор, который позволяет пользователю видеть дорогу во то время когда тот смотрит маршрут на навигаторе (рисунок 9, слева); Пожарный 360 - развлекательная программа, позволяющая пользователю бороться виртуальным огнем как настоящему пожарному (рисунок 9, справа), и Le Bar гид, навигационное приложение, помогающее пользователю найти ближайший бар, где подают пиво Stella Artois.

В связи с относительной новизной AR для мобильных приложений, в настоящее время еще только начинают появляться библиотеки для создания мобильных дополненной реальности. Но они постоянно развиваются.

Рисунок 8. Примеры мобильных приложений. WikitudeDrive (слева) и Пожарный 360 (справа)

Мобильные AR приложения являются одними из немногих приложений с дополненной реальностью, которые могут дойти до широкой публики. Тем не менее, даже эти приложения сталкиваются с некоторыми проблемами. Существуют, проблемы, связанные с GPS-датчиками, которые могут быть не достаточно точными когда необходимо точно разместить виртуальные тэги. Есть проблемы связанные с ограниченными возможностями аппаратной части, так как требуется высокая мощность для обработки изображений. Что касается программной стороной, существуют проблемы с доступом к видео API, связанные с закрытостью. Тем не менее, современные тенденции приводят к все большей популяризации открытых систем, что упрощает разработку приложений с дополненной реальностью, так как есть полный доступ к устройству[36].

Выводы

Обзор существующих приложений показал основные тенденции в развитии технологии дополненной реальности. Эта технология в наше время очень бурно развивается и может найти применение во многих областях.

Анализ приложений показал, что сейчас они имеют, в основном, либо развлекательный, либо узконаправленный характер. Основное внимание в таких приложениях уделяется их возможностям при взаимодействии с окружающей средой и пользователем. Ввиду это, можно сделать вывод об актуальности разработки системы с распознаванием жестов, для взаимодействия с виртуальными объектами.

Для создания функционирующей системы необходима достаточно мощная платформа, которой может быть современное мобильное устройство, в виду их широкой распространенности и постоянно растущих возможностей.

2. Взаимодействие с виртуальными объектами

2.1 Общая характеристика

Для оценки общей возможности распознавания жестов в мобильных АR, сравним стандартные взаимодействия, через сенсорный экран, и тип взаимодействия, который зависит от того как мобильное устройство движется. Целью является исследование возможности использования специальных жестов для основных аффинных преобразований виртуального 3D объекта, таких как перемещение, масштабирование и вращение. Удобство этой концепции может быть критическим из-за нескольких ограничивающих факторов.

Рисунок 9. Область активного пространства при использовании мобильной AR

Во-первых, существуют ограничения, накладываемые оборудованием. Поле зрения камеры (FOV) определяет регион, в котором руку или палец можно отследить. Например, камера телефона имеет горизонтальный и вертикальный угол обзора примерно 55 и 42°, соответственно. Разрешение камер так же имеет влияние. Низкое разрешение не позволяет реализовать точного отслеживания жестов, особенно если палец находится близко к камере.

Во-вторых, есть ограничения, накладываемые биомеханикой человека. Рука имеет достижимое рабочее пространство, которое может быть определено как объем, в котором все точки могут быть достигнуты с выбранной опорной точки на запястье [37]. Это ограничение возникает и из-за других характеристик, например длина руки человека, которая, в среднем около 0,5968 м у мужчин и 0,5541 м для женщин.

Кроме того, телефон должен находится на определенном расстоянии от глаз. Наименьшее расстояние наилучшего зрения (Least Distance of Distinctive Vision, LDDV), которое характеризует минимальное расстояние, при котором человек с нормальным зрением может с комфортом смотреть на что-то, обычно около 25 см. Принимая во внимание все эти проблемы, мы получаем довольно ограниченную область, которая может быть использована для взаимодействия с мобильным AR приложением, она показана на рисунке 10. Обнаружено, что размер области (1) на изображении составляет от 15 до 25 см.

2.2 Основные концепции взаимодействий

Рассмотри несколько видов взаимодействия, которые могли бы решить поставленную задачу. Для простоты рассмотрим взаимодействие с виртуальным объектом непосредственно не связанным с физическим окружением. [38].

2.2.1 Взаимодействие с помощью сенсорного экрана

Для рассмотрения взаимодействия на основе стандартного сенсорного экрана, три задачи были рассмотрены следующим образом: выбор цели выполняется простым кликом по ней на сенсорном экране. Этот выбор вызывает контекстное меню. Один из пунктов меню переводит объект в "режим перемещения", в которой пользователь может перемещать объект, щелкнув по нему и перетащив его по экрану. Если устройство перемещается отдельно и без перемещения объекта, то он остается на своей позиции в отношении реального мира. Завершение режима трансляции выполняется по нажатию на соответствующий значок, в результате чего объект фиксируется в конечном положении относительно реального мира.

С точки зрения удобства использования этот подход простой и интуитивно понятный, потому что оно соответствует стандартным взаимодействиям с сенсорным экраном. Реализация меню также является надежной и точной, потому что полностью контролируется дизайн интерфейса (например, можно сделать пункты меню достаточно большими и разместить как можно дальше друг от друга, чтобы они могли быть легко нажаты пальцем). Слабыми сторонами данного типа взаимодействия является точность при выборе виртуального объекта, особенно если он достаточно мал, очень близок к другому объекту, или один объект перекрывает другой. Кроме того, у пользователя могут возникнуть проблемы при взаимодействии с сенсорным экраном, в то время когда ему приходится держать устройство в вертикальном положении и направлять его на определенную точку в реальном мире. Это может быть особенно трудно в ситуациях, когда объект должен быть перемещен в позицию, которая не видна на исходном изображении, например, находящуюся за спиной пользователя.

2.2.2 Основанная на устройстве концепция

Второй вид взаимодействия использует положения и ориентации устройства (определяется с помощь данных, полученных со встроенного акселерометра и компаса) для манипуляций. В этом случае специальный "прицел" отображается в центре экрана и используется для выбора объекта. Держа его на объекте в течение определенного времени происходит выбор объекта и вызывается меню. Меню работает таким же образом, перемещая "прицел" на одну из записей, и удерживая ее неподвижно в течение небольшого промежутка времени.

В режиме перемещения, объект закрепляется под "прицелом" в центре экрана, в то время как устройство перемещается вокруг. Он может быть размещен в нужном месте по щелку на сенсорном экране. Это действие также завершает режим перемещения и возвращает систему к нормальному взаимодействию.

По сравнению с взаимодействием с помощью сенсорного экрана, основанное на устройстве взаимодействие занимает больше времени, при выборе объектов и элементов меню, потому что пользователь не может напрямую выбирать их, и ему приходиться ждать, пока индикатор заполнится. С точки зрения точности, эта концепция позволяет более точно выбирать объекты, потому что "прицел" может указывать более точно на довольно небольшие цели, по сравнению с пальцем. Тем не менее, держать устройство в одном положении в течение длительного периода времени может оказаться особенно проблематичным. Работа с объектами при таком подходе кажется интуитивным и проще в обращении, потому что пользователю необходимо просто перемещать устройство (в отличие от сенсорного экрана, где он должен двигать устройство и перетаскивать объект на экране в это же время). Тем не менее, перемещение объекта в целевую позицию по нажатию на сенсорном экране может привести к некоторым неточностям из-за возможных сотрясений устройства во время прикосновения пальца пользователя.

2.2.3 Основанная на жестах концепция

Взаимодействие на основе сенсорного экрана кажется интуитивным, поскольку оно соответствует регулярному взаимодействию с современными мобильными устройствами. Но это только позволяет удаленно управляет трехмерной дополненной реальностью с помощью 2D проекции на сенсорном экране. Если же начать отслеживать жесты пользователя, когда его рука находится перед устройством (т.е. когда он появляется экране в реальном времен), то кончик пальца может быть использован для прямого взаимодействия с объектами, т.е. для выбора и манипулирования ими. В идеальном случае палец можно отслеживать во всех трех измерениях и, следовательно, обеспечивать возможность полного манипулирования объектами в 3D. Для того чтобы избежать сильного влияния шума изображения на алгоритм трекинга можно использовать надежный маркер слежения. Выбор объекта осуществляется при наведение пальца на его положение в реальном мире. Во время перемещения, объекты можно "подталкивать".

2.4 Взаимодействие с виртуальными объектами, интегрированными в физическое окружение

Для того чтобы далее исследовать потенциал использования жестов для систем дополненной реальности, рассмотрим манипуляции виртуальными объектами, связанными с реальным физическим окружением. Главная задача - это выявление, возможных взаимодействий, которые являются естественными, и полезными для достижения поставленных целей.

2.4.1 Виды взаимодействий

Рисунок 10. Перемещение виртуального объекта

Перемещение. Когда люди перемещают объект в реальной жизни можно наблюдать два типа взаимодействия: либо объект толкают в нужную сторону либо берут двумя пальцами и помещают в необходимое место. При толкании, объект перемещается, когда палец касается его с одной конкретной стороны. Следовательно, только один палец используется для этого взаимодействия. Второй вариант - захват - осуществляется двумя пальцами (рисунок 10). Для улучшения распознавания на пальцы наклеиваются специальные маркеры. Как только оба маркера приходят достаточно близко к границам объекта, виртуальный объект "схватился". Теперь он может быть перемещен в любое место и размещен там, при разведении пальцев подальше друг от друга.

Масштабирование. Масштабирование - это взаимодействие, которое может быть проделано только с виртуальными объектами. Следовательно, нет никакого естественного эквивалента. Тем не менее, жест-масштабирование является довольно распространенным на сенсорных экранах благодаря pinch-to-zoom жесту: движение двух пальцев от центра или ближе друг к другу приводит к увеличению и уменьшению соответственно. В то время как это, кажется, естественным жестом для масштабирования виртуальных объектов в AR, есть одна большая проблема: в отличие от сенсорного экрана, мы не в состоянии автоматически определить, когда жест является жестом масштабирования, а когда нет. Чтобы справиться с этой проблемой возможны следующие решения.

В первом из них, различают два типа жестов: прикосновение к объекту с двумя сведенными пальцами, а затем увеличение расстояния между ними, которое приводит к увеличению объекта. Захват объекта с двух сторон и уменьшение расстояния между двумя пальцами приводит уменьшению (см. рисунок 11). В обоих случаях завершение операции осуществляется путем перемещения пальца в противоположном направлении от объекта. При этом уменьшение и увеличение - два отдельных взаимодействия.

Рисунок 11. Масштабирование

Второй вариант решения проблемы позволяет непрерывно изменяет размер объекта, увеличивая и уменьшая расстояние между двумя пальцы. Для этого пользователь должен нажать в любом месте сенсорного экрана в момент начала масштабирования. В то время как это взаимодействие представляется гораздо более гибким и естественным для фактического масштабирование, неясно, будет ли оно комфортным для пользователя (см. рисунок 12).

Рисунок 12. Совмещение двух интерфейсов для масштабирования

Вращение. Вращение объекта обычно осуществляется при захвате объекта двумя пальцами и поворачивая его вокруг оси. Это может быть реализовано путем захвата первого объекта (по аналогии с перемещением), а затем его вращения в зависимости от изменения угла между начальной и конечной линиями, соединяющими два маркера (см. рисунок 13).

Рисунок 13. Вращение виртуального объекта

Вторая версия жеста вращения представляет собой, сначала, выбор объекта прикосновением, а потом с помощью кругового движения указательного пальца осуществляется поворот объекта. Нажатие в любом месте на сенсорном экране используется для остановки вращения и оставляет объект в определенной ориентации (по аналогии с подходом для масштабирования).

Выводы

Обзор и анализ рассмотренных видов взаимодействия в системах дополненной реальности показал, что наиболее удобным и интуитивным видом взаимодействия является вид, основанный на жестах. Но иногда, из-за ограниченности устройств и высокой сложности анализа жестов, целесообразнее использовать комбинацию из нескольких типов взаимодействий.