Исследование и разработка методик и алгоритмов интерактивной визуализации средствами дополненной реальности

Размещено на http://www.allbest.ru//

Размещено на http://www.allbest.ru//

Введение

визуализация реальность мобильный

Автором было проведено исследование, целью которого являлось совершенствование визуализации трёхмерных объектов средствами технологии дополненной реальности с использованием в качестве платформы массово доступных мобильных устройств. В данной статье приводятся основные результаты работы, подводятся итоги и излагаются предпосылки для будущих исследований.

Начиная с выхода графических пользовательских интерфейсов на потребительский рынок примерно 30 лет назад, взаимодействие с компьютером не претерпело существенных изменений. На этом фоне многообещающей выглядит концепция дополненной реальности.

Дополненная реальность (также «расширенная реальность») (ДР) - это феномен пространственно-временного континуума, совмещающий в себе объективную и виртуальную реальности и обладающий рядом специфических качеств и свойств, недоступных в объективной и виртуальной реальности по отдельности [7]. В более узком смысле, дополненную реальность можно определить, как технологию интеграции виртуальных объектов в реальный мир [3].

Концепция дополненной реальности предлагает более совершенный пользовательский интерфейс для визуализации за счёт совокупности способов управления и визуализации.

Были проанализированы предыдущие исследования в области визуализации средствами дополненной реальности. Большинство разработок связано с использованием в качестве оборудования персонального компьютера и камеры - то есть настольных решений (например, [8, 12-14]). Однако для полноценного раскрытия потенциала дополненной реальности и обеспечения её массового распространения необходимы мобильные решения. До недавнего времени реализация мобильных решений с дополненной реальностью была связана с необходимостью для пользователя переносить большое количество специального оборудования: компьютера, элементов питания, камеры, дисплея.

Распространение современных смартфонов и планшетных компьютеров, а также совершенствование программных средств обеспечило предпосылки к массовому применению дополненной реальности так называемого ручного типа (см. классификацию дисплеев дополненной реальности на рис. 1).

Рисунок 1 - Классификация дисплеев дополненной реальности по положению относительно пользователя [9]

Методические и инструментальные основы исследования

Был проведён аналитический обзор методов и средств для разработки дополненной реальности.

Для реализации технологии дополненной реальности необходимы два основных программных компонента: трекинг и визуализация. На настоящий момент исследователями и специалистами была наработана обширная теоретическая и алгоритмическая база для их реализации, как в виде различных отдельных компонентов, так и в виде интегрированных программ и наборов средств разработки. К отдельным компонентам относятся библиотеки и фреймворки компьютерного зрения, движки трёхмерной графики, другие решения.

Трекинг - это сложный процесс, связанный с отслеживанием положения наблюдателя относительно окружающей обстановки. Для использования в целях исследования был выбран оптический трекинг на основе маркеров, как наиболее функциональный из вариантов, применимых для массового внедрения [4]. При таком виде трекинга производится анализ кадров видеопотока, поступающего с камеры, на предмет наличия специального изображения - маркера. При успешном распознавании маркера вычисляется матрица преобразований, позволяющая определить положение камеры и впоследствии корректно интегрировать виртуальный объект в реальное окружение.

В качестве движка для трекинга был использован набор средств разработки Qualcomm Vuforia. Данное средство было специально разработано для мобильных устройств. Оно основывается на алгоритмах одной из ведущих научных организаций по разработкам в области дополненной реальности «Лаборатории имени Кристиана Доплера по ручной дополненной реальности» [11].

Для реализации части технологии дополненной реальности, связанной с трёхмерной визуализацией может быть применено множество существующих решений. В ходе поиска и анализа была выбрана среда разработки Unity [15]. В ней присутствует графический движок, оптимизированный для работы на мобильных устройствах.

Разработанные методики и алгоритмы

Рассматриваемые вопросы

Для совершенствования визуализации средствами дополненной реальности на массовых мобильных устройствах были рассмотрены следующие вопросы: реалистичность отображения объектов, возможность изменения параметров объектов при визуализации, формат и структура хранения объектов, манипуляция объектами в пространстве, особенности проектирования графического интерфейса пользователя для ДР.

Разработка методик для обеспечения реалистичности при визуализации трёхмерных объектов средствами дополненной реальности

В первую очередь были рассмотрены вопросы реалистичности визуализируемых объектов. Синтезированное компьютерное изображение может соответствовать оригиналу при визуальном наблюдении только на психофизическом уровне [1]. Максимальное приближение к оригиналу при этом можно обеспечить, если математическая модель сцены и обрабатывающая программа точно передают условия освещения, геометрическую форму объектов, их взаимное положение, размер и положение теней и другие особенности реальной сцены.

Выбранная среда разработки Unity поддерживает все 4 стандартных источника освещения: рассеянный (ambient), направленный (directional), точечный (point) и конусный (spot). Совокупность данных средств может быть применена для создания схемы освещения объекта, как например на рисунке 2.

Рисунок 2 - Пример схемы динамического освещения объекта

Однако ресурсы массовых мобильных устройств не позволяют использовать более двух точечных или конусных источников освещения. Также при такой модели не учитывается свет, отражённый от других объектов окружающего пространства: так называемое глобальное освещение. Хотя именно последнее существенно повышает реалистичность визуализации. При этом при визуализации дополненной реальности, окружающие объекты на виртуальной сцене вовсе отсутствуют.

Вследствие этого, представляется логичным наряду с динамическим (т.е. освещением реального времени) для повышения реалистичности дополнительно использовать средства статического (т.е. предварительно рассчитанного) освещения (рис. 3).

Был применён подход, при котором расчёт и визуализация освещения поверхностей объекта производится заранее на этапе подготовки трёхмерной модели и при последующей визуализации в реальном времени не требуются дополнительные ресурсы. При таком подходе на этапе разработки трёхмерной модели объекта к ней может быть применено освещение любой сложности с использованием неограниченного числа источников света.

Рисунок 3 - Комбинация статического и динамического освещения

Большое значение имеет возможность предварительного расчёта теней, образуемых в результате действия непрямого освещения. Расчёт может быть выполнен с применением различных методов глобального освещения, например Ambient Occlusion. Рассчитанное таким образом затенение объекта может быть визуализировано в текстуру-атлас (пример на рис. 4). Отличительной особенностью применённого подхода является то, что создаётся отдельная независимая текстура затенения объекта, которая в последствии смешивается с основной. Таким образом при создании нескольких цветовых решений объекта не требуется соответствующая подготовка для каждой текстуры.

Рисунок 4 - Пример независимой текстуры затенения

Была также разработана методика по созданию статичной падающей тени, отбрасываемой на плоскую поверхность, на которой располагаются виртуальные объекты (рис 5).

Рисунок 5 - Методика создания статичной падающей тени

Также как и текстура затенения, падающая тень просчитывается заранее в высоком качестве и сохраняется в виде текстуры. Далее текстура применяется к плоскости, расположенной под объектом. В целях оптимизации шейдер материала плоскости не использует информацию об источниках освещения.

Падающая полупрозрачная тень вносит существенный вклад в реалистичность встраивания виртуального объекта в реальное окружение. Отличительной особенностью представленного подхода является возможность успешного применения в задачах реального времени.

Изменение параметров объекта в реальном времени

Были предложены принципиальные основы изменения параметров объекта при визуализации дополненной реальности на примере смены материалов. Они включают в себя смену параметров в реальном времени и упрощённый интерфейс пользователя, доступный для неспециалиста. Например, смена материалов отдельных полигональных сеток модели была упрощена до выбора пользователем одного из «цветовых решений» - заданных наборов материалов (алгоритм на рис. 6).

Рисунок 6 - Алгоритм смены материалов

При выборе пользователем одного из цветовых решений из списка происходит применение соответствующих материалов к частям модели.

По аналогии с материалами могут изменяться различные параметры объекта. Например, светильник включён, выключен, находится в особом режиме; диван разложен, сложен. При этом алгоритм принципиально остаётся таким же.

Подготовка и хранение моделей

Имплементация предложенных методик по обеспечению реалистичности и смене материалов потребовала разработку определённого процесса предварительной подготовки моделей (рис. 7), а также особой структуры хранения объектов (рис. 8).

Рисунок 7 - Методика подготовки трёхмерной модели

Рисунок 8 - Структура хранения объекта

Механизм манипуляции трёхмерными объектами дополненной реальности с использованием жестовых методов ввода

С целью улучшения пользовательского взаимодействия был разработан механизм манипуляции трёхмерными объектами с использованием жестовых методов ввода.

Как было отмечено в предыдущих исследованиях [8, 10], задача перемещения объектов зачастую может быть упрощена до двухмерной. И, таким образом, в данном случае перемещение осуществляется в пределах плоскости, по осям X и Z, а вращение - вокруг своей оси Y. В таком случае координата Y остается неизменной, а координаты X и Z изменяются согласно выражению:

,

где ц - угол поворота объекта вокруг оси Y.

Сенсорные экраны массовых мобильных устройств в большинстве оснащены функцией распознавания нескольких касаний одновременно (так называемая функция «мультитач»). Таким образом имеется возможность назначить один жест (простое касание и перемещение одного пальца) для перемещения объекта (трансляцию координат), а другой (касание одновременно двумя пальцами) - для вращения (рис. 9).

Рисунок 9 - Использование жеста «касание и перемещение одним пальцем» для перемещения объекта и жеста «касание одновременно двумя пальцами» - для вращения

Был разработан алгоритм, обрабатывающий ввод с сенсорного экрана (рис. 10). При обнаружении касания экрана производится проверка, произошло ли попадание в область виртуального объекта. Для этого применяется метод проброса лучей.

Виртуальный луч пробрасывается от точки касания пользователем сенсорного экрана, находящейся на плоскости экрана, найденной при помощи виртуальной камеры Unity. В случае пересечения лучом объекта, возвращается положительный результат. При наличии на сцене нескольких виртуальных объектов, необходимо определить, с какими из них производится взаимодействие.

Рисунок 10 - Блок-схема алгоритма манипуляции объектами

При обнаружении более одного касания на одном объекте распознаётся режим вращения. Угол, на который нужно повернуть объект, определяется путём измерения угла вращения прямой, проведённой через две точки касания, по сравнению с предыдущим кадром. При обнаружении более двух касаний на объекте, обрабатываются только два первых.

Особенности проектирования графического интерфейса пользователя

В работе предложены рекомендации по проектированию графического интерфейса пользователя для визуализации средствами дополненной реальности. Проведено сравнение способов организации меню просмотра информации по доступным для выбора объектам для визуализации.

Специфика создания пользовательского интерфейса для дополненной реальности состоит в том, что необходимо учитывать положение устройства в руках пользователя и положение самого пользователя. Информация о положении используется, например, при индикации распознавания маркера для отслеживания, а также отображении информации, визуально привязанной к объекту (выносок и т. п.). При работе непосредственно в режиме дополненной реальности в положении стоя необходимо уделять повышенное внимание доступности и удобству интерфейса. Ещё одной рекомендацией при проектировании интерфейса дополненной реальности, основанной на маркерах, является понятная для пользователя индикация текущего состояния трекинга.

Заключение

Настоящая работа посвящена вопросам визуализации и обработки информации, в частности совершенствованию визуализации трёхмерных объектов средствами технологии дополненной реальности. Предлагаемая дополненной реальностью визуализация в реальном знакомом для пользователя окружении способствует лучшему восприятию трёхмерных объектов.

Особенностью работы является ориентация на массовое внедрение дополненной реальности. Для этого в качестве платформ для применения результатов исследования рассматривались современные массово доступные мобильные устройства: смартфоны и планшетные компьютеры.

Основными результатами проделанной работы являются:

проанализировано современное состояние в сфере исследований дополненной реальности, выявлены недостатки современных систем дополненной реальности и предложены методы их решения;

проведён поиск и анализ средств разработки на предмет возможности использования для целей исследования;

разработаны методики обеспечения реалистичности отображения трёхмерных объектов средствами дополненной реальности;

предложены принципиальные основы и алгоритм изменения параметров объектов дополненной реальности при визуализации в реальном времени;

разработаны методики по подготовке и оптимизации трёхмерных моделей для реалистичной визуализации на мобильных устройствах;

разработан механизм манипуляции трёхмерными объектами;

даны практические рекомендации по проектированию интерфейса пользователя для визуализации средствами дополненной реальности.

Необходимо отметить, что разработанные методики и алгоритмы являются универсальными и совместимы с новыми, потенциально более совершенными технологическими решениями (напр., видами трекинга). Также результаты исследования не ограничивается применением на ручных устройствах (смартфонах и планшетных компьютерах), а имеют потенциал применения на головных устройствах (например, очках дополненной реальности), потенциально более распространённых в будущем.

Разработанные методики могут быть применены непосредственно при проектировании программных продуктов для применения в реальных бизнес-процессах торговли, дизайн-проектирования, а также в ряде других сфер.

Результаты данной работы подтверждают большое значение дополненной реальности в развитии человеко-компьютерного взаимодействия и её определяющую роль на пути к следующей парадигме пользовательского интерфейса.

Список литературы

Иванов В. П., Батраков А. С., Полищук Г. М. Трехмерная компьютерная графика. - М. : Радио и связь, 1995.

Кравцов А.А. Использование технологии дополненной реальности для визуализации виртуального объекта в реальном интерьере / А.А. Кравцов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2012. - №10(084). С. 724 - 733. - IDA [article ID]: 0841210054. - Режим доступа: http://ej.kubagro.ru/2012/10/pdf/54.pdf, 0,625 у.п.л.

Кравцов А.А. Модели взаимодействия с клиентами при использовании технологии дополненной реальности в торговле / Кравцов А.А., Лойко В.И. // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2015. - №09(113). - IDA [article ID]: 1131509027. - Режим доступа: http://ej.kubagro.ru/2015/09/pdf/27.pdf, 0,688 у.п.л.

Кравцов А.А. Особенности реализации маркерного трекинга на массовых мобильных устройствах / Кравцов А.А., Лойко В.И. // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2015. - №09(113). - IDA [article ID]: 1131509032. - Режим доступа: http://ej.kubagro.ru/2015/09/pdf/32.pdf, 1,000 у.п.л.

Кравцов А.А., Лойко В.И. Программа визуализации виртуальных объектов в реальной обстановке с применением технологии дополненной реальности. Свид. РосПатента РФ на программу для ЭВМ, Заявка №2015612899 от 13.04.2015, Гос. рег. №2015615996, зарегистр. 28.05.2015.

Кравцов А.А. Совершенствование пользовательского интерфейса визуализации трехмерных объектов при помощи технологии дополненной реальности / А.А. Кравцов, В.И. Лойко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №06(100). С. 1408 - 1420. - IDA [article ID]: 1001406091. - Режим доступа: http://ej.kubagro.ru/2014/06/pdf/91.pdf, 0,812 у.п.л.

Размещено на Allbest.ru