Размещено на http://www.allbest.ru/

«Расширение возможностей человеко-компьютерного взаимодействия с помощью технологий виртуальной и дополненной реальности с использованием оригинального программного обеспечения и шлема виртуальной реальности OculusRift и датчика захвата движений LeapMotion»

Автор:

Згода Юрий Николаевич

Педагог:

Драч Елена Александровна

Санкт - Петербург 2016

Технологии виртуальной (VR - VirtualReality) и дополненной (AR - AugmentedReality) реальности все больше входят в нашу жизнь, позволяя по новому взаимодействовать с ЭВМ, делая этот процесс более интуитивно-понятным и удобным. Благодаря этому открывается целый пласт новых возможностей для разработчиков по созданию новых, нестандартных решений в вопросе взаимодействия человека с компьютером.В настоящий момент вопросы, связанные с созданием виртуальной реальности высокой достоверности и возможности пребывания внутри этой реальности без каких-либо точек контакта с реальным миром.

Целью данной работы является анализ различных способов человеко-компьютерного взаимодействия: как в виртуальной, так и в дополненной реальности. Для этого будут рассмотрены различные виды взаимодействия с VR/AR.

Были поставлены следующие задачи:

1) Выбрать подходящие для реализации аппаратные средства (шлем виртуальной реальности и прибор, обеспечивающий определение положения рук в пространстве)

2) Реализовать соответствующее программное обеспечение, которое позволило бы исследовать возможности человеко-компьютерного взаимодействия пользователя в виртуальной и дополненной реальности.

3) Изучить полученный в ходе взаимодействия с этим программно-аппаратным комплексом опыт взаимодействия (надо будет переписать)

4) Сделать на основе этого опыта выводы

Возможность использовать виртуальные среды с манипулированием внутри самой виртуальной реальности с минимальным контактом с внешней средой существенно повышает возможности использования этих разработок в образовании, медицине, архитектуре, строительстве, дизайне и т. д.

Основное содержание

Для начала следует определиться с основными определениями:

Виртуальная реальность - созданный техническими средствами мир (объекты и субъекты), передаваемый человеку через его ощущения: зрение, слух, обоняние, осязание и другие. Виртуальная реальность имитирует как воздействие, так и реакции на воздействие.

Не следует объединять термин «виртуальную реальность» с дополненной реальностью. Их коренное различие в том, что виртуальная реальность конструирует новый искусственный мир, а дополненная реальность лишь вносит отдельные искусственные элементы в восприятие мира реального.

Дополненная реальность -- это технология, которая позволяет размещать виртуальный текст или изображение поверх объектов из реального мира. Виртуальный текст или изображение, которые могут быть наложены на выбранные объекты в реальном мире, как правило, имеют прямое отношение к самому объекту.

Блок-схема 1. Компоненты программно-аппаратного комплекса

Рассмотрим структуру программно-аппаратного комплекса, использованного во время исследования:

Для аппаратной части был выбран шлем виртуальной реальности OculusRift и датчик захвата движений LeapMotion. OculusRift был выбран в связи с высоким разрешением экрана и большими углами обзора, что обеспечивает чувство полного погружения в виртуальную реальность.

Рис. 1. Шлем виртуальной реальности OculusRift

Датчик захвата движений LeapMotion был выбран, т.к. в нем есть две встроенные инфракрасные камеры, которые позволяют использовать его как стереокамеру, что дает возможность его использования для создания дополненной реальности.

Для реализации программной части, использовался движок Unity 5 и язык программирования C#. Unity 5 был выбран в связи с высокой производительностью, удобством использования и возможностью разработки под разные платформы (Windows, Linux, MacOS). C# был выбран в связи с лаконичностью и читабельностью его синтаксиса.

Рис. 2. Контроллер захвата LeapMotionи его крепление на виртуальном шлеме.

Итак, рассмотрим основные способы взаимодействия в виртуальной реальности:

Жесты.

Камеры контроллера LeapMotionможно использовать не только для определения положения рук в пространстве, но и для распознавания жестов (далее под жестами подразумевается либо определенное положение пальцев, либо заранее определенная траектория движения руки, либо их комбинация). Пользователь может согнуть три пальца, чтобы появилось меню, взмахнуть рукой, чтобы отобразилось следующее меню, убрать руку - и меню исчезнет полностью. Данный вид взаимодействия является простейшим, т.к. по своей сути ничем не отличается от «горячих клавиш» на клавиатуре.

В ходе испытаний, было выявлено, что данный способ не является практичным: в случае, если комбинаций становится много, пользователь начинает забывать и путать их, что приводит к неожиданному для пользователя результату работы программы.

Взаимодействие с виртуальными объектами

Этот способ взаимодействия является интуитивно понятным для большинства пользователей: можно перемещать объекты (предметы, находящиеся в виртуальной реальности), вращать их, чтобы изучить со всех сторон и т.д. Далее будут продемонстрированы следующие примеры

1. летающие объекты: пользователь может отталкивать руками объекты вокруг него, объекты разной геометрической формыдалее взаимодействуют друг с другом.

2. текстурированныйобъект, который можно вращать и масштабировать, чтобы детально его рассмотреть.

Рис. 3. Скриншот программы во время выполнения

Взаимодействие с виртуальными элементами управления

Во многих случаях, вместо жестов практичнее использовать элементы классического пользовательского интерфейса (кнопки, Slider-ы и т.д.) для работы в виртуальной реальности. Перед пользователем появляется меню, с которым он может взаимодействовать с помощью рук.

Рис. 4. Демонстрация интерфейса пользователя: Настройка виртуальной реальности (освещение, ландшафт и т.д.)

Теперь, рассмотрим способы взаимодействия в дополненной реальности. компьютерный программный виртуальный реальность

В дополненной реальности можно использовать те же способы взаимодействия, что и в виртуальной реальности, но их характер несколько меняется. Теперь, пользователь видит окружающий его мир: это расширяет возможности взаимодействия (необходимая пользователю информация будет дополнять его обзор), но в то же время накладывает определенные требования к тем элементам, которые отображаются поверх реального мира (например, нельзя, чтобы элементы виртуального пространства проходили сквозь элементы реального мира). В остальном, подход к взаимодействию в дополненной реальности особенно ничем не отличается от подхода к созданию в виртуальной реальности.

Рис. 5. Демонстрация дополненной реальности.

Взаимодействие с объектами в дополненной реальности можно использовать для повышения производительности пользователя: необходимая информация всегда перед глазами. Например, строители могут смотреть на здание и видеть его схему поверх здания, вместо использования чертежей.

Практическая реализация

Экспериментальные разработки по части созданию программного обеспечения послужили основой для реализации проекта в области медицины. Эта работа была посвящена внедрению в терапию фобических состояний программы, обеспечивающей необходимые параметры виртуальной среды, спроектированной в соответствии с фобическими представлениями пациента.

В исследованиях принимали участие пациенты клиники психиатрии Военно-медицинской академии, контрольные нормативы были получены на здоровых добровольцах. В качестве стартовых моделей использовались наиболее часто встречаемые фобии - клаустрофобии и агорафобии, в дальнейшем были добавлены пирофобия, гидрофобия, арахнофобия и др. Полученные результаты показали, что представленнаяпрограмма позволяет создавать необходимое пациенту трехмерное пространство (замкнутую комнату, лифт, автомобиль, открытое пространство, улицу и т. д.). В процессе работы программы пациент может активно влиять на некоторые характеристики данного пространства (например, менять размеры этого пространства, освещение, элементы интерьера и т. д.). Если человек, страдающий клаустрофобией (боязнью замкнутых пространств), оказывается в виртуальной комнате, то в ходе выполнения программы он может постепенно изменять ее объем и графическое наполнение, чтобы адаптироваться к пребыванию в подобных условиях. Результаты использования программы (к примеру, конечный размер комнаты) сохраняются, чтобы пациент мог восстановить при следующем запуске программы предыдущие результаты или просмотреть историю предыдущих сеансов. Программа, в дальнейшем, позволит моделировать различные виды ситуаций соответственно содержанию различных фобий и проводить тренировки в соответствии с конкретными целями.

Исследования показали, что отличительной и главной особенностью внедрения контроллера LeapMotoinявляется возможность сохранения максимальной глубины погружения в вирутальную реальность, что невозможно в случае контакта с каким-либо из обычных средств ввода (джойстики, мыши, сенсорные панели и т. д.).

Таким образом, проведенные исследования показали, что с помощью предлагаемого тренажера можно дополнить арсенал уже известных методов лечения фобий методикой, способствующей активному развитию волевых качеств пациентов, страдающих фобиями, но в то же время, лишенной недостатков фармакологических методов (побочные эффекты) и психотерапии (развитие зависимости от врача).

Выводы и практические рекомендации

Использование контроллера захвата движений в совокупности с технологиями виртуальной реальности позволяет значительно расширить область применения средств виртуальной реальности для решения практических задач.

Заключение

Активное внедрение в жизнь современного человека новейших компьютерных технологий, которые в корне меняют наше представление об информационном взаимодействии между человеком и компьютером ставит пред создателями новейших компьютерных систем и разработчиками программного обеспечения новые, сложные, но несомненно и интересные и перспективные задачи, решение которых начинается уже сейчас. Учитывая, что любой научный прорыв порождает большое количество самостоятельных разноплановых способов реализации и достижения поставленных целей, одной из приоритетных задач является скорейшее внедрение самых последних достижений науки для дальнейшего прогресса общества и любое замедление темпов научных исследований на начальном этапе прорывных компьютерных технологий может грозить серьезным отставанием в ближайшем будущем. Поэтому, в данный момент очень остро стоит вопрос выбора оптимальных аппаратных средств и наиболее гибких и мощных программных приложений, которые позволят с максимальной эффективностью проводить перспективные исследования с выходом на этап реализации в различных отраслях народного хозяйства страны.

Учитывая, что такие понятия, как виртуальная и дополненная реальности вошли в нашу жизнь совсем недавно, а время использования технологий контроля захвата движений это вообще разработки последних двух-трех лет, то можно с определенной уверенностью утверждать, что у исследователей появилась возможность существенно расширить границы восприятия окружающей среды и решать задачи, которые еще в недавнем прошлом казались недостижимыми.

Каждая новая технология дает нашему обществу шанс еще больше ускорить связь науки и производства.

Список литературы, использованное программное обеспечение

1. Thorn A. Mastering Unity Scripting, Packt Publishing, 2015.

2. Linowes J. Unity Virtual Reality Projects, Packt Publishing, 2015

3. Parisi T. Learning Virtual Reality: Developing Immersive Experiences and Applications for Desktop, Web, and Mobile, O'Reilly Media, 2015

4. Smith M. Unity 5.x Cookbook, Packt Publishing, 2015

5. Sanders B. Mastering Leap Motion, Packt Publishing, 2015

Аннотация

Целью данной работы является анализ различных способов человеко-компьютерного взаимодействия в виртуальной виртуальной (VR - VirtualReality) реальности и дополненной (AR - AugmentedReality) реальности.

Для создания виртуальной и дополненной реальности использовались HMD (Head-MountedDisplay) OculusRift и контроллер захвата движений LeapMotion. Для создания соответствующего программного обеспечения использовался графический «движок» Unity 5, логика программы разрабатывалась на языке C#.

Для реализации человеко-компьютерного взаимодействия был использован контроллер захвата движений LeapMotion, обеспечивающий интуитивно-понятный, дружественный пользовательский интерфейс внутри виртуального 3D-пространства.

В ходе работы, на «движке» Unity 5 и языке программирования C# было реализовано оригинальное программное обеспечение, позволяющее исследовать возможности человеко-компьютерного взаимодействия пользователя в виртуальной и дополненной реальности.

Использование данного программно-аппаратного комплекса позволило оптимизировать работу в виртуальной и дополненной реальности с максимально возможным на данном этапе комфортом и эффективностью.

Объем работы: 14 страниц;

Количество рисунков: 5 шт.;

Количество блок-схем: 1 шт.;

Использованные литературные источники: 5 шт.

Размещено на Allbest.ru