Імерсивний синтетичний простір навчання із застосуванням елементів VR

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Відділ технологій відкритого навчального середовища

Інститут цифровізації освіти НАПН України

Імерсивний синтетичний простір навчання із застосуванням елементів VR

Богачков Юрій Миколайович

кандидат технічних наук, старший науковий співробітник

Ухань Павло Станіславович

кандидат педагогічних наук, старший науковий співробітник



АНОТАЦІЯ

Предметом розгляду є організація простору, який спрощує процес навчання відповідно до сучасних тенденцій та запитів на методи короткотермінового навчання або здобуття освіти. У вузькому сенсі досліджується потенціал навчання в імерсивному синтетичному освітньому просторі, який складається з VR-компоненту та реального (фізичного) простору.

Показано, як користувач організовує навчання в просторі, де присутні віртуальні та реальні елементи. Запропоновано багаторольову модель аналізу траєкторій користувачів. У цій моделі передбачається, що людина може одночасно рухатись по декількох освітніх траєкторіях. Аналізувати ці траєкторії можемо окремо за приналежність до певної ролі. Спираючись на проведений аналіз, запропоновано модель імерсивного синтетичного освітнього простору (Immersive synthetic educational space - ISES). Модель передбачає створення віртуальних (VR-Virtual Reality) квазівідображень для реальних (RR -- Real Reality) освітніх підпросторів і лабораторій. Показано покроковий алгоритм створення синтетичних VR-підпросторів для окремих лабораторій. Розглянуто інформаційну структуру підтримки імерсивного синтетичного освітнього простору, яка містить перелік віртуальних лабораторій, таблиці артефактів, правил, способів діяльності, інтересів, знань, тощо. Інформаційна інфраструктура при постійному застосуванні багатьма учасниками забезпечує перехресні посилання, що суттєво сприяють навчанню.

Показаний узагальнений шлях здійснення навчання користувачем. Наведено два приклади шляху користувача. У кейсах показано розподілення навчальної діяльності у віртуальному та реальному підпросторах.

Подальші дослідження планується зосередити на вивченні практик застосування імерсивного синтетичного освітнього простору для самоспрямованого навчання. Зараз розробляється прототип віртуальної компоненти та фізичного простору для апробації механізмів взаємодії.

Ключові слова: віртуальна лабораторія; навчальне середовище; освітній простір; синтетичний освітній простір; гібридний; імерсивний.



IMMERSIVE SYNTHETIC LEARNING SPACE USING VR ELEMENTS

Yuriy M. Bogachkov

PhD of Technical Sciences, Senior Researcher,

Department of Technologies of Open Learning Environment

Institute for Digitalisation of Education, National Academy of Educational Sciences of Ukraine

Pavlo S. Ukhan

PhD of Pedagogical Sciences, Senior Researcher,

Department of Technologies of Open Learning Environment

Institute for Digitalisation of Education of the National Academy of Educational Sciences of Ukraine

ABSTRACT

The subject of consideration is the organization of space that simplifies the learning process for a person in accordance with modern trends and requests for methods of short-term training or obtaining an education. In a narrow sense, the potential of learning in an immersive synthetic educational space consisting of a VR component and a real (physical) space is investigated.

It is shown how the user organizes training in a space where virtual and real elements are presented.

A multi-role model of user path analysis is proposed. In this model, it is assumed that a person can simultaneously move along several educational pathes. We can analyze these path separately by belonging to a certain role.

Based on the conducted analysis, a model of immersive synthetic educational space (Immersive synthetic educational space - ISES) is proposed. The model provides the creation of virtual (VR) quasi-images for real (RR -- Real Reality) educational subspaces and laboratories. A step-by-step algorithm for creating synthetic VR subspaces for individual laboratories is shown. The information structure supporting the immersive synthetic educational space is considered. The information structure includes a list of virtual laboratories, tables of artifacts, rules, methods of activity, interests, knowledge, etc. Information infrastructure, when constantly used by many participants, provides cross-references that significantly contribute to learning.

The generalized path of the user's training is shown, where presented two examples of a user journey.

The cases show the distribution of educational activities in the virtual and real subspaces.

Further research is planned to focus on studying the practices of using an immersive synthetic educational space for self-directed learning. Currently, a prototype of the virtual component and physical space is being developed for testing interaction mechanisms.

Keywords: virtual laboratory; educational environment; educational space; synthetic educational space; hybrid; immersive.



ВСТУП

Життя сучасної людини майже всюди і завжди супроводжується навчанням. Воно може бути формальне, неформальне, інформальне, випадкове, довгострокове або короткострокове, планове чи спонтанне. Спостерігається тенденція до збільшення різноманіття способів навчання та поєднання їх між собою. Поступово, класичні освітні середовища перетворюються на синтетичні, а навчання все більше стає гібридним. Ці синтетичні освітні середовища не існують самі по собі. Вони взаємодіють різними способами. Можемо сказати, що поступово формується мережа синтетичних освітніх середовищ. Людина замість раніше зрозумілих стандартних освітніх кроків: садочок, школа, вищий навчальний заклад -- має безперервний шлях через множину синтетичних освітніх середовищ.

Аналіз останніх досліджень і публікацій. У роботі [1] детально розглядаються категорії простір, середовище та система. На Рис. 1 схематично показано співвідношення цих категорій. Ми не будемо тут детально описувати всі складові з яких конструюються простір, середовище та система. Назвемо лише основні компоненти та їх взаємозв'язок.



ЗОП - це загальний об'єктний простір. Для його коректного опису вводиться поняття простору.

Простір (space) - деяка множина структурно упорядкованих об'єктів та їх ідентифікаторів, яка подається моделлю, що відображає логічну структуру групування та впорядкування ідентифікаторів об'єктів даного простору. ЗОП складається з множини підпросторів. Деякі ми будемо розглядати, їх будемо називати цільовими. Цільові підпростори надають можливість визначати предметну галузь та об'єктний склад розвитку підпростору.

З об'єктів цільових просторів виділяються досліджувані системи. Спираючись на подання систем у складі цільових просторів вводиться категорія середовище системи.

Те, що суттєво поєднує категорії простір і середовище полягає в тому, що кожен об'єкт чи зв'язок, які визначені у просторі і/або середовищі своїми ідентифікаторами (ознаками, іменами, назвами, абревіатурами, параметрами, характеристиками, адресами), відповідно асоціюються з цими просторами і/або середовищами. Проте один і той самий об'єкт чи зв'язок можуть бути незалежно визначені в кількох просторах і/або середовищах та асоціюватись з кількома відповідними просторами і/або середовищами [1].

Індивідуальний освітній простір є цільовим підпростором загального об'єктного простору, що виділений з останнього за ознакою причетності певних компонентів його складу до пожиттєвої освіти конкретної людини. Ефективність відповідного навчального середовища (НС) визначається ступенем його відповідності меті створення, що підпорядкована меті створення і розвитку персонального середовища (ПС), до складу якого це НС належить. [2].

Можемо виділити два суттєвих напрями досліджень. Це синтетичне навчальне середовище [3], [4] і безпека застосування імерсивних технологій [5], [6], [7], [8], [9] та [10].

Згідно з дослідженням [3], навчально-розвивальна діяльність здійснюється в синтетичному середовищі (СиС), де зміст навчання зміщується в бік самонавчання і проєктно орієнтованої діяльності. Це середовище характеризується застосуванням певних технологій, предметів, характеристик учнів та педагогічних принципів. У такому середовищі, людина-виконавець переноситься до нового інтерактивного середовища за допомогою пристроїв, що відображають сигнали в сенсорні органи людини та пристрої, які сприймають різні дії оператора. Синтетичний досвід взаємодії з реальним пристроєм або процесом створюється через моделювання, ігри або іншу технологію. В результаті, СиС стає подібним до самостійного суб'єкта навчання завдяки розширенню його змістового і дидактичного потенціалу та можливостям адаптації до потреб та можливостей учнів. Такий підхід сприяє трансформації особистості учня як суб'єкта навчання, який взаємодіє з обома світами - реальним фізичним та інформаційним синтетичним - для розвитку своїх когнітивних потреб та можливостей. Учні можуть створювати свій власний полімодальний навчальний світ у метавсесвіті, в якому отримувати освіту та соціалізуватись, а також взаємодіяти з різними дидактичними ресурсами, що дозволяє їм активно брати участь у формуванні власної компетентності.

У [4] зазначається, що основою створення складних синтетичних навчальних середовищ є біотехнічні системи, у яких передбачені різноманітні засоби управління змістом зображень для моделей цих середовищ як з боку дослідника, так і з боку учня. Пропонується розширити поняття «біотехнічна система» зарахуванням до неї так званих «біотехнічних технологій», що стає особливо актуальним у цифровому світі. Відмінність цих технологій полягає в тому, що серед технологічних операцій, що зараховуються, належать до них, велике значення має приділятися операціям, пов'язаним із забезпеченням безпеки роботи та створення оптимальних умов життя та трудової діяльності людини. Водночас людина взаємодіє не з матеріальними предметами, а головним чином з інформаційними технологіями, з інформацією та знаннями, що впливають на неї, і під час управління, і під час вивчення зовнішнього світу з його ефективним використанням.

У [5] запропонована модель ризиків, пов'язаних із технологіями AR/VR/MR/XR у навчанні. Наголошується, що всі нейрофізіологічні підсистеми тим активніші, чим більш заглибленим є виконання завдання. Ось чому контроль робочих параметрів у AR/VR/MR/XR є таким важливим для пом'якшення кіберхвороби, особливо під час навчання.

У [6] описано теорію (системно-структурну модель) навчальної діяльності у віртуальній реальності, а також продемонстровано (на експериментальних даних) психофізіологічну регуляцію когнітивної діяльності у VR. Діяльність людини у віртуальній реальності за своєю природою є діяльністю із зануренням. Відзначено, що людський мозок може набагато більше постраждати від інтенсивної зануреної діяльності, оскільки його робота підтримується фізіологічною регуляцією і його перевантаження може призвести до непотрібного стресу. Повторюваний стрес, навіть на прийнятному рівні, може призвести до кумулятивного ефекту, втрати психофізіологічної стійкості людини.

У [7] розроблено 52 сценарії, які відображають різні фактори кіберхвороби. Завдяки цьому контенту проаналізовано кіберхворобу з точки зору кожного фактора. Велика кількість пар даних-міток може бути використана в контрольованому навчанні для створення надійного прогнозу кіберхвороби. Створений набір даних і отримані результати можна буде застосовувати для створення покращених служб віртуальної реальності.

У [8] на прикладі двох експериментів порівняна сила впливу втіленого досвіду в імерсивні віртуальні середовища (Immersive virtual environments - IVEs) з впливом читання друкованого опису або переглядом відео. Експеримент 1 показав, що IVE спонукали учасників споживати на 20% менше паперу, ніж учасники, які читали друкований опис рубки дерев. Експеримент 2 продемонстрував, що за тиждень після віртуального досвіду IVEs викликали більший внутрішній фокус контролю в середовищі та поведінку в середовищі, ніж друковані та відеоповідомлення.

У [9] представлено модель розпізнавання компетентностей на основі віртуальної реальності, яку можна використовувати при працевлаштуванні чи навчанні. Модель визначає три рівні компетенцій. Для кожного рівня можна визначити та реалізувати завдання віртуальної реальності, пов'язані з роботою, щоб розпізнати відповідні компетентності. Обговорюване впровадження базується на другому рівні з-поміж трьох та визначає розуміння концепцій, пов'язаних з гігієною.

У [10] висувається нейрокогнітивна модель, згідно з якою володіння тілом виникає як взаємодія між поточними мультисенсорними сигналами і внутрішніми моделями тіла. Досвід володіння тілом може представляти критичний компонент самоспецифікації, про що свідчать різні способи, якими мультисенсорна інтеграція у взаємодії з внутрішніми моделями тіла може фактично маніпулювати власними важливими фізичними та психологічними аспектами. Розуміння цих механізмів дуже важливо при застосуванні VR.

Авторське визначення [11]: «Імерсивне середовище користувача - штучно побудоване комп'ютерно орієнтоване середовище віртуальної діяльності, у якому спеціальними засобами комп'ютерного моделювання (сценарно-постановочними і/або комп'ютерними програмно-апаратними) створюється у користувача відчуття квазіреальної присутності (повної або часткової) у цьому середовищі і завдяки застосуванню імерсивних засобів і технологій досягається його занурення у віртуальний світ (або змішану реальну і віртуальну реальність), у сутність і перебіг віртуальних подій, забезпечується додаткова (порівняно з неімерсивними середовищами) можливість стати їх спостерігачем і/або активним учасником. Якщо метою побудови і використання імерсивного середовища є освітні чи наукові цілі, то такі середовища називають відповідно імерсивними середовищами освітньої, навчальної, педагогічної, наукової діяльності або їх комбінацій (наприклад, імерсивне середовище освітньо-наукової діяльності)».

Імерсивні середовища освітньої діяльності вже досить широко застосовуються в освітній практиці. Переважно у вигляді віртуальної (VR) чи доповненої реальності (AR). Відповідно до [20] навчання із зануренням - це метод навчання, який використовує технологію для покращення досвіду навчання та сприяння активній участі. Імерсивне навчання поєднує віртуальну, доповнену та змішану реальність із симуляційним навчанням, що дозволяє учням відпрацьовувати важливі робочі навички в контрольованому середовищі.

Віртуальна реальність (VR) занурює учнів у змодельоване середовище, надаючи їм доступ до місць, об'єктів і сценаріїв, які виходять за межі класної кімнати. Доповнена реальність накладає віртуальні зображення на відображення поточного середовища. Змішана реальність занурює учнів у віртуальне середовище, яке об'єднує елементи реального світу з імітованими зображеннями та сценаріями, інтегрованими в сценарій. Імерсивне навчання використовує всі або деякі з цих методів у поєднанні з моделюванням і навчанням. Учні можуть або виконати завдання в цих світах, або засвоїти нові концепції, проживаючи діяльність у новому середовищі. Цей стиль навчання дозволяє учням випробувати ситуації та сценарії, які можуть бути неможливими в традиційному класі. Учні також можуть взаємодіяти та навчатися один в одного у віртуальному середовищі. Імерсивне навчання особливо корисне на уроках STEM.

Ми розглядаємо не просто навчальне середовище, а середовище активної дії. Це передбачає не тільки спостереження, а й виконання певних взаємодій з елементами середовища. Насамперед це взаємодія з обладнанням (наприклад, оброблення матеріалів чи проведення експериментів) та взаємодія з іншими учасниками середовища (учнями, викладачами, тьюторами та ін.). Середовище активної дії містить елементи віртуальної реальності - це синтетичне навчальне середовище. До нього можуть бути сформульовані вимоги як для цільового оточуючого середовища, у якому діють (розглядаються) актори (у даному випадку учні, викладачі та ін.), які мають власні цілі. Тут ми можемо окреслити загальні контури середовища (показники), значення яких необхідно в подальшому визначити в конкретній реалізації цільового простору. Вони повинні відповідати узагальненим цілям учасників:

1. Іммерсивність: система повинна мати здатність занурювати користувача у віртуальну реальність та створювати ілюзію присутності всередині віртуального світу.

2. Інтерактивність: система має надавати користувачеві можливість взаємодії з віртуальним оточенням, об'єктами та іншими користувачами.

3. Графіка і звук: система повинна володіти високоякісною графікою та звуковими ефектами, що створюють реалістичне та природне оточення.

4. Реалістичність: система повинна створювати віртуальне середовище, яке максимально наближено до реального світу, щоб користувачі могли набувати реалістичного досвіду.

5. Адаптивність: система повинна враховувати різні типи навчання та учнів, забезпечуючи індивідуальний підхід до кожного та враховуючи його особливості.

6. Масштабованість: система повинна бути здатна масштабуватися відповідно до рівня складності та кількості користувачів.

7. Вимірюваність: система повинна мати вбудовані механізми для вимірювання та аналізу прогресу користувачів та оцінки результатів навчання.

8. Безпека: система повинна забезпечувати конфіденційність даних користувачів, захист від несанкціонованого доступу та інших загроз безпеці.

9. Доступність: система повинна бути доступна для використання на різних пристроях та операційних системах, щоб користувачі могли отримувати доступ до навчання в будь-який час та в будь-якому місці.

10. Інтеграція: система має бути здатна інтегруватися з іншими системами управління освітою та освітніми платформами для максимальної ефективності використання та сумісності.

Дуже важливим залишається питання доцільності. Немає сенсу створювати середовище з низькою ефективністю для користувачів та розробників. Тому, крім технічних показників, при створенні середовища необхідно враховувати також показники ефективності та економічної доцільності.

Зараз існує потужна інфраструктура засобів розробки VR. Назвемо основні складові.

Фреймворки - це комплексні програмні рішення, що полегшують розробку складних систем. Ці фреймворки, такі як Google Daydream, CryEngine, React 360, Primrose, Simbol, Vizor, Unreal Engine 4, Godot Engine, Apertus VR, Simmetri, Unity, A- Frame, Beloola, Kokowa, VRCHIVE, SceneVR, LOVR та Exokit, дозволяють створювати різноманітні проекти, такі як симуляції, ігри, VR/AR-додатки, соціальні VR-проєкти, віртуальні персонажі, фізичні експерименти, SD-простори для спілкування та 360- градусні панорами.

ЗБ-моделювання та анімація. Засоби, такі як Maya, Blender, 3ds Max, Recap360, Mixamo, Pixologic ZBrush, CadNav, MODO Indie, Speedtree, Wings 3d, FreeCAD, Sketchfab, Google Blocks, Anim8or, A-Painter, Unity Asset Store, TurboSquid, Free3D, Oyonale, NASA Space Models, 3Delicious, DMI 3D дозволяють створювати анімації та скульптури, просторові моделі, візуалізації рослин у 3D, 3D-моделювання та анімацію персонажів, статичні сцени в іграх, тривимірні різних технологій та архітектурних споруд.

Скетчинг та прототипування. Приклади: Gravity Sketch, Tilt Brush, Quill, Substance, Quixel, Unbound, Oculus Medium, Textures. Вони дозволяють створювати 3D- моделі та концептуальні ескізи, малювати у віртуальному 3D-просторі, текстурувати об'єкти за допомогою кистей, масок та частинок, містить тисячі PBR (Physically-Based Rendering materials) матеріалів для ігор, візуалізації та ефектів, надають гравцям захоплюючий спосіб створення тривимірних об'єктів, дозволяють проєктувати, розмальовувати, моделювати та створювати предмети у VR, пропонують цифрові зображення різних матеріалів: тканин, деревини, металу, каміння, пластику та інших.

За останні роки суттєво збільшилась кількість досліджень стосовно застосування імерсивних технологій в освіті. Наведемо короткий огляд.

У [12] наведено енциклопедичний огляд стану імерсивності в освіті. У роботі дано визначення імерсивного навчання:«Імерсивне навчання концептуалізує освіту як набір активних феноменологічних переживань, які базуються на присутності. Навчання з ефектом занурення можна реалізувати за допомогою фізичних і цифрових засобів, таких як віртуальна реальність і доповнена реальність».

У [13] наголошується, що результати навчання студентів можуть бути покращені шляхом (1) надання студентам жорсткого контролю їх досвіду навчання з використанням IVR (immersive virtual reality), (2) мінімізації когнітивних навантажень, що накладаються IVR, (3) інтеграції характеристик учнів у дизайн навчальних додатків IVR та (4) додавання рефлексивних завдань до/або після використання додатків IVR. Пропонується шість принципів дизайну, які допоможуть полегшити перехід до уроків IVR та покращити дизайн додатків для навчання з використанням IVR та дизайн уроків.

У [14] виявлено п'ять підходів різного рівня інтерактивності та відкритості в навчальних завданнях: від пасивного спостереження за віртуальними світами до реагування на персоналізовані підказки. Проведена категоризація навчальних завдань та дизайну навчання. Наведено узагальнення застосування різних аспектів дизайну (Рис. 2).



Рис. 2. Застосування різних аспектів дизайну в імерсивних VR. Числами та кольорами позначена кількість респондентів, які дали таку відповідь. Наприклад, застосовують візуальні аспекти на низькому рівні (low) 53 респонденти, 40 на середньому (medium) та 126 на високому (high)

У [15] зазначається, що існують неоднозначні результати наслідків інтеграції IVR в освіту. Дане дослідження пропонує новий напрям у цій галузі, поєднуючи дослідження присутності - відчуття перебування в певному середовищі - з якістю навчання (Рис. 3).



Рис. 3. Огляд результатів дослідження впливів для умов посередництва віртуальної реальності з ефектом занурення (IVR) з ясністю (clarity) як виміром когнітивної активації присутності (presence) як посередником зі ставленням (attitude). Суцільними лініями показані прямі ефекти, пунктирними - непрямі

імерсивний синтетичний навчання

У [16] досліджується (1) ефективність імерсивної віртуальної реальності для навчання учасників дрібній моториці порівняно з фізичною підготовкою та (2) зв'язок між емоціональним збудженням учасників та покращенням результатів виконання завдань. Продемонстровано ефективність VR у навчанні та потенціал використання даних про збудження та продуктивність навчання для проєктування адаптивних навчальних систем VR.

У [17] вивчається вплив завдань на основі відео та VR на зміну ситуативного інтересу та самоефективності в управлінні класом. Показано, що моделювання VR викликало інтерес та підвищило ефективність в управлінні класом, але також викликало більш високе стороннє когнітивне навантаження, ніж завдання перегляду відео.

Мета статті. На практичному прикладі розглянути модель побудови імерсивного синтетичного освітнього простору. Об'єктом розгляду є спосіб здобуття особою освіти або навчання. Предметом розгляду є організація простору, який спрощує (забезпечує) цей процес для людини відповідно до сучасних тенденцій та запитів на методи короткотермінового навчання або здобуття освіти. У вузькому сенсі ми досліджуємо потенціал для короткотермінового навчання в імерсивному синтетичному навчальному просторі, який складається з VR-компоненти та реальних (фізичних) середовищ.



РЕЗУЛЬТАТИ ДОСЛІДЖЕННЯ

На думку авторів, доцільно порівнювати різні навчальні середовища за ступенем привабливості їх для користувачів, тобто для дітей, учнів, батьків, студентів, дорослих, вчителів, викладачів, адміністраторів, технічного персоналу, методичного персоналу тощо. Одна й та сама людина в один той самий період часу може одночасно рухатись по декількох навчальних траєкторіях. Рух по “траєкторії” це більш про ментальне, ніж про фізичне. Зазвичай, коли людина починає якийсь процес, вона дає йому назву. Наприклад, вивчати іноземну мову, написати оповідання, сходити на зустріч. Ці процеси мають початок та кінець у часі. Наявність початку та закінчення процесу не означає що він іде неперервно. Просто ресурси, час, результати, комунікація, очікування та інші обставини об'єднуються в блок під єдиною назвою процесу. На нашу думку, має сенс для спрощення дослідження траєкторій розглядати і досліджувати окремо кожну роль людини. Водночас важливо враховувати, що сумарний перелік ролей однієї людини має певні (фізіологічні, технічні, організаційні, ресурсні) обмеження. При подальшому розгляді будемо вважати роль мінімальною одиницею розгляду. За умови деяких обмежень ми можемо використовувати цілі ролі при дослідженні оточуючого середовища людини (носія ролі).

Стосовно ролі, яка рухається певною траєкторією, людина (носій цієї ролі) може скласти суб'єктивне судження, наскільки вона (людина) задоволена результатом цього процесу. Одночасно можемо порахувати об'єктивно витрачені ресурси на реалізацію процесу. Тож щодо кожної ролі-траєкторії можемо підрахувати результати та ступінь задоволення ними (носіяролі) і об'єктивно витрачені ресурси.

Досліджувати такі траєкторії зручно за допомогою мапи подорожей користувача. Зазвичай мапа подорожей користувача передбачає фіксацію, розгляд та аналіз наступних п'яти показників Your Step-by-Step Guide to Creating the Perfect Customer Journey [Електронний ресурс]. Доступно: https://www.act.com/uploads/docs/en/customer-iourneY-guide en.pdf:

Локальна задача. Яку саме задачу намагається вирішити користувач.

Тип активності. Задачу можна виконати різними способами, реалізуючи різні активності. Тому вказуємо, яка активність була реалізована.

Почуття. Які почуття, пов'язані з виконуваною активністю, відчуває користувач. Досвід. Який досвід отримав користувач у результаті виконання активності та його суб'єктивна оцінка.

Очікування. Які очікування були до виконання активності і наскільки вони виправдались.

Для дослідження шляху користувача пропонується застосовувати наступну модель. У цій моделі маємо задачі (Task), які поєднані діями (Artion). Кожна задача може бути виконана за допомогою однієї або декількох дій. Тобто послідовність Artion-Task на схемі означає, що в результаті виконання Artion було вирішено завдання Task. Найпростіший варіант - це лінійна послідовність задач (Рис.4). У ній користувачу не надається вибір переліку та послідовності задач, але він може обрати, якими діями забезпечити їх виконання.

У більш складному варіанті послідовність задач задається спрямованим графом. Тобто склад та послідовність завдань у певному, залежному від контексту, обсязі може вибирати користувач. На Рис.5 Actons позначає множину доступних варіантів дій у певній точці.



І третій варіант (Рис.6), коли після виконання будь-якого завдання доступні всі варіанти Actions, які ведуть до виконання всіх завдань.

Рис. 6. Послідовність дій з повним вибором після кожного кроку.



Варіант 2 (Рис.5) найзручніший для опису та планування реальних дій. Бо в кожній точці завжди існують реальні обмеження щодо наступних завдань та допустимих операцій. Але третій варіант (Рис.6) зручніший для розуміння та моделювання. Зараз розглядаємо третій варіант.

Користувач рухається по колу HUB-Action-Task. Ми можемо фіксувати у таблицю опису траєкторій наступні дані:

Користувач - роль - хто та в якій ролі

Траєкторія - назва чи ідентифікатор навчальної траєкторії

№ кроку - номер кроку

Основна - Допоміжна- ознака - це основна чи допоміжна задача

Час - час, витрачений на виконання цього кроку

Задача - ідентифікатор задачі, яка вирішується на цьому кроці

Дія - яка, виконується

Ресурси - які витрачені ресурси

Почуття - які були почуття, пов'язані з цим кроком, у виконавця

Досвід - який досвід отримав виконавець

Очікування - які були очікування до початку виконання дій

За цими даними ми можемо побудувати реальні пройдені шляхи користувача-ролі. Причому можемо аналізувати як за ролями, так і за узагальненою особою користувача (усі ролі разом для одного користувача). Наприклад, за час однієї подорожі користувача можемо підсумувати його почуття, досвід, здійснення очікувань, витрачені ресурси та час. Це дуже важлива інформація для розуміння механізму прийняття рішень користувачем.

Користувач у всіх своїх ролях може проходити різний набір траєкторій для досягнення одних і тих же результатів. Порівнюючи узагальнені дані для різних наборів траєкторій, користувач може обрати найкращий за певними критеріями. Дана модель може бути взята за основу для конструювання та оптимізації індивідуальних та групових навчальних траєкторій. Одночасно, дані моделі можуть бути застосовані для аналізу оточуючого середовища та подальшого його вдосконалення.

Логічно вважати, що нові варіанти траєкторій навчання виникають, коли існуючі не влаштовують деяку частину користувачів. Під час навчання той, хто навчається, витрачає певний час та ресурси. Їх можна поділити на основні та допоміжні. Основні - це той час і ресурси (далі просто ресурси), які безпосередньо витрачаються на навчання. Допоміжні - це те, що пов'язане з організацією навчання, підготовкою, дорогою, пошуком навчальних матеріалів, здачею відбіркових іспитів тощо. Для порівняння різних траєкторій навчання з однаковим результатом будемо використовувати витрачені основні та допоміжні ресурси. Розглянемо дві траєкторії Т(1) та Т(2). Тоді відповідно основні та допоміжні ресурси для них позначимоM(1), A(1) таM(2), A(2). За умови, коли M(1)+A(1) > M(2)+A(2) можемо говорити, що Т(2) краще за Т(1). Тобто для досягнення ідентичних результатів в Т(2) витрачається менше ресурсів. Розглянемо співвідношення P=A/(M+A). Можемо сказати: чим більше P, тим більший потенціал для вдосконалення цього варіанту навчання. Бо є можливість скорочення використання допоміжних ресурсів.

Можемо виділити наступні області для оптимізації:

1. Відмова від зайвого змісту.

2. Скорочення допоміжних дій.

3. Об'єднання різних траєкторій на деяких ділянках із зарахуванням результату одночасно до кожної траєкторії.

Як було сказано вище, предметом розгляду є організація середовища, яке спрощує процес навчання для людини відповідно до сучасних тенденцій та запитів на методи короткотермінового навчання або здобуття освіти. У вузькому сенсі ми досліджуємо потенціал для навчання в імерсивному середовищі, яке складається з VR-компоненти та реального середовища (RR). Відомо, що когнітивна візуалізація [18] та віртуальна реальність [19] позитивно впливають на навчальні результати та безпосередньо на способи навчання.

Далі зосередимось на питанні: як створене та влаштоване імерсивне синтетичне навчальне середовище, як у ньому відбувається побудова навчальних траєкторій. Для визначеності будемо розглядати реальну керамічну майстерню (RR-Lab) та відповідну віртуальну (ділі VR-Lab).

Розглянемо, який схематичний вигляд матиме імерсивний синтетичний освітній простір в (Immersion synthetic educational space, далі ISES) за логікою [1]. Цей простір складається з множини цільових тематичних підпросторів W (наприклад, кераміка, малювання, деревообробка, тощо). У кожному цільовому підпросторі W виділяються системи S (лабораторії). Одна віртуальна (VR-Lab) і невизначена кількість реальних (RR- Lab). Для кожної з цих систем можемо виділити її оточуюче середовище Рис.7.

Рис. 7. Схема імерсійних синтетичних освітніх підпросторів.

При створенні нової VR-Lab керуємось принципами поступовго уточнення та внутрішніх взаємозв'язків. Принцип поступового уточнення передбачає створення всіх необхідних структурних елементів без деталізації, але з можливістю уточнень та доповнень. Принцип внутрішніх взаємозв'язків передбачає швидке виявлення прогалин, протиріч та можливостей за рахунок сильних перехресних зв'язків у базах даних, що описують відповідну VR-Lab.

Створенням нової VR-Lab займається особа або команда з умовною назвою VR- Creator. За функціоналом члени команди мають володіти наступними уміннями: дизайн, IT, VR, розуміння предметної галузі тощо.

Основою для побудови VR-Lab є створення та наповнення інформаційної інфраструктури. Для цього ми використовуємо потужне та гнучке середовище notion.so. Воно дозволяє динамічно створювати та модифікувати бази даних безпосередньо під час роботи. Це дуже зручно в умовах невизначеності.

Формально, створення VR-Lab починається з запису в таблицю Labs (Рис.8). Заповнюються всі відомі поля. Те, що на даний момент не визначено, залишається пустим. Таблиця Labs - об'єднуюча таблиця для всієї мережі ISES. Через неї користувачі можуть подивитись, які лабораторії присутні в просторі, їх опис, статус та умови застосування. Доступні фільтри та текстовий пошук. Безпосередньо з цієї таблиці можна перейти за посиланням прямо в VR-Lab. Доступна форма, через яку будь-хто може запропонувати свою лабораторію.

Рис.8. Фрагмент таблиці Labs переліку віртуальних лабораторій простору ISES.

Створюється майнд-мапа простору, наприклад, у середовищі MindMup for Google Drive (Рис.9).

Рис. 9. Майнд-мапа підпростору Кераміка

У мапі відображаються всі основні сутності та процеси, які існують в RR-Lab та потенційно можуть бути реалізовані у VR-Lab. У мапі ведеться наскрізна нумерація елементів. На даному етапі ще не зрозуміло, які категорії об'єктів розглядаються. Тому наскрізна нумерація допоможе правильно структурувати інформацію. Ключовою особою при створенні майнд-мапи VR-Lab є фахівець з відповідного RR-Lab. Зазвичай робота виконується легше та швидше, якщо фахівець створює мапу за певним алгоритмом у режимі питань/відповідей. Наприклад, може бути така послідовність дій, яка може бути доповнена:

1. Перелічіть усі функціональні зони RR-Lab.

2. Для кожної функціональної зони перелічіть усі артефакти.

3. Перелічіть відомі ролі та функції.

4. Перелічіть основні технологічні процеси.

5. Перелічіть базові технологічні етапи для кожного процесу.

6. Для кожного технологічного етапу перелічіть ключові операції, матеріали, обладнання, інструменти.

На основі майнд-мапи заповнюється таблиця артефактів t-Artefacts (Рис.10). У таблиці артефактів перелічені всі артефакти усіх VR-Lab мережі ISES. Доступні фільтри та сортування за категорією, темою, назвою VR-Lab, способами діяльності (HowToDo).

Рис.10. Зразок таблиці артефактів t-Artefacts

Це дозволяє швидко дослідити однакові артефакти в різних VR-Lab та способах діяльності з ними. Є можливість реєстрації взаємозв'язків у таблиці взаємозв'язків між артефактами. Це поступово формує мережу артефактів. Зазвичай розробники не можуть врахувати все на етапі розробки. Тому є можливість користувачу запропонувати додати свої артефакти через відповідну форму. Згодом таблиця артефактів може бути доповнена (по сутностям), виправлена та доповнена медіа файлами. З часом починає працювати синергетичний ефект. Чим більше VR-Lab створено, чим різноманітніший їх опис, тим легше створювати нові за рахунок повторного використання вже існуючих елементів.

Таблиця артефактів є інформаційною основою для побудови та наповнення VR- Lab. Кожний артефакт описується за можливості повно. Потім цей опис може бути доповнений та виправлений. Медіафайли створюються максимально інформативно та без зайвих контекстів.

Наступним кроком заповнюється таблиця LabMaps (Рис.11). Вона відображає загальну структуру предметної галузі певної лабораторії. Кожному структурному елементу присвоєно унікальний номер. Безпосередні зв'язки між елементами відображені через посилання. Також з кожним елементом пов'язані посилання на таблиці HowToDo, Rules, Knowledge, Artefact та іншими. Для певної VR-Lab вона фіксує наявність взаємозв'язків між різними артефактами. Доступно відображати зв'язки між артефактами, HowToDo, Rules, Knowledge різних VR-Lab.

Рис. 11 Зразок таблиці LabMaps

Для кожної VR-Lab окремо створюється таблиця “Морфологічна матриця”. Морфологічна матриця - це комплексний методичний прийом. У ньому проблема систематично розкладається на параметри. Ці параметри є факторами/показниками проблеми і мають бути незалежними один від одного. Дидактична мета застосування морфологічної матриці полягає в тому, щоб через перекриття факторів уявити собі в повному обсязі проблему, а також сприяти розвитку здатності вирішувати проблему за допомогою структурування та примусового з'єднання. Методична мета полягає у визначенні варіантів розв'язання проблеми. Пропонується формувати назву таблиці за схемою ММ+<назва лабораторії>. Наприклад, для лабораторії Ceramic морфологічна матриця буде мати назву MM-Ceramic (Рис.12). Сенс у тому, що в ній у якості властивостей (стовпці) прописуються назви важливих елементів (параметрів) виробу, які можуть бути варіативними. Наприклад, колір, форма, технологія тощо. Цей набір важливих параметрів різний для різних VR-Lab, тому морфологічна матриця індивідуальна для кожної VR-Lab.

Рис. 12. Зразок морфологічної матриці MM-Ceramic

Кожен користувач за допомогою морфологічної матриці може швидко сформувати свій запит або бачення своєї взаємодії з VR-Lab.

Після осмислення суті та інформаційної структури VR-Lab можемо братися до проєктування геометрії VR-Lab. На цьому етапі малюється геометрична схема простору в масштабі. Вказуються кімнати, їх назви, сполучення, загальна площа та висота стін. Це необхідно для розуміння які артефакти можуть бути розташовані в просторі та вибору місця розташування. Зручно таку схему намалювати в середовищі https://miro.com/ чи https://sketchfab.com/. Зразок схеми Ceramic-Lab (Рис. 13).



Рис. 13. Зразок 2D схеми Ceramic-Lab

Сучасні системи створення VR, наприклад, (hubs.mozilla) мають певні обмеження щодо кількості об'єктів у просторі та детальності їх відображення. Практика показує, що для широкого застосування доцільно використовувати браузерний варіант відображення віртуальної реальності. Це теж накладає певні обмеження. Тому дуже важливо на цьому етапі визначити тип, перелік та кількість артефактів, які мають бути розміщені у VR-Lab. Можемо виділити наступні типи артефактів для розміщення у VR-Lab:

- Інформаційно-навігаційні позначення. Рекомендується в усіх VR-Lab застосовувати єдиний перелік навігаційних позначень. Але в кожному просторі можуть бути ще додатково свої позначення. Всі навігаційні позначення зберігаються в єдиній базі (Signs).

- Лінки на зовнішні джерела. Це лінк на звичайний сайт або додаток.

- QR коди. Лінк через QR код.

- Фото, фотолінки. Просте фото або фото з лінком. Наприклад, коли ми посилаємось на таблицю артефактів, то фото зручно повідомляє про що йде мова.

- Відео. Відео, яке закріплене на об'єкті в просторі. І його можна там переглядати.

- Інтерактивні об'єкти. Об'єкти, які певним чином можуть взаємодіяти з відвідувачами простору або іншими об'єктами. Наприклад, голосове повідомлення при наближенні до об'єкту чи перетині кордону кімнати.

- 3D моделі. Моделі розташовані в просторі, з якими можна взаємодіяти.

- Програмні засоби з інтерфейсом розташованим в середовищі VR-Lab. Наприклад, програма рішення кросвордів чи тестів.

- Актори. Відвідувачі простору, які можуть рухатись, взаємодіяти з іншими відвідувачами та об'єктами.

З урахуванням всіх обставин з'ясовуємо обмеження середовища, яке ми використовуємо для створення VR-Lab. А саме:

- Допустима кількість об'єктів

- Допустима кількість елементів

- Допустима кількість персонажей

Для всіх типів артефактів перелічуємо конкретні артефакти, які ми плануємо розмістити у VR-Lab (Рис.13. права колонка). Обов'язково вказуємо показники, стосовно яких є обмеження середовища розробки (кількість елементів, площа,...). Робимо загальні підрахунки та порівнюємо з обмеженнями. Якщо обмеження перевищені, то необхідно або скорочувати перелік артефактів, або вибрати інший інструмент створення VR чи пакет застосування.

Для зручності створення VR-Lab можна дотримуватись наступного переліку пропонованих елементів:

1. Мапа (геометрії) лабораторії.

2. Майд-мапа сенсів лабораторії - зміст та зв'язки.

3. Перелік умовних позначень.

4. Відеопрезентація лабораторії.

5. Відео/аудіогіди по лабораторії.

6. Лінк на базу артефактів

7. Лінк на реєстрацію у лабораторії.

8. Лінк на користувачів лабораторії

9. Кімната(и) переговорів.

10. Лінк на список Skills лабораторії.

11. Лінк на список Інтересів лабораторії.

12. Кімната воркшопів.

13. Список подій лабораторії

14. Правила лабораторії

15. Список HowToDo лабораторії

16. Лінк на морфологічну матрицю лабораторії

17. Лінк на рекомендоване ПНС (персональне навчальне середовище) лабораторії

Після цього можемо розмістити артефакти на схемі (Рис.13). На цьому етапі інформації достатньо для передачі фахівцю з роботи з VR для створення VR-Lab у 3D.

Пошук та вибір готового темплейту простору відповідно до вимог. Очевидно, що кожний раз строювати VR-Lab з нуля досить трудомістко. Тому рекомендується брати за основу вже створені VR-Lab або спеціальні темплейти. Робимо копію темплейту та переносимо всі елементи зі схеми на VR-Lab. У результаті маємо готову для апробації та початку роботи VR-Lab (Рис. 14).



Рис. 14. Готова для апробації VR-Lab

Узагальнений шлях користувача може мати такий вигляд Рис.15.

Рис. 15. Узагальнений шлях користувача

1. Вибір VR-Lab

2. Оглядове знайомство.

3. Визначення власного проєкту для реалізації.

4. Розроблення плану реалізації проєкту.

5. Теоретична підготовка до реалізації проєкту. Навчання.

6. Пошук та вибір RR-Lab для реалізації проєкту.

7. Реалізація проєкту в обраній RR-Lab.

8. Відображення результатів виконання проєкту в VR-Lab

Розглянемо два кейси подорожі користувача в VR-Lab Ceramic.

Кейс №»1. Користувач побачив фото керамічного півника і вирішив зробити собі на пам'ять аналогічного. Одночасно користувач бажає розібратися з основами керамічного виробництва. Він шукає, як йому реалізувати свій задум без зайвих клопотів.

Припустимо, що вже існує VR-Lab Ceramic. Розглянемо алгоритм взаємодії користувача, якого зацікавила кераміка з VR-Lab.

Оглядове знайомство. Уявлення. Користувач заходить в VR-Lab Ceramic. Він може вільно пересуватись та подивитись все, що його зацікавило. Подивитись коротке ознайомче відео.

Що можливо зробити. Користувач намагається з'ясувати, які вироби взагалі можливо зробити в керамічній майстерні. Для цього він може відвідати кімнату готових виробів. Подивитись таблицю артефактів або, наприклад, розділ “Кераміка” на сайті) https://artsandculture.google.com/.

Майстерня. Далі користувач може відвідати майстерню. Подивитись, яке там є обладнання та ознайомитися з можливостями роботи на ньому при перегляді відео.

Інструменти та матеріали. Детально познайомитись з необхідними інструментами та матеріалами можна в кімнаті “Матеріали та інструменти”. Подивитись відео, як працювати, Познайомитись з технікою безпеки.

Визначення проекту для реалізації. Уточнення запиту. Після загального ознайомлення доцільно уточнити свій запит. Що саме хочеш зробити. Для цього користувачу буде запропоновано обрати серед запропонованих зразків той, що найбільше корелює з бажаним виробом. На основі цього вибору можемо приблизно оцінити, які матеріали та інструменти будуть необхідні, які техніки роботи необхідно опанувати, які знання необхідно засвоїти. Формується прототип запиту. Далі в спеціальному меню (морфологічна матриця MM-Ceramic) користувач може уточнити параметри свого запиту. На цьому етапі може бути сформована орієнтовна ціна виконання проєкту. Якщо у користувача запит чогось навчитись, то йому буде запропоновано опитувальник. Після відповідей автоматично буде запропоновано програму навчання з приблизним обсягом необхідного часу, вартістю та додатковими умовами. Цю програму бажано додатково обговорити з консультантом простору VR Ceramic-Lab. Після цього обираємо RR Ceramic-Lab, де є можливість фізично реалізувати проєкт. Користувач знає програму навчання. На місці узгоджує всі деталі і починає навчання.

План реалізації проєкту. Консультація. Якщо користувачу необхідна консультація, то він іде в кімнату переговорів і викликає консультанта, з яким обговорює всі незрозумілі питання. За певним розкладом або за попереднім записом у VR-Lab проводяться групові консультації, загальні або тематичні екскурсії. Власники RR-Lab на цьому етапі не турбуються. Детальний план. На основі морфологічної матриці консультацій з консультантами та мешканцями VR-Lab формується детальний план реалізації проєкту. У ньому вказуються необхідні інструменти, матеріали, знання. Перелік рекомендованої літератури та медійних матеріалів. Усі інформаційні та навчальні матеріали доступні безпосередньо в VR-Lab.

Теоретична підготовка до реалізації проєкту. Згідно детального рекомендованого плану користувач вивчає запропоновані матеріали. Під час виконання проєкту він може вільно спілкуватися з усіма відвідувачами VR-Lab. З такими самими виконавцями проєктів або з експертами чи тьюторами.

Пошук та вибір RR-Lab для реалізації проєкту. Після того, як користувач пройшов теоретичну підготовку, починається пошук RR-Lab, де можна втілити в життя цей задум. Передбачається, що кожна VR-Lab має перелік партнерських RR-Lab, які готові працювати з користувачем відповідно до його запиту. Користувач може обрати одне або декілька місць. Система автоматично надішле пропозицію з детальним планом і потребами користувача в ці місця. Користувач отримує відповідь/підтвердження на свою контактну адресу.

Реалізація проекту RR-Lab. На момент приходу користувача в RR-Lab уже сформовано запит досить детально. Користувач знає, які техніки необхідно буде застосовувати та теоретично до них підготовлений. Також він онлайн у VR-Lab пройшов інструктаж з техніки безпеки саме по обраним технікам, інструментам та матеріалам. Це суттєво економить час перебування в RR-Lab та зменшує навантаження на їх співробітників. Користувач уточнює запит. Виготовляє свій виріб.

Відображення результатів виконання проекту у VR-Lab. Галерея готових робіт. За бажанням користувач може розмістити фото та відео своїх робіт у галереї VR- Lab. Якщо це необхідно, вони можуть бути виставлені на продаж (NFT), аукціон, лотерею, виставку, голосування, подарунки тощо. Або використовуватись з навчальною метою.

Кейс №»2. Поставлена задача - ознайомити школярів (з різних шкіл різних регіонів) з технологією штучного інтелекту та його можливостями стосовно створення зображень за допомогою текстових запитів.

Для цієї задачі створена VR-Lab Dreamers. Пропонований наступний алгоритм взаємодії з користувачами.

Повідомлення. Учням шкіл надсилається коротке інформаційне повідомлення. Бажано у формі паперової оголошення з QR-кодом. В оголошенні надано короткий опис заходу та QR-код, який веде на простір VR-Lab Dreamers. Учні самостійно без будь-яких додаткових дій учителів та персоналу школи досліджують Lab.

Уявлення. Дослідження полягає в огляді простору і намаганні зрозуміти його зміст та призначення. Учні можуть вільно подивитись запропоновані відео, фото, тексти, презентації інші добірки матеріалів. У будь-який момент користувач може сформулювати питання письмово або у вигляді відео/аудіозвернення.

Що можна зробити. Користувач намагається з'ясувати, які вироби взагалі можливо зробити в цьому просторі. Для цього він може відвідати кімнату готових виробів. Це зразки текстових запитів та відповідних малюнків згенерованих штучним інтелектом.

Майстерня. Майстерня показує які інструменти (технології) застосовуються та послідовність їх застосування.

Інструменти та матеріали. Детально познайомитись з необхідними інструментами та матеріалами можна в кімнаті “Матеріали та інструменти”. Подивитись відео як працювати. Ознайомитись із технікою безпеки. Інструменти в даному випадку це програмні засоби або інтернет-сервіси. Матеріали - це, наприклад, бібліотеки запитів.

Уточнення запиту. Після оглядового ознайомлення учень намагається сформулювати свій запит до загальних результатів, які він бажає отримати від діяльності у VR-Lab Dreamers. Це може бути: 1) зробити один малюнок; 2) зрозуміти технологію; 3) навчатися в цій технології створювати малюнки із заданими параметрами.

Залежно від запиту подальші кроки користувача будуть різними:

1. Зробити один малюнок. Учень отримує методичку та відеоінструкцію як в цій технології зробити малюнок. Самостійно або за допомогою консультанта виконує цей кейс.

2. Зрозуміти технологію. Учень отримує оглядовий текстовий та відеоматеріал з широким поясненням технології. Йому також пропонується самому знайти цікаві матеріали та приклади в інтернеті. Пропонується дослідити майнд-карту технології. Учень отримує набір завдань для розуміння різних аспектів технології.

3. Навчатися в цій технології створювати малюнки із заданими параметрами. Учень виконує всі елементи п.2. Після цього робить власний варіант майнд-карти стосовно цієї технології. Проходить умовну сертифікацію (тестування). Виконує тематичний проєкт.

Консультація. Якщо користувачу необхідна консультація, то він іде в кімнату переговорів і викликає консультанта, з яким обговорює всі незрозумілі питання.

За певним розкладом або за попереднім записом у VR-Lab проводяться групові консультації, загальні або тематичні екскурсії.

RR-Lab Dreamers. Усі учні, які пройшли підготовку у VR-Lab Dreamers та визначились із своїм запитом, розподіляються на групи відповідно до своїх запитів. Тьютор працює з кожною групою окремо за відповідною програмою.

Галерея готових робіт. За бажанням учні можуть розмістити розроблені малюнки в галереї VR-Lab. Якщо це необхідно, вони можуть бути виставлені на продаж (NFT), аукціон, лотерею, виставку, голосування, подарунки тощо або використовуватись з навчальною метою.



ВИСНОВКИ ТА ПЕРСПЕКТИВИ ПОДАЛЬШИХ ДОСЛІДЖЕНЬ

Застосування імерсивних синтетичних просторів для освіти вимагає розгляду наступних основних аспектів, а саме створення, застосування, безпека. Кожний з цих аспектів має свої виклики та потребує деталізації і уточнення.

У даній статті розглянуто в основному питання створення. Створення може відбуватись системним або екосистемним шляхом. Системний шлях більше пасує для закладів освіти, а екосистемний для неформальної освіти. Системний шлях передбачає попередній повний аналіз навчальної діяльності і проєктування відповідних засобів для обмеженого застосування відповідно до затверджених навчальних програм. Такий шлях не дуже гнучкий, ресурсовитратний, але має потенціал для широкого одночасного стандартизованого впровадження. Екосистемний шлях передбачає формування простору поступово зацікавленими учасниками відповідно до нагальних потреб та наявних можливостей. Цей шлях більш гнучкий, ресурсоекономний, але не може бути поширений одночасно на великі групи користувачів.