Особливості монтажного мислення у сферичних аудіовізуальних творах

Размещено на http://www.allbest.ru/

Особливості монтажного мислення у сферичних аудіовізуальних творах

Стулій Альона Ігорівна,

старша викладачка, аспірантка Київського національного університету театру, кіно та телебачення ім. І. К. Карпенка-Карого

Мета роботи полягає у визначенні основних принципів монтажного мислення в сферичних аудіовізуальних творах (відео 360); з'ясуванні причин формування цих принципів; аналізі їхнього впливу на глядача. Методологія. В опрацюванні теми використаний кейс-метод, що базується на вивченні конкретних прикладів, їхньому аналізі та узагальненні. Також застосований компаративний підхід для порівняння монтажних прийомів в сферичних та не сферичних аудіовізуальних творах. Наукова новизна полягає в тому, що монтаж сферичного відео розглядається як окрема особлива система зі своїми законами і правилами, що постала в наслідок розвитку пристроїв зйомки, обробки та відтворення даного формату, а головне - як відповідь на зростаючий глядацький запит саме такого видовища. Висновки. Сферичне відео - нова візуальна форма, яка динамічно розвивається і трансформується, в ній утворюється власна система монтажного мислення. Ця система оперує тими ж поняттями і засобами, що і класичний кінематограф, але застосовуються вони інакше через імерсивність її середовища. Свобода глядача у взаємодії з контентом не дорівнює втраті контролю автора над твором, а змінює інструменти, якими він оперує для направлення уваги публіки за історією. В результаті цей формат по-своєму впливає на мову кіно - візуальну мову XXI століття, розширює її мистецькі кордони. На думку авторки статті, особливості монтажного мислення в сферичних аудіовізуальних творах є перспективною темою для вивчення та практичного дослідження. сферичне відео монтаж імерсивність

Ключові слова: сферичне відео, 360 відео, монтаж, імерсивність, медіа, аудіовізуальний твір, глядач, мова кіно.

Stulii Alona, Senior Lecturer, Postgraduate Student of the Department of Film Directing and Screenwriting, Institute of Screen Arts Kyiv National I. K. Karpenko-Karyi University of Theatre, Cinema and Television

Features of editing concepts in spherical audiovisual content

This article aims to define the main principles of editing concepts in the context of spherical audiovisual content (360 videos); identify the reasons for the formation of these principles; and analyse their impact on the viewer. Research methodology. To examine the topic, the author uses a case-study method, which relies on the studying, analysis, and generalisation of specific examples. The author also applies a comparative approach to compare editing techniques for the spherical and non-spherical audiovisual content. The scientific novelty lies in the editing of spherical video being considered as a separate, unique system with its own laws and rules that have formed as a result of the development of devices for the recording, processing, and playback of this video format, and most importantly - as a response to the growing audience demand for such spectacle. Conclusions. Spherical video is a new visual form that is dynamically evolving and transforming, thus, developing its own system of editing concepts. This system uses the same ideas and tools as classical cinematography but applies them differently because of the immersiveness of its environment. The viewer's freedom in interacting with content does not equate to the loss of control for the author over the work; instead, it transforms the tools with which the author operates to guide the audience through the narrative. As a result, this medium influences the cinematic language - the visual language of the 21st century, expanding its artistic boundaries. The author of this article believes that the features of editing concepts in spherical audiovisual content represent a promising topic for study and practical research.

Keywords: Spherical video, 360 video, editing, immersiveness, media, audiovisual content, viewer, cinematic language.

Аналіз досліджень і публікацій

Сферичне відео технічно є послідовністю панорам і кругорам, тому дослідження цього виду аудіовізуальних творів сягає часів виробництва першої серійної панорамної камери Al-Vista [1] в 1898 та пізніше, у 1904 році, патентування В. Дж. Джонсоном більш професійної - Cirkut [2, 1-24], виробництвом якої займалася одна з найбільших компаній кінотехніки - Kodak. Коли камери та методи зйомки стали розвиненіші і простіші у користуванні, більшу увагу стали приділяти саме темам і сторітелінгу в цьому новому специфічному форматі. Серед авторів та дослідників імерсивних медіа, в тому числі сферичного відео, відомими є Н. де ла Пенья [3, 291-301], С. Салліван [4], Дж. Брійхарт [5] а також такі установи, як Міждисциплінарна ДослідницькаЛабораторія Массачусетського технологічного інституту (MIT Media Lab) [6] та Стенфордьска Лабораторія Віртуальної Реальності (Stenford VR Lab) [7]. Серед українських науковців досліджує мову кіно в контексті нових медіа С. Марченко [8], аналізуючи принцип сферичного купольного кіно та діяльність провідної української компанії Front Pictures, яка спеціалізується на апаратних та програмних рішеннях для візуальних медіа. Серед практиків сучасного мистецтва новітні технології розглядає О. Чепелик [9]. У 2020 році вийшов її мультимедійний проєкт VR Collider [10] за участі української інноваційної компанії Sensorama, яка є одним з найбільших виробників імерсивного контенту в Україні. Виробництво сферичного відео пришвидшується, його якість покращується, з'являються нові пристрої зйомки та перегляду, нові спеціальності та фахівці - цей практичний процес динамічніший за теоретичне осмислення проблематики, тому на сьогодні знання зі специфіки монтажного мислення в імерсивному відео є досі недостатньо вивченими та описаними.

Мета статті - визначити особливості монтажного мислення сферичного відео як окремої системи, яка відрізняється від принципів монтажу класичного кінематографу.

Виклад основного матеріалу

Сферичне відео, яке також називають «відео 360» - цеспецифічний формат, при якому запис камери або камер відбувається в усі сторони, що дає можливість утворити суцільну сферу рухомого зображення. Відео 360 є одним з елементів віртуальної реальності - симуляції,інтерактивного медіуму, з яким глядач може взаємодіяти. «Мета Імерсивної Віртуальної Реальності полягає в повному зануренні користувача всередину згенерованого комп'ютером простору, надаючи враження, що він/вона «потрапили всередину» цього синтетичного світу» [11, 338]. У 360 відео хоч і немає елементів інтерактиву, але є імерсивність, адже глядач має певну свободу вибору і може дивитися в будь-який бік. Саме ця специфіка відео 360 і є одним з найбільших викликів для автора, адже складно будувати наратив, не будучи певним чи побачить глядач той чи інший момент, чи надасть цьому значення, чи зрозуміє історію. Але звісно процес перегляду не проходить абсолютно безконтрольно. Чим же автор може захопити і як спрямовувати увагу глядача?

Монтаж це не тільки склейка двох послідовних кадрів, це значний обсяг характеристик цих кадрів, що впливають на історію, творять її. Одним з елементів монтажу є композиція кадру і плановість. Оскільки в сферичному відео видно все довкола себе, то поняття плану (як міри побільшення), що прийнято в класичному кінематографі, немає. Кадр тут - один загальний план, що ближче до естетики театру, коли функцію крупного плану виконує вихід на авансцену. Влучною демонстрацією цього є експериментальна трагікомедія одним кадром в 360 Ashes to Ashes (укр. «Попіл до попелу») [12], у якій взагалі немає склейок і актори перебудовують декорацію і перевдягаються в кадрі.

Композицію сферичного кадру складає увесь простір 360 градусів - так, якби глядачі в театрі сиділи посеред сцени, а навколо них відбувалася вистава. Але глядач фізично не може бачити все одночасно, його досвід сприйняття починається з якогось одного напрямку, і саме в тій зоні розвивається головна дія, важлива для історії. У фільмі 360 I, Philip (укр. «Я, Філіп») [13] французької студії OKIO на початку оповіді глядач знаходиться в графічному зображенні середини штучного інтелекту письменника Філіпа К. Діка і кадр відео з акторами просочується поступово через шпарину в графіці. Вона ширшає, привертає увагу і автор знає, що глядач інстинктивно буде дивитися в бік появи нової інформації. Далі актори пересуваються по мізансцені, відбуваються події, діалоги - все, що притаманне внутрішньокадровому монтажу.

Рис. 1. Дж. Брійхарт. Візуалізація монтажу «кадр до кадру»

Актори у сферичному відео також діють інакше. В класичному кінематографі здебільшого актори прагнуть абстрагуватися від камери, а той час як у сферичному відео дуже часто камера є невидимим героєм, з яким актори мають рахуватися, а інколи і вступати в зоровий контакт (тобто, дивитися в камеру). В серії коротких відео 360 Great Performers (укр. «Великі виконавці») [14] відомі актори, серед яких Н. Портман, К. Стюарт та К. Аффлек, ведуть діалог з камерою, фіксуючи погляд на камері, ніби на очах співрозмовника. При перегляді такої сцени в масці віртуальної реальності досягається набагато сильніший ефект присутності, ніж завдяки прийому суб'єктивної камери в класичному кінематографі. Рух камери у сферичних відео досить обмежений, не стільки через технічні особливості конструкції, скільки через вплив на вестибулярний апарат людини при перегляді в масці віртуальної реальності. Також рух камери рідко використовують, бо це протирічить основному принципу свободи глядача у відео 360. Але все ж є приклади вдалого використання руху камери в сферичному відео, як у бойовику 360 Help (укр. «Допомога») [15]. Тут камера не є головним героєм, на якого реагують, а виступає безтілесним свідком, невидимим спостерігачем. Її рух існує задля додаткової динаміки і технічного переміщення зі сцени в сцену, знову ж таки внутрішньокадровим монтажем, який є одним з найчастіших прийомів монтажу сферичного відео.

Класичне монтажне мислення покликане створити у глядача ілюзію єдності часу та простору, хоча кадри можуть бути зняті в різний час і в різних місцях. В своїй книзі In a Blink of an Eye (укр. «У мить кліпання ока») відомий режисер монтажу, практик, В. Марч, висловлює думку, що «монтажна склейка - це більше ніж зручний спосіб утворити безперервність. Вона сама по собі в силу своєї парадоксальної несподіваності сприяє створенню фільму» [16, 9]. У сферичному відео монтажна склейка також присутня, але вона якраз навпаки відмежовує різні сцени одна від одної, створюючи монтаж «світ до світу». Цей термін із циклу статей In a Blink of a Mind (укр. «У мить кліпання мозку») режисер ки та дослідниці інтерактивних медіа Дж. Брійхарт [17]. Вона порівнює класичний монтаж «кадр до кадру» (рис. 1) з монтажем імерсивних історій - «світ до світу» (рис. 2).

Рис. 2. Дж. Брійхарт.

Візуалізація монтажу «світ до світу»

Оскільки глядач не обмежений рамками кадру, то він у прямому сенсі мандрує світами, і кожна монтажна склейка - це дуже реалістичне, майже фізичне перенесення свідомості користувача. Коли ми закінчуємо дію в одному світі, то в наступному глядач знову має зрозуміти, куди дивитися і отримати важливу інформацію одразу перед собою. Щоб збільшити ймовірність цього ефекту мати і контроль автора над досвідом глядача, важливий об'єкт в наступній сцені розташовують там, де закінчилася активна дія в попередній сцені. Дж. Брійхарт зображає цей «Шлях Користувача» наступною схемою (рис. 3), де світлі крапки - це напрям кінця уваги попередньої сцени, а чорні - початок уваги в новій. Коли вони збігаються, то людина одразу бачить наступну важливу подію.

Рис. 3. Дж. Брійхарт.

Візуалізаця «Шляху користувача»

Наприклад, так монтажно вирішена спеціальна 13 хвилинна сферична серія Mr. Robot (укр. «Містер Робот») [18]. Але це не значить, що ці зони обов'язково мають збігатися. Глядач може навпаки не одразу побачити наступну активну сцену і це може надати історії певного сенсу, в цьому може теж бути рішення автора.

Акценти для привернення уваги глядача створюються візуальними інструментами, такими як світло, колір, маса об'єкту в кадрі, рух персонажів, а також аудіальними, як звуки та музика, які є просторовими і можуть панорамуватися. Також привертати увагу і спонукати до певних дій можуть цифрові об'єкти: стрілки, написи, імпульси. Це інколи надто прямолінійно, але дуже дієво. Наприклад у сферичному музичному кліпі Heal Tomorrow (укр. «Завтра заживе») [19] гурту Naive New Beaters та Izia автори пишуть глядачу на початку послання: «Слідуй за цим хлопцем, тисни і тягни» і малюють стрілку. Це важливо для цієї роботи, оскільки всі події відбуваються через переміщення головного героя навколо камери, отже щоб переглянути повноцінно історію, треба обернутися за ним кілька раз. Ще це музичне відео відоме дуже влучним використанням простору сфери зверху та знизу під окремі елементи. Це той простір, який в класичному відео не використовується, а у відео 360 може слугувати для наративу.

Для того, щоб перемістити глядача з одного світу в інший, тобто виконати монтажну склейку, в сферичному відео автори частіше використовують ефект переходу «cross fade». В класичному кінематографі це вважається на сьогоднішній день досить застарілим ефектом, окрім випадків, коли він складає специфічний авторський прийом. У відео 360 його використовують, бо він готує глядача до переходу, практично він є більш плавним і комфортним, на рівні з fade in та fade out (укр. «затемнення» та «вихід із затемнення»). Цими прийомами можна надати монтажу як комфортності, так і акцентності.

За швидкістю монтажу у сферичному відео майже не використовують «кліповий монтаж», адже глядач просто не встигатиме зчитувати інформацію, бо перед ним не один напрямок для сприйняття, а цілих шість. Загальний хронометраж фільму рідко перевищує 20 хвилин, оскільки перегляд відбувається за допомогою окулярів віртуальної реальності, які мають вагу до 500 г, що з часом спричиняє дискомфорт. Але порівняно з першими пристроями для перегляду віртуальної реальності, які важили по кілька кілограмів, технології стрімко розвиваються і кожна нова версія пристроїв забезпечує зручніший та цікавіший перегляд імерсивного відео.

Наукова новизна статті полягає в тому, що монтаж сферичного відео розглядається як окрема особлива система зі своїми законами і правилами, що постала в наслідок розвитку пристроїв зйомки, обробки та відтворення даного формату, а головне - як відповідь на зростаючий глядацький запит саме такого видовища.

Висновки

Сферичне відео - нова візуальна форма, яка динамічно розвивається і трансформується, в ній утворюється власна система монтажного мислення. Ця система оперує тими ж поняттями і засобами, що і класичний кінематограф, але застосовуються вони інакше через імерсивність її середовища. Свобода глядача у взаємодії з контентом не дорівнює втраті контролю автора над твором, а змінює інструменти, якими він оперує для направлення уваги публіки за історією. В результаті цей формат по-своєму впливає на мову кіно - візуальну мову XXI століття, розширює її мистецькі кордони. На думку авторки статті, особливості монтажного мислення в сферичних аудіовізуальних творах є перспективною темою для вивчення та практичного дослідження.

Література

1. A Brief History of Panoramic Photography, Prints and Photographs Division, Collection of The Library of Congress, Washington D.C. (n.d.). URL: https://www.loc.gov/collections/panoramic- photographs/articles-and-essays/a-brief-history-of- panoramic-photography/ (дата звернення: 11.01.2024).

2. The No. 8 Cirkut Outfit Manual from Eastman Kodak Company. FOLMER & SCHWING DIVISION, Rochester, New York. 1920. P. 1-24.

3. de la Pena N. et al. Immersive Journalism: Immersive Virtual Reality for the First-Person Experience of News. Presence: Teleoperators and Virtual Environments. 2010. Vol. 19. № 4 P. 291-301. DOI: 10.1162/pres_a_00005.

4. Sullivan S. et al. High-Quality Streamable Free-Viewpoint Video. ACM Transactions on Graphics. 2010. Vol. 34. № 4. DOI:10.1145/2766945.

5. Brillhart J. In the Blink of a Mind --

Attention. The Language of VR. Medium. 2016. URL: https://medium.com/the-language-of-vr/in-the-blink-of- a-mind-attention-1fdff60fa045 (дата звернення:

16.01.2024).

6. Wicaksono I. The KnitworkVR. MIT Media Lab. 2024. URL: https://www.media.mit.edu/projects/ knitworkvr/overview/ (дата звернення: 16.01.2024).

7. Bailenson JN. et al. Seeing the World through

Digital Prisms: Psychological Implications of

Passthrough Video Usage in Mixed Reality. Technology, Mind, and Behavior (TMB). 2024. URL: https://vhil.stanford.edu/publications/immersionpresen ce/seeing-world-through-digital-prisms-psychological- implications (дата звернення: 16.02.2024).

8. Марченко С. Погляд на мову кіно в контексті метатеорії мовознавства. Науковий вісник Київського національного університету театру, кіно і телебачення імені І. К. Карпенка-Карого. Київ. 2015. Вип. 16. С. 106-117.

9. Чепелик О. Взаємодія архітектурних просторів, сучасного мистецтва та новітніх технологій, або Мультимедійна утопія / Ін-т проблем сучасн. мист-ва Акад. мист-в України. Київ : Хімджест, 2009. 272 с.

10. Chepelyk O., Chuliuk-Zagrai G. VR Collider [Film]. Sensorama, MultVR, UCF. 2020. 6' 47'' URL: hub.link/YGkQoSe (дата звернення: 18.01.2024).

11. Borko F. Encyclopedia of multimedia. Springer, New York, 2006. P. 338.

12. Hallema S., Schenk IL., Wijngaarden J. Ashes to Ashes [Film] Submarine Channel, JauntVR. 2017. 10' 52'' URL: https://www.youtube.com/watch? v=865i1Ans9UY (дата звернення: 16.01.2024).

13. Zandrowicz P. I, Philip [Film]. OKIO. 2016. 14' 44'' URL: https://www.youtube.com/watch?v=rw NVKDOniQU (дата звернення: 18.02.2024).

14. Prince-Bythewood G., Mann AC. Great Performers [Film]. The New York Times & MILK(VR). 2017. 1' 32'' URL: https://www.nytimes.com/video/m agazine/100000004793909/great-performers-natalie- portman.html (дата звернення 16.01.2024).

15. Lin J. Help [Film]. Google Spotlight Stories. 2017. 4' 53'' URL: https://www.youtube.com/watch?v=G -XZhKqQAHU&t=161s (дата звернення 12.01.2024).

16. Murch W. In the blink of an eye : a perspective on film editing, Silman-James Press, Los Angeles. 1995. P. 9.

17. Brillhart J. In the Blink of a Mind - Prologue, Medium, San Francisco, 2016. URL: https://medium. com/the-language-of-vr/in-the-blink-of-a-mind- prologue-7864c0474a29 (дата звернення 16.01.2024).

18. Esmail S. Mr. Robot Virtual Reality

Experience [Film]. Universal Cable Productions & Esmail Group, 2016. 13' 03''. URL: https://www.

youtube.com/watch?v=JADKYKWLO9s (дата

звернення: 16.02.2024).

19. Chassaing R. Naive New Beaters feat. Izia: Heal Tomorrow, [Music video]. France. 2016. 3' 48''. URL: https://www.youtube.com/watch?v=JxVVNm35r JE (дата звернення: 16.02.2024).

References

1. A Brief History of Panoramic Photography. (n.d.). Prints and Photographs Division, Collection of The Library of Congress. Retrieved from: https://www.loc.gov/collections/panoramic- photographs/articles-and-essays/a-brief-history-of- panoramic-photography/ [in English].

2. The No. 8 Cirkut Outfit Manual from Eastman

Kodak Company. (1910). FOLMER & SCHWING DIVISION. Retrieved from:

https://manualzz.com/doc/66788123/kodak-no-8- cirkut-outfit-user-guide [in English].

3. de la Pena N. et al. (2010). Immersive

Journalism: Immersive Virtual Reality for the First- Person Experience of News. Presence: Teleoperators and Virtual Environments, 4 (19), 291-301. Retrieved from: https://direct.mit.edu/pvar/article-

abstract/19/4/291/59078/Immersive-Journalism- Immersive-Virtual-Reality-for?redirectedFrom=PDF [in English].

4. Sullivan, S. et al. (2010). High-Quality

Streamable Free-Viewpoint Video. ACM Transactions on Graphics, 4 (34). Retrieved from:

https://www.researchgate.net/publication/281641366_ High-Quality_Streamable_Free-Viewpoint_Video [in English].

5. Brillhart, J. (2016). In the Blink of a Mind --

Attention. The Language of VR. Medium. Retrieved from: https://medium.com/the-language-of-vr/in-the-

blink-of-a-mind-attention-1fdff60fa045 [in English].

6. Wicaksono, I. (2024). The KnitworkVR. MIT Media Lab. URL: https://www.media.mit.edu/proj ects/knitworkvr/overview/ [in English].

7. Bailenson, JN. et al. (2024). Seeing the World through Digital Prisms: Psychological Implications of Passthrough Video Usage in Mixed Reality. Technology, Mind, and Behavior (TMB). Retrieved from: https://vhil.stanford.edu/publications/immersionpresen ce/seeing-world-through-digital-prisms-psychological- implications [in English].

8. Marchenko, S. (2015). Look at the Language of Cinema in the Context of Metatheory of Linguistics. Scientific Bulletin of Kyiv National I. K. Karpenko- Kary Theatre, Cinema and Television University, 16, 106-117 [in Ukrainian].

9. Chepelyk, O. (2009). Interaction of Architectural Spaces, Contemporary Art and the Latest Technologies or Multimedia Utopia. Kyiv [in Ukrainian].

10. Chepelyk O., Chuliuk-Zagrai G. (2020). VR Collider [Film]. Sensorama, MultVR, UCF. Retrieved from hub.link/YGkQoSe [in English].

11. Borko F. (2006). Encyclopedia of multimedia. Springer [in English].

12. Hallema S., Schenk IL., & Wijngaarden J. (2017). Ashes to Ashes [Film] Submarine Channel, JauntVR. URL: https://www.youtube.com/watch?v=86 5i1Ans9UY [in English].

13. Zandrowicz, P. (2016). I. Philip [Film]. OKIO. URL: https://www.youtube.com/watch?v=rwN VKDOniQU [in English].

14. Prince-Bythewood, G., & Mann, AC. (2017).

Great Performers [Film]. The New York Times & MILK(VR). Retrieved from:

https://www.nytimes.com/video/magazine/1000000047 93909/great-performers-natalie-portman.html [in

English].

15. Lin, J. (2017). Help [Film]. Google Spotlight Stories. URL: https://www.youtube.com/watc h?v=G-XZhKqQAHU&t=161s [in English].

16. Murch, W. (1995). In the Blink of an Eye: A Perspective on Film Editing. Silman-James Press, Los Angeles [in English].

17. Brillhart, J. (2016). In the Blink of a Mind - Prologue. Medium, San Francisco. Retrieved from: https://medium.com/the-language-of-vr/in-the-blink-of- a-mind-prologue-7864c0474a29 [in English].

18. Esmail, S. (2016). Mr. Robot Virtual Reality Experience [Film]. Universal Cable Productions & Esmail Group. Retrieved from: https://www.youtube. com/watch?v=JADKYKWLO9s [in English].

19. Chassaing, R. (2016). Naive New Beaters feat.

Izia: Heal Tomorrow [Music video]. France. Retrieved from: https://www.youtube.com/watch?v=JxVVNm

35rJE [in English].

Размещено на Allbest.ru