Лінгвосеміотичний аналіз мультимодального дискурсу: нові підходи і перспективи дослідження

Размещено на http://www.allbest.ru/

Київський національний лінгвістичний університет

Лінгвосеміотичний аналіз мультимодального дискурсу: нові підходи і перспективи дослідження

О.О. Жихарєва, доктор філологічних наук, доцент

Анотація

У статті проаналізовано основні підходи до аналізу мультимодального дискурсу. Актуальність дослідження зумовлена значенням візуальної комунікації в сучасному інформаційному суспільстві з огляду на світомоделювальні властивості мультимодального дискурсу у створенні ідентичностей, цінностей, означення реальності поза межами дискурсу. Мета статті - інтерпретувати найбільш перспективні моделі аналізу візуальної семіотики з огляду на потребу в інтегративній методиці дослідження аналізу мультимодального повідомлення. Результати дослідження експлікують метод візуальної граматики, розроблений у форматі соціосеміотичної теорії критичного дискурс-аналізу, концепції рівнів сигніфікації і міфологізації Р. Барта і теорії метафункцій М. Халлідея. Аналіз візуальної семіотики інтегрує три дослідницькі аспекти: репрезентаційний (рівень ідей і концептів), що маніфестований динамічним наративним і статичним концептуальним значеннями; інтерактивний (рівень відношень між персонажами візуального повідомлення, його адресантом і адресатом), що базується на візуальних кодах вираження контакту, дистанції, ставлення і модальності; композиційний, що фокусується на принципах інформаційної цінності, салієнтності та фрейму, спираючись на зорові зони, розмір, тональність, кольорову контрастність, перспективу зображень, спосіб сполучення або роз'єднання візуальних елементів.

Ключові слова: мультимодальний дискурс, візуальна семіотика, метод візуальної граматики, репрезентаційне, інтерактивне, композиційне значення.

Abstract

LINGUOSEMIOTIC ANALYSIS OF MULTIMODAL DISCOURSE: NEW APPROACHES AND RESEARCH PERSPECTIVES

O. O. Zhykharieva

The article focuses on the main approaches to the analysis of multimodal discourse. The relevance of the study is due to the importance of visual communication in the modern information society given the world-modeling properties of multimodal discourse in the creation of identities, values, in signification and constructing the reality outside the discourse. The purpose of the article is to interpret the most promising models of analysis of visual semiotics in view of the need for the integrative methodology of its research. Research methods employed by the paper include analysis, systematization, introspection, classification. The results of the study explicate the method of visual grammar, developed within the framework of sociosemiotic theory of critical discourse analysis, the concept of levels of signification and mythologizing in institutional discourse, as well as the theory of metafunctions by M. Halliday. The analysis of visual semiotics integrates three research aspects: representational (level of ideas and concepts), which is manifested by dynamic narrative and static conceptual meanings; interactive (the level of relations between the characters of the visual message, its addressee and the addresser), based on the visual codes of expression of contact, distance, attitude and modality; compositional, which focuses on the principles of information value, salience and frame and relies on visual areas, size, tone, color contrast, perspective of images, the way of combining or separating the visual elements. In the perspective of further research, special attention should be paid to the development of methods that would take into account the correlation and isomorphism of pragmatics of the verbal and visual modes - considering that the visual component may flout the cooperative maxims and trigger the discursive implicatures that must either be filled in or eliminated by verbal mode. Visual code can also be associated with the felicity conditions of the speech acts presented by the verbal anchor.

Keywords: multimodal discourse, visual semiotics, method of visual grammar, representational, interactive, compositional meaning.

Вступ

Вивчення мультимодального тексту в семіотичному аспекті є одним із пріоритетних напрямів сучасних лінгвістичних студій - насамперед, європейських і американських. Фокусування лінгвістів на мультимодальному дискурсивному семіозисі і методах його аналізу зумовлено зростаючою роллю візуальної комунікації в сучасному інституційному дискурсі з огляду на світомоделювальні властивості мультимодального макрознаку у створенні ідентичностей, цінностей, ідей, означення реальності поза межами дискурсу.

Аналіз останніх досліджень і публікацій

Основними витоками мультимодального аналізу вважається соціосеміотич- ний підхід [2; 3; 7; 8; 9], відповідно до якого лінгвальні і візуальні семіотичні ресурси вивчаються в аспекті конструювання, завдяки своєму семіотичному коду, одного з «можливих світів», у поєднанні з теорією метафункцій М. Халлідея [5] і концепцією другого і третього рівнів конотації і сигніфікації, впровадженої Р. Бартом [1]. Найбільш вдалим синтезом зазначених підходів в перспективі аналізу мультимодального дискурсу є, на наш погляд, візуальний граматичний аналіз, запропонований Г. Крессом і В. Т. Левеном [8].

У межах першого з зазначених підходів дискурс усвідомлюється «як когнітивно-семіотична цілісність із властивостями моделювання світу» [7, c. 26] і сам стає одним з семіотичних концептів завдяки своїй функції у конструюванні і підтримці соціальних цінностей [6, c. 71]. Отже, соціосеміотичний підхід становить свого роду дослідницьку парадигму для інших векторів мультимодального аналізу, оскільки його кінцевою метою є виявлення імпліцитних значень другого і третього рівнів сигніфікації і міфологізації (за Р. Бартом [1]) у різних інституційних сферах - ідеологічній, політичній, правовій, рекламній, медичній (зважаючи на сучасні реалії) тощо. У такому ракурсі соціосеміотичний ракурс дослідження безпосередньо корелює із концепцією рівнів сигніфікації і конотації, що впроваджується Р. Бартом [1] стосовно, насамперед, рекламного дискурсу, але не менш ефективно «працює» під час аналізу будь-яких інших дискурсів з мультимодальним компонентом. Відповідно до теорії Р. Барта, мультимодаль- ний текст інтегрує три типи модусів: вербальний, який виконує функцію «якоря» або опори, що ідентифікує або інтерпретує візуальну складову; кодоване іконічне символічне повідомлення, що, окрім денотативного, залучає конотативний рівень інтерпретації; іконічне перцептивне повідомлення без коду (наприклад, фотографія), що сприймається лише на денотативному рівні.

Іншим аспектом проблеми мультимодального семіозису стає необхідність відповіді на питання про те, яким чином звичайні речі, люди, тексти, проекти, політичні партії набувають вторинного сигніфікативного значення, тобто як, наприклад, назва партії починає асоціюватися в масовій свідомості з порядком і стабільністю або, навпаки, з новаціями; або як товар стає уособленням затишку, кохання або вишуканого стилю життя. Для відповіді на це питання в сучасній мультимодальній семіотиці широко застосується метод візуальної граматики, започаткований Крессом і Ван Левеном [8] на теоретико- методологічному підґрунті теорії метафункцій М. Халлідея [5], що описує мову як семіотичну систему, яка використовує різні семіотичні ресурси для створення значення завдяки конфігурації трьох структурних функцій: ідеаційної як функції вираження змісту, концептів; міжособистісної, що виражає роль відносин та ідентичностей у соціальній взаємодії між людьми; текстової, що об'єднує уявлення (дотичні до ідеаційної функції) і інтеракцію (пов'язану з міжособистісною функцією) в єдиний текст або комунікативну подію. Джевітт та Ояма [4, с. 140].

Втім, узагальнення підходів до семіотичного вивчення мультимодального дискурсу залишається актуальною проблемою сучасних лінгвістичних і міждисциплінарних студій, що зумовлює мету цієї статті - інтерпретацію найбільш перспективних моделей аналізу з огляду на необхідність виопрацювання інтегративної методики дослідження мультимодального повідомлення незалежно від його дискурсивного жанру. Методи дослідження включають аналіз, систематизацію, інтроспекцію, класифікацію. візуальний комунікація мультимодальний дискурс

Результати

Відповідно до концепції P. Барта [1], на рівні конотації план значення (signified) певного знаку використовується як план форми (signifier). Наприклад, нова модель I-Phone позиціонуватиметься відповідним рекламним дискурсом вже не як телефон, а як втілене задоволення від життя, або навіть як символ певної внутрішньо-групової ідентичності, належності до групи «обраних». В останньому випадку розробниками реклами залучатиметься архетипний компонент, асоційований з казково-міфологічним поняттям «чарівного помічника», завдяки володінню яким його володар сам набуває певних надприродних якостей.

Сукупність таких знаків-конотатів або міфологем (ідіологем) формують третій рівень конотації або міфологізації, що відображає основні культурно-змінні поняття, пов'язані з певним світоглядом [6]. При цьому такий рівень як сукупність стійких асоціацій-конотацій, що формує фрагмент картини світу цільового клієнта, виборця, глядача тощо, не обмежується рекламним дискурсом.

Міфологеми-ідеологеми є незмінним асоціативним «шлейфом» публічних діячів, певних політичних сил, окремих політиків, видатних людей тощо. Міфологемами можуть стати поняття національної ідентичності, рідної мови, інші соціальні феномени масової свідомості. У такій міфологізації-маніпулюванні візуальний модус мультимодального тексту виконує вирішальну функцію, оскільки графічні символи, архетипні форми, кольори тощо апелюють до підсвідомого або є ізоморфними структурам свідомості і психіки” [2, с. 27].

Застосовуючи теорію метафункцій у ракурсі аналізу мультимодального тексту, Кресс і Ван Левен [8] виопрацювали алгоритм поетапного дослідження візуальної семіотики, що отримав назву візуального граматичного аналізу. Розглянемо основні дослідницькі фокуси, запропоновані Кресом і Левеном - з огляду на виділення тих проблемних аспектів, які важко охопити методом візуального граматичного аналізу і які, відповідно, потребують більш широкого дослідницько- інтерпретаційного формату. Граматика візуального дизайну або візуальної семіотики включає аналіз трьох основних вимірів - репрезентаційного, інтерактивного і композиційного, що корелюють з відповідними типами значень.

Ідеаційну метафункцію М. Халлідея науковці пов'язують із репрезентаційним значенням візуального повідомлення, що вивчається в двох аспектах: наративному і концептуальному. Наративні моделі є динамічними та функціонують для представлення того, як «розгортаються дії та події, процеси змін» у просторі візуального повідомлення, тоді як концептуальні моделі є статичними та «представляють учасників з точки зору їх класу, структури чи значення» [8, с. 59]. В репрезентаційній площині виділяються дві групи учасників: з одного боку, дійові особи, місця та речі, які представлені в образах та візуальних текстах, іншого боку - ті, хто «відповідає» за вироблення зображень та текстів, тобто адресанти повідомлень, а також їхні адресати: читачі і глядачі.

У наративних структурах учасники зображення пов'язані вектором, тобто лінією, утвореною елементами зображення. Такі вектори конструюються за допомогою тіл, кінцівок, погляду тощо, коли учасники представляються як такі, що виконують певні дії по відношенню один до одного [8]. Учасник, який створює вектор, називається «Актор», а учасник, на якого вектор спрямований, отримав назву «Мета». Серед наративних процесів одним з найпоширеніших є «реакційний» тип, коли вектор утворюється поглядом і створює реакцію, а не дію. При цьому реакція може бути транзакційною, за умовою присутності як Реактора, так і Феномену (об'єкту або персонажу, на якого спрямований погляд), або нетранзак- ційною - коли погляд спрямований на щось поза межами фрейму зображення [8, с. 67-68].

Іншим напрямом є аналіз, побудований на виявленні концептуальних структур репрезентаційного значення, які, у свою чергу, поділяються на: класифікаційні (що відносять учасників один до одного за критерієм підпорядкований-головний), аналітичні (що з'єднують учасників з точки зору частина-ціле або гіпонім-гіперонім) та символічні (із візуальним вираженням основного значення, асоційованого з учасником).

Проблемним аспектом аналізу як наративних, так і концептуальних структур, що утворюють репрезентаційне значення, є, на нашу думку, складність застосування такого методу для інтерпретації візуальної частини, де відсутні персонажі або їхні антропоморфні маніфестації, тобто у випадку, коли візуальне повідомлення кодується більш абстрактною символічною графікою і іконографією.

Інтерактивне значення, що корелює з міжособистісною функцією Халлідея, базується на таких основних елементах, як: 1) контакт (пов'язаний з напрямком погляду представлених учасників, який може бути як спрямованим, так і не спрямованим на адресата візуального повідомлення, а також з мімікою та жестами [8, с. 116-118]; 2) дистанція (яку доречно аналізувати зважаючи на здобутки проксемічної семіотики: чим коротша відстань між учасником та глядачем, тим більш близькими сприймаються стосунки поміж ними); 3) ставлення (наприклад, різні кути зображення можуть іконічно відтворювати різні відношення: горизонтальний прямий кут вказувати на причетність, косий - демонструвати віддалення, відрив; вертикальний високий кут відтворює відношення сили і потужності, низький - підкорення, на рівні очей - рівність, симетрію відносин; 4) модальність, кодована насиченістю та диференціацією кольорів, їхньою гармонією або дискримінацією, типом освітлення, яскравістю, глибиною, контекстуалізацією, пов'язаною з детальним тлом або його відсутністю тощо.

Композиційне значення, що співвідноситься з текстовою функцією Халлідея, спирається на принципи інформаційної цінності, салієнтності та фрейму [8, с. 179-185]. Інформаційна цінність спирається на три зорові зони: ліва та права; верх і низ; центр і периферія (поле). Ліва частина асоціюється з відомою інформацією, права - з новою, заради якої, власне, і здійснено візуальне повідомлення. У зв'язку з цим, напрошується порівняння з лінгвістичною темою і ремою в актуальному членуванні речення. Візуальна інформація, представлена у верхній частині, є більш абстрактною, асоційованою з ідеєю. Зображення у нижній частині ілюструє більш конкретну інформацію. Центральне зображення зосереджуються на ключовій інформації, тоді як периферія - на другорядній, підпорядкованій центру [8, с. 194200]. Салієнтність маркується розміром зображень, їхньою тональною та кольоровою контрастністю, перспективою тощо [8, с. 201203]. Фрейм усвідомлюється як спосіб з'єднання або роз'єднання візуальних елементів лініями, фігурами або порожніми місцями.

Втім, візуально-семіотичний метод залишає відкритим питання кореляції семіотики візуального і вербального модусів, що потребує розширення візуального граматичного аналізу за рахунок залучення дослідницьких методів лінгвопрагматики, когнітивної лінгвістики, лінгвостилістики тощо.

Висновки і перспективи подальших досліджень

Ключовим дослідницьким підходом до аналізу сучасного мультимодального дискурсу визначено метод візуальної граматики, розроблений Г. Крессом і Ван Левеном у форматі соціосеміотичної теорії критичного дискурс-аналізу, концепції рівнів сигніфікації і міфологізації інституційних феноменів Р. Барта і теорії метафункцій М. Халлідея. Граматичний аналіз візуальної семіотики інтегрує три дослідницькі аспекти: репрезентаційний (рівень ідей і концептів), що маніфестований динамічним наративним і статичним концептуальним значеннями;

інтерактивний (рівень відношень між персонажами візуального повідомлення, його адресантом і адресатом, що базуються на візуальних кодах вираження контакту, дистанції, ставлення і модальності); композиційний, що фокусується на принципах інформаційної цінності, салієнтності та фрейму, спираючись на зорові зони, розмір, тональність, кольорову контрастність, перспективу зображень, спосіб сполучення або роз'єднання візуальних елементів лініями, фігурами або порожніми місцями.

У перспективі подальших досліджень на особливу увагу заслуговує розробка методик, які б враховували кореляцію й ізоморфізм прагматики вербальної і візуальної частини - адже візуальна складова може асоціюватися як з умовами успішності мовленнєвих актів, представлених вербальним якорем, так і порушувати максими кооперації, породжуючи дискурсивні імплікатури, які мають або заповнюватися, або елімінуватися вербальним модусом.

References

1. Barthes, R. (1973). Mythologies. London: Paladin.

2. Beasley, R. & Danesi, M. (2002). Persuasive Signs: The Semiotics of Advertising. Berlin: Mouton de Gruyter.

3. Chandler, D. (2007). Semiotics: The Basics. 2nd ed. Oxford: Routledge.

4. Jewitt, C. and Oyama, R. (2001). “Visual meaning: A social semiotic approach,” In T. Van Leeuwen and C. Jewitt (Eds.). Handbook of Visual Analysis. London: Sage, 2001, pp. 134-156.

5. Halliday, M. A. (1994). An introduction to functional grammar. 2 ed. London: Edward Arnold.

6. Kravchenko, N., Zhykharieva, O. (2020). Sign-like Pragmatic Devices: pro et contra. Kalby studijos / Studies about Languages. No. 36, pp. 70-84.

7. Kravchenko, N., Pasternak, T. (2020).

8. Institutional eco-pragmatics vs. anthropopragmatics: problems, challenges, research perspectives. Cogito. Multidisciplinary research journal. Vol. XII (2), pp. 24-39.

9. Kress, G. and Van Leeuwen, T. (2006). Reading images: The grammar of visual design, New York: Routledge.

10. O'Halloran, K. (2004). Multimodaldiscourse analysis: Systemic functional perspectives, London: Continuum, 2004.

Размещено на Allbest.ru