Мультимодальний аналіз дискурсу: методологічна основа та перспективи напряму

Размещено на http://www.allbest.ru//

Размещено на http://www.allbest.ru//

Мультимодальний аналіз дискурсу: методологічна основа та перспективи напряму

Андрєєва І. О.

Статтю присвячено мультимодальності як новітній методології дослідження сучасного комунікативного процесу. Уточнюється поняття мультимодальності, кроссеміотичності, полікодовості як паралінгвальних та екстралінгвальних контриб'юторів дискурсу. Автор обґрунтовує перспективність мультимодального вектора дослідження комунікативно-дискурсивних явищ та порушує низку теоретичних питань, пов'язаних із виокремленням об'єкта дослідження мультимодалістики.

Ключові слова: модус, мультимодальність, полікодовість, семіотичний код. мультимодальний дискурс контриб'ютор екстралінгвальний

Андреева И. А Мультимодальный анализ дискурса: методологическая основа и перспективы направления. - Статья.

Статья анализирует мультимодальность как новейшую методологию исследований современного коммуникативного процесса. Уточняется понятие мультимодальности, кроссемиотичности, поликодовости как паралингвальных и экстралингвальных контрибьюторов дискурса. Автор обосновывает перспективность мультимодального вектора исследования коммуникативно-дискурсивных явлений и затрагивает ряд теоретических вопросов, связанных с выделением объекта мультимодалистики.

Ключевые слова: модус, мультимодальность, поликодовость, семиотический код.

Andryeyeva I. O. Multimodal discourse analysis: methodological grounds and perspectives. - Article.

The article focuses on multimodality as innovative research methodology for analyzing contemporary communication. The author refines the definition of multimodality, cross-semiotics and polycoding as paralingual and extralingual discourse contributors. The author outlines the perspectives of multimodal research vector for communication - discourse phenomena and raises a number of theoretical issues, related to defining the subject-matter of multimodal studies.

Key words: mode, multimodal studies, polycoding, semiotic codes.

Бурхливий розвиток новітніх цифрових технологій, їх тотальна інтеграція в процес комунікації порушує питання про мультимодальний характер комунікації. Останнім часом усе частіше увага зосереджується на інтермедіальних або мультимодальних параметрах перебігу комунікації, водночас у комунікативному просторі простежується загальна схильність до естетизації, тенденція до унаочнення, візуалізації різноманітних текстів як комунікативних артефактів. Дослідники наголошують на високому ступені інтегрованості різних семіотичних ресурсів у сучасному комунікативному процесі, коли неможливо відокремити його вербальну складову частину від паравербальних компонентів [19; 20; 28].

У такому аспекті дискурс виступає як полі- кодова єдність, що зумовлює необхідність дослідження параметрів взаємодії вербальних та інших семіотичних кодів у процесі дискурсотво- рення. Дискурс - це багаторівневий знак, у якому в єдине комунікативне ціле інтегруються текст (вербальний складник), візуальне зображення (шрифт, ілюстрації, загальний дизайн тощо) та аудіокомпонент (наприклад, звуковий супровід у рекламі). Завданням дискурсивних студій стає не лише дослідження лінгвального компоненту дискурсу, а й встановлення його паралінгвальних таекстралінгвальних контриб'юторів (візуального, аудіального, кінестичного тощо), що виводить аналіз дискурсу на новий мультимодальний рівень. Саме тому метою статті є надання визначення поняття мультимодальності в сучасній парадигмі гуманітарного знання та окреслення основних напрямів мультимодальних студій. У ході роботи планується вирішити низку завдань: дослідити теоретичні витоки мультимодальності, співвіднести поняття мультимодальності, кроссеміотичності й полікодовості, визначити перспективність мультимодального підходу до дослідження комунікативно-дискурсивних явищ та намітити основні теоретичні питання, що підлягають розробці.

Зауважимо, що мультимодальність - це термін, який використовується як щодо об'єкта цілого напряму дослідження (Multimodal Studies), так і щодо власне самої методології, наукової парадигми - мультимодалістики, основними розробниками якої на зарубіжних теренах стали Т. ван Ліівен [25; 26], Г. Крес [18; 19], Ч. Фосвіль [10-15], Дж. Бейтман [8; 9], M. С'єфкес [23], Дж. Вілдфор [27; 28] та інші вчені.

Як об'єкт дослідження мультимодальність розглядається як процес і результат взаємодії множинності семіотичних ресурсів, що залучаються в процесі комунікації [12, с. 8]. Пропоненти мультимодальної теорії як головне завдання висувають окреслення інструментарію/системи, або «граматики», різних модусів, або семіотичних кодів [23], що уможливлюють комунікацію, а також виявлення закономірностей та особливостей їх взаємодії в процесі породження значення. На переконання Г. Штокла [24], мультимодальний підхід підвищує статус також мультимодаль- ної семіотики, оскільки методологічний апарат цієї галузі може застосовуватись для аналізу гетерогенних невербальних модусів, що виходить за межі наукових завдань традиційної лінгвістики й семіотики тексту.

Варто зазначити, що мультимодалістика - дисципліна відносно молода, перед нею постає ціла низка теоретичних питань. Перше й найголовніше з них - надати визначення об'єкта дослідження, а саме модусу комунікації (з англ. mode - «режим»). Відповідь можна отримати, якщо звернутись до висхідних положень мультимодальних студій.

По-перше, комунікація тлумачиться як трансляція значень, що відбувається в декількох режимах/планах/модусах спілкування, а саме усному й писемному мовленні, паракінесиці, графіці, звуку тощо [9; 19; 23; 25; 26]. Вибір та аранжування цих модусів спілкування окремо чи в сукупності й взаємодії уможливлює породження та трансляцію значень [21, с. 269] у процесі комунікації.

По-друге, трансляція значень відбувається через залучення гетерогенних семіотичних (лінгвальних, паралінгвальних) і сенсорно-перцептивних (запах, смак) ресурсів. Ці ресурси тлумачаться як модуси комунікації, а дослідження, спрямовані на вивчення їх співвідношення й характеру взаємодії, утворюють мультимодальні студії.

По-третє, аксіоматичним у новітній парадигмі є твердження про мультимодальний характер комунікації [22, с. 269] та мультимодальність як властивість усіх без винятку текстів, навіть тих, які на перший погляд здаються моно-модальними (монокодовими) [22]. Мультимодальні комунікативні артефакти поєднують використання різних семіотичних модусів, таких як мова, жести, графіка, типографія, зображення, рухомі картинки, звукове/музичне супроводження. При цьому дослідники погоджуються, що мультимодальний характер «традиційних» текстів потребує більш ретельного обґрунтування [20].

Таким чином, модуси - це семіотичні ресурси, що дають можливість для одночасної реалізації дискурсивно-комунікативної практики та різних типів інтеракції її учасників [19, с. 21]. У свою чергу семіотичні модуси передаються через різні перцептивні модуси: візуальне, аудіальне, тактильне, нюхове й смакове сприйняття [23]. Термін «модуси», вживаний у цьому контексті, на нашу думку, більше відповідає усталеному в семіотиці поняттю «коди», або «знакові системи». За визначенням У. Еко, це системи, які встановлюють репертуар протиставлених один одному символів, правила їх сполучення, а також оказіональну взаємну однозначну відповідність певного символу певному позначуваному [7, с. 44]. Саме таке розуміння модусу комунікації лежить в основі таких понять, як мультимодальність (Т. ван Ліівин), кроссеміотичніть (Р. Ієдема), полікодовість (О. Воробйова, Т Лук'янець), що в науковому дискурсі вживаються як синонімічні.

Методологічною основою появи мультимодальних студій вважаються соціальна семіотика й системно-функціональна лінгвістика (М. Халідей, Т. ван Ліівин). Найважливішим теоретичним доробком соціальної семіотики є визнання соціальної природи мови як системи знаків, що набувають значення, функціонуючи в різних соціальних контекстах. На думку М. Халідея, мові внутрішньо притаманна функціональність, яка проявляється через три семантичні метафункції: концептуальну (ideational) метафункцію мови, що властива значенню, яке виникає в результаті взаємодії тексту та реального світу; комунікативну (interpersonal) метафункцію мови, що актуалізується в соціальні відносинах між адресатом та адресантом; текстуальну (textual) метафункцію мови, що стосується внутрішньої когезії дискурсу та його зв'язку з позатекстовим контекстом. Саме ці функції мови екстраполюються на невер- бальні модуси. Більшість «мультимодалістів», як і М. Халідей, опікуються питанням, яким чином принципи, що лежать в основі мовних засобів утворення значень, можуть були екстрапольовані на способи утворення й трансляції значень одиницями інших семіотичних кодів [16, с. 119].

Ідеї М. Халідея підтримав Г. Крес, який розглядав мову як семіотичну систему, у якій значення створюється безпосередньо, а не як систему, у якій значення опосередковано пов'язується з мовною формою [18, с. 176]. У його роботах простежується зростаючий інтерес до опису, аналізу й теоретичного осмислення невербальних семіотичних систем, зокрема візуальних [18; 19]. У центрі інтересів Г Креса перебуває «політична економія» засобів семіотизації, тобто він прагне зрозуміти принципи вибору й використання різних семіотичних ресурсів різними соціумами. Він намагається пояснити, як індивідуум стає членом суспільства, використовуючи наявні ресурси позначення (репрезентації).

Мультимодальний підхід формулює концепцію, методи й методологію збору та обробки візуальних, аудіальних, паракінестичних і локативних параметрів комунікації з огляду на такі основні принципи:

принцип мультимодального ансамблю комунікації: мультимодальний підхід дослідження комунікації ставить під сумнів домінантну роль мови та тлумачить мовні ресурси винятково як один із компонентів мультимодального комунікативного ансамблю. Мультимодальний підхід виходить за межі твердження про те, що мова завжди відіграє домінуючу роль у комунікації, хоча й не відкидає той факт, що іноді це твердження правильне [20]. У межах цього підходу всі без винятку модуси чи типи семіотичних ресурсів повною мірою здатні виражати певні значення [23] та мають рівнозначний висхідний смислотворчий потенціал [19, с. 79]. З мультимо- дальної позиції мова, вербальний код - це лише один із наявних семіотичних ресурсів у мультимодальному ансамблі. Дослідженню підлягають критерії й фактори, що впливають на актуалізацію певного модусу в процесі комунікації. Розмивання меж між різними семіотичними вимірами репрезентацій процесів і явищ пов'язується з усвідомленням дослідниками того факту, що людина має природну схильність до мультимо- дальної трансляції змісту, що у свою чергу пов'язується з мультисеміотичним характером самого розвитку людини (онтогенезом);

принцип соціальної зумовленості: усі модуси чи семіотичні ресурси, як і мова, є культурно, соціально та історично зумовленими у своєму розвитку й функціонуванні з огляду на їх здатність задовольняти нагальні потреби ко- мунікантів, тому кожен із модусів має різний си- гніфікативний/референтний потенціал, який активується в різний спосіб залежно від контексту [19, с. 34]. У мультимодалістиці значення тлумачиться як таке, що реалізується в інтерактантно- му зв'язку між змістовим потенціалом (meaning potential) матеріального семіотичного артефакту та значеннєвим потенціалом соціокультурного оточення, у якому він функціонує, а також у контексті інших семіотичних ресурсів, імплікацій і знань, які учасники комунікації привносять у комунікативну ситуацію [23]. Мультимодальний підхід тлумачить кожен комунікативний акт як такий, що складається й реалізується за рахунок соціальних актів, тим самим соціальні чинники комунікації виходять на перший план.

На сучасному етапі мультимодальних студій чітко сформувалось декілька окремих напрямів дослідження, які обирають як об'єкт той чи інший семіотичний модус як продукт соціального семіозису або досліджують взаємодію певного модусу з іншими. Отже, достатню розробку отримали графічний модус у взаємодії з вербальним, звуковий модус у взаємодії з вербальним та звуковий модус у взаємодії з вербальним і графічним.

У площині графічного модусу у взаємодії з вербальним проводяться такі види аналізу:

аналіз графічних зображень у сучасному медіапросторі [19; 24];

аналіз кольорокоду графічних повідомлень [18];

аналіз особливостей типографічного аранжування й ілюстрацій у текстах різної жанрово-стилістичної приналежності, зокрема, аналіз творів експериментальної прози та поезії (наприклад, М. Данилевські «House of Leaves», С. Томасула «VAS: An Opera in Flatland», Дж. Фоер «Extremely Loud and Incredibly Close»). Експериментальна література поєднує типографічні, дизайнерські, графічні й ілюстративні прийоми та є об'єктом дослідження новітньої галузі лінгвістики - мультимодальної стилістики тексту [15; 22];

аналіз так званих креолізованих (за термінологією Ю. Сорокіна, Є. Тарасова [1;6]), або по- лікодових [5], або мультимодальних, текстів, до яких належать інтернет-сторінки, оголошення, тематичні блоги та інші медіаресурси [8; 17; 26].

Варто надати уточнення вживаним термінам. Так, креолізований текст - це особливий різновид тексту, фактура якого складається з двох не- гомогенних частин: вербальної й невербальної, де остання належить до інших знакових систем, ніж природна мова [6, с. 180]. Зміст креолізова- ного тексту кодується в різних знаках (вербальних та образотворчих), при цьому створюється особливий лінгво-візуальний феномен, у якому вербальний та образотворчий компоненти утворюють одне візуальне, структурне, смислове й функціональне ціле, що забезпечує його комплексний, прагматичний вплив на адресата [1, с. 73]. На тлі становлення мультимодальної парадигми виникає новий термін для опису полісеміотич- них текстів - мультимодальні тексти. Вони залучають не лише власне артефакти інших семіотичних кодів (іншосеміотичні ресурси), а й самі принципи їх організації. Тобто ці гетерогенні за своєю модальністю коди не просто співіснують як окремі модуси утворення значення (mode of meaning-making), а інтегруються в комплексну цілісність, єдність, утворення, яке не може зводитись до простої суми його компонентів - окремих модусів [20].

Бурхливий інтерес викликало питання інтерсеміотичних відносин графічного та вербального модусів. Учені погоджуються, що ці гетерогенні коди взаємовизначають один одного: обмежують чи розширюють план змісту власних одиниць за рахунок іншого модусу (план змісту вербальних одиниць за рахунок графічних, і навпаки) та функціонують або інтегруються в послідовні відношення як у тексті;

аналіз мультимодальних каламбурів, де па- равербальні модуси (наприклад, графічний) залучаються до семантизації значень мовних одиниць (див. рис. 1).

Рис. і. Мультимодальный каламбур

Як бачимо на наведеному прикладі мультимодального каламбуру, семантизація ключового дієслова оголошення to serve відбувається на основі обігравання обох значень англомовного дієслова («обслуговувати будь-кого» та «подавати їжу на стіл»), причому актуалізується одне з них засобами графічного модусу;

6) аналіз мультимодальних метафор. Матеріалом дослідження стають різноманітні друковані мультимодальні тексти (оголошення, інструкції з використання, рецепти, мапи, комікси). Останнім часом до уваги дослідників, зокрема Нідерландської школи мультимодальних студій на чолі із Ч. Фосвілем [10-14], потрапили мультимодальні метафори в медіапродуктах (художніх фільмах, телепередачах, рекламних роликах тощо), які залучають різні за походженням семіотичні коди (наприклад, графічний і вербальний) для інтерпретації певного об'єкта в термінах іншого поняттєво-предметного поля (див. рис. 2).

Рис. 2. Мультимодальна метафора DRINKING COCACOLA makes you HAPPY в рекламному оголошенні

Як бачимо з наведеного прикладу, графічне зображення пляшки популярного напою в поєднанні з хештегованою лексемою #HAPPINESS унаочнюють метафору СПОЖИВАННЯ КОКА-КОЛИ є ЩАСТЯ.

Теоретичним підґрунтям досліджень мультимодальних метафор є теорія концептуальної метафори Дж. Лакофа та М. Джонсона, яка доводить, що метафори є результатом роботи свідомості та лише вербалізуються в мові: «Metaphors are primarily a matter of thought and action and only derivatively a matter of language» [4, с. 153]. Незважаючи на те, що мовна об'єктивація метафор мови є більш точною порівняно з іншими модусами комунікації, вона все одно є апроксимованим відображення діяльності людської свідомості [14, с. 260].

У звуковому модусі у взаємодії з вербальним матеріал дослідження складають просодичні моделі та патерни в усному мовленні з огляду на їх функціонально-дискурсивний статус [2; 3].

У напрямі звукового модусу у взаємодії з вербальним і графічним існують такі види аналізу:

аналіз особливостей аранжування та взаємодії аудіо- й відеовербальної інформації в кінофільмах з огляду на їх інтерпретаційні можливості в концептуальному змісті кінотворів, який отримав ретельну розробку в межах Бременського інституту трансмедіальних досліджень тексту [29] як окремий напрям мультимодалістики - мультимо- дальний аналіз кінотексту [27; 28];

аналіз музики й звукових ефектів у кінотекстах [25].

Незважаючи різні ракурси аналізу, спільним для всіх напрямів є таке положення Г Креса: «Мультимодальный підхід припускає, що повідомлення поширюється через усі комунікативні модуси. Якщо це так, то кожен модус - це лише частковий носій глобального значення повідомлення» [19, с. 6]. Вивчення тексту, що включає зображення й звуки, кидає виклик звичайному дискурсивному аналізу. Мас-медіа створюють мультимодальні тексти, незважаючи на труднощі, що виникають під час спроби відбити таку мультимодальність; зосереджувати увагу лише на мові та ігнорувати інші модуси означає упускати багато потенційних значень сучасних медійних текстів.

Таким чином, на сучасному етапі мовознавчих студій існує усвідомлення нагальної потреби вивчати мовну дискурсивну практику в тісному зв'язку із супроводжуючими модами/режимами спілкування. Перспективи дослідження в мультимодальному руслі досить широкі, оскільки існує багато невирішених питань. Зокрема, теоретичній розробці підлягають термінологічний апарат мультимодалістики, висхідні положення новітньої методології, оперативні одиниці мультимодаль- ності. Окремої уваги потребує з'ясування зв'язку мультимодалістики з теорією дискурсу й семіотикою. Потребують розгляду зв'язок і відмінності понять мультимодальність (інтерсеміотичність) та мономодальність (інтрасеміотичність) дискурсу. Невирішеними є питання «вокабулярів» модусів на рівні мови.

Як з'ясувалось, очевидне різноманіття ракурсів дослідження не виключає необхідність вивчення процесу й параметрів трансляції значень у ході комунікації (у текстах) у тісному зв'язку з вивченням ролі паравербальних семіотичних ресурсів, їх взаємодії між собою та з мовою. Ці семіотичні ресурси (коди, модуси комунікації) включають жести, мову тіла, візуальні й аудіоресурси, графічно-типографічні, синематографічні тощо. Їх дослідження - виклик сучасним лінгвістичним студіям, які характеризуються синтезом міждисциплінарних підходів. Мультимодальний аналіз тексту має об'єктом дослідження комунікацію в усіх її формах, проте перевага надається текстам, які являють собою інтеграцію двох чи більше семіотичних ресурсів (модусів комунікації) з метою досягнення комунікативної функції тексту. Ці модуси/плани/режими включають власне усне й писемне мовлення та його супровідні аспекти, такі як просодика й проксеміка, а також ресурси зовсім інших семіотичних систем, наприклад артефакти культури (живопис, архітектура, зображувальне мистецтво), продукти технологізації та інформатизації комунікації (аудіо-, відеосупровід, комп'ютерні ресурси, цифрові медіа).

Залучення різних семіотичних ресурсів із притаманними їм комунікативними можливостями й обмеженнями (як окремо, так і в їх сукупності) та результати цієї мультимодальної інтеграції становлять новітні перспективи дослідження сучасного комунікативного процесу. Крім того, очікуваними перспективами мультимодально-орі- єнтованих студій є синтез парадигмальних засад когнітивних студій із мультимодальним підходом, що дасть змогу дещо уточнити та навіть реінтер- претувати теорію концептуальної метафори Дж. Лакофа й М. Джонсона у світлі інтерсеміотичної та кроссеміотичної взаємодії модусів комунікації.

Література

Анисимова Е. Креолизованные тексты - тексты ХХІ века? Взаимодействие вербального и паралингвистического в тексте : [учеб. пособие по интерпретации текста] / Е. Анисимова. - Воронеж : ЦЧКИ, 1999. - 148 с.

Кибрик А. Есть ли предложение в устной речи? / А. Кибрик // Фонетика и нефонетика / [А. Архипов, Л. Захаров, А. Кибрик и др.] ; отв. секретарь О. Федорова. - М. : Языки славянских культур, 2008. - С. 104-115.

Кибрик А. Просодический портрет говорящего как инструмент транскрибирования устного дискурса / А. Кибрик // Компьютерная лингвистика и интеллектуальные технологии: по материалам международной конференции «Диалог - 2008» / под ред. А. Кибрика и др. - М. : РГГУ, 2008. - Вып. 7(14). - С. 185-191.

Лакофф Дж. Метафоры, которыми мы живем / Дж. Лакофф, М. Джонсон ; пер. с англ. под ред. и с предисл. А. Баранова. - М. : Едиториал УРСС, 2004. - 256 с.

Лук'янець Т Інтерсеміотичний аналіз тексту як полікодової єдності / Т Лук'янець // Концепти та константи в мові, літературі, культурі : зб. статей за матер. наук. конф. - К. : ВПЦ «Київський університет», 2011. - С. 121-126.

Сорокин Ю. Креолизованные тексты и их коммуникативная функция / Ю. Сорокин, Е. Тарасов // Оптимизация речевого воздействия : [коллект. монография] / под ред. Р Котова. - М. : Наука, 1990. - С. 179-184.

Эко У Отсутствующая структура. Введение в семиологию / У Эко ; пер. ситал. В. Резника и А. Погоняйло. - СПб. : Симпозиум, 2006. - 544 с. Размещено на Allbest.ru