Speech-and-music work as a multimodal text: patterns of speech and music complementarity

Размещено на http://www.allbest.ru/

Speech-and-music work as a multimodal text: patterns of speech and music complementarity

Valentyna Marchenko

The article deals with speech-and-music work as a multimodal text created by the synthesis of speech and music, which is integrated and processed by the mind of the recipient in a single universal-subject code of thinking, for the implementation of a communicative-aesthetic or entertainment function that has self-sufficient artistic value and is broadcast to the listener in conditions of live communication or with the help of technical means. In the article, the generation, actualization and perception of speech-and-music work is considered as a synergetic mechanism consisting in the integration of the verbal and musical cultures of the author under the influence of his psychic energy excited by the extra-linguistic factors, and the oral rendering of speech-and-music work takes place through the interaction of phonetic, lexical and syntactic means of language and music components. At the same time self-development of communicative-cognitive and speechthinking processes in the spheres of the sender's spiritual being during the generation of speech-and-music work and in the receiver's one in the process of its perception is considered as such, in the course of which the key influence of the parameters of order, namely speech and musical culture, is exercised. On the basis of the data obtained during the theoretical and experimental-phonetic processing of the proposed invariant model, variant models of the generation, updating and perception of speech and music as multimodal text were developed: a model of balanced interaction of text and music, the model of speech dominance, the model of music dominance, and the model of reverse interaction between verbal and melodic components. Thus, in the work the most recurrent variant model of the parity interaction of text and music is presented and analyzed, and on the example of the song "Memory" from E. L. Webber's musical "Cats" the mechanisms of generation, actualization and perception of the speech-and-music works of this type are revealed. The expediency of studying the interaction of speech and music on the example of multimodal texts, which, besides the verbal and melodic component, also have iconic features, such as musicals, video clips, TV ads, etc., is promising and will allow us to deepen the knowledge about the interrelation of speech and music. Key words: intonation, multimodal text, music, speech, speech-and-music communication, speech-and-music work, synergetic model.

Марченко Валентина. Речемузыкальное произведение как мультимодальный текст: особенности взаимодействия речи и музыки. В статье рассмотрено речемузыкальное произведение как мультимодальный текст, созданный путем синтеза речи и музыки, которые интегрируются и перерабатываются сознанием реципиента в едином универсально-предметном коде мышления для реализации коммуникативно-эстетической или развлекательной функции, имеющий самодостаточную художественную ценность и транслирующийся слушателю в условиях живого общения или с помощью технических средств. В статье порождение, актуализация и восприятие речемузыкального произведения рассматриваются как синергетический механизм, заключающийся в интеграции вербальной и музыкальной культур автора под влиянием возбуждаемой позалингвальными факторами его психической энергии, а устная актуализация произведения происходит благодаря взаимодействию фонетических, лексических и синтаксических средств языка и музыкальных компонентов. При этом саморазвитие коммуникативно-когнитивных и речемыслительных процессов в сферах духовного бытия адресанта при порождении речемузыкального произведения и адресата в процессе его восприятия, рассматривается как такой, на ход которого оказывают решающее влияние параметры порядка, а именно речевая и музыкальная культуры. На основе данных, полученных во время теоретической и экспериментально-фонетической обработки предложенной инвариантной модели, обнаружено инвариантные модели порождения, актуализации и восприятия речемузыкального произведения как мультимодального текста: модель паритетного взаимодействия текста и музыки, модель доминирования речи, модель преобладание музыки и модель реверсивного взаимодействия вербальной и мелодичной составляющих. В работе представлена и проанализирована наиболее рекуррентная вариантная модель паритетного взаимодействия текста и музыки: на примере песни "Memory" из мюзикла Э.Л. Уэббера "Кошки" раскрыты механизмы порождения, актуализации и восприятие песен такого типа. Указано целесообразность изучения взаимодействия речи и музыки на примере мультимодальных текстов, которые кроме вербальной и мелодической составляющей, имеют еще и иконическую, например, мюзиклы, видеоклипы, телевизионные рекламы и т. п.

Ключевые слова: интонация, музыка, мультимодальный текст, речь, речемузыкальная коммуникация, речемузыкальное произведение, синергетическая модель. musical multimodal aesthetic

Marchenko Valentyna. Speech-and-Music Work as a Multimodal Text: Patterns of Speech and Music Complementarity. У статті розглянуто мовленнєво-музичний твір як мультимодальний текст, створений через синтез мовлення й музики, що інтегруються і переробляються свідомістю реципієнта в єдиному універсально-предметному коді мислення для реалізації комунікативно-естетичної або розважальної функції, який має самодостатню художню цінність і транслюється слухачеві в умовах живого спілкування або за допомогою технічних засобів. У статті породження, актуалізації і сприйняття мовленнєво-музичного твору розглядаємо як синергетичний механізм, що полягає в інтеграції вербальної та музичної культур автора під впливом збуджуваної позалінгвальними факторами його психічної енергії, а усна актуалізація твору відбувається завдяки взаємодії фонетичних, лексичних і синтаксичних засобів мови та музичних компонентів. При цьому саморозвиток комунікативно-когнітивних і мовленнєво-мисленнєвих процесів у сферах духовного буття адресанта під час породження мовленнєво-музичного твору й адресата у процесі його сприйняття, розглядаємо як такий, на перебіг якого здійснюють вирішальний вплив параметри порядку, а саме мовленнєва та музична культури. На основі даних, отриманих під час теоретичного та експериментально-фонетичного опрацювання запропонованої інваріантної моделі, виявлено інваріантні моделі породження, актуалізації та сприйняття мовленнєво-музичного як мультимодального тексту: модель паритетної взаємодії тексту й музики, модель домінування мовлення, модель переважання музики та модель реверсивної взаємодії вербального та мелодійного складників. Відтак у праці представлено й проаналізовано найбільш рекурентну варіантну модель паритетної взаємодії тексту й музики та на прикладі пісні "Memory" з мюзиклу Е.Л. Веббера "Коти" розкрито механізми породження, актуалізації та сприйняття пісень такого типу. Зазначено доцільність вивчення взаємодії мовлення й музики на прикладі мультимодальних текстів, які, крім вербального та мелодійного складників, мають ще й іконічну, наприклад, мюзикли, відеокліпи, телевізійні реклами тощо, що є перспективним і дають змогу поглибити знання про взаємозв'язок мовлення й музики.

Ключові слова: інтонація, мовлення, мовленнєво-музична комунікація, мовленнєво-музичний твір, музика, мультимодальний текст, синергетична модель.

Introduction

Speech-music relations is an enormously broad area of research involving a wide range of scholars: philosophers (Plato, Aristotle), linguists (D. Bolinger, R. Jacobson), musicologists (T. Adorno, L. Bernstein), neurolinguists (N. D. Cook, A. D. Patel), neurologists (S. Koelsch, J. Sloboda), etc.

Explored from various perspectives, speech and music alliance proves to be most favourably manifested in speech-and-music works which we define as a product of speech-and-music communication, a complex integrated means of communication created through the synthesis of speech and music for the implementation of a communicative-aesthetic or entertainment function that has selfsufficient artistic value and is broadcast to the listener in conditions of live communication or with the help of technical means.

The study of speech-and-music works definitely falls within the field of multimodality [11, p. 189], since it involves the complex interweaving of word, image, gesture and movement, and sound, including speech, combined in different ways and presented through a range of media [1]. Moreover, the act of listening to a speech-and-music work is considered a deep, rich multimodal experience [12, p. 14].

The ideas presented above and also the ultimate problem of understanding how exactly language and music interact within a song animated an experimental phonetic research during which we compared components of speech and music and their integrated functioning within a song. Thus, the objective of this paper is to investigate a song as a multimodal text and identify the patterns of speech and music complementarity within it.

Speech-and-music work as a multimodal text: a brief overview. The meaning and pragmatic potential of the speech-and-music works are developed by the interaction of heterogeneous semiotic systems which in their turn are united and processed by a recipient into a certain coherent entity. Most scholars argue that within this entity the music component always dominates over the verbal one: words are merely the means of melody vocalization [10, p. 19-54]. Others claim that the verbal component helps to make melody less semantically ambiguous [6, p. 48], since as compared to a musical one it is more informative: a recipient becomes aware not only of intensity and modality of the expressed emotions but also of reasons, background and details of the situation described in a song.

Multimodal, or polycode texts, are of great interest since inherently different information - verbal, sound and iconic - integrates and is further processed by individual's consciousness into one universal subject code of thinking / mind code [9, p. 4]. Moreover while being perceived a multimodal text undergoes double or even triple decoding, i.e. having retrieved the visual and audio concepts an individual's mind lays them over the verbal concept -these concepts overlap thus generating the overall pattern of a multimodal text.

It lines up with the interpretation of a song as a special meaningful space created by the intermingled codes, such as paraverbal (extralinguistic factors; performance conditioned by a performer's certain mental / psychological state), musical (specificity of music form, structure, rendering), verbal (on the level of lexis and syntax), and emotive codes (expression of emotions) [8, p. 142]. It can be argued that the combination of meanings stemming from these three semiotic resources (lyrics, music, image) results in a new blended discourse space [2; 3] in the song which is more communicatively effective than other type of monomodal discourses.