Возможности идентификации иноязычных говорящих по голосу и речи экспертными методами

Размещено на http://www.allbest.ru/

Московский государственный лингвистический университет

«Московский исследовательский центр»

ВОЗМОЖНОСТИ ИДЕНТИФИКАЦИИ ИНОЯЗЫЧНЫХ ГОВОРЯЩИХ ПО ГОЛОСУ И РЕЧИ ЭКСПЕРТНЫМИ МЕТОДАМИ

Ирина Владимировна Курьянова

г. Москва

Аннотация

иноязычный язык голос речь

Исследование посвящено возможности первичного распознавания говорящих на незнакомом и интерферированном русском языке с целью их дальнейшей идентификации по голосу и речи. В статье рассмотрен один из автоматизированных методов идентификации иноязычных дикторов - метод анализа мелодического контура синтагм (на основе сравнения мелодического оформления различных фрагментов речевого сигнала). Дана краткая характеристика методологической базы, а также охарактеризованы основные компоненты мелодической структуры речи. Автором проведен сопоставительный анализ просодического оформления высказывания в речевом поведении иноязычных дикторов и определены некоторые особенности правильного распознавания говорящего, в том числе со стороны тех, для кого рассматриваемый язык является неродным. В результате исследования установлено, что опытные эксперты способны адекватно распознать и правильно идентифицировать иноязычного говорящего. Типологические различия между

Ключевые слова: таджикский язык, цыганский язык, интерференция, восприятие иноязычной речи, идентификация по голосу и звучащей речи, синтагма, мелодический контур синтагм, просодические параметры речи.

Abstract

EXPERT METHODS OF FOREIGN-LANGUAGE SPEAKERS' IDENTIFICATION BY SPEECH PROSODY

Irina V. Kuryanova Moscow State Linguistic University, Moscow Research Center, Moscow, Russia

According to the data received from the surveys of the criminal environment in Russia over recent years, there is a substantial growth of the crimes committed by the Tadjik, Uzbek and criminal group s of other ethnical origin. In forensic phonetics, expert witnesses might be confronted with voice samples for auditory evaluation from a language they do not understand. In speaker identification experiments, it has been shown that knowledge of the target language affects recognition results. The present paper deals with possibility of primary recognition of people speaking foreign language or foreign-accented Russian for the purpose of their further voice identification. This paper also presents one of the automatically-assisted methods of speaker identification i.e. syntagma pitch pattern analysis method (on the ground of pitch pattern segments comparison). There is a brief description of the methodological background and main components of speech melodic structure. The author compares prosodic organization of utterances in speech behaviour of Russian speakers and speakers of foreign languages, and defines the properties of adequate understanding of the meaning of the utterance and of the speaker's communicative goal, including situations when the listener is not a native speaker of the language being used. The results of this study show that (a) experts with experience obtain significantly better re cognition results than experts without work experience, (b) no clear evidence was found that the typological difference between the native language of the listener and the target language influenced recognition performance.

Key words: the Tajik language, the Gipsy language, speech interference, foreign speech perception, voice and speech identification, syntagma, melodic patterns of syntagmas, prosodic parameters of speech.

Введение

Идентификация иноязычного говорящего экспертом, не являющимся носителем исследуемого языка, представляет собой проблему, разработка которой может быть отнесена к приоритетным направлениям в области судебного речеведения и прикладной лингвистики в целом [Голощапова, 2009, с. 373].

На сегодняшний день судебная экспертиза стала самостоятельным научным направлением. Она имеет в своем распоряжении новые высокотехнологичные способы идентификации личности, в частности, фоноскопическую экспертизу на иностранных языках, которая становится все более востребованной в связи с высокой технической подготовленностью и оснащенностью преступных группировок [Голощапова и др., 2011; 2012]. Как показывает судебная практика, террористическая деятельность националистических, этнических, религиозных и иных организаций и структур, а также преступный бизнес, связанный с незаконным оборотом наркотиков, в настоящее время практически монополизированы этническими (в частности, таджикскими, азербайджанскими, цыганскими, узбекскими и др.) группировками. На Заседании коллегии Федеральной службы безопасности Российской Федерации 5 марта 2018 г. президент России В.В. Путин призвал к созданию «надежных барьеров на пути трансграничной, транснациональной преступности» и подчеркнул, что к приоритетным задачам относится защита нашей территории прежде всего от «международных террористов, контрабандистов и наркодилеров» (стенограмма расширенного заседания коллегии ФСБ России от 05.03.2018).

Идентификация по голосу и речи - сложный многоэтапный процесс, предполагающий интеграцию достижений в различных научных областях (акустике, лингвистике, криминалистике, психофизиологии, психологии и др.) [Потапова и др., 2015, с. 185]. Исследования по данному вопросу, проводимые за рубежом (в частности, в Германии и Великобритании), основываются на методиках, принятых в этих странах. В частности, в работах О. Кестера и Н. Шиллера рассматриваются проблемы влияния родного языка реципиента при идентификации иноязычного говорящего [Koster, Shiller, 1997; Kunzel, 1994; Nolan, 2002]. В отечественной науке первые труды, в которых ставится и разрабатывается данная проблема, включая методики изучения, принадлежат Р.К. Потаповой. Наше исследование посвящено поиску точных, а потому и эффективных методов идентификации говорящих на иностранном языке и опирается на положение о первостепенности просодических средств речи при восприятии высказываний [Потапова, Михайлов, 2012; Потапова, Потапов, 2006, с. 294; 2012, с. 319], в соответствии с которым решается задача выявления ключевых компонентов просодии, позволяющих идентифицировать говорящего на незнакомом эксперту языке.

Чтобы определить возможности первичного опознавания и некоторый объем индивидуальных признаков голоса и речи для успешной идентификации лиц, говорящих на иностранном языке, было проведено исследование, состоящее из двух экспериментов.

Эксперимент 1

Речевой материал. Материалом для эксперимента послужили аутентичные фонограммы: 14 записей, содержащих спонтанную диалогическую речь (разговор по телефону - контрольные фонограммы, t = 57 мин 28 с), и 12 записей спонтанной монологической речи (беседа на произвольную тему - опорные фонограммы, t = 8 ч 19 мин) на таджикском и цыганском языках, а также на русском языке с признаками интерференции китайского.

Участниками диалогов и монологов являлись этнические таджики и цыгане, говорящие на национальном языке, а также китайцы, говорящие на русском языке, мужчины и женщины в возрасте 35-46 лет, преимущественно со средним (средне-специальным) образованием.

Субъекты. В качестве испытуемых в эксперименте участвовали 46 человек, которые были разделены на 2 группы согласно наличию / отсутствию у них экспертного опыта: в первую были объединены аудиторы-филологи, имеющие опыт экспертной работы, во вторую - включены аудиторы-филологи с от- сутсвием такого опыта. Для того, чтобы оценить влияние на степень надежности первичного опознавания не только опыта экспертной работы, но и, по возможности, знания / незнания аудиторами исследуемых языков, в состав реципиентов первой группы наряду с русско- говорящими экспертами, не владеющими таджикским, цыганским и китайским языками, были включены профессиональные эксперты со знанием таджикского языка, а также профессиональные филологи с опытом экспертной работы в области судебной фоноскопии, носители таджикского языка.

Метод. Перцептивно-слуховой анализ фонограмм проводился в соответствии со специально созданной инструкцией, следование которой исключало любые возможные неоднозначные толкования при проведении первого эксперимента. При подготовке инструкции и исследовательских таблиц были использованы образцы анкет и инструкций, разработанных Р.К. Потаповой и В.В. Потаповым при проведении многочисленных экспериментов по восприятию речи [Потапова, Потапов, 2012, с. 324-325]. Наряду с целью первичного опознавания дикторов, испытуемые должны были оценить значимость каждой из анализируемых характеристик при решении поставленной задачи: мелодики, темпоральных и тембральных особенностей, ритма, паузации, высоты голоса.

Результаты. В целом, по результатам эксперимента № 1 могут быть выделены 3 категории ответов: верное опознавание (аудиторы опознают диктора среди опорных фонограмм), ложное отклонение (аудиторы не могут опознать диктора, голос и речь которого представлена на опорных фонограммах), ложное принятие (аудиторы неверно принимают за «своего» один из «чужих» голосов). Кроме того, в процессе прослушивания были зафиксированы случаи неуверенного опознавания (аудиторы опознают диктора среди опорных фонограмм, но сомневаются в правильности своего решения).

В протоколах, подготовленных профессиональными экспертами (группа испытуемых № 1, N = 34), в 100 % отмечено верное опознавание - не зафиксировано ни одного ошибочного опознавания вне зависимости от языка, на котором говорит диктор. Однако среди верных ответов в 31 % случаев наблюдалось неуверенное опознавание при исследовании экспериментального материала, содержащего эмоционально-насыщенную речь. Для удобства дальнейшей математико-статистической обработки результирующих данных эксперимента первая группа реципиентов была разделена на подгруппы.

В результатах обработки ответов русско- говорящих профессиональных экспертов, не владеющих таджикским и цыганским языками, со стажем экспертной работы от 4 до 10 лет (подгруппа «а», N = 27), случаи неуверенного опознавания были представлены следующим образом: речь на таджикском языке - 2,3 %, на цыганском - 3,7 % и интерферированном русском - 4,3 %.

Содержащие неуверенное опознавание ответы русскоговорящих профессиональных экспертов со знанием таджикского языка, но не владеющих цыганским и китайским, со стажем экспертной работы 5 лет (подгруппа «Ь», N = 4), распределяются следующим образом: таджикский язык - 4,3 % респондентов, цыганский язык - 2,1 %, русский язык с признаками интерференции китайского - 4,4 %.

У экспертов-носителей таджикского языка со стажем экспертной работы 7 лет (подгруппа «с», N = 3) неуверенное опознавание при идентификации дикторов, говорящих на таджикском языке, не отмечено, на цыганском и русском интерферированном составило 4,3 % и 5,6 % соответственно.

В протоколах, подготовленных группой испытуемых № 2 (профессиональные филологи без опыта экспертной работы, N = 12), представлены следующие категории ответов:

- случаи верного опознавания дикторов, говорящих на таджикском языке, составили 57 % (из них 19 % - неуверенное опознавание, 26 % - ложное отклонение, 17 % - ложное принятие);

- случаи верного опознавания дикторов, говорящих на цыганском языке, составили 62 % (из них 21 % - неуверенное опознавание, 27 % - ложное отклонение, 11 % - ложное принятие);

- случаи верного опознавания дикторов, говорящих на русском языке с признаками интерференции китайского, составили 68 %, из них 12 % - неуверенное опознавание, 10 % - ложное отклонение, 22 % - ложное принятие.

При этом наибольшее количество ошибок (ложное принятие и ложное отклонение) - 56 % - отмечено при исследовании экспериментального материала, содержащего эмоционально-насыщенную речь.

Статистическая обработка ответов испытуемых показала, что различия в точности распознавания между подгруппами первой группы аудиторов было несущественным. Как носители русского языка, владеющие таджикским языком и не владеющие ни одним из иных исследуемых языков, так и носители таджикского языка, не владеющие другими языками (кроме русского), одинаково точно идентифицировали иноязычных дикторов.

Сравнение ответов участников эксперимента групп № 1 и № 2 показало существенные отличия в опознавании иноязычной речи. Аудиторы группы № 2, не имеющие экспертного опыта по перцептивно-слуховому распознаванию голоса и речи, идентифицировали дикторов с контрольных и опорных фонограмм значительно хуже, чем испытуемые, являющиеся профессиональными экспертами. Кроме ложного отклонения и ложного принятия, отмечено большое количество случаев неуверенного опознавания говорящих. Если у группы профессиональных экспертов последнее отмечалось лишь при сопоставлении эмоционально-насыщенной и эмоционально-нейтральной речи, то среди испытуемых группы № 2 отмечены неуверенные ответы при анализе фонограмм, содержащих однотипную по эмоциональной насыщенности речь. При этом статистические данные показали, что не обладающие экспертным опытом аудиторы выполнили задание точнее при сравнении фонограмм, содержащих эмоционально-нейтральную речь.

Исследование экспериментального материала на разных языках характеризуется рядом расхождений при оценке выраженности признаков в зависимости от принадлежности речи диктора конкретному языку.

В группе № 1 наблюдается следующее распределение оценок применительно к анализу используемых для опознавания признаков: таджикский язык - мелодика речи 80 %, тембр речи 15 %, паузация 5 %; цыганский язык - мелодика речи 70 %, тембр речи 20 %, темп речи 3 %, паузация 7 %; русский язык с признаками интерференции китайского - мелодика речи 60 %, тембр речи 22 %, паузация 18 %.

В группе № 2 оценки распределяются иначе: таджикский язык - мелодика речи 50 %, тембр 30 %, темп речи 10 %, паузация 10 %; цыганский язык - тембр речи 40 %, мелодика речи 30 %, темп речи 15 %, громкость голоса 10 %, паузация 5 %; русский язык с признаками интерференции китайского языка - тембр речи 50 %, мелодика речи 30 %, паузация 12 %, темп речи 8 %.

Таким образом, при восприятии иноязычной и интерферированной речи подготовленные эксперты способны уверенно атрибутировать речевые фрагменты по принадлежности определенным дикторам. При этом мелодика речи и сопутствующие воспринимаемые в комплексе признаки играют ведущую роль при первичном опознавании иноязычного говорящего.

Проведенный эксперимент № 1 показал продуктивность работы в этом направлении. Для того, чтобы продолжить предварительное исследование и оценить возможность идентификации иноязычного говорящего по просодическим параметрам голоса методом анализа мелодического контура, был выполнен эксперимент № 2.

Речевой материал. С учетом вышеописанных результатов для проведения эксперимента № 2 был сформирован обновленный экспериментальный корпус: из речевого материала нами произведена выборка фонограмм, содержащих эмоционально-нейтральную спонтанную диалогическую и монологическую речь на таджикском, цыганском и русском интерферированном языках.

Испытуемым было предоставлено 18 фонограмм, из которых 9 звуковых файлов составили контрольные звукозаписи голоса и речи лиц, говорящих на таджикском, цыганском и интерферированном русском языках (t = 45 мин 35 с), и 9 опорных фонограмм - образцов, предназначенных для сравнительного исследования (t = 7 ч 9 мин).

Субъекты. В связи с большим процентом ложного и неуверенного опознавания дикторов непрофессиональными экспертами, а также в соответствии с основной задачей эксперимента № 2 - оценкой возможности успешной идентификации иноязычного говорящего экспертом, не являющимся носителем определяемого языка, - было принято решение об ограничении круга аудиторов, поэтому дипломированные филологи без опыта экспертной работы не привлекались.

В дальнейшем исследовании участвовали профессиональные эксперты (N = 34), имеющие право самостоятельного производства экспертиз по специальности «Идентификация по голосу и речи» с разным опытом и стажем экспертной работы, которые для удобства математико-статистической обработки результирующих данных эксперимента были разделены на 2 группы:

- № 1: профессиональные русскоговорящие эксперты, не владеющие рассматриваемыми языками, со стажем экспертной работы 5 лет и более (N = 18);

- № 2: профессиональные русскоговорящие эксперты, не владеющие изучаемыми языками, со стажем экспертной работы менее 5 лет (N = 16).

Метод. В эксперименте № 2 группам испытуемых предлагалось провести идентификационное сравнение голоса и речи дикторов, говорящих на разных языках, на основе анализа мелодического контура.

С этой целью на базе платформы SIS II - универсального акустико-лингвистического комплекса по идентификации дикторов по голосу и речи - испытуемым требовалось провести сегментацию реплик говорящего на каждой из предложенных фонограмм, проанализировать индивидуальные характеристики основного голосового тона (кривой ЧОТ) на различных участках и провести сравнительное идентификационное исследование голоса и речи диктора на контрольной и опорной фонограммах на основе сравнения параметров мелодического контура голоса сравниваемых дикторов.

Разработанный метод позволяет эксперту анализировать и сравнивать основные характеристики мелодических структур, представленные как наборы значений параметров частоты основного тона (ЧОТ) для сопоставимых участков мелодического контура (опорных фрагментов).

Для выделенного экспертом фрагмента контура в автоматическом режиме рассчитывались значения начальной, конечной, минимальной, средней и максимальной ЧОТ, время максимума и минимума (координата максимального / минимального значения ЧОТ в процентах от общей длительности выделенного фрагмента), разница между значениями ЧОТ, скорость изменения, коэффициент изрезанности мелодического контура синтагмы, длительность выделенного фрагмента (в мс).

Подбор опорных фрагментов мелодического контура, подлежащих сравнению, осуществлялся испытуемыми на основе аудитивно- го и визуального анализа речевого сигнала. Такие фрагменты представляли собой синтагмы, а также их структурные составляющие (предшкалы, шкалы, ядерные слоги, ядерно-за- ядерные участки и т. д. с однотипным мелодическим оформлением).

Для достижения надежного идентификационного решения при сравнении фрагментов аудиторам было рекомендовано соблюдение следующих требований:

1. перед началом сравнительного анализа испытуемые должны были прослушать обе фонограммы, предназначенные для сравнения, и оценить их общую сопоставимость с точки зрения стиля и манеры речи, коммуникативной направленности, эмоциональной окраски;