Определение устойчивых словосочетаний методом ассоциативного эксперимента

Размещено на http://www.allbest.ru/

Определение устойчивых словосочетаний методом ассоциативного эксперимента

Н.В. Лукашевич, А.А. Герасимова

Федеральное государственное бюджетное образовательное учреждение высшего образования «Московский государственный университет имени М.В. Ломоносова»

Государственное научное бюджетное учреждение «Академия наук Республики Татарстан»

Огатья посвящена исследованию косвенных признаков устойчивости словосочетания, которые можно обнаружить при помощи ассоциативных экспериментов. В результате сбора ассоциаций к словосочетаниям и их компонентам было установлено два типа нерегулярности устойчивых словосочетаний: во-первых, устойчивость проявляется в том, что слова- компоненты словосочетания становятся частотными ассоциациями друг к другу; во-вторых, для устойчивого словосочетания характерно относительно малое разнообразие ассоциаций, которое измеряется путем вычисления энтропии, а также малое количество совпадений ассоциаций к словосочетанию и к словам-компонентам. Использование перечисленных признаков нерегулярности позволяет с высокой точностью определить, является ли словосочетание устойчивым и нужно ли включать его в тезаурусы для автоматической обработки текстов.

Ключевые слова: устойчивые словосочетания; ассоциация; нерегулярность; тезаурус; русский язык.

Natalia V. Loukachevitch, Anastasia A. Gerasimova

DETECTING CONVENTIONALIZED MULTIWORD EXPRESSIONS BY USING A WORD ASSOCIATION EXPERIMENT

Lomonosov Moscow State University 1 Leninskie Gory, Moscow,

This paper deals with the types of idiosyncrasy of multiword expressions. In particular, we show that association experiments provide evidence about conventionalization of phrases and help decide on inclusion of such phrases in information-retrieval thesauri. Experimental data shows that conventionalized phrases can be revealed by using two factors: 1) component words of a phrase have each other as frequent associations; 2) both entropy of phrase associations and intersection of component word and phrase associations are low. These factors allow predicting conventionalized phrases with high accuracy, higher than the existing embedding models have.

Key words: multiword expressions; association; idiosyncrasy; thesaurus; Russian.

Введение

В настоящее время одним из видов востребованных компьютерных ресурсов для автоматической обработки текстов, анализа документов являются так называемые тезаурусы, представляющие лексические или терминологические системы в форме семантических сетей, которые описывают формализованные отношения между значениями слов (словосочетаний). Известнейшим лексическим ресурсом такого рода является тезаурус английского языка WordNet [Miller, 1998]. Для русского языка существует аналог WordNet-- тезаурус RuWordNet URL: http://ruwordnet.ru/ru/ [Loukachevitchetal., 2016]. В конкретных предметных областях создаются специализированные тезаурусы, например, медицинский тезаурус MESH URL: https://www.ncbi.nlm.nih.gov/meshили тезаурус в авиационно-космической области NASA URL: https://www.sti.nasa.gov/thesvol1.pdf. Тезаурус русского языка РуТез включает как лексическую информацию, так и термины широкой общественно-политической области (экономика, финансы, политика и др.) [Лукашевич, 2011]. Тезаурусы используются для различных приложений автоматической обработки текстов: автоматического определения семантического сходства слов и фрагментов текстов, автоматического реферирования текстов, информационного поиска и др.

Существенной проблемой при ведении таких тезаурусов является вопрос о том, какие словосочетания должны включаться в качестве отдельных единиц, каковы критерии включения. Например, стандарты по ведению информационно-поисковых тезаурусов обычно содержат разделы с описанием принципов включения многословных терминов в состав создаваемых тезаурусов [ANSI/NISO, 2005]. Критерии включения словосочетаний обсуждаются и для тезаурусов типа WordNet [Maziarzetal., 2015; Piaseckietal., 2015; Vincze, Almasi, 2014]. Изначально в синонимические ряды тезауруса WordNet(синсеты) предлагалось включать только «лексикализованные» выражения [Miller, 1998], однако границы лексикализации оказалось трудно определить [Agirreetal., 2006]. Авторы работы [Bentivogli, Pianta, 2004] обсуждают необходимость включить в итальянский WordNetи нелексикализованные (композициональные) выражения, называемые фразеты, которые имеют лексикализованные соответствия в других языках.

В качестве кандидатов на включение в тезаурусы часто обсуждаются устойчивые выражения, которые охватывают большое множество разнообразных типов словосочетаний: идиомы, составные существительные, имена собственные, фразовые глаголы, конструкции с вспомогательным глаголом и др. [Calzolarietal., 2002; Sagetal., 2002; Baldwin, Kim, 2010]. Необходимость включения в тезаурусы некоторых из перечисленных языковых выражений, например идиом, не вызывает сомнения. Для других типов устойчивых словосочетаний решение задачи о включении в ресурс менее очевидно. В частности, необходимо проанализировать, обладает ли словосочетание нерегулярностью какого-либо типа: лексической, синтаксической, семантической (например, некомпозициональностью значения) или статистической. Статистической нерегулярностью называют свойство словосочетания, когда частота совместной встречаемости его компонентов выше случайной [Church, Hanks, 1990; Manning, SchMze, 1999; Farahmand, Nivre, 2015]. Этот вид нерегулярности проявляется еще и в том, что компонент словосочетания не может быть заменен на синоним без изменения значения словосочетания, если же такая замена возможна, то полученное словосочетание встречается значительно реже В зарубежной традиции подобную диагностику принято называть «тестом на замещаемость» (substitutionabilitytest).Подробнеесм. [Sag et al., 2002; Farahmand et al., 2015; Farahmand, Henderson, 2016; Pearce, 2001; Senaldi et al., 2016]..

Наличие нерегулярности, т.е. неподчинение словосочетания каким-либо языковым правилам (синтаксическим, семантическим) как раз и делает необходимым внесение словосочетания в компьютерные словари. В данной статье нас будут интересовать словосочетания со статистической нерегулярностью, которые не имеют ни лексической, ни семантической нерегулярности, из-за чего бывает трудно решить, нужно ли включать их в компьютерные лингвистические ресурсы.

Цель статьи -- с помощью соответствующих диагностик показать два типа проявления нерегулярности устойчивых словосочетаний. Во-первых, мы покажем, что нерегулярность проявляется в том, что компоненты устойчивых словосочетаний часто выступают в качестве ассоциаций друг к другу в ответах участников ассоциативных экспериментов. Во-вторых, оказывается, что устойчивые словосочетания демонстрируют специфику распределения ассоциаций: для таких языковых единиц характерно относительно низкое значение вариативности ассоциаций, а также малое количество пересечений ассоциаций к словосочетанию с ассоциациями к словам-компонентам, т.е. словосочетания имеют специфичные частотные ассоциации, которые отсутствуют у их компонентов.

Указанные свойства устойчивых словосочетаний были выявлены с помощью серии ассоциативных экспериментов на материале русского языка. Как известно, множество ассоциаций образует ассоциативное поле, которое отражает основные лингвистические параметры слова, в том числе его связь с другими слоями значений [Болотнова, 1994; Горошко, 2001].

Статья состоит из раздела 2, в котором обосновывается необходимость включения словосочетаний в тезаурусы, а также обсуждается понятие устойчивости и виды нерегулярности устойчивых словосочетаний. Раздел 3 посвящен описанию ассоциативных экспериментов. На основании результатов экспериментов выявлены два признака проявления устойчивости словосочетаний. Наконец, раздел 4 представляет собой заключение.

1. Устойчивость словосочетаний в литературе

Понятие устойчивости словосочетаний. Имеется большое количество подходов к определению устойчивых словосочетаний. В работе [Архангельский, 1968] выделялись девять способов понимания устойчивости фразеологических единиц. В данном разделе мы рассмотрим два подхода к устойчивости, сформулированные в рамках отечественной традиции.

В модели «Смысл-Текст» устойчивость интерпретируется как высокая вероятность совместной встречаемости компонентов словосочетания [Мельчук, 1960]. И. Мельчук рассматривает фраземы (не свободные словосочетания) -- словосочетания, составленные из двух или более лексем, связанных регулярным синтаксическим отношением, которые не могут быть заменены на квазисинонимы без изменения значения словосочетания. При этом классификация фразем проводится по двум параметрам: композициональность значения фраземы и природа ограничений, накладываемых на ее структуру (лексические или семантико-лексические ограничения). Соответственно, в работе [МеГсик, 2012] выделяются идиомы, характеризующиеся некомпозициональным значением и лексическими ограничениями, коллокации, значение которых композиционально, но на которые также накладываются лексические ограничения, и клише, композициональные выражения с семантико-лексическими ограничениями на структуру.

И. Мельчук выделяет три типа идиом: полные идиомы, значение которых не включает значения слов-компонентов; полуидиомы, в значение которых входит значение только одного из слов-компонентов и дополнительный элемент значения (полуфразема или коллокация в терминологии [Иорданская, Мельчук, 2007]); квазиидиомы, значение которых включает дополнительный компонент наряду со значениями слов-компонентов словосочетания. Коллокации представляют собой сочетание ключевого слова со словом, представляющим значение лексической функции от этого слова, и могут быть разделены на стандартные и нестандартные. Первые представляют собой результат применения стандартных лексических функций-параметров; для вторых -- нестандартных -- семантическое отношение определяет закрытое множество коллокаций.

В работе [Баранов, Добровольский, 2008] устойчивость рассматривается в структурном и узуальном аспектах. Структурный аспект характеризует внутреннее устройство языкового выражения, т.е. ограничения, которые накладываются на слова-компоненты. Авторы утверждают, что понимание устойчивости И. Мельчука ограничено и связано только с внутренним устройством словосочетания. Более того, сочетаемостная устойчивость в трактовке И. Мельчука характерна только для словосочетаний, имеющих уникальные компоненты, например словосочетание точить лясы устойчиво только по словоформе лясы. Предлагаемая в [Баранов, Добровольский, 2008] структурная устойчивость проявляется в наличии ограничений на образование вариантов, морфологической дефектности компонентов словосочетания, а также его синтаксической непроницаемости. Сами авторы делают упор на узуальную устойчивость, которая проявляется в регулярном употреблении словосочетания носителями языка. Если словосочетание узуально не устойчиво, оно не является устойчивым вовсе. При этом узуальная устойчивость есть проявление более общей языковой категории нерегулярности -- когда при наличии более общего правила используется правило менее общее.

Типы нерегулярности (идиосинкразии) словосочетаний. В зарубежной традиции устойчивые словосочетания также рассматриваются с точки зрения их нерегулярности разных типов [Calzolari et al., 2002; Sag et al., 2002; Baldwinet al., 2010]. В работе [Baldwinet al., 2010] выделяют лексическую нерегулярность в случае, когда компонент словосочетания не может употребляться ни в каком словосочетании, кроме данного. Синтаксическая нерегулярность проявляется, если словосочетание демонстрирует определенные ограничения на уровне синтаксиса (например, фиксированный порядок слов-компонентов словосочетания). Семантическая нерегулярность есть не что иное, как некомпозициональность значения языкового выражения. Если словосочетание демонстрирует хотя бы одно отклонение из перечисленных, оно представляет собой так называемое лексикализованное выражение[Sag et al., 2002; Baldwinet al., 2010].

Нерегулярность может быть и статистической: в этом случае вероятность появления слов-компонентов неслучайна [Church, Hanks, 1990; Manning, Schьtze, 1999; Farahmand, Nivre, 2015]. Такое понимание устойчивости во многом совпадает с определением, данным И. Мельчуком. Более того, в работах [Sag et al., 2002; Farahmand et al., 2016] отмечается, что частотность таких словосочетаний выше, чем частотность словосочетаний, полученных в результате замены одного из слов-компонентов на синоним (пр. прогноз погодыvs. предсказание погоды). Другими словами, при статистической нерегулярности словосочетание демонстрирует узуальную устойчивость в терминах [Баранов, Добровольский, 2008].

Помимо всех названных типов нерегулярности хочется отметить также связи устойчивых словосочетаний с другими единицами лексикона. Этот вопрос особенно актуален в контексте тезаурусного представления множества языковых единиц. Рассмотрим в качестве примера английское устойчивое словосочетание trafficlights(`светофор'). Это словосочетание часто используется в качестве примера словосочетания с композициональным значением и статистической нерегулярностью: оно обладает высокой частотностью, и его компоненты плохо заменяются на синонимы [Sagetal., 2002].

Заметим, что денотат словосочетания trafficlightsобладает большим количеством отношений с другими объектами действительности, и эти отношения не следуют из компонентного состава словосочетания: светофор -- это объект дорожного строительства, он имеет сигнализирующие элементы, размещается на дорожных участках, используется для регулирования движения. Иными словами, в тезаурусе словосочетание trafficlightsдолжно быть связано тезаурусными отношениями с концептами (facilities(`объект строительства'), ROAD(`дорога'), SIGNALS(`сигналы'), REGULATION(`регулирование')) и эти отношения не выводятся из значений слов-компонентов traffic(`дорожное движение') и lights(`свет').

Рассмотренный пример не единичен и не уникален для английского языка. Словосочетание пешеходный переход связано тезаурус- ными отношениями с концептом безопасности, ресторанный дворик обычно расположен в торговом центре, следовательно, словосочетание ресторанный дворик имеет тезаурусное отношение с концептом торговый центр. Таким образом, устойчивые словосочетания без явно выраженной лексической или семантической нерегулярности имеют особый набор семантических отношений с другими языковыми единицами, которые не следуют из их компонентов, обладают реляционной нерегулярностью.

Разметка словосочетаний по устойчивости. В некоторых трудах исследуется языковая интуиция носителей языка по определению устойчивости словосочетаний. Работа [Reddyetal., 2011] посвящена исследованию композициональности значения английских именных групп (например, applicationform, parkinglot).Авторы предлагают модель предсказания устойчивых словосочетаний на основании суждений о том, в прямом ли значении использовались компоненты словосочетаний. Для построения такой компьютерной модели суждения о композициональности значения словосочетания сравнивались с суждениями о прямом/переносном значении компонентов. В опросе участвовало 30 респондентов. В результате было показано, что оба компонента играют большую роль в определении того, является ли словосочетание устойчивым.

В работе [Ramischetal., 2016] описывается процедура построения базы данных, в которой содержится информация о суждениях по композициональности значения составных существительных для английского, французского и португальского языков. Респондентов просили оценить, насколько значение словосочетания выводимо из значений слов-компонентов. Авторы утверждают, что подобный метод косвенного аннотирования словосочетаний, в котором участвуют носители языка, не являющиеся специалистами в лингвистике, надежно предсказывает устойчивость. Тем не менее при таком подходе наблюдалась несогласованность ответов респондентов. Например, носители английского языка по-разному оценили словосочетание dirtyword(`бранное слово') с точки зрения его композициональ- ности/некомпозициональности. Это связано с тем, что в оценке модификатора dirty(`грязный') были существенные расхождения: для одних носителей прилагательное имеет переносное значение, для других -- прямое, но редко употребляющееся.

В [Maziarzetal., 2015] предпринимается попытка формализации критериев внесения устойчивых словосочетаний в plWordNet(тезаурус типа WordNetдля польского языка). Авторы прибегли к экспертной оценке: 14 экспертов-лингвистов должны были классифицировать множество словосочетаний по группам «устойчивое», «неустойчивое», «не знаю». Удалось установить, что для достижения высокого уровня согласованности мнений экспертов при решении задачи включения словосочетания в тезаурус достаточно 5--7 лингвистов.

В наборе данных, представленных в [Farahmandetal., 2015], словосочетания аннотированы по двум признакам: некомпозициональ- ность значения и статистическая нерегулярность словосочетания. В аннотации участвовали пять экспертов. Композициональность значения словосочетания оценивалась по бинарной шкале. Затем все словосочетания с композициональным значением размечались с точки зрения статистической нерегулярности: словосочетание считалось нерегулярным, если ни один из его компонентов не мог быть заменен на квазисинонимы без потери значения. Такое определение нерегулярности приводило к трудностям во время аннотации, поскольку некоторые интуитивно устойчивые словосочетания допускали замену компонента (ср. floorspaceи floorarea`площадь помещения'). Тем не менее в результате разметки было выделено множество статистически устойчивых словосочетаний с компози- циональным значением: cablecar, foodcourt, speedlimitи т.д. Полученную базу данных предлагается использовать для обучения систем автоматического распознавания устойчивых словосочетаний.

Как видно, все перечисленные методы разметки устойчивых словосочетаний с помощью экспертной оценки столкнулись с некоторыми проблемами. В данной статье мы хотим найти некоторые косвенные признаки нерегулярности устойчивых словосочетаний, проявляющиеся в языковом поведении носителей языка.

Идиоматичность словосочетаний и когнитивные эксперименты. В ряде работ рассматривались когнитивные аспекты представления устойчивых словосочетаний. В работе [Sinclair, 1991] был сформулирован принцип идиоматичности, который заключается в том, что в арсенале говорящего имеются готовые единицы (по- луоформленныефразы в переводе [Копотев, Стексова, 2016]), которые представляют собой устойчивое целое, хотя могут быть разложены на отдельные составляющие. Принцип идиоматичности находит отражение в физических характеристиках дискурса. Так, в работе [Erman, 2009] исследовалось, как устойчивость словосочетания влияет на длительность хезитационной паузы при выполнении задания на подбор пропущенного компонента словосочетания. Под устойчивостью понималось ограничение на замену компонентов (restrictedexchangeability)-- результат применения теста на статистическую нерегулярность.

Основная гипотеза работы [Erman, 2009] заключалась в том, что подобные устойчивые структуры хранятся в долговременной памяти говорящего в виде целостных единиц. В связи с этим активация в сознании одного компонента при наличии другого происходит с минимальными когнитивными усилиями, что проявляется в меньшей длительности паузы при подборе компонента устойчивого выражения. Гипотеза о целостности устойчивых словосочетаний подтверждается и в исследовании [Rohanianet. al., 2017]. С помощью методики регистрации движения глаз было показано, что характеристики движения взгляда при прочтении устойчивых словосочетаний значимо отличаются по сравнению с чтением свободных словосочетаний.

Ассоциативный эксперимент

Для обнаружения проявлений нерегулярности устойчивых словосочетаний была проведена серия ассоциативных экспериментов. Был выбран экспериментальный метод, поскольку существующие словари ассоциаций для русского языка не подходят для решения поставленной в исследовании задачи: данные русского ассоциативного словаря [Karaulovetal., 1994] устарели, а в проекте по сбору ассоциаций Sociation.orgотсутствуют рассматриваемые типы словосочетаний.

При отборе материала для экспериментов, а именно устойчивых и неустойчивых словосочетаний, использовался состав словосочетаний в тезаурусе РуТез [Loukachevitch, Dobrov, 2014]. РуТез представляет собой лингвистическую онтологию, разработанную для решения задач автоматической обработки языка.

Лингвистическая онтология РуТез во многом сходна с тезаурусами типа WordNet. Так, понятия, включенные в тезаурусы, отражают значения реальных языковых единиц; репрезентация лексических значений устроена сходным образом. В то же время имеются и существенные различия: в отличие от в тезаурусе РуТез одно и то же понятие может быть представлено текстовыми входами, которые относятся к разным частям речи; в онтологию РуТез включаются более разнообразные виды словосочетаний; в тезаурусах используются различающиеся наборы концептуальных отношений.

Создатели тезауруса РуТез разработали специальные правила внесения словосочетаний, которые выглядят композициональными, в тезаурус. Словосочетание включается в тезаурус в том случае, если у него имеются некоторые специфические отношения с другими словами или выражениями [ЬоикаеИеуНеИ, ЬазИеуюИ, 2016]. Выделяются случаи, когда словосочетание добавляется в онтологию:

1. Словосочетание является синонимом некоторого слова (земельный участок -- земля) или словосочетание имеет частотное сокращение (заработная плата -- зарплата);

2. Словосочетание состоит в отношении синонимии к другому словосочетанию, и это отношение не выводится из значений слов-компонентов словосочетания (мобильный телефон, сотовый телефон);

3. Словосочетание обобщает значения нескольких слов. Такие словосочетания как транспортное происшествие или учебное заведение на первый взгляд являются композициональными. Однако они несут важную функцию репрезентации знаний -словосочетания являются гиперонимами по отношению к некоторой группе понятий;

4. Словосочетание имеет тезаурусные отношения, которые не выводятся из значений слов-компонентов. Например, словосочетание дорожное движение связано отношениями с другими словосочетаниями, и подобные связи не могут быть выведены из значений слов-компонентов, например связь гипоним/гипероним (левостороннее движение, одностороннее движение), или ассоциативная связь концептов (автомобильная авария и автомобильная пробка).

Для эксперимента были отобраны именные группы, которые имеют высокую частотность в текстовой коллекции современных новостей (один миллион документов): 29 словосочетаний «прилагательное + существительное» и 32 словосочетания «СУЩЕСТВИТЕЛЬНОЕ + существительное в родительном падеже», которые подразделяются на тезаурусные словосочетания (входят в состав тезауруса РуТез) и нетезаурусные. Тезаурусная группа включала 15 словосочетаний: транспортное происшествие; учебное заведение; заработная плата; программное обеспечение и т.д. Группа нетезаурусных словосочетаний включала такие словосочетания, как: повышение эффективности, крупный размер, проект строительства и т.д.

Для сбора ассоциаций была проведена серия лингвистических экспериментов. В первых двух экспериментах респондентам были представлены отобранные словосочетания (отдельно тезаурусные и нетезаурусные), в третьем -- слова-компоненты этих словосочетаний. Респондентам было предложено привести однословную ассоциацию к каждому стимулу. При этом предлагалось не использовать имена собственные (в том числе названия изданий, сайтов, компаний), а также сокращения. Эксперимент проводился на базе сервиса GoogleForms.

В результате 26 и 29 респондентов участвовали соответственно в сборе ассоциаций для тезаурусных и нетезаурусных словосочетаний, 47 испытуемых приводили ассоциации к словам-компонентам. Несмотря на инструкцию, в некоторых случаях респонденты могли привести только многословную ассоциацию. Подобные случаи были единичными, поэтому они были учтены при обработке результатов. В табл. 1 для некоторых тезаурусных словосочетаний приведены примеры ассоциаций и их частотность. словосочетание ассоциативный эксперимент тезаурусный

Таблица 1