В большинстве случаев усечение происходит с именами существительными и прилагательными, при этом апокопы, за редкими исключениями, сохраняют грамматическую форму слова, от которого они образованы, в том числе и его род (le mйtro < le mйtropolitain метро). Среди существительных могут подвергаться усечению и имена собственные (Stйph < Stйphane Стефан, Sarko < Sarkozy Саркози), апокопизированные формы которых являются маркерами разговорного стиля. Остальные части речи либо никогда не усекаются, либо очень редко - например, в просторечьи встречаются наречия-апокопы (exact < exactement точно) и даже глаголы-апокопы (dйc < dйconner нести чушь). (Broћovб 2006: 14)

Иногда апокопа сопровождается апострофом, который свидетельствует о том, что слово было усечено, а также зачастую о выпадении -e, чтобы сохранить произношение финали апокопы таким, каким оно было в исходной форме (dйc [des] < dйcisif ). При этом, несмотря на то, что без апострофа произношение апокопы должно было бы измениться по правилам французского чтения, он может иногда опускаться и приводить к омонимии: например, champ поле может являться также и сокращением от champagne шампанское. (Fridrichovб 2013b: 11)

Существуют апокопы как образованные методом простого отсечения финали слова (bac < baccalaurйat степень бакалавра), так и отсечением с добавлением некоторого суффикса (intello < intellectuel интеллигент). Важно отметить, что от одного слова может быть образовано несколько апокоп, в зависимости от числа отрезаемых слогов и прибавляемых окончаний (compиte/compй < compйtition соревнование), а также одна и та же апокопа может иметь разное графическое представление (restau/resto < restaurant ресторан).

Целью данной работы является разработка алгоритма, способного находить апокопы и подготовка системы к использованию для других типов аббревиатур и, возможно, языков. При этом мы ставим своей главной задачей - добиться полноты алгоритма, то есть довести его до такого состояния, чтобы все слова, являющиеся на самом деле апокопами, считались таковыми нашей системой.

В то же время точность алгоритма - то есть сведение к минимуму ошибочных суждений нашей системы о том, что слово является апокопой при том, что оно им на самом деле не является - имеет для нашей системы меньшее значение, так как оно может быть достигнуто ручной обработкой и требует значительных затрат на реализацию. Поэтому в рамках данной работы мы не ставим жёстких условий по точности, а лишь стараемся добиться наилучшего результата в отведённый срок.

В частности, мы ставим перед собой следующие задачи:

- сформулировать базовые правила образования апокоп для реализации основной части алгоритма распознавания апокоп;

- составить список источников с данными и собрать из них максимально возможный корпус апокоп;

- получить набор статистической информации как для описания общих тенденций аббревиации, так и для подробной классификации апокоп;

- улучшить систему базовых правил с целью увеличения полноты и точности алгоритма.

Методы исследования

Основным инструментом данного исследования является использование автоматизированных систем обработки информации. С их помощью мы можем собрать большие объёмы информации из разрозненных источников, соединить их воедино, провести статистический и качественный анализ, получить чистые данные, на их основе сформулировать правила формирования апокоп, провести анализ необходимости и достаточности данных правил и итеративно их улучшать до тех пор, пока позволяет время, отведённое на работу.

В качестве языка для реализации программной части работы был выбран Python в силу его экспрессивности, краткости, лёгкой читаемости, наличия на нём большого набора лингвистических библиотек, общепризнанности научным сообществом, а также вследствие того, что он хорошо нам знаком. Графики для визуализации статистической информации строились с помощью библиотеки Matplotlib.

1. Постановка задач

1.1 Научная значимость работы

Задача классификации апокоп и формулирования правил их образования является актуальной в современной лингвистике. Несмотря на то что существует ряд работ, посвящённых процессу аббревиации, до сих пор нет единого хорошего монографического описания апокоп на основе современных достоверных данных из-за трудоёмкости и специализированности задачи. Уже существующие попытки описания сокращений показывают, что невозможно описать систему, основываясь лишь на ручных методах обработки текста и небольших корпусах данных. Чтобы сократить время, отведённое на ручную обработку, и освободить его для аналитической работы по составлению подробного описания и правил, необходимо использовать компьютерные инструменты. Благодаря точности машинных методов и чётко построенным алгоритмам, можно создать единообразную систему анализа исследуемых явлений, собрать большие объёмы данных, а также избежать возможных ошибок и неточностей.

Процесс аббревиации становится всё более продуктивным способом словообразования и является одним из факторов, приводящих к изменению языка. Количество новых апокоп, появляющихся вследствие этих изменений, стремительно возрастает, вытесняя их полные формы. В связи с этим существует проблема распознавания новых слов компьютерными системами, которым нецелесообразно полагаться на словари, так как последние не успевают отражать состояние языка с той скоростью, с какой в нём появляются новые данные. Лучше справиться с этой задачей могут алгоритмы, определяющие форму, от которой образована апокопа, создание которых является целью нашей работы.

Хорошо разработанная система сбора и обработки апокоп может быть с лёгкостью адаптирована и для описания других типов аббревиатур. Таким образом, настоящая работа может быть расширена и дополнена будущими исследователями. аббревиатура апокоп французский

1.2 Обзор литературы

В данном разделе приводится обзор литературы, посвящённой феномену аббревиации.

В работе (Блох 2014) исследуется аббревиация и её значение в европейских языках в диахронии. Автор формулирует всевозможные факторы её появления и распространения в разные периоды времени. Например, одной из таких причин является развитие государственности, образования и коммуникации. Влияние также оказывали и внутрилингвальные факторы типа контекста, языковых способностей носителей. Автор отдельно отмечает появление в XI-XIV вв. слов-усечений, образованных путём усечения основы, в среднеанглийском и французском языках. В XV в. появление книгопечатания способствует дальнейшему развитию аббревиации в европейских языках, и уже в XVII-XVIII вв. она становится настолько распространённым явлением во всех социальных кругах, что теряет свою маркированность. В XVIII в. в связи с бурным развитием науки появляется много неологизмов и международных сокращённых единиц, образованных инициальными буквами - таким образом зарождаются инициальные аббревиатуры. Аббревиация становится продуктивным способом словообразования во всех рассматриваемых языках в XIX в. Вслед за укрепившимися инициальными аббревиатурами в XX в. появляются акронимы. Автор заявляет, что на сегодняшний день число аббревиаций настолько высоко, что не существует таких источников, которые бы содержали корпус всех аббревиатур.

В (Криворот 2012) автор провёл сравнительное исследование особенностей аббревиации в русском, английском и французском языках. Из факторов распространения аббревиатур выделяется как экономия времени, затрачиваемого на порождение языковой единицы, так и усилий, прилагаемых говорящим или пишущим. Автор отмечает, что явление аббревиации характерно для флективных языков, в которых продуктивна аббревиатурная модель словообразования, в то время как в агглютинативных, изолирующих и инкорпорирующих языках аббревиатуры появляются методом заимствований моделей из флективных языков. В русском, английском и французском языках автор выделяет две аббревиатурные модели - простого и осложнённого усечения. Первая модель присуща аналитическим языкам, вторая - синтетическим. Так, автор отмечает, что в русском языке апокопная модель, относящаяся к простому типу усечения, становится всё более продуктивной, что говорит о росте черт аналитизма. При этом в синтетических языках представлены в основном сокращения финального типа (апокопы), а в аналитических встречаются все типы: финальные, инициальные, медиальные и гибридные. Автор связывает преобладание финальной модели во всех языках с концентрированием информативных центров на начало слов. Автор рассматривает три вида аббревиации - слоговую, инициальную и смешанную, в основном, на примере русского языка, однако не изучает подробно систему их формирования в языках, а выделяет общие тенденции семантического развития сокращений.

В исследовании (Fridrichovб 2013a) автор провёл статистическое исследование усечённых форм в современном французском языке. Был собран металингвистический корпус из слов-сокращений, представленных в таких словарях как Le Petit Robert, Larousse и Hachette, а также в словарях арго и неологизмов для отражения социолингвистической картины. Автор отмечает, что одной из социолингвистических причин распространения усечённых форм является желание сэкономить время во время коммуникации, в особенности в профессиональных, учебных и маргинальных кругах. Автор заключает, что самым распространённым способом аббревиации в первых трёх словарях является апокопа, а в словарях арго и неологизмов первые места занимают смешанные процессы, такие как верлан + апокопа и апокопа + замена суффикса. Автор также заметил, что усечённые формы при распространении перенимают функции полных форм, становясь равными им, а иногда даже их вытесняя. Автор отмечает, что словарь Le Petit Robert лучше всего иллюстрирует процесс появления новых слов-сокращений.

В работе (Kerleroux 1999) апокопа изучается с синтаксико-семантической точки зрения. Автор исследует апокопы, классифицируя их согласно природе их образования (деноминативной, адъективной, девербальной). Автор предлагает разные семантические группы для каждого типа апокопы. Например, девербальная апокопа обозначает процесс, простое действие или результат. Важность этого исследования состоит в том, что автор приводит случаи, когда апокопа не может быть замещена полной формой из-за семантической интерпретации. Например, если в примере (1a) вместо многозначной формы manifestation проявление, демонстрация, манифестация поставить апокопу manif манифестация (см. пример (1b)), то предложение станет аграмматичным. Автор это связывает с тем, что апокопа потеряла часть значений своей полной формы: она не может обозначать протекание некоторого процесса - вместо этого она обозначает простое событие или его результат, как, например, в примере (1c).

(1a)La manifestation de la vйritй aura pris cinquante ans.

Установление истины займёт пятьдесят лет. [Kerleroux 1999: 87]

(1b) *La manif de la vйritй aura pris cinquante ans.

Манифестация правды займёт пятьдесят лет. [Kerleroux 1999: 87]

(1c) La manif des йtudiants a durй cinq heures.

Собрание студентов продлилось пять часов. [Kerleroux 1999: 87]

Исследование аббревиации в синхронии проводилось в работе (Piechnik 2009), где автор сравнивает аббревиационные модели во французском и польском языках. Автор классифицирует слова на производные (perso < personnel персонал), сложные просторечные (beauf < beau-frиre шурин), сложные греко-латинского происхождения (amphi < amphithйвtre амфитеатр) и заимствованные (bob < англ. bobsleigh бобслей) и находит, что большинство усечений (апокопы и аферезы) во французском языке заканчиваются на гласный, чаще всего на -o, и при этом состоят из одного-двух слогов (из трёх и более - очень редко). В польском языке усечения встречаются очень редко, но, несмотря на то что он является консонантным языком, во всех примерах, которые приводит автор, сокращения оканчиваются гласным (pozdro < pozdrowienia приветы). Автор также упоминает такие сокращения как синкопа (зuilа < celui-lа тот), инициализмы (VIH < Virus dImmunodйficience Humaine ВИЧ (Вирус иммунодефицита человека)), акронимы (SMIC < Salaire minimum interprofessionnel de croissance СМИК (межпрофессиональный минимум зарплаты роста) и слияния (agit-prop пропагандистская агитация < agitation агитация + propagande пропаганда). Автор заключает, что распространение аббревиации во французском обусловлено несколькими причинами: 1) французский язык - язык аналитического строя, 2) во французском языке преобладают короткие слова (каноническая схема французского - CVCV), 3) французский язык предпочитает открытые слоги (что объясняет преобладание гласной на конце усечённых слов).

Более практичный подход наблюдается в работе (Dister 1997). Автор провёл исследование на базе корпуса из 776 апокоп с целью найти современные тенденции усечения методом статистического сбора информации. Однако отсутствие ссылок на источники, из которых собирался корпус, не позволяет оценить достоверность результатов. На основе собранного корпуса автор выделил две группы, в зависимости от финали апокопы: консонантную (40% от всего корпуса) и вокалическую (60% от всего корпуса). В консонантной группе автор приводит статистику встречаемости в корпусе различных согласных на конце апокоп и отдельно рассматривает апокопы на -s (45 слов), являющиеся вторыми по частотности после апокопов на -t (46 слов). В данную группу он также включает и апокопы на -x [ks]. При этом автор дополнительно выделяет 3 группы: 1) апокопы содержатся в полной форме (puls < pulsation пульсация), 2) -s добавляется после усечения (reps < reprйsentant представитель), 3) -os добавляется после усечения (vulgos < vulgaire заурядный). Вокалическая группа в собранном автором корпусе представлена из 9 финальных звуков: [a] (prйpa), [e] (catй), [?] (play), [i] (aspi), [y] (alu), [ш] (pneu), [u] (dйbrou), [o] (applau) и [?] (labo). При этом автор концентрирует своё внимание на апокопах на -o (312 слов), так как звук [?] встречается в 67% слов с вокалической финалью. Среди апокоп с вокаличесой финалью автор выделяет те, в которых 1) -o присутствует в полной форме; 2) -o добавляется к апокопе после усечения. Собранная автором статистика включает информацию о 1) количестве слогов в апокопах (59% двусложны, 26% односложны, 14% трёхсложны и оставшиеся - четырёх- и пятисложны), причём автор отдельно отмечает, что среди моносиллабичных апокоп лишь 2,5% заканчиваются на -o, в то время как в двусложных апокопах распределение почти равное; 2) количестве усечённых слогов (в 85% апокоп - 1-2 слога). Автор заявляет, что при апокопизации -o не просто является предпочтительной финалью для усечённой формы, но и иногда вызывает усечение даже в тех словах, которые никогда бы не подверглись усечению, если бы не содержали -o. Примерами этого являются слова, которые изначально состоят из небольшого количества слогов, такие как choco < choco(lat) шоколад, perso < perso(nnel) персонал и sympho < sympho(nie) симфония.

В заключение отметим, что из проанализированных нами работ ближе всего к исследуемой нами области оказались (Piechnik 2009) и (Dister 1997). Однако в (Piechnik 2009) проводился слишком поверхностный анализ корпуса (объёмы которого недостаточны для глубокого изучения) из-за разнообразия исследуемых явлений, в то время как корпус собранный в (Dister 1997), не был предоставлен, из-за чего нельзя оценить ни его репрезентативность, ни достоверность, а также нельзя дополнить его новыми данными. В нашем исследовании мы собираемся избежать вышеперечисленных проблем, выложив корпус в открытый доступ вместе с алгоритмом его сбора, а также, что немаловажно, алгоритмом его анализа. Таким образом, настоящее исследование может быть дополнено новыми данными, и может быть собрана новая статистика, включающая информацию о новых видах апокоп или других видах аббревиатур.

1.3 План работы

В настоящем исследовании было решено придерживаться следующего плана работы:

1) Создание начального списка апокоп. Ручной поиск источников с готовыми апокопами и их полными формами, создание краулеров, собирающих корпус апокоп.

2) Выявление на основе собранного корпуса апокоп базовых правил для основной части алгоритма, определяющих, является ли заданное слово апокопой заданной формы.

3) Поиск источника для создания словаря полных форм, создание единого корпуса полных форм.

4) Сбор статистики по полученному корпусу апокоп.

5) Сбор статистики об истории возникновения апокоп.

6) Создание эффективной системы, которая определяет, является ли заданное слово апокопой, и использует в качестве словаря собранный корпус полных форм.

7) Создание списка источников для сбора корпуса французских текстов. Главный критерий хорошего корпуса - простота парсинга, минимальное количество грамматических ошибок, репрезентативность (наличие разных стилей - как формального, так и неформального).

8) Написание веб-краулеров, собирающих корпус текстов. Это позволит постоянно обновлять корпус, собирая новые данные и таким образом увеличивая корпус апокоп.

9) Итеративное применение алгоритма распознавания апокоп, выявление ошибок, их классификация и устранение.

1.4 Ожидаемые результаты

В качестве результатов настоящей работы мы ожидаем:

1) Система краулеров, собирающая данные для корпуса апокоп;

2) Корпус апокоп;

3) Корпус полных форм;

4) Система краулеров, собирающая корпус текстов;

5) Сбор некоторой статистики об апокопах:

5a) соотношение длин полной и усечённой формы (количество отрезаемых букв)

5b) Формальные правила о методах усечения слова, основанные на выявленных характеристиках;

6) Множество правил, позволяющих распознавать апокопы с обращением к словарю их полных форм.

7) Алгоритм, осуществляющий распознавание апокоп в тексте (базируется на свежих статьях, найденных краулерами).

2. Ход работы

2.1 Сбор корпуса

Первая задача, которую необходимо было реализовать - это сбор корпуса апокоп. Для этого был составлен список источников с данными, являющихся основой корпуса апокоп, для каждого из которых требовался свой парсер.

1) Словарь Le Grand Robert (Le Robert 2015)

Так как далеко не каждый словарь содержит большой корпус апокоп, а, если и содержит, то может не отражать в своих статьях информацию о том, является ли слово апокопой, было необходимо провести отбор такого словаря. В итоге было решено обратиться к словарю Le Grand Robert, одному из популярных французских словарей. Была найден электронная версия, включающая 83372 словарных статьи. Для извлечения апокоп и их полных форм из них был написан соответствующий парсер.

2) Статьи из французского вики-словаря Wiktionnaire «Apocopes en franзais» (Wiktionnaire 2015a) и «Apocopes familiиres en franзais» (Wiktionnaire 2015b)

В Wiktionnaire было найдено две автоматически построенные страницы со списками апокоп, на основе которых был составлен список отдельных словарных статей, впоследствии прочитанных краулером. В ходе обработки этого массива данных было выявлено, что они формируются по нескольким разным наборам правил разными авторами, многие из которых являются ботами, переносящими данные из сторонних словарей. В связи с различиями в их форматах было необходимо написать несколько наборов правил распознавания страниц. В дополнение к этому было также найдено некоторое количество статей (3%), которые были написаны бессистемно (видимо, людьми, имеющими мало опыта работы на сайте), и было принято решение их исправить, а не писать специальные парсеры для их прочтения. Таким образом одновременно была решена задача проверки и повышения качества статей вики-словаря.

Краулер был написан на Python на основе библиотеки lxml: с её помощью брались конкретные теги (dl/dd), из которых извлекался текст, а затем обрабатывался регулярными выражениями. Учитывая довольно хорошую структурированность данных, удалось без лишней сложности получить высокий процент обработанных записей: всего было получено 1290 записей об этимологии апокоп, среди которых было большое количество записей, принадлежащих к другим языкам и записей, свидетельствующих об отсутствии данных. Однако после отсечения подобных определений количество записей сократились более, чем вдвое.

3) Статья «-O, finale et finale par apocope» (CNTRL 2012)

В качестве ещё одного источника была взята статья, собранная из разных словарей лабораторией ATILF, специализирующейся на автоматической обработке французского языка. В данной статье представлены апокопы, оканчивающиеся на -o. Структурированность вёрстки сайта со статьёй позволила распарсить её с помощью запроса на языке JavaScript.

4) Статья «Liste dapocopes» (Echolalistes 2014)

Был также найден ресурс Echolalistes с вики-форматом, в котором представлен список апокоп, дополняемый людьми в свободном доступе. Данный список был распарсен с помощью JavaScript.

5) Данные из статьи (Piechnik 2009)

В дополнение к корпусу, были добавлены вручную апокопы из статьи (Piechnik 2009).

6) Статья «Abrйviations - Apocope + suffixe (noms communs)» (Lйvy 2009)

Был найден ещё один электронный ресурс, для которого не было необходимости создавать специальный краулер, а можно было обойтись простым копированием с заменой некоторых символов.

7) Статья «Apocope» (Languefranзaise 2015)

Была найдена статья со ссылками на апокопы на электронном ресурсе, в котором собраны данные из разных французских словарей арго, популярной и общей лексики с подробными описаниями. Преимущество данного ресурса состояло в том, что для него удалось написать краулер, который смог извлечь информацию о полной форме для каждого апокопа. Структура статей с апокопами была не очень единообразна, однако был разработан хороший алгоритм для нахождения нужных нам описаний.

Для каждой записи из рассмотренных источников наш алгоритм определил, валидна ли она, то есть содержит ли она апокопу (по нашим правилам) и её полную форму. При этом при создании нашего базового алгоритма мы добились того, что среди тех апокоп, которые попали в разряд “плохих”, не было тех, которые мы бы хотели включить в наш корпус. Таблица 2 иллюстрирует количественное распределение между валидными и невалидными найденными парами “апокопа - полная форма” для каждого источника, а в Таблице 3 приведены те же данные об уникальных апокопах. Под “уникальными” мы имеем в виду апокопы, встречающиеся в каждом источнике без повторений, принимая во внимание то, что среди пар “апокопа - полная форма” существуют такие, в которых одна апокопа может быть образована от нескольких форм.

Таблица 2. Количество валидных и невалидных пар апокопа - полная форма для каждого источника.

Таблица 3. Количество валидных и невалидных найденных апокоп для каждого источника.

После нахождения пар в рассмотренных источниках был собран корпус апокоп, в который попали только те пары, которые посчитались валидными нашим алгоритмом. При этом, так как некоторые источники могли дублировать друг друга, требовалось удалить повторяющиеся пары. Так, из всех полученных данных был составлен корпус апокоп, представленный из 1295 пар апокоп с их полными формами, среди которых 1078 уникальных апокоп.

Мы также решили оценить, какой из источников дал наибольшее число редких результатов, не встречающихся в других наборах данных. Таблица 4 и Таблица 5 показывают количество валидных и невалидных данных для каждого источника, встречающихся только в нём, для пар апокопа - полная форма и для уникальных апокоп соответственно.

Таблица 4. Количество валидных и невалидных пар апокопа - полная форма, встречающихся только в данном источнике.

Таблица 5. Количество валидных и невалидных апокоп, встречающихся только в данном источнике.

Таким образом, статья «Apocope» (Languefranзaise 2015), словарь Le Grand Robert (Le Robert 2015) и статьи из французского вики-словаря Wiktionnaire (Wiktionnaire 2015a, 2015b) оказались одновременно как наиболее объёмными, так и наиболее полезными источниками, в сумме составив более половины апокоп нашего корпуса, представленных только в каждом из этих источников. В то же время больше всего “плохих” записей (более 40%) оказалось в (Lйvy 2009).

2.2 Автоматический поиск апокоп