Нам было также интересно изучить историю слов с греческими суффиксами. Мы взяли в качестве примера апокопу crypto и две её возможные полные формы - cryptographie криптография и cryptologie криптология. Форма cryptographie находилась всё время в конкуренции с апокопой, при этом резкий скачок употребления формы crypto наблюдался в период Второй Мировой войны. Это, вероятно, было связано с необходимостью передавать сообщения между отрядами войск и защищать их от прочтения. Короткая форма могла быть более употребимой для экономии времени, ведь любые задержки могли существенно изменить ход военных событий. При этом в конце 90-х годов в связи с развитием Интернета появилась необходимость в информационной безопасности - в шифровании данных, защите паролей. Так, в связи с этим формы cryptographie и cryptologie стали гораздо чаще упоминаться в литературных источниках. При этом апокопа crypto, имеющая коэффициент сокращения 50% и 45% соответственно, после военного периода так и осталась на первом месте по популярности.

Существуют и такие тенденции, когда апокопа какое-то время боролась за право вытеснения полной формы, однако так и не смогла выйти на первое место по частотности. Слова stйnographie стенография и её апокопы stйno. Так, до 1900 года наблюдался рост полной формы, что могло быть связано с развитием судебной системы. В 1900-1920-х годах частотность употребления полной формы начала постепенно снижаться, а апокопы - повышаться. Возможно, этому способствовало появление прессы, где явление стенографии стало обсуждаться с помощью более экономных языковых средств. Причиной дальнейшего спада употребления обеих форм может являться устаревание стенографии как метода вследствие появления других средств записи, как, например, звукозапись, видеозапись. Тем не менее, данный метод иногда используется и на сегодняшний день, в особенности, на закрытых заседаниях.

Мы также решили построить графики пятидесяти наиболее и наименее частотных пар апокоп с их полными формами за 500-летний период. Так, среди самых частотных слов оказались слова разных классов: общей лексики: pre < premier (первый), soce < sociйtй (общество), prod < produit (продукт), page < pageot (кровать), административной: gйnй < gйnйral (генерал), autor < autoritй (власть), admin < administration (администрация), passe < passeport паспорт, криминальной: es < escroc (мошенник), crime < criminelle (преступница), proc < procureur (прокурор), учебно-научной: philo < philosophie (философия), exo < exercice (упражнение), fac < facultй (факультет), uni < universitй (университет), exam < examen (экзамен), aca < acadйmie (академия), prof < professeur (профессор), а также самые популярные из нашего корпуса имена собственные: Phil < Philippe (2 место), Alex < Alexandre (23 место), Al < Alain (4 место), которые занимают 2, 23 и 4 места соответственно в списке самых частотных французских имён с 1940 года по 2011 год (Wikipedia 2015).

Среди наименее популярных имён встречаются слова иностранного происхождения: expat < expatriate англ. экспатриант, kalash < kalashnikov (рус. Калашников), специальные термины: balnйo < balnйothйrapie бальнеотерапия, или лечение минеральными водами, perco < percolateur перколятор, или кипятильник для кофе, perfo < perforeuse перфоратор и слова разговорного стиля: scato < scatologie грубая шутка, grand-ma < grand-maman бабушка, prisu < prisunic дешёвый магазин, rasta < rastaquouиre подозрительный тип, impec < impeccablement безукоризненно. В этот же список попали такие современные понятия как skate < skateboard скейтборд, cyber < cybercafй Интернет-кафе, scoot < scooter скутер, quinqua < quinquagйnaire пятидесятилетний человек.

Таким образом, все апокопы, представленные на данном графике, имеют слишком просторечную окраску для использования в серьёзных литературных источниках, а их полные формы редко употребимы либо в силу принадлежности к разговорному стилю, либо специализированности той области, к которой они относятся, либо относительно недавнего появления в языке.

Так как графики, представленные выше, отображают среднюю частотность вне зависимости от года популярности той или иной формы, мы построили ещё два графика со средневзвешенной популярностью новых апокоп и старых апокоп. Данный параметр рассчитывался по следующей формуле:

где P - популярность данной формы в заданном году, а Y - год

Последние десятилетия новые апокопы формируются в основном от слов, связанных с открытиями науки и техники: cyber < cybercafй Интернет-кафе, schizo < schizophrйnie шизофрения, crypto < cryptologie криптология, hйlico < hйlicoptиre вертолёт и многие другие, большая часть из которых вошла в график наименее частотных слов. Это может быть связано с тем, что новые апокопы ещё не успели укрепиться в языке и стать достаточно популярными.

Среди старых апокоп, можно увидеть как слова из учебно-научной сферы, являющиеся наиболее частотными во всём корпусе, но более популярными в старые времена, но и слова из области профессиональной терминологии (reco < recommandation рекомендация, pro < profession профессия, patro < patronage патронат, deb < dйbutante начинающая, promo < promotion повышение) и военной (infi < infirmerie санчасть, reco < reconnaissance разведка). Таким образом, те слова, которые оказались высокочастотными на предыдущих графиках, являются на самом старыми словами.

Сравнивая новый и старый графики, можно увидеть, что продуктивность апокопизации заметно повысилась. Ещё одним фактором, влияющим на вышеупомянутую тенденцию, является тот факт, что большинство слов были в хождении в течение долгого периода времени, и поэтому их средневзвешенная дата использования находится ближе к середине исследуемого нами периода, то есть около 1880 года.

2.4 Доработка алгоритма

Базовая часть нашего алгоритма продемонстрировала хороший показатель полноты и в то же время очень низкий показатель точности, поэтому алгоритм требовал доработки.

2.4.1 Выявление неточностей

После выполнения самого первого теста, проведённого по корпусу словаря Le Grand Robert, из 80828 слов корпуса апокопами посчиталось 15641 слово (20% корпуса). При этом в сумме было найдено 260348 полных форм, от которых могли образоваться найденные “апокопы”.

Чтобы постепенно добиться улучшения работы алгоритма, необходимо было составить ряд новых правил. Мы просмотрели результаты работы алгоритма в файле-отчёте, каждая запись которого представлена из слова, которое наш алгоритм посчитал апокопой, и списка полных форм, для которых было принято такое решение. Нашей целью было выявление некоторых общих закономерностей, которые могли бы позволить предложить новые правила.

2.4.2 Первый этап: чёрный список

Первое, что мы увидели после просмотра отчёта об ошибках - это то, что наш алгоритм зачастую считал аббревиацией случаи словообразования (например, прилагательные, оканчивающиеся на -able считал апокопыми от наречий, оканчивающихся на -ablement). Так, мы решили составить ряд исключающих правил относительно окончаний апокопы и полной формы. В Таблице 6 показаны данные правила: если одна из ячеек таблицы для апокопы или полной формы пуста, это значит, что ограничение применяется только к заполненной ячейке (например, первая строка таблицы говорит о том, что мы не считаем апокопами слова, заканчивающиеся на -ion), если же заполнены обе ячейки таблицы, то ограничения применяются одновременно (например, первая запись с заполненными двумя ячейками в строке указывает на то, что мы не считаем апокопами слова, заканчивающиеся на -que, если их полная форма заканчивается на -quement).

Таблица 6. Ограничения на окончания апокопы и полной формы.

После запуска алгоритма с предложенными правилами наблюдались некоторые улучшения (количество полных форм сократилось на несколько сотен), но совсем незначительные, что требовало создания правил, затрагивающих более объёмные классы слов.

2.4.3 Второй этап: отрезаемая часть

Следующим нашим шагом был анализ некоторой статистики о распределении различных параметров в апокопах и полных формах. Наиболее релевантной статистикой нам показалась информация о встречаемости отрезанных частей в полных формах.

Мы решили составить список отрезанных частей, которые не могут встречаться у слов, от которых образованы апокопы. Для этого мы взяли список отрезанных окончаний с их частотностью из тестового корпуса словаря и из нашего корпуса апокоп, нашли массив разности этих подмножеств и взяли его в качестве чёрного списка для нашего алгоритма. Этот этап сократил количество полных форм более, чем на 10000, но не уменьшил значительно количество апокоп. Это связано с тем, что для одной потенциальной апокопы наш алгоритм на этом этапе мог выдавать до 30 полных форм, среди которых с большой вероятностью встречается окончание из массива, общего для двух корпусов. Таким образом, алгоритм по-прежнему требовал доработки.

2.4.4 Третий этап: ресуффиксация

Ресуффиксация - это процесс добавления аффиксов к апокопе после её усечения (см. раздел 2.3.4). Мы решили проверить, зависит ли добавляемый суффикс от финали апокопы. Иначе говоря, мы задались вопросом, может ли происходить ресуффиксация с апокопой, оканчивающейся на гласный. Полученная статистика по нашему корпусу апокоп подтвердила наши предположения о том, что добавление окончаний в данном случае имеет вероятность, стремящуюся к нулю. Тогда мы дополнили наш алгоритм правилом о том, что если сокращённое слово не находится полностью в изначальной форме и при этом заканчивается на гласный, то оно не является апокопой. Данное правило может быть немного жёстким и исключить из апокоп некоторые реальные апокопы, однако, как мы заметили по нашему корпусу, апокопы, исключившиеся по этому правилу, имели аналоги без ресуффиксации.

В итоге было отсечено ещё более 500 апокоп и более 35000 полных форм.

2.4.5 Четвёртый этап: стеммер

В качестве эксперимента мы решили применить стеммер для получения большей информации о морфологическом составе слов. Изначальной идеей было предположение о том, что реальные апокопы с очень высокой вероятностью отрезают часть корня, а если не отрезают, то отсекают часть суффикса полной формы. Таким образом, мы рассчитывали, что ситуация, когда апокопа образована усечением суффикса с полным сохранением корня, наименее вероятна.

После долгого поиска французских стеммеров мы решили обратиться к модулю nltk.stem.snowball (Stahl et al. 2015). С помощью данного стеммера мы находили корень как апокопы, так и её полной формы и сравнивали их: если отстеммленные части оказывались одинаковыми, то мы не считали это усечением.

В результате этого улучшения количество слов, считаемых нашим алгоритмом апокопами, уменьшилось на 4000, а количество полных форм - на 10000.

2.4.6 Результаты улучшений

Таким образом, были последовательно применены четыре этапа улучшений, состоявших из ограничений на 1) окончания полной и усечённой формы, 2) отрезаемую часть, 3) ресуффиксацию, 4) основу (определяемую стеммером).

В результате всех улучшений количество слов в тестовом корпусе, которые наш алгоритм считает апокопами, снизилось на 30%, а количество полных форм для них - на 60%.

Так, самым эффективным по отсечению полных форм стал этап ограничения отрезаемых частей, а апокопизированных форм - этап применения стеммера.

2.5 Корпус французских текстов

2.5.1 Сбор корпуса

В качестве корпуса текстов для оценки работы алгоритма были выбраны статьи из французского новостного журнала Le Point (Le Point 2015). Чтобы была возможность постоянно обновлять данные как корпуса статей, так и корпуса апокоп при нахождении новых слов, принятых нашим алгоритмом, было необходимо написать крауле. Такой краулер был написан нами на Python с использованием библиотеки lxml, собирающий для каждого автора текстовые файлы с его статьями. В итоге был получен корпус из 53899 уникальных словоформ. В данном случае это не лексемы, как было в корпусе словаря, а именно словоформы, так что в дальнейшем было бы целесообразно найти или разработать грамотную систему, лемматизирующую французские тексты.

2.5.2 Проверка работы алгоритма

После завершения сбора текстов было необходимо оценить работу нашего алгоритма на корпусе статей. Запуск алгоритма дал результаты, близкие к полученным нами на корпусе словаря. Это неудивительно, так как все сравнения с полными формами мы приводили по-прежнему по корпусу словаря. Чтобы сравнить работу алгоритма на двух корпусах и оценить эффективность проведённых этапов, мы построили график для двух корпусов, иллюстрирующий количество слов, которые наш алгоритм посчитал апокопами, на разных этапах улучшений. Так, при запуске алгоритма без всех улучшений было найдено 406951 для 17273 апокоп.

Монотонность кривых свидетельствует о стабильности работы нашего алгоритма. Причём, заметно, что при увеличении тестового корпуса этап отрезанных частей показывает ещё большую эффективность для уменьшения количества найденных полных форм. Однако наш алгоритм на сегодняшний день находит слишком большое число апокоп, чтобы можно было автоматически пополнять их корпус. Возможно, задача автоматического сбора апокоп на основе обычных текстов неразрешима в принципе и требует всегда ручной обработки, но мы склонны полагать, что при увеличении количества новых правил точность алгоритма может быть повышена до необходимого и приемлемого уровня. Мы уверены, что на данном этапе количество возможных новых правил не исчерпано, однако ограниченность во времени не позволила нам продвинуться дальше. Вместе с тем в будущем, при постепенном увеличении корпуса апокоп за счёт появления новых словарных статей о них, задача поиска новых закономерностей будет становиться проще и проще за счёт получения более репрезентативных статистических данных.

2.6 Будущие доработки

Настоящее исследование может быть дополнено новыми результатами как посредством сбора новых данных из новых источников, как сбором новой статистики по полученному корпусу, так и дополнением алгоритма новыми правилами для повышения точности его работы. Последнее особенно важно, так как может позволить в будущем автоматически находить апокопы во французских текстах при минимальной ручной работе.

В будущем было бы также интересно расширить алгоритм для работы с другими типами сокращений, а также с другими языками. Из числа других сокращений наиболее близкую к нашей систему возможно разработать для начальных сокращений, или аферез. При этом этапы чёрных списков и стеммера не подошли бы для её обработки, но можно было бы предложить, например, правила выбора первых букв.

Заключение

Аббревиация сегодня является продуктивным способом словообразования во многих языках и настолько сложно систематизируемым, что исследователи в этой области до сих пор не ввели единую терминологию. Мы провели анализ различных отечественных и зарубежных источников для сопоставления терминологии и рассмотрели 4 типа аббревиаций: 1) усечения, 2) инициализмы, 3) акронимы и 4) слияния. В силу трудоёмкости исследования каждого вида, подчиняющегося индивидуальному набору правил, мы остановились на наиболее распространённом виде усечений во французском языке - апокопах (или финальном усечении).

Количество новых апокоп, появляющихся во французском языке, значительно выросло за последние десятилетия, и большинство словарей не успевают засвидетельствовать изменения, происходящие в языке. В связи с этим область исследования апокоп мало изучена и требует более детального и объёмного анализа, чем могут позволить ручные методы обработки данных. Так, в настоящем исследовании нашей целью было создание системы, способной автоматически распознавать апокопы во французских текстах.

Мы разработали алгоритм, способный определять, является ли слово апокопой от заданной полной формы и является ли слово вообще апокопой, опираясь при этом на словарь полных форм. Мы довольно быстро добились высокой полноты алгоритма - что означает, что наша система находит все слова, являющиеся на самом деле апокопами, но, несмотря на все приложенные усилия, не смогли повысить его точность до необходимого для автономной работы уровня, так как во французском языке преобладают короткие слова, многие из которых похожи на апокопы по формальным признакам.

Задача повышения точности алгоритма была выполнена нами в четыре этапа. В результате всех улучшений количество слов в тестовом корпусе, которые наш алгоритм считает апокопами, снизилось на 30%, а количество полных форм для них - на 60%. Тем не менее, алгоритм по-прежнему требует доработки, которую можно было бы осуществить при наличии большего количества ресурсов, чем было выделено на данное исследование.

Таким образом, в результате проделанной работы было получено:

1) Система краулеров, собирающая данные для корпуса апокоп из семи найденных источников. Каждый источник был проанализирован на предмет наличия в нём апокоп, не представленных в других источниках. С этой точки зрения наиболее полезными оказались статья «Apocope» (Languefranзaise 2015), словарь Le Grand Robert (Le Robert 2015) и статьи из французского вики-словаря Wiktionnaire (Wiktionnaire 2015a, 2015b).

2) Корпус, насчитывающий 1295 пар апокоп с их полными формами, которые наш алгоритм посчитал допустимыми, среди которых 1078 уникальных апокоп.

3) Базовый алгоритм, определяющий, является ли заданное слово апокопой от заданной полной формы. Данный алгоритм состоял из ограничений на длину и добавляемые окончания апокоп, а также осуществлял ряд фонетических замен.

4) Статистика по собранному корпусу и выводы:

- длины полных и усечённых форм: большинство апокоп состоят из 4-5 букв, а их полные формы - от 9-11 буквенных форм;

- соотношение длин апокопизированной и полной формы: большая часть слов усекает от половины до двух третей своей длины; отрезается минимум 20% длины слова;

- окончания апокоп: количество апокоп с вокалической и консонантной финалью примерно равное; при этом самыми распространёнными окончаниями апокопы являются -o (с большим отрывом), -e, -a и -i;

- добавленные части: 80% апокоп нашего корпуса образованы простым усечением без добавления окончаний; среди оставшихся 20% апокоп самыми популярными добавляемыми окончаниями являются -e и -o;

- усечённые части: самым распространённым отрезаемым окончанием является -tion; усечение окончаний -iste, -ard, -ot и -ball образует преимущественно апокопы с консонантной финалью, а усечение окончаний -chiste, -mentaire и -sexuel - апокоп с вокалической финалью;

- части речи: среди существительных и прилагательных встречается равное количество апокоп с консонантной или вокалической финалью, среди наречий, глаголов и междометий преобладают апокопы с консонантной финалью; если часть речи для полной формы определена заранее, возможно по отрезаемой части определить, может ли от неё образоваться заданная апокопа.

5) Статистика об истории возникновения апокоп на основе анализа данных из проекта Google Ngram (Ngram Viewer 2010).

6) Корпус из 80828 слов французского языка, составленный из французского словаря Le Grand Robert (Le Robert 2015).

7) Множество правил, позволяющих распознавать апокопы с обращением к словарю полных форм.

8) Система краулеров, собирающая корпус текстов из (Le Point 2015).

9) Алгоритм, осуществляющий распознавание апокоп в тексте (базируется на свежих статьях, найденных краулерами).

Уникальность нашего исследования состоит в том, что полученный нами корпус и алгоритм его сбора и анализа находятся в открытом доступе. Это может позволить в будущем дополнить его новыми данными, получить новую статистику, а также описать другие виды сокращений, в том числе в других языках.

Список литературы

1. Арнольд 2013 - И. Арнольд. Лексикология современного английского языка: учебное пособие. 3-е изд., перераб. и доп. М.: Высш. шк., 1986.

2. Блох 2014 - М. Я. Блох, Т. С. Сергеева. Аббревиация как продуктивный способ словообразования в истории европейских языков. // В.И. Волчихин (ред.). Известия высших учебных заведений. Поволжский регион. Гуманитарные науки 1 (29), 2014. С. 186-199.

3. Криворот 2012 - В. В. Криворот. Особенности аббревиации в русском, английском и французском языках // О. И. Уланович (ред.). Язык, речь, общение в контексте диалога языков и культур, 2012. С. 42-50.

4. Мартине 1963 - А. Мартине. Основы общей лингвистики // В. А. Звегинцев (ред.). Новое в лингвистике, вып. III. M., 1963. С. 532-538.

5. Сергеева 2013 - Т. С. Сергеева. Аббревиатура в системе лексических сокращений. // Е. В. Рябцева (ред.). Филологические науки. Вопросы теории и практики 6 (2), 2013. С. 174-179.

6. Bouzidi 2009 - B. Bouzidi. Crйativitй lexicale par rйduction en franзais contemporain. // S. Aouadi (ed.). Synergies Algйrie, 2009. P. 111-117.

7. CNTRL 2012 - -O, finale et finale par apocope. Портал CNTRL. http://www.cnrtl.fr/definition/ap%C3%A9ro

8. Dister 1997 - A. Dister. Aspects phonйtiques et morphologiques de lapocope en francais contemporain. // C. Caouette, P. Larrivйe (eds.). Actes des 11^e Journйes de linguistique. Quйbec, 1997. P. 53-60.

9. Echolalistes 2014 - Liste dapocopes. Портал Echolalistes. http://www.echolalie.org/wiki/index.php?ListedApocopes

10. Fridrichovб 2013a - R. Fridrichovб. La prйsence des mots tronquйs dans des dictionnaires franзais - йtude statistique // Studia Romanistica Vol. 13, 1, 2013. P. 39-51.

11. Fridrichovб 2013b - R. Fridrichovб. Quelques observations sur les mots tronquйs dans le franзais contemporain // Romanica Olomucensia 1, 2013. P. 1-13.

12. Haley 2009 -- A. Haley. Ampersand (электронный документ). Портал fonts.com. http://www.fonts.com/content/learning/fontology/level-1/type-families/ampersand

13. Kerleroux 1999 - F. Kerleroux. Sur quelles bases opиre lapocope. Silexicales 2: la morphologie des dйrivйs йvaluatifs, 1999. P. 95-106.

14. Languefranзaise 2015 - Apocope. Портал Languefranзaise. http://www.languefrancaise.net/Morphologie/2

15. Le Point 2015 - Статьи. Новостной журнал Le Point. http://www.lepoint.fr/

16. Le Robert 2015 - Словарь Le Grand Robert. http://www.lerobert.com/espace-numerique/telechargement/le-grand-robert-pc.html

17. Lйvy 2009 - F. Lйvy. Abrйviations - Apocope + suffixe (noms communs). Блог “Nayons plus peur des mots”. http://www.finallyover.com/article-4901064.html

18. NGramViewer 2012 - Google NGram Viewer. https://books.google.com/ngrams.

19. Piechnik 2009 - I. Piechnik. Йconomisation lexicale en franзais et en polonais // Romanica Cracoviensia 9(1), 2009. P. 180-189.

20. Stahl et al. 2015 - M. Stahl, M. Porter, P. Ljunglof. Snowball Stemmer. Natural Language Toolkit. http://www.nltk.org/_modules/nltk/stem/snowball.html

21. Wikipedia 2015 - Liste des prйnoms les plus donnйs en France. Портал Wikipedia. http://fr.wikipedia.org/w/index.php?title=Liste_des_pr%C3%A9noms_les_plus_donn%C3%A9s_en_France&oldid=115151505.

22. Wiktionnaire 2015a - Apocopes en franзais. Портал Wiktionnaire. https://fr.wiktionary.org/wiki/Cat%C3%A9gorie:Apocopes_en_fran%C3%A7ais

Размещено на Allbest.ru