Порівняльний аналіз різнотематичних лінгвістичних корпусів

Размещено на http://www.allbest.ru/

Порівняльний аналіз різнотематичних лінгвістичних корпусів

Олександр Козоріз,

Загалом було укладено сім корпусів, створено вузькі спеціалізовані термінологічні корпуси на противагу термінологічним словникам для досліджень функціональних особливостей, моделей речень тієї чи іншої терміно-системи. Отримано корпуси медичного, біологічного, політехнічного, нафтогазового спрямування, корпус частотної лексики та корпус сучасної розмовної лексики, а також об'єднаний корпус на 4 млн пар речень. Нами було створено об'єднаний паралельний корпус на 4 млн пар речень або на 68 млн слів англійської частини, що за обсягом становить 10% від відомого корпусу COCA або корпусу GRAC.

Для усіх корпусів пораховано загальну кількість знаків, слів і речень із відповідною узагальнюючою таблицею; встановлено середню довжину речень ASL, визначено автоматичний індекс читабельності ARI, складено частотні списки лексики, пораховано загальну кількість унікальної лексики, визначено співвідношення type/token ratio TTR.

Опрацьована та підтверджена методика скачування корпусу на основі термінологічних списків. Розроблена методика порівняння рангів морфем різних корпусів із морфемами частотного списку СКМ, що може бути застосована для визначення тематики корпусу чи належності тексту до певної галузі у майбутньому. Запропонована методика визначення продуктивних моделей речень корпусу за допомогою регулярних виразів.

Загалом побудовано чотири графічні діаграми (в т. ч. діаграма розподілу за довжиною речень для семи різнотематичних корпусів) і шість таблиць, які виразно унаочнюють результати досліджень, чітко репрезентуючи матеріал. Підрахунки підкріплено формулами та ілюстративним матеріалом, що дозволяє повторити дослідження для будь-яких інших дотичних систем. термінологічний лінгвістичний корпус

Ключові слова: лінгвістичний корпус, паралельний корпус, частотний список, type/token ratio, середня довжина речення, ступінь термінологічності, продуктивні моделі речень, регулярні вирази.

Oleksandr KOZORIZ,

Candidate of Philological Sciences, Assistant at the Department of Languages and Literatures of the Far East and Southeast Asia Institute of Philology of Taras Shevchenko National University of Kyiv (Kyiv, Ukraine)

COMPARATIVE ANALYSIS OF VARIOUS THEMATIC LINGUISTIC CORPORA

The problem of the analysis of various thematic corpora of large volumes is investigated in the article. The comparative technique and criteria of consideration of linguistic corpora are offered.

In total, seven corpora were compiled, and narrow specialized terminological corpora were created in contrast to terminological dictionaries for the study offunctional features, sentence models of one or another terminological system. The corpora of medical, biological, polytechnic, oil and gas directions, the corpus of frequency vocabulary and the corpus of modern colloquial vocabulary were obtained, as well as the combined corpus of 4 million pairs of sentences. As a result of our research, we created a combined parallel corpus of 4 million pairs of sentences or 68 million words of the English part, which is 10% of the known COCA corpus or GRAC corpus.

For all corpora, the total number of signs, words and sentences in the corpus with the corresponding summary table is calculated; the average length of ASL sentences is calculated, the automatic readability index ARI is determined, frequency vocabulary lists are compiled, the total number of unique vocabulary is calculated, the type / token ratio TTR is determined.

The method of downloading the corpus on the basis of terminological lists is developed and confirmed. The method of comparing the ranks of morphemes of different corpora with morphemes of the Modern Chinese Character frequency list has been developed, which can be used to determine the subject of the corpus or the affiliation of the text to a certain field in the future. The technique of definition of models of sentences of the corpus by means of regular expressions is offered.

In total, four graphical diagrams have been constructed (including a sentence-length distribution diagram for seven thematic corpora) and six tables that clearly illustrate the results of the research, undoubtedly representing the material. The calculations are supported by formulas and illustrative material, which allows you to repeat the study for any other similar systems.

Key words: linguistic corpus, parallel corpus, frequency list, type /token ratio, average sentence length, terminological degree, productive sentence models, regular expressions.

Постановка проблеми. У багатьох галузях лінгвістики стали популярними дослідження на основі корпусів. Сьогодні спостерігається значний інтерес до використання корпусів в освітній і професійній сферах. Проблема їх створення й опрацювання набуває істотного значення. Велика кількість словників укладається на основі подібних лінгвістичних корпусів.

Виокремлення невирішених раніше частин загальної проблеми. Створення паралельних різнотематичних лінгвістичних корпусів.

Основні напрямки використання корпусів паралельних текстів різної тематики: 1) з навчальною та дослідницькою метою; 2) для створення систем машинного перекладу.

Мета статті - визначити джерела лінгвістичного матеріалу, запропонувати методики створення власних різнотематичних лінгвістичних корпусів; розглянути основні характеристики створених корпусів; запропонувати методики досліджень корпусів.

Аналіз досліджень. В Україні у сфері корпусної лінгвістики працювали такі дослідники: О.О. Балабан, Н.М. Бобер, М.М. Брик, Н.П. Дарчук, О.А. Дюндик, А.М. Желєзко, В.В. Жуковська, В.П. Захаров, П.В. Зернецький, О.М. Зубань, Л.С. Івашкевич, Я.В. Капранов, Є. А. Карпіловська, В. І. Качанов, В.В. Комаренко, А.В. Корольова, Ю.В. Кравцова, Н. Є. Леміш, Л.Л. Макарук, Т Б. Маслова, С.А. Матвєєва, Б.О. Назаров,

B. О. Папіжук, В.М. Підвойний, Ю. І. Позніхіренко, В.Ф. Старко, А.А. Таран, О.М. Тищенко, О.В. Ткачик, Т С. Толчеєва, М.О. Шведова,

C. М. Щербина. За кордоном відомі такі прізвища:

S. Hoffmann, S. Evert, G. Kennedy, T. MacEnery, T. Otlogetswe, J. Sinclair, J. Svartvik, E. TogniniBonelli та ін. Усі зазначені науковці мають власний підхід, завдання і мету дослідження корпусів, що безпосередньо не пов'язані з результатами наших досліджень, запропонованими тут методиками створення й аналізу корпусів.

Виклад основного матеріалу. Скориставшись власним досвідом, на основі сайту-словника QuWord (QuWord) ми створили оригінальні паралельні корпуси китайсько-англійських перекладів різних тематик. Під паралельним корпусом ми розуміємо електронний корпус, який, окрім оригінальних текстів, має відповідні переклади іншою мовою, що вирівняні до оригіналу за реченнями з видаленням повторів.

Першим кроком була підготовка списку слів для пошуку та скачування паралельних пар речень. З цією метою спочатку за основу було взято частотний список англійської мови 5 000 слів (Word frequency data). Шляхом скачування було отримано корпус на 106 000 паралельних пар речень китайської та англійської мов; або 1 462 000 лексем англійської частини корпусу (загальна кількість слововживань). Після складання частотного списку цього корпусу отримано словник-список на 42 000 слів, на основі якого була повторена процедура скачування й отримано корпус вже на 920 000 пар речень або 12 900 000 лексем (token), котрий має словник на 166 000 слів (type). Таким чином було отримано перший частотний паралельний корпус, оскільки скачування відбувалося на основі частотних списків.

Окремо було виконано скачування на основі списків-слів, створених на базі термінологічних словників медичного (Ривкин, 2004), біологічного (Чибисова та ін., 2003), політехнічного (Столяров та ін., 2003), нафтогазового (OilAndGas, 1998) спрямування й англо-російського словника сучасної розмовної лексики (Глазунов, 2003). Так було отримано ще п'ять окремих корпусів, а також створено загальний корпус на основі всіх шести корпусів. Після об'єднання усіх шести корпусів і видалення повторів загальний обсяг отриманого паралельного корпусу сягає 4 000 000 пар речень, або 67 800 000 лексем англійської частини (token).

Було підраховано основні статистичні характеристики корпусів, що наведено у табл. 1. Представлені характеристики рахувалися за англійською частиною корпусу, оскільки тут легше здійснити поділ на слова, а індекси були розроблені саме під англійську мову.

Автоматичний індекс читабельності (ARI) (Automated readability index) - міра визначення складності сприйняття тексту читачем, що апроксимує складність тексту до номера класу в американській системі освіти. ARI вираховується за формулою: 4.71 * (characters/ words) + 0.5 * * (words / sentences) - 21.43, де Characters - кількість букв і цифр у тексті; Words - кількість слів у тексті; Sentences - кількість речень у тексті.

Середня довжина речення (англ. Average sentence length (ASL) = words / sentences) - величина, тісно пов'язана з метриками індексу легкості читання Флеша (Flesch Reading Ease). FRE = = 206,835 - 1,015 x ASL - 84,6 x ASW, де ASW - середня довжина слова у складах (англ. average number of syllables per word) = syllables / words.

Спостереження виявили, що корпус частотної лексики має найменшу середню довжину речень - 14, а корпус розмовної лексики має найменший автоматичний індекс читабельності - 6,68, що відповідає віку 12-ти років; хоча середня довжина його речень - 16, співмірна з корпусами медичного та біологічного спрямування. Найдовшу середню довжину речень має корпус політехнічного спрямування - 17,89, але це середні показники, які не зовсім чітко відображають реальну картину.

Тому додатково було досліджено довжину кожного речення у словах для всіх корпусів і побудовано відповідні графіки, тобто пораховано кількість речень у корпусі відповідної довжини. Пошук кількості слів у реченні здійснювався регулярним виразом: ^A(Yw+YW+){X}$ - де Х, кількість слів у реченні, словосполучення тут не враховані, оскільки в кінці виразу обов'язково має стояти розділовий знак, "YW+" означає один і більше розділовий знак (пробіл, кому, крапку, тире, апостроф тощо); регулярний вираз "Yw+" використовувався для пошуку слів, відповідно "Yw" - для знаків. Корпуси містять незначну кількість словосполучень термінів, які тут не було враховано. Для дослідження словосполучень можна застосовувати "YW*", що означає нуль або більше розділових знаків.

Як бачимо з рис. 1, об'єднаний корпус якнайкраще репрезентує усі типи речень, тут широко представлені речення з довжиною від 4-х до 33-х слів, більше 40 тис. вживань на кожну довжину речення. Графік корпусу частотної лексики на 920 тис. речень має довжини переважно від 6-и до 13-и слів, що корелює із графіком корпусу розмовної лексики на 250 тис. речень меншого обсягу. Графік політехнічного корпусу, найбільший із галузевих, якнайкраще представляє спеціалізовані корпуси - корелює з медичним, біологічним корпусом і корпусом нафтогазогазової лексики та має довжину від 12-и до 30-и слів у реченні. Тобто частотні та розмовні корпуси кардинально відрізняються від галузевих за довжиною речень.

Далі було складено частотні списки морфем китайської частини корпусів, оскільки в англійській мові багато службових слів і важче знайти ключові слова для корпусу (див. табл. 2). Для економії місця тут ілюстровано лише перші 50 позицій. Шляхом порівняння з морфемами частотного списку сучасної китайської мови (СКМ), створеного професором Цзюнь Да (Middle Tennessee State University) (Jun Da), було визначено найбільш значимі морфеми для певної лінгвістичної тематики. Як показує практика, найбільш значимими є перші 125 морфем частотного списку (Козоріз, 2014). Перші 10 частотних морфем є спільними для майже усіх корпусів і текстів китайської мови з невеличкими розбіжностями за рангами.

Звісно, бажано порівнювати корпуси схожі за об'ємом, втім вважаємо, що порівняння рангів може застосовуватися до корпусів, різних за обсягом. Іншою перешкодою для отримання достовірних даних може бути неспеціалізованість словника, на основі якого створювалися корпуси. Втім, методологія дослідження має правомірність.

Спробуємо визначити термінологічність найбільш значимих морфем політехнічного корпусу шляхом порівняння різниці рангів морфем цього корпусу та морфем частотного списку СКМ (Козоріз, 2014). На рис. 2. представлені найбільш характерні перші 33 морфеми політехнічного корпусу із зазначенням ступеня їхньої термінологічності, підрахованого шляхом віднімання від рангу частоти морфеми СКМ рангу морфеми політехнічного корпусу.

Ступінь термінологічності політехнічного корпусу було пораховано для перших 129 частотних 17,3 слів. Автоматичний індекс читабельності АМ корпусу - 10,24, що відповідає розвитку дитини у 16 років. Виявилося, що правий "хвіст" графіка - лексика, яка вживається лише один раз, на великих корпусах становить 50% корпусу.

Таблиця 1

Таблиця статистичних даних створених корпусів