Автоматичний синтаксичний аналіз речення за принципами граматики залежностей

Размещено на http://www.allbest.ru/

Автоматичний синтаксичний аналіз речення за принципами граматики залежностей

аналіз автоматичний речення синтаксичний

Маргарита Лангенбах

Стаття висвітлює питання організації автоматичного синтаксичного аналізу речень. Актуальність обраної теми визначається її належністю до класу завдань комп'ютерного моделювання мови однієї з ключових проблем у сфері інформаційних технологій. Уперше наведено алгоритм автоматичного моделювання структури речення в термінах граматики залежностей, побудований на основі інформації про його безпосередні складники. Описано хід виконання основних завдань: формалізацію правил установлення зв'язків у реченні та їх автоматизацію; з'ясування основних переваг та недоліків обраної формальної моделі. Схарактеризовано структуру й основні етапи роботи аналізатора. Теоретичне значення дослідження полягає в накопиченні бази синтаксичних моделей речень. Практичне застосування отриманих результатів передбачається в системах комп'ютерного опрацювання мови, у навчально-методичних розробках тощо.

Ключові слова: граматика залежностей, автоматичний синтаксичний аналіз, автоматичне опрацювання тексту, лінгвістичний алгоритм, дерево залежностей, універсальна граматика.

Лангенбах Маргарита

Автоматический синтаксический анализ предложения на основе грамматики зависимостей

Статья описывает принципы автоматизации синтаксического анализа предложений. Впервые представлен алгоритм автоматического моделирования структуры предложения в терминах грамматики зависимостей, построенный на основе информации о его непосредственных составляющих. Описаны основные задания: формализация правил установления связей в предложении и автоматизации построения его схемы; определение основных преимуществ и недостатков использованной модели. Теоретическое значение исследования состоит в составлении базы синтаксических моделей предложений. Практическое использование полученных результатов предполагается в области компьютерной обработки языка, в учебно-методических разработках.

Langenbakh Margaryta. The Automatic Syntactic Sentence Analysis Based on the Dependency Grammar

Постановка наукової проблеми та її значення. Моделювання мовної системи, відтворення механізмів її функціонування - одне з пріоритетних завдань і теоретичного, і прикладного мовознавства. Особливої ваги ця проблема набула впродовж останніх десятиліть через активний розвиток комп'ютерних технологій, що спричинив, з одного боку, широку автоматизацію робочих процесів, з іншого - виникнення інформаційного суспільства, базисом якого є постійний та інтенсивний обмін відомостями. Це, своєю чергою, сформувало очевидну потребу створення комп'ютерних моделей мови, що уможливили б автоматичне опрацювання великих масивів інформації та забезпечили ефективну взаємодію комп'ютера з людиною. Таке завдання передбачає, передовсім, формалізацію опису мовної системи. У цьому аспекті важливе місце посідає питання відтворення структури синтаксичних зв'язків між мовними одиницями, що й зумовлює актуальність дослідження.

На сьогодні двома найпопулярнішими підходами до формалізації синтаксису та побудови автоматичного синтаксичного аналізу є граматика безпосередніх складників і граматика залежностей. Перша відтворює речення через схему бінарних зв'язків (між словами, словами та словосполученнями тощо), друга передбачає побудову ієрархічної структури із чітко визначеним центром і системою підпорядкувань. Отже, якщо під час першого підходу акцентується увага на існуванні в межах речення менших синтаксичних комплексів, то при другому речення розглядається як єдине ціле з мережею розгалужених міжслівних зв'язків.

Синтаксичний модуль граматики АГАТ, який розробила лабораторія комп'ютерної лінгвістики Інституту філології Київського національного університету імені Тараса Шевченка, організовано у формі двоетапного опрацювання речень, що поєднує обидві методики: перший етап працює на основі граматики безпосередніх складників і передбачає встановлення зв'язків між словами в межах словосполучень, другий завершує аналіз речення через побудову його цілісної схеми у вигляді дерева залежностей. На сьогодні перший етап повністю реалізовано (принципи та результати його роботи описано в роботах Н. П. Дарчук [1; 2]), другий перебуває на стадії розроблення і тестування.

Мета статті - проаналізувати основні засади використання граматики залежностей для побудови автоматичного синтаксичного аналізатора речень. Поставлена мета передбачала виконання таких завдань:

- формалізацію основних правил установлення зв'язків у реченні за допомогою означеної методики;

- автоматизацію побудови цілісної синтаксичної структури речення у вигляді дерева залежностей;

- з'ясування основних переваг і недоліків використання такої формальної моделі, аналіз її ефективності, виявлення типових помилок та окреслення шляхів їх усунення.

Об'єктом дослідження були прості та складні речення; предметом - їхня синтаксична структура, описана в термінах граматики залежностей.

Матеріалом слугували тексти Електронного корпусу української мови, опрацьовані системою автоматичного граматичного аналізу АГАТ.

Новизна роботи полягає в тому, що вперше наведено алгоритм реалізації автоматичної побудови синтаксичної схеми речення на основі інформації про його безпосередні складники.

Теоретичне значення дослідження полягає в накопиченні бази синтаксичних моделей речень, а також у виявленні типових і нетипових реченнєвих конструкцій. Практичне застосування отриманих результатів належить до галузі комп'ютерного опрацювання мови та мовлення (системи автоматичного аналізу й синтезу текстів, машинного перекладу, діалогові та інформаційно-пошукові системи тощо). Окрім того, можливе використання накопиченої бази синтаксичних конструкцій як методичних матеріалів до навчання мов.

Виклад основного матеріалу й обґрунтування отриманих результатів дослідження. Розглянемо принципи моделювання структури речень на базі граматики залежностей. За І. П. Севбо, основні постулати цієї синтаксичної теорії такі:

- у реченні є один головний (вершинний) член - присудок;

- речення будується з одиниць одного таксономічного рівня;

- усі слова в реченні пов'язані між собою зв'язком підпорядкування, що є узагальненням традиційних типів синтаксичних зв'язків;

- ієрархічна структура залежностей між словами речення зображується графічно за допомогою дужок, стрілок або у вигляді дерева залежностей [3, с. 8-9].

Ці правила було покладено в основу аналізу структури речень у системі АГАТ. Для графічного представлення моделі обрано дерево залежностей: різновид математичного графа, схему, що скла - дається з розташованих на різних рівнях вузлів (якими в нашому випадку слугують слова) і ребер (синтаксичних зв'язків між ними). Така модель, на нашу думку, найкраще передає ієрархічність зв'язків у реченні та логіку побудови висловлювання.

1) правила, які передбачають використання інформації з попереднього етапу синтаксичного аналізу;

2) доповнювальні правила, які охоплюють ситуації, що виходять за межі синтаксису словосполучень (визначення головних членів речення у разі відсутності в ньому предикативної пари (підмета з присудком), установлення зв'язку між частинами складного речення тощо).

Перша група правил забезпечує об'єднання всіх побудованих на попередньому етапі словосполучень у ланцюжки підпорядкувань. Словосполучення розглядаються як зв'язані, якщо в них є спільний член. Така ситуація може мати два варіанти:

1) спільний член є головним компонентом для одного словосполучення і залежним для іншого (так званий «ланцюжок» підпорядкувань);

2) спільний член є головним в обох словосполученнях («гілкування»);

У першому випадку слова формують ланцюжок залежностей, у другому відбувається розгалуження на окремі ланцюжки, об'єднані спільною вершиною. Оскільки граматика залежностей передбачає, що слово може мати кілька залежних, але лише одне керівне, у системі неможливі ситуації, коли словосполучення мають спільний залежний член.

Ці правила лягли в основу алгоритму побудови дерева залежностей (див. рис. 1):

Рис. 1. Алгоритм побудови дерева залежностей

Через рекурсивне проходження за усіма ланцюжками залежностей, які є в реченні, починаючи з граматичного центра, будується його схема (див. рис. 2). Граматичним центром вважається дієслово- член предикативного словосполучення (пари «підмет-присудок»).

Рис. 2. Схема речення (дерево залежностей) у системі АГАТ

Проте в мовленні досить поширені речення, які не мають повної граматичної основи, отож, у них відсутнє й предикативне словосполучення, за яким система знаходить дієслово-присудок. Оскільки ж за алгоритмом необхідною є наявність вершинного компонента, створена група доповнювальних правил, які охоплюють ситуації з неповними реченнями. У разі відсутності в реченні предикативної пари запускається додатковий блок алгоритму, спрямований на визначення слова, що може виконувати роль головного члена речення (див. рис. 3).

Рис. 3. Алгоритм визначення головного члена неповного речення