Дослідження методів векторизації текстів у задачах валідації відповідей, поданих природною мовою

Размещено на http://www.allbest.ru/

Дослідження методів векторизації текстів у задачах валідації відповідей, поданих природною мовою

Кузьма К.Т. - кандидат технічних наук,

Мельник О.В. - кандидат технічних наук,

"Відкритий міжнародний університет розвитку людини "Україна"

Анотація

Інтелектуалізація процесу обробки природномовних текстів у задачах автоматизованого тестування зумовлює актуальність дослідження. Оскільки відповіді відкритого типу в системах тестування є природномовними текстами, то завдання їх обробки належить до прикладної задачі обробки текстів. Усі прикладні задачі обробки текстів, рішення яких відбувається з використанням машинного навчання, нейромереж, вимагають векторизації - перетворення тексту на цифрові послідовності. Метою статті є дослідження моделей, методів векторизації текстів у задачах обробки відповідей, поданих природною мовою. автоматизований тестування векторизація

На другому етапі проаналізовано базові моделі представлення тексту в цифровому вигляді: bag-of-words та дистрибутивну семантику. Обґрунтовано застосування моделі bag-of-words для задачі обробки відповідей відкритого типу, оскільки для визначення класу відповіді досить складу словника, який застосовується для кодування колекції правильних відповідей, і частоти слів, з якою вони застосовуються у відповідях "навчального" та "тестового" наборів даних. Зауважено, що вектором ознак у цій задачі є частоти появи токенів (символьні або словесні уні-, бі-, n-грами) словника, сформованого за навчальною вибіркою, у відповідях "навчального" та "тестового" наборів даних.

На третьому етапі досліджено підходи до обчислення вектора ознак: абсолютну частоту (TF), відносну частоту (TF-IDF), сумісну інформацію (PWI), визначено переваги та недоліки кожного з них.

На останньому етапі для векторизації текстів у задачах обробки відповідей, поданих природною мовою, запропоновано такі комбінації наборів ознак: модель bag-of-words та TF; модель bag-of-words та TF-IDF; словесні n-грами та TF-IDF; символьні n-грами та TF-IDF; модель bag-of-words та TF-PWI.

Запропоновані набори ознак та їх комбінації є засобами покращення моделі машинного навчання для задачі перевірки відповідей, поданих природною мовою. Подальші дослідження будуть спрямовані на розробку моделі машинного навчання цієї задачі та її експериментальне тестування із запропонованими наборами ознак для отримання ефективної математичної моделі.

Ключові слова: відповідь, подана у текстовій формі, природномовний текст, відповідь відкритого типу, векторизація тексту, модель bag-of-words, TF, IDF, TF-IDF, TF-PWI, набір ознак для векторизації тексту.

Kuzma K.T., Melnyk O.V. Research of methods for text vectorization in the tasks of validation the answers presented in natural language

Intellectualization of the process of processing natural language texts in the tasks of automated testing determines the relevance of the research. Since open-type answers in testing systems are natural language texts, the problem of their processing refers to the applied problem of word processing. All applied problems of word processing, the solution of which takes place with the use of machine learning, neural networks, require vectorization - the conversion of text into digital values. The aim of the article is to research the models, methods of vectorization of texts in the problems ofprocessing answers given in natural language.

In the second stage, the basic models of text representation in digital form are analyzed: bag- of-words and distributive semantics. The application of the bag-of-words model for the problem of processing open-ended answers is substantiated, as the vocabulary used to encode the collection of correct answers and the frequency of words with which they are used in the answers of "training" and "test" sets are enough to determine the answer class. It is noted that the vector of features in this problem is the frequency of tokens (symbolic or verbal uni-, bi-, n-grams) of the dictionary, formed by the training sample, in the answers of the "training" and "test" data sets.

Key words: answer given in text form, natural language text, open-type answer, text vectorization, bag-of-words model, TF, IDF, TF-IDF, TF-PWI, set offeatures for text vectorization.

Застосування технологій дистанційного навчання, цифровізація освітнього процесу зумовлюють актуальність дослідження процесів інтелектуалізації обробки природномовних текстів у задачах автоматизованої перевірки рівня засвоєння знань. Оскільки відповіді відкритого типу в системах тестування є при- родномовними текстами, то завдання їх обробки належить до прикладної задачі обробки текстової інформації.

Прикладними задачами (ті, які можна включити в основу розробки програмного продукту) обробки текстів є:

1) Класифікація за тематикою, тональністю [1--3]:

а. довгих текстів;

б. коротких текстів.

2) Пошук [4-5]:

а. дублікатів документів;

б. за запитом;

в. тексту за зображенням або зображення за текстом;

г. питально-відповідний пошук (QA).

3) Семантичний аналіз: STS (Semantic Textual Similarity) - семантична схожість текстів та виокремлення текстового підтексту Textual Entailment (TE) або Natural Language Inference (NLI) з метою визначення подібності та включення фрагментів тексту. STS класифікує за шкалою від 1 до 5 рівень семантичної еквівалентності між реченнями. RTE класифікує включення речень "так/ні" [6; 7].

4) Вилучення структурованої інформації (новини, медичні карти, електронні документи) [8].

5) Машинний переклад.

6) Діалогові системи (чат-боти).

Базовими підходами до вирішення зазначених задач є машинне навчання, нейромережі. Задача обробки відповідей, поданих природною мовою, може належати як до категорії класифікації, семантичного аналізу, так і до задач питально-відповідного пошуку. В QA-системах запитання ставить користувач, а задачею системи є пошук релевантної відповіді з банку відповідей. Задачею ж валідації відповідей, поданих природною мовою, є перевірка наданої користувачем відповіді зі з'ясуванням відповідності заданому еталону. Тому задачу перевірки природномовних відповідей в межах цього дослідження віднесено до задачі класифікації та семантичного аналізу.

Всі прикладні задачі обробки природномовних текстів вимагають представлення тексту в цифровому вигляді - векторизації.

Мета статті - дослідити моделі, методи векторизації текстів у задачах обробки відповідей, поданих природною мовою.

Для вирішення задачі векторизації на першому етапі визначається модель представлення тексту. Вибір здійснюється між двома базовими моделями: модель bag-of-words і модель дистрибутивної семантики.

Bag-of-words - це модель, в якій текст (це може бути одне речення або весь текст) подається у вигляді безлічі слів. При цьому враховується кількість слів без урахування їхнього порядку та граматики. Таким чином, у моделі bag-of-words ознакою для навчання класифікатора є частота входження слова в тексті. У моделі дистрибутивної семантики враховується зв'язок слів між собою. Слова характеризуються своїм типовим контекстом (сусідніми словами). Ключовим об'єктом, який характеризує контекст, є матриця сумісного входження слів. Методи дистрибутивної семантики намагаються визначити смисл слів, аналізуючи розподіл ймовірностей входження слів у межах одного фрагмента тексту (або ймовірність зустріти одні слова в контексті інших). Модель дистрибутивної семантики є більш ресурсозалежною та вимагає більше часу на обробку даних. Оскільки для визначення класу відповіді досить складу словника, який застосовується для кодування колекції правильних відповідей, та частоти слів, з якою вони застосовуються у відповідях "навчального" і "тестового" наборів даних, то моделлю представлення тексту для задачі обробки відповідей відкритого типу обрано модель bag-of-words.

Вектор ознак у цій задачі - матриця, рядки якої відповідають відповідям, а стовпці - це токени (символьні або словесні уні-, бі-, n-грами), сформовані за навчальною вибіркою. На перетині рядка та стовпця вказується частота появитокена.

Найпростіший варіант - зважувати слова за кількістю їх вживань у відповіді. Ваги слів - це просто цілі числа. Недоліки такого підходу: вага слова залежить від довжини тексту. У довгих відповідях слова мають більшу вагу, нібито вони більш значущі, але це не так. До того ж самі частотні слова - це сполучники, прийменники, займенники. Вони зустрічаються всюди, але абсолютно неінформативні та не є корисними для будь-яких завдань класифікації.

Першим способом вирішення підвищення інформативності частот є нормування вектора відповіді на його довжину (або за евклідовою нормою) [9]. Якщо впорядкувати слова за спаданням частоти їх вживання, то вийде графік, який відповідає розподілу Ціпфа - розподілу ймовірностей, що описує відносини частоти події (вісь ординат) та кількості подій із такою частотою (вісь абсцис) [10]. Аналізуючи графік розподілу Ціпфа [10], можна зробити два практичних висновки: по-перше, частотних слів дуже мало. Вони не надто інформативні, адже зустрічаються практично в усіх відповідях. А ось рідкісних слів дуже багато - якщо ми якесь рідкісне слово зустрічаємо у відповіді, то з впевненістю можемо сказати, до якої тематики воно належить. Але проблема в тому, що такі слова дуже рідкісні й тому ненадійні як фактори під час прийняття рішень. Отже, потрібно дотримуватися балансу частотності та інформативності. Основна ідея полягає в тому, що чим частіше слово зустрічається у відповіді, тим більше воно характерне для цієї відповіді, тим краще описує її тематику. З іншого боку, чим рідше це слово зустрічається в корпусі, у вибірці відповідей, тим більш воно специфічне й інформативне. За цей баланс відповідають дві величини: TF та IDF [11].

TF (term frequency) - це частота токена у відповіді:

де WordCount(w, d) - кількість разів появи точена w у відповіді d; length(d) - довжина відповіді d.

IDF - це обернена частота появи токено у відповіді. Розмір колекції ділиться на кількість відповідей, в яких вживається слово. Таким чином, найбільшу вагу матиме слово, що зустрічається лише в одній відповіді.

де size(c) - розмір колекції відповідей; DocCount(w, d) - кількість появи відповідей d, в яких зустрічається токен w, у колекції с.

Таким чином, кожна відповідь характеризується вектором відносних частот TF-IDF усіх токенів:

TF-IDF - це спосіб зважування та відбору категоріальних ознак у задачах машинного навчання [11]. Перевага TF-IDF полягає в тому, що цей метод можна використовувати, не маючи міток класу, тобто в завданнях "навчання без вчителя".

На практиці TF або IDF логарифмом з метою зменшення дисперсії відносних частот:

- логарифмування TF, коли теквти різної довжини:

- логарифмування IDF:

Із урахуванням логарифмуванню IDF виходить, якщо токен часто з'являється в кожному тексті колекції, IDF дорівнює 0; що рідше він зустрічається в корпусі, то більше IDF.

З метою попередження ділення на 0 виконують:

або "smooth"-логарифмування:

Останнім етапом підготовки текстових даних є стандартизація (масштабування) отриманих матриць, яка передбачає приведення значень отриманих частот до діапазону від 0 до 1. Існує кілька способів нормалізації даних для машинного навчання: мінімаксна нормалізація, центрування. Вибір залежить від конкретної задачі.

Є й інші способи вимірювання ознак за частотою - наприклад, взаємопов'язана інформація (Pointwise Mutual Information, PMI) [12-14]. Вона вимірюється між двома випадковими подіями або реалізацією двох випадкових величин. PMI характеризує, наскільки сильно ми будемо очікувати першу подію, якщо перед цим спостерігаємо другу [14].

Для задачі класифікації відповідей:

де l - колекція відповідей, яка відповідає мітці класу L; w - токен зі словника;

- ймовірність зустріти токен w у відповіді класу L;

-- маргінальна ймовірність появи точена w;

-- маргінальна ймовірність зустріти відповідь класу L.

PMI (l,w) не залежить від однієї конкретної відповіді - лише від розподілів. Отже, PMI - це більш інформативний аналог IDF. Таким чином, можна об'єднати PMI із TF, отримавши ознаку TF-PMI.

Отже, обчислення частоти появи токена у відповідях, поданих природною мовою, можливе з використанням декількох підходів: абсолютної частоти (TF), відносної частоти (TF-IDF), сумісної інформації (PWI, TF-PWI).

Для векторизації текстів у задачах обробки відповідей, поданих природною мовою, пропонуються такі набори ознак:

1. Модель bag-of-words та TF.

2. Модель bag-of-words та TF-IDF.

3. Словесні n-грами та TF-IDF (оскільки тексти відповідей є короткими, то розглядаються 1,2-грами та їх поєднання).

4. Символьні n-грами (n: 1.. .6) та TF-IDF.

5. Модель bag-of-words та TF-PWI.

Запропоновані набори ознак та їх комбінації є засобами покращення моделі машинного навчання для задачі перевірки відповідей, поданих природною мовою. Подальші дослідження будуть спрямовані на експериментальне тестування запропонованих наборів характеристик під час обробки відповідей, поданих природною мовою, визначення того набору або комбінації, що забезпечить найкращі показники валідації відповідей із використанням методів машинного навчання.

Список використаної літератури