Вопросно-ответные системы

Размещено на http://www.allbest.ru/

Вопросно-ответные системы

Введение

Вопросно-ответные системы - это область исследований, сочетающая в себе:

Информационный поиск -- процесс поиска неструктурированной документальной информации, удовлетворяющей информационные потребности.

Извлечение информации -- задача автоматического извлечения (построения) структурированных данных из неструктурированных или слабоструктурированных машиночитаемых документов.

Обработку естественного языка -- общее направление искусственного интеллекта и математической лингвистики. Оно изучает проблемы компьютерного анализа и синтеза естественных языков. Применительно к искусственному интеллекту анализ означает понимание языка, а синтез -- генерацию грамотного текста.

Сейчас системы извлечения информации и поисковые движки лишь выдают документы, содержащие ключевые слова, заданные в поисковом запросе. Такие системы не дают ответов, оставляя пользователя искать его в документе самостоятельно. А пользователь хочет точный ответ на вопрос.

Главная цель ВОС -- отвечать на вопросы, а не выдавать самые подходящие документы или отрывки из них.

Основной тип вопросов в естественном языке -- фактические вопросы ("Когда произошла Египетская революция?"). Более сложными являются вопросы на определение ("Кто президент Египта? Что такое ВАХ?"), вопросы со списком ответов ("Список стран-победителей Олимпиад"), причинно-следственные вопросы ("Почему убили Кеннеди?").

Классификация:

системы с открытым доменом -- вопросы любой тематики

системы с закрытым доменом -- вопросы ограничены какой-то предметной областью

1. Компоненты ВОС

Вопросно-ответная система состоит из трёх модулей:

Обработчик вопросов -- занимается классификацией вопросов

Обработчик документов -- занимается поиском информации

Обработчик ответов -- занимается извлечением ответа

Сценарий работы ВОС:

Пользователь вводит вопрос.

Анализатор вопросов выделяет его суть, чтобы увеличить точность ответа на вопрос.

Вопрос классифицируется, чтобы определить тип ожидаемого ответа.

Вопрос переформулируется, и передаётся системе поиска информации.

Система поиска информации находит релевантные запросу документы.

Из найденных документов выделяются абзацы, где, предположительно, содержится ответ.

Абзацы упорядочиваются и передаются модулю обработки ответа.

Выбираются кандидаты на ответ, основываясь на типе предполагаемого ответа и других распознавательных техниках.

Эвристически определяется фраза, которая отвечает на вопрос.

Извлечённый ответ проверяется на корректность и предоставляется пользователю.

Модуль обработки вопроса

На вход подаётся вопрос на естественном языке, и цель этого модуля - создать некоторое представление запрашиваемой информации. То есть, модуль обработки вопроса должен:

Анализировать вопрос, чтобы понять, какая основная информация требуется для ответа на вопрос

Классифицировать тип вопроса, чтобы определить тип ожидаемого ответа.

Переформулировать вопрос, превратить его в набор запросов для системы поиска информации.

На выходе модуля имеется набор запросов, которые может использовать следующий модуль для поиска информации.

Анализ вопроса

Простой классификации вопроса ("Что?", "Где?", "Как?") недостаточно, потому что эти типы вопросов слишком неоднозначны. Необходим дополнительный элемент, так называемый фокус, или суть вопроса. Этот термин определяется как "слово или последовательность слов, которая определяет информацию, запрашиваемую в вопросе". Например, в вопросе "Какая река самая длинная в Южном Уэльсе?", фокусом вопроса является словосочетание "самая длинная река".

Если известны и тип вопроса, и его фокус, системе проще определить тип требуемого ответа. Для определения фокуса обычно используются шаблоны вопросов, основанные на классификации вопросов.

Классификация типов вопросов

Чтобы правильно ответить на вопрос, нужно понять, информация какого типа запрашивается. Знание типа вопроса позволяет установить ограничения на информацию, которая будет составлять ответ. Это поможет остальным модулям правильно найти и проверить ответ.

Классификация типов ответов

Каждому типу вопросов соответствуют некоторые возможные типы ответов. Так как классификация вопросов может быть очень неоднозначной, необходимо выявлять несколько соответствующих типов ответов.

Переформулирование вопроса

Когда определены фокус и тип вопроса, модуль обработки вопросов формирует список ключевых слов, который далее будет передан в модуль обработки документов для поиска информации. Для извлечения ключевых слов могут быть использованы стандартные техники: named-entity recognition (что можно перевести как "распознавание именованных сущностей"), списки шумовых слов, распознавание частей речи и др.

Список ключевых слов можно расширять семантически связанными словами, которые также могут содержаться в документах, содержащих правильный ответ на вопрос. Для этого можно использовать словари синонимов, например из онтологии WordNet.

Модуль обработки документов

Этот модуль получает на входе обработанный, переформулированный вопрос, и на выходе выдаёт ранжированный список релевантных документов, в которых может содержаться ответ на вопрос. Модуль обработки документов обычно ищет информацию с помощью одной или нескольких поисковых систем, которые почти всегда используют Всемирную Паутину как источник документов. Найденные документы фильтруются и упорядочиваются.

Таким образом, главная цель модуля обработки документов - создать набор упорядоченных параграфов, содержащих ответ на вопрос. Чтобы достичь этой цели, необходимо осуществить:

поиск релевантных вопросу документов

фильтрацию, для уменьшения количества документов и количества текста в каждом из них

упорядочивание параграфов-кандидатов на содержание ответа по степени правдоподобности

Уменьшение объёма документов до нескольких параграфов производится для ускорения работы системы. Время реакции вопросно-ответной системы существенно, потому что система работает с пользователем интерактивно.

Поиск информации

Переформулированный вопрос используется, прежде всего, для поиска информации, релевантной этому вопросу. При поиске используется несколько другой подход, чем в популярных поисковых системах: для вопросно-ответной системы прежде всего важны документы, содержащие все ключевые слова из запроса, потому что список ключевых слов был тщательно отобран модулем обработки вопросов.

Релевантность найденной информации измеряется по двум метрикам: точность и полнота.

Точность -- это отношение количества релевантных документов к общему числу найденных документов.

Полнота -- это отношение числа найденных релевантных документов к общему числу релевантных документов в поисковой базе.

Для поиска документов в вопросно-ответной системе полнота значительно важнее, чем точность, потому что результаты поиска подвергаются дальнейшей обработке.

Фильтрация параграфов

Количество найденных поисковой системой документов может быть очень большим. Для уменьшения количества и объёма документов-кандидатов на содержание ответа, результаты поиска нужно отфильтровать. Основной принцип фильтрации - предположение, что документ вероятнее всего содержит ответ на вопрос, если все ключевые слова находятся в одном или нескольких соседних параграфах, а не раскиданы по всему документу. Если документ проходит фильтрацию, от из него выбираются только те параграфы, которые содержат ключевые слова, иначе документ исключается из дальнейшего рассмотрения.

Упорядочивание параграфов

Отфильтрованные параграфы надо упорядочить по степени правдоподобности содержания ответа. При сортировке используются следующие метрики:

Количество слов в одном предложении: это максимальное количество ключевых слов из запроса, которые находятся в пределах одного предложения в текущем окне параграфа.

Метрика расстояния: количество слов, разделяющих самые удалённые друг от друга слова в текущем окне параграфа.

Метрика отсутствующих слов: количество отсутствующих в текущем окне параграфа слов.

Окно параграфа - это минимальная часть параграфа, которая включает в себя все найденные в параграфе ключевые слова. Сортировка производится именно для окон параграфов.

Итого, на выходе из модуля обработки документов имеется отсортированный по рейтингу правдоподобности набор параграфов, в которых предположительно содержится ответ на вопрос.

Модуль обработки ответа

Этот модуль -- финальная фаза в архитектуре вопросно-ответной системы. Он отвечает за идентификацию, извлечение и проверку ответа из множества упорядоченных параграфов, полученного в результате работы модуля обработки документов. Модуль обработки ответа должен осуществлять:

идентификацию потенциальных ответов в параграфах,

извлечение ответа -- слова или фразы, которая должным образом отвечает на вопрос,

подтверждение ответа, обоснование его корректности.

Идентификация ответа

Тип ответа, который был определён модулем обработки вопроса, очень важен для идентификации ответа. Она использует те же механизмы, которые использовались для определения типа ответа (распознавание сущностей, частей речи, и т.д.), и различные эвристические алгоритмы, чтобы вычленить фразу, потенциально содержащую ответ на вопрос.

Извлечение ответа

После этого необходимо извлечь конкретное слово или фразу, являющуюся ответом на поставленный вопрос. Для этого так же используются эвристические алгоритмы.

Подтверждение ответа

Уверенность в корректности ответа можно увеличить разными путями. Например, воспользоваться лексическими ресурсами (WordNet и др.) для проверки того, что ответ соответствует требуемому типу ответа. Для проверки смысловой корректности ответа можно использовать специфические источники знаний. Если ответ был получен из таких источников, то проверку корректности можно осуществить наоборот, пользуясь Всемирной паутиной. Если из разных документов на один и тот же вопрос был извлечён один и тот же ответ, это может послужить серьёзным основанием считать этот ответ правильным.

вопросный ответный информационный поиск

2. Обзор существующих исследований

В настоящее время каждая из трёх основных частей вопросно-ответной системы -- классификация вопроса, поиск информации и извлечение ответа -- довольно хорошо исследована специалистами в области интеллектуальных систем. Сейчас мы сделаем краткий обзор исследований общих подходов к реализации этих частей, после чего рассмотрим несколько примеров конкретных вопросно-ответных систем.

Классификация вопроса

Систематика

Вопросы обычно соответствуют предсказуемым языковым конструкциям, и поэтому могут быть классифицированы на основе систематик. Систематики делятся на два вида:

плоские -- имеют только один уровень классов

иерархические -- классы располагаются в несколько уровней

Плоская систематика

Например, в вопросно-ответная система NSIR (произн. "answer"), созданная командой Драгомира Радева, американского специалиста по обработке естественного языка, использовала плоскую систематику из семнадцати классов вопросов:

PERSON	PLACE	DATE
NUMBER	DEFINITION	ORGANIZATION
DESCRIPTION	ABBREVIATION	KNOWNFOR
RATE	LENGTH	MONEY
REASON	DURATION	PURPOSE
NOMINAL	OTHER

Иерархическая систематика

Во время прохождения TREC-8 (TREC (Text Retrieval Conference) -- серия конференций, сконцентрированных на исследовании различных областей информационного поиска и их задач) команда Дэна Молдована предложила иерархическую систематику, в которой вопросы разбивались на девять основных классов, некоторые из которых содержали ещё несколько подклассов:

Question class	Question subclasses	Answer Type
WHAT	basic-what	Money / Number / Definition / Title / NNP / Undefined
	what-who
	what-when
	what-where
WHO		Person / Organization
HOW	basic-how	Manner
	how-many	Number
	how-long	Time / Distance
	how-much	Money / Price
	how-much <modifier>	Undefined
	how-far	Distance
	how-tall	Number
	how-rich	Undefined
	how-large	Number
WHERE		Location
WHEN		Date
WHICH	which-who	Person
	which-where	Location
	which-when	Date
	which-what	NNP / Organization
NAME	name-who	Person / Organization
	name-where	Location
	name-what	Title / NNP
WHY		Reason
WHOM		Person / Organization

Эта систематика покрыла все 200 тестовых вопросов, на которых тестировались вопросно-ответные системы TREC-8.

Виды классификации

После определения систематики для классификации вопросов их нужно, собственно, классифицировать. Для этого обычно используется два подхода:

классификация на основе правил

классификация на основе машинного обучения

Классификация на основе правил

Это самый очевидный способ классификации вопросов, который подразумевает создание набора эвристических правил, согласно которым вопрос можно отнести к тому или иному пункту систематики. Правила могут быть довольно простыми, например: "Если вопрос начинается со слова "Where", то он имеет тип "LOCATION", и т.д. Этот подход популярен именно из-за своей простоты и быстроты.

Классификация на основе машинного обучения

Этот подход предполагает создание обучающейся системы, и её обучение на некотором списке уже классифицированных вопросов. Подразумевается, что система сама сможет выявить из этого списка характерные признаки и шаблоны вопросов, и после этого сможет классифицировать вопросы самостоятельно. При использовании подхода машинного обучения большую роль играют инструменты анализа вопроса, и использование подходящей классификации. Инструменты могут варьироваться от простого и поверхностного морфологического анализа до более комплексных и глубоких видов лингвистического анализа.

Поиск информации

Команда Светланы Стоянчев представила экспериментальную вопросно-ответную систему StoQA, которая продемонстрировала полезность использования именованных сущностей, именных, глагольных и предложных групп (это словосочетания, во главе которых стоят, соответственно, существительные, глаголы и предлоги) в качестве поисковых фраз точного соответствия, входящих в запрос на поиск документов.

Гейзаскас и Хамфрис, разработчики системы QA-LaSIE предложили другой подход, основанный на связывании системы поиска информации с системой обработки естественного языка, осуществляющей довольно тщательный лингвистический анализ.

Кангавари и его команда представили довольно простой способ увеличить точность вопросно-ответной системы, используя базу знаний, чтобы возвращать уже готовые, подтверждённые пользователями ответы на вопросы, уже задававшиеся ранее.

Извлечение ответа

Равихандран и Хови предложили модель поиска ответов, использовавшую вручную составленные текстовые шаблоны ответов. Чтобы увеличить полноту этого подхода, многие исследователи использовали системы автоматического составления шаблонов ответов.

Многие исследователи использовали альтернативный подход, использующий всё те же именованные сущности для поиска и извлечения ответа.

3. Обзор конкретных вопросно-ответных систем

Сейчас мы рассмотрим некоторые примеры реально существующих вопросно-ответных систем, сравним подходы, использованные в них, и результаты, которые они принесли.

Для этого нам необходимо ввести критерии, или метрики оценки вопросно-ответных систем.

Метрики оценки

Критерии качества ответа

Основной результат работы вопросно-ответной системы - это ответ на заданный вопрос. Для оценки ответа можно использовать следующие критерии:

Релевантность: ответ должен отвечать на вопрос.

Корректность: ответ должен быть фактически верным.

Выразительность: ответ не должен содержать посторонней и нерелевантной информации.

Завершённость: ответ должен быть завершённым (а не содержать только часть ответа на вопрос).

Обоснованность: ответ должен сопровождаться соответствующим контекстом, позволяющим пользователю понять, почему был выбран именно этот ответ.

Типы ответов и оценок

Ответы, получаемые вопросно-ответными системами, условно разделяются на "длинные" (250 символов) и "короткие" (50 символов).

Для автоматизации оценки ответа каждый вопрос имеет список "шаблонных ответов" и "связанных документов", которые подтверждают эти ответы. Соответственно, оценка может быть "мягкой" или "строгой". Обе оценки используют шаблонные ответы для проверки, но "строгая" оценка дополнительно проверяет, из каких документов вопросно-ответная система получила свой ответ.

Числовые метрики

Мы рассматриваем вопросно-ответные системы, представленные в рамках конференции TREC, и поэтому пользуемся теми же метриками, что были использованы там. На разных конференциях метрики могут отличаться, но существуют метрики, наиболее часто используемые для автоматической оценки работы вопросно-ответных систем. Приведём некоторые из них:

Точность, полнота, и F-мера

Точность и полнота - общепринятые метрики, которые уже долгое время используются в информационном поиске. F-мера -- это их среднее гармоническое (число, обратное среднему арифметическому их обратных):

Средний взаимный рейтинг

Это статистическая мера, используемая для оценки систем, которые предоставляют список возможных ответов на вопрос:

Здесь n -- это количество вопросов, а r_i -- номер первого правильного ответа на вопрос.

Примеры исследований

Теперь, когда мы знаем, как можно оценивать вопросно-ответные системы, приведём несколько конкретных примеров исследований.

LASSO (команда Дэна Молдована), 1999

Вклад

Исследование обработки естественного языка в приложении к поиску ответов в больших массивах документов. Использовалась комбинация синтаксического и семантического анализа вопроса, в процессе которого были определены эвристические правила для нахождения ключевых слов, используемых для идентификации ответа.

Впервые была применена фильтрация и индексация параграфов.

Условия и результаты

Экспериментальная среда состояла из 200 вопросов из базы TREC8, все из которых были покрыты иерархической систематикой классификации вопросов.

Ниже приведены результаты тестирования системы:

	Ответ в топ-5	MRR (строгая оценка)
Короткий ответ (50 символов)	68.1%	55.5%
Длинный ответ (250 символов)	77.7%	64.5%

Ограничения

Считалось, что корректный ответ на вопрос найден, если он был среди пяти "лучших" по мнению системы ответов. В дальнейшем, начиная с TREC-2002, требованием к системам стала выдача только одного ответа.

FALCON (команда Харабаджи), 2000

Вклад

Разработчики LASSO продолжили свои исследования, и создали систему FALCON, унаследовавшую архитектуру LASSO. Дополнением стало использование системы WordNet для семантической обработки вопросов.

Для преодоления главного недостатка LASSO, был добавлен модуль проверки и отсеивания ответов, чтобы система на выходе предоставляла только один ответ.

Условия и результаты

Набор вопросов на конференции TREC9 был больше и сложнее, чем на TREC8. Система FALCON превзошла по результатам LASSO, что послужило доказательством полезности введённых модификаций.

	MRR (мягкая оценка)	MRR (строгая оценка)
Короткий ответ (50 символов)	59.9%	58.0%
Длинный ответ (250 символов)	77.8%	76.0%

QA-LaSIE (команда Гейзаскаса и Хамфриса), 2000

Вклад

В своей вопросно-ответной системе команда связала систему информационного поиска с системой обработки естественного языка, которая осуществляла лингвистический анализ. Система поиска информации обрабатывала вопрос как поисковый запрос, и возвращала набор упорядоченных документов или отрывков. Система обработки естественного языка дополнительно анализировала вопрос и документы, и добавляла к ним их семантическое представление. Эти представления применялись для извлечения ответа.

Условия и результаты

Тестирование проводилось с использованием двух различных поисковых систем, и лучшие результаты оказались такими:

	Точность	Полнота
Короткий ответ (50 символов)	26.67%	16.67%
Длинный ответ (250 символов)	53.33%	33.33%

Ограничения

Предложенный подход оказался не очень успешным, так как лишь две трети тестовых вопросов были обработаны. Также система была ограничена небольшим количеством онтологий предметных областей, хотя изначально предполагалась работа с открытым доменом.

ASQA (команда Светланы Стоянчев), 2008

Вклад

В своём исследовании команда поставила эксперимент над системой поиска информации. Они использовали фразы, автоматически извлечённые из вопроса, как составные части поисковых запросов. В процессе извлечения фраз использовались такие техники, как распознавание именованных сущностей, списки шумовых слов и распознавание частей речи.

Условия и результаты

Система тестировалась на двух наборах данных. Одним послужила подшивка новостных документов, использовавшейся на конференции TREC-2006, другим -- Интернет. Тестирование проводилось в двух режимах: полностью автоматическое извлечение фраз, и извлечение фраз с последующей ручной корректировкой.

Ограничения

Результаты тестирования показали, что общая точность работы с Интернет-базой документов была ниже, чем с новостной подшивкой. Ручная корректировка запросов увеличивала качество работы системы, но ненамного.

Заключение

Период с 1999 по 2007 год был очень насыщен исследованиями в области вопросно-ответных систем. Скорее всего, это было обусловлено наличием пространства для проведения экспериментов и тестирования систем, предоставленного на конференциях серии TREC. В настоящее время существуют и другие конференции и форумы, затрагивающие эту тематику (CLEF Initiative (Conference and Labs of the Evaluation Forum, formerly known as Cross-Language Evaluation Forum) , NTCIR (NII Testbeds and Community for Information access Research)).

Проведённые исследования были достаточно разнородны, но все, в основном, были сосредоточены на основных компонентах вопросно-ответных систем: классификации вопросов, поиске документов и извлечении ответа, и использовании техник обработки естественного языка, информационного поиска и извлечения информации соответственно.

Невозможно упомянуть все, или даже большую часть исследований вопросно-ответных систем, поэтому в этом докладе представлены сведения о самых известных системах и авторах.

Размещено на Allbest.ru