Размещено на http: //www. allbest. ru/

Нижегородский государственный лингвистический университет имени Н. А. Добролюбова

Нижегородский государственный педагогический университет имени Козьмы Минина

Возможности атрибуции текстов на основе теоретико-информационного подхода

Ретивина Вероника Викторовна

retivina@mail.ru

Пакина Татьяна Александровна

ta_pakina@mail.ru

Аннотация

Ретивина Вероника Викторовна, Пакина Татьяна Александровна

ВОЗМОЖНОСТИ АТРИБУЦИИ ТЕКСТОВ НА ОСНОВЕ ТЕОРЕТИКО-ИНФОРМАЦИОННОГО ПОДХОДА

УДК 81'33

В статье рассматривается атрибуция текстов как задача распознавания образов. В качестве решающего правила классификации предлагается использовать критерий минимума информационного рассогласования. Приводятся экспериментальные данные статистического анализа художественных произведений, иллюстрирующие принцип его работы. Подробно излагается алгоритм распознавания для автоматизированной системы атрибуции текстов с применением теоретико-информационного подхода.

Ключевые слова и фразы: атрибуция текстов; статистическая классификация; распознавание образов; информативные параметры; метрика; решающее правило; критерий минимума информационного рассогласования.

атрибуция текст распознавание художественный

Annotation

THE POSSIBILITIES OF TEXTS ATTRIBUTION BASED ON INFORMATION-THEORETICAL APPROACH

Retivina Veronika Viktorovna

Nizhny Novgorod State Linguistic University named after N. A. Dobrolyubov retivina@mail.ru

Pakina Tat'yana Aleksandrovna

Minin University ta_pakina@mail.ru

The article examines the attribution of texts as the problem of image recognition. The authors propose to use the criterion of minimum of information discrepancy as the decisive rule of classification. Experimental data of statistical analysis of fiction illustrating the principle of its work are provided. The algorithm of the recognition for the automated system of attribution of texts with the use of information-theoretical approach is described in detail.

Key words and phrases: attribution of texts; statistic classification; image recognition; informative parameters; metrics; decisive rule; criterion of minimum of information discrepancy.

Одной из актуальных задач литературоведения была и остается проблема атрибуции текстов. Основная ее цель - определение авторства литературного текста, а также установление жанра или времени его написания. В настоящее время накоплено большое количество методов и приемов атрибуции, в том числе основанных на формально-количественном подходе, с помощью которого процессу атрибуции придается более объективный характер.

Текст является продуктом языковой деятельности. Каждый текст отражает стилистические особенности своего источника. Существование точных количественных методов идентификации и проведение экспертизы на их основе могли бы разрешить большинство спорных вопросов в области атрибуции текстов. Поэтому одним из самых основных и самых сложных вопросов лингвистической статистики является выявление особенностей различных стилей (это могут быть стили авторские или стили функциональные) и их разграничение. В большинстве лингвостатистических исследований эти различия изучались с помощью количественного анализа функционирования некоторых языковых единиц в разных стилях. Однако результаты такого подхода не дают четкого ответа при решении задач атрибуции текстов, а, как правило, лишь определяют некоторую вероятность принадлежности исследуемого языкового материала к тому или иному стилю.

Целью данной работы является рассмотрение возможностей принципиально нового подхода к решению задач атрибуции. В предлагаемом методе задача атрибуции рассматривается как задача статистической классификации объектов на основе теоретико-информационного подхода. В отличие от традиционных методов сравнения количественных показателей различных стилей, новый способ позволяет получить четкий ответ на вопрос о принадлежности или непринадлежности изучаемого текста к одному из имеющихся классов.

В 1990 году была опубликована монография М. А. Марусенко [2], в которой проблема установления авторства текста впервые решалась методами распознавания образов на основе индивидуальных характеристик авторского стиля. В данной работе текст рассматривается как сложный лингвистический объект, для атрибуции которого используется многомерный статистический анализ, представленный в наиболее развитой форме - теории распознавания образов. Распознавание образов - это задача идентификации объекта по его характеристикам. Образ (класс) - классификационная группировка в системе классификации, объединяющая определенную группу объектов по некоторому признаку (применительно к текстам класс, например, образуют произведения одного автора или одного жанра). Пусть существует заранее заданное множество образов. Тогда задачей распознавания становится отнесение изучаемого объекта к одному из них на основе определенной методики, называемой решающим правилом.

В терминах распознавания образов стиль определяется как «набор свойств (параметров), характеризующих состав, способы объединения и статистико-вероятностные закономерности употребления речевых средств, образующих данную разновидность языка» [Там же, с. 17]. Этим набором свойств является совокупность информативных параметров, по которым проводится процедура распознавания. Помимо набора информативных параметров, необходимо выбрать метрику - способ определения расстояния между элементами. Чем меньше это расстояние, тем более похожими являются объекты. От выбора модели представления образов и реализации метрики зависит эффективность программы распознавания.

Для автоматической атрибуции текстов принцип решения задачи распознавания образов реализуется как алгоритм на основе метода множества эталонов. На входе его имеется набор обучающих выборок, по которым восстанавливаются статистические распределения, характеризующие поведение изучаемой совокупности параметров для каждого имеющегося образа Ai, метрика р и сам распознаваемый объект X. С помощью метрики вычисляем расстояние р(X, Ai) от X до каждого образа Ai. Объект X будет отнесен к образу, который окажется ближе всех, т.е. которому будет соответствовать наименьшее из вычисленных расстояний.

В Нижегородском государственном лингвистическом университете был разработан новый способ решения задач атрибуции, основанный на синтезе аппарата распознавания образов и теоретико-информационного подхода. В качестве решающего правила предлагаемый метод использует критерий минимума информационного рассогласования (МИР), который является интерпретацией классического критерия максимального правдоподобия в задачах распознавания дискретных объектов и имеет ряд преимуществ [4, с. 18]. В рамках нового критерия был разработан алгоритм статистической обработки текста, который позволяет осуществлять идентификацию текстов, причем этот алгоритм инвариантен по отношению к национальному происхождению языка.

В отличие от известных методов статистической обработки и атрибуции текстов, новый алгоритм выявляет различие стилевых особенностей, основываясь на величине информационного рассогласования, предложенного С. Кульбаком [1, с. 313]. Это рассогласование является мерой «расстояния» между двумя текстами и вычисляется по формуле:

N

р=?pi log(p qi / i ) ,

i=1

где pi и qi - это вероятности появления i-го состояния изучаемого параметра (среди N возможных) в первом и втором текстах соответственно.

Критерий МИР справедлив для задач любой размерности, т.е. применительно к лингвистическим задачам это означает, что можно рассматривать поведение не какого-то одного признака в различных текстах, а поведение нескольких признаков в совокупности. Иными словами, данный метод позволяет изучать стиль как систему, учитывая все доступные лингвостатистические параметры одновременно.

В качестве иллюстрации работы алгоритма, основанного на применении двумерного критерия МИР, можно привести результаты следующего эксперимента по установлению авторства. Были найдены информационные расстояния между выборкой из романа Ф. М. Достоевского «Братья Карамазовы» и выборками из 10 других текстов (в том числе 5 других писателей). Все выборки были взяты в объеме 300000 символов. В качестве показателей их стилистических особенностей были выбраны длина предложения и количество запятых в каждом отдельно взятом предложении, т.к. «именно роль предложения как единицы языка в статистической картине организации стиля можно считать особой, точнее, особенно важной» [2, с. 53].

Для оценок вероятностей проводилась процедура вычисления относительной частоты появления в текстах соответствующих событий со стандартной регуляризацией. В результате были получены следующие данные (см. Таблицу).

Таблица 1