Анализ эмоциональной окраски текста в социальных сетях на основе методов машинного обучения

Большинство правил более поздних стадий использует концепцию измерения слова, то есть на каждом шаге проверяется количество оставшихся слогов в слове, чтобы быть уверенным, что на каждом шаге правила по урезанию применяются именно к суффиксам, а не к корню слова. Ниже представлен пример такого правила:

Применяя это правило, слово replacement превратится в replac, а слово cement останется неизменным.

Алгоритм стемминга Ланкастера (англ. Lancaster stemming) был создан в конце 1980-ых учёными Ланкастерского университета Chris Paise и Gareth Tusk, поэтому часто в научной литературе этот алгоритм называют «Paice/Husk stemmer». Данный вид стеммера использует отдельный файл правил, который при запуске алгоритма сначала считывается в словарь. Этот файл разделен на ряд разделов, каждый из которых соответствует букве алфавита. Раздел для конкретной буквы, например «е», содержит правила для всех окончаний слов, заканчивающихся на букву «е», причем разделы упорядочены по алфавиту. Алгоритм действия стеммера следующий:

1. Выделяется последняя буква в слове

2. Происходит поиск в наборе правил, индекс которого - выделенная буква

3. Выбирается правило, которое по условию подходит к данному слову, начиная с первого

4. Если не найдено, то слово меняется, и стеммер заканчивает работу.

5. Если правило найдено, то оно выполняется.

Эти шаги повторяются если:

· в словаре остаются подходящих для слова правил,

· длина слова без анализируемой части больше определённой,

· в слове без анализируемой части есть гласная буква.

При нарушении хотя бы одного из правил стеммер завершает работу.

Этот стеммер считается «агрессивным», так как зачастую он обрезает слово настолько, что оно перестаёт иметь смысл даже для человека.

Все описанные техники, кроме последних двух, будут применены в практической части данной работы. Проблема последних двух техник заключается в том, что применять их вместе бессмысленно, так как они выполняют очень похожую работу: приводят слова к их базовым формам таким образом, чтобы одинаковые слова в разных формах имели один и тот же вид. Поэтому в дальнейшей работе будет реализован алгоритм стемминга. Он был выбран по следующим причинам:

· Стемминг приводит слова к их базовой форме более «агрессивно», чем лемматизация. Это может негативно повлиять на качество классификатора, однако в контексте анализа тональности текстов из социальных сетей это влияние будет абсолютно незначительным: из-за наличия сленга, грамматических ошибок и подобных факторов лемматизация будет менее эффективна, и её результат не будет сильно отличаться от стемминга;

· Более «агрессивное» усечение слов методом стемминга приведёт к уменьшению признакового пространства, что снизит эффект переобучения и время обучения классификаторов

· Качественная лемматизация возможна только при наличии коллекции текстов, где слова размечены по их частям речи. Однако задача разметки слов в коллекции по частям речи является не менее сложной, чем поставленная в данной работе цель. При отсутствии разметки, лемматизатор априори считает каждое слово существительным, что приводит к низкокачественной обработке текста. Например, при отсутствии разметки слов по частям речи, стемминг превратит слово «loving» в «love», тогда как лемматизатор оставит это слово неизменным. То же самое произойдёт с большинством слов, которые не являются существительными, так как лемматизатор не будет знать, как их обрабатывать.

Из двух описанных алгоритмов стемминга был выбран алгоритм Портера, так как он проводит «урезание» слов более мягко, нежели алгоритм Ланкастера. Это позволит не потерять важную информацию из исходного текста и, тем самым, сделает извлечённые из коллекции признаки более информативными.

2.5 Векторизация коллекции текстов

После обработки необходимо приступить к их векторизации. Далее будут описаны основные эффективные техники извлечения признаков из текстовых данных.

1. Мешок слов.

Самым базовым и, одновременно, эффективным является метод мешка слов (англ. Bag of words). Согласно работе исследователей НИЯУ МИФИ, «суть мешка слов заключается в кодировании всех слов выборки в единый словарь и создания пространства порядковых переменных, каждое измерение в котором отражает количество раз, какое слово с данным индексом встретилось в документе:

где - множество слов в объекте , - количество объектов в коллекции. Размерность признакового пространства при этом становится равной количеству уникальных слов во всей выборке, а матрица признаков становится сильно разреженной». Разреженной матрицей называется матрица, основная часть элементов которой является нулями. Для работы с таким видом матриц обычно используют методы понижения размерности, которые создают множество новых информативных признаков меньшего размера, либо используют модели, которые тратят мало времени на обучение, например, линейные.

Мешок слов довольно качественно описывает каждое предложение, однако этот метод не учитывает последовательность слов в тексте, то есть каждое слово рассматривается отдельно. Это приводит к потере информации о тексте, так как значение слова можно однозначно определить лишь в контексте.

Необходимо отметить, что признаки, получившиеся из слов, которые встечались во всей коллекции не более 10 раз, являются практически неинформативными. По этой причине такие признаки нужно удалить. Это поспособствует понижению риска переобучения модели и увеличит скорость её обучения.

2. N-grams.

N-граммы (англ. N-gramms) - это имеющиеся в коллекции уникальные словосочетания, где N - количество слов в словосочетании. В частности, словосочетания, состоящие из одного слова, называются униграммами, из двух - биграммами, из трёх - триграммами, и так далее. N-грамма может быть крайне информативным признаком, так как теперь, в отличие от мешка слов, слова стоят рядом друг с другом, и из их сочетания становится более понятно, какой именно они несут смысл. Однако в случае извлечения N-грамм из коллекции текстов, признаковое пространство обучающей матрицы увеличивается в несколько раз по сравнению с мешком слов, что сильно замедляет вычислительный процесс и может привести к переобучению. Однако на практике, извлечение N-грамм из текста увеличивает предсказательную способность модели примерно на 5-15%. В данной работе будут использованы 1-4граммы, так как их большее количество сильно затруднит вычисления и более вероятно приведёт к переобучению.

3. TF-IDF.

Третий важный метод векторизации называется TF-IDF (англ. TF - Term Frequency, IDF - Inverse Document Frequency) - «статистическая мера, используемая для оценки важности слова в контексте документа, являющегося частью коллекции текстовых документов». TF каждого слова вычисляется через отношение числа вхождений этого слова к общему числу слов документа:

,

где - количество вхождений слова в документ , а - общее количество слов в документе

IDF вычисляется через натуральный логарифм от отношения общего числа документов к количеству документов, в которых встречается данное слово.

где число документов в коллекции,

- число документов, в которых встречается слово

Проще говоря, значение TF отражает значимость каждого слова в рамках одного документа (показывает долю вхождений данного слова в конкретный текст), а IDF уменьшает важность этого слова, если оно часто встречается в других документах.

Таким образом, TF-IDF - это произведение двух описанных коэффициентов:

.

Данный коэффициент получает высокое значение в случае, если слово много раз употребляется в одном документе, но редко во всей коллекции. Плюс ко всему, этот коэффициент можно высчитывать как для отдельных слов, так и для их сочетаний.

Также существует улучшенный, сбалансированный вариант данного коэффициента под названием «delta TF-IDF», значение которого для конкретного слова равно разности значений коэффициента TF-IDF, полученных из текстов положительной и отрицательной полярностей, взятых отдельно:

Качество классификации моделей сентимент-анализа после извлечения сбалансированной версии данного коэффициента стабильно выше, чем у моделей, обученных на обычном TF-IDF. Например, в работе исследователей из Балтимора, а также в работе [22] извлечение признаков delta TF-IDF из обзоров кино увеличило точность классификации тональности отзывов на 5.9%, а также это увеличило точность классификации текстов в задаче предсказания результатов голосования за членов конгресса после их дебатов на 5.5%. По этим причинам в практической части данной работы будет использоваться именно сбалансированный коэффициент.

Для анализа эффективности каждого вида признаков в практической части работы классификаторы будут обучаться на трёх разных обучающих выборках:

N-граммы,

delta TF-IDF, вычисленный для N-грамм,

N-граммы + delta TF-IDF, вычисленный для N-грамм. Результаты обучения каждого из классификаторов будут проанализированы в конце исследования.

2.7 Вывод

Итак, в данной главе были рассмотрены алгоритмы классификации, которые будут реализованы в следующей главе. Были проанализированы особенности данных классификаторов, выбраны метрики проверки их качества. Плюс ко всему, были полностью описаны, проанализированы и выбраны этапы подготовки текстов к их векторизации, а также были определены признаки, на которых будут обучаться модели:

· В качестве основных метрик были выбраны точность, полнота и F-мера;

· Для обработки слов в документах был выбран алгоритм Snowball stemmer;

· В качестве извлекаемых признаков выступят первичные признаки + N-граммы (где N = [1, 2, 3, 4]), первичные признаки + коэффициент delta TF-IDF, а также совокупность всех перечисленных признаков. Модели будут обучены на каждом из множеств признаков для анализа качества каждой пары «алгоритм-признак» и выбора наиболее эффективных в контексте поставленных задач.

Глава 3. Программная реализация

Данная глава полностью посвящена программной реализации классификаторов, оценки их эффективности и анализу результатов.

3.1 Среда разработки и модули

Все вычисления производились на языке Python 3.6.2 в IDE под названием Jupyter Notebook.

Ниже приведено описание модулей, использованных в течение практической части:

Pandas - модуль для удобного оперирования данными,

NLTK - библиотека, предоставляющая доступ к функциям и массивам данным, связанным с обработкой естественного языка. В течение работы использовались две функции:

· «stem.snowball.SnowballStemmer» - обновленный стеммер Портера

· «corpus.stopwords» - массив стоп-слов английского языка

«Lightgbm.LGBMClassifier» - модель градиентного бустинга

Scikit-learn - основной модуль, предоставляющий функции анализа данных и машинного обучения. Было использовано 9 основных функций:

· «feature_extraction.text. CountVectorizer» - функция, извлекающая признаки N-грамм из текста;

· «sklearn_deltatfidf.DeltaTfidfVectorizer» - функция, извлекающая признаки коэффициента delta TF-IDF;

· «model_selection. train_test_split» - функция, разбивающая выборку на тренировочную и тестовую;

· «svm. LinearSVC» - линейный SVM-классификатор;

· «naive_bayes.MultinomialNB» - мультиномиальный Байесовский классификатор;

· metrics.{precision_score, recall_score, f1_score} - функции для вычисления значений точности, полноты и F-меры.

3.2 Описание результатов

1) Изначально, перед началом работы, коллекция текстов содержала 1350598 уникальных слов. После удаления веб-сайтов, знаков препинания, цифр и других неинформативных данных, не включая процесс стемминга, в коллекции осталось 376814 уникальных слов. После применения обновленного стеммера Портера, в коллекции осталось 322025 слов.

2) В процессе извлечения N-грамм из текстовых данных, из признакового пространства удалялись все N-граммы, которые встречались в коллекции реже 0,01% от числа всех текстов. Благодаря этому удалось отсечь неинформативные N- граммы и снизить размерность признакового пространства до 8995 уникальных словосочетаний. Эта матрица была объединена с матрицей первичных признаков, и в итоге получилось 9002 уникальных признака.

Затем были извлечены коэффициенты delta TF-IDF для набора уже имеющихся N-грамм, их количество, очевидно, было равно количеству

N-грамм. Далее все три матрицы (первичных признаков, N-грамм и коэффициента TF-IDF) были объединены в одну. Каждый из классификаторов был обучен на каждом из трёх видов обучающих выборок, причем 70% данных были тренировочными, а 30% - тестировочными.

3) Параметры классификаторов во время обучения:

· Linear SVC: C=100.0, penalty=«L1», random_state=241;

· Naпve Bayes classifier: alpha=1.0, fit_prior=True, class_prior=None;

· Gradient Trees Boosting: n_estimators=500, random_state=241, n_jobs=-1, reg_lambda=0.2.

Ниже представлена таблица с информацией о затраченном времени на обучение каждого классификатора:

Таблица 2. Количество времени, затраченное на обучение, сек.