Маркеры отношения к интернету

Размещено на http://www.allbest.ru/

Правительство Российской Федерации

Федеральное государственное автономное образовательное учреждение

высшего образования

Выпускная квалификационная работа

Маркеры отношения к интернету

Москва 2017



Введение

Анализ тональности текстов естественного языка стал одной из самых популярных и исследуемых областей автоматической обработки языка. Это особый случай текстового анализа, как правило, направленный на выявление полярности мнения. В последнее время область его применения становится все шире, от исследовательских задач лингвистики и социологии, где анализ тональности служит дополнительным инструментом, позволяющим изучать язык и поведение людей, и заканчивая прикладными задачами политики, где такой анализ позволяет понимать настроения в обществе и таким образом принимать более эффективные решения в управлении, и маркетинга, где данный инструмент позволяет оценивать и предсказывать отношение потребителя к продукту, что напрямую влияет на эффективность продаж. Анализ тональности, в частности, позволяет проводить исследования и анализ огромного объема данных, находящегося в интернете - в том числе социальные сети, отзывы пользователей на различных сайтах и твиты.

Целью анализа тональности является нахождение и извлечение мнений и отношений говорящего к процессу, событию или объекту из текста на естественном языке и определение их свойств. Такими свойствами могут быть непосредственная оценка, аффективное состояние (то есть эмоциональное состояние автора или говорящего) или предполагаемый эмоциональный эффект (то есть эффект, на который указывает автор или говорящий). интернет тональность маркер

Сами выражения мнений можно разделить на эксплицитные (прямые) и имплицитные (непрямые), то есть выраженные определенными маркерами в тексте и те, которые можно выделить только по смыслу и контексту. Прямое выражение мнения является эмоционально окрашенным высказыванием автора по отношению определенного объекта и может состоять из пяти элементов (иногда присутствуют не все): объект и\или характеристика - атрибут или часть объекта, по отношению к которому сделано высказывание, ориентация (или полярность) - позиция говорящего по отношению к объекту (может быть позитивной, негативной или нейтральной, то есть не содержащей эмоциональной окраски), субъект высказывания (например, говорящий или автор) и время - момент времени, в который было совершено высказывание.

Существует несколько задач, которые может решать анализ тональности. Основные из них:

1. Определение субъективности\объективности мнения

2. Функционально-ориентированный анализ

Первая задача сводится к тому, что требуется отнести выбранное высказывание (обычно одну фразу) к классу объективного или субъективного. Его объективность может зависеть преимущественно от контекста. Отмечается, что удаление объективных высказываний до определения полярности позволяет существенно увеличить точность последующего анализа (Su, Fangzhong; Markert, Katja, 2008).

Вторая задача состоит в том, чтобы определить мнения в отношении определенных объектов или их аспектов, например, ноутбука или обслуживание в ресторане. Аспектом объекта может быть компонент или функция объекта, такие как разрешение камеры, прочность корпуса или качество еды для ресторана. В этих случаях анализ тональности позволяет фиксировать объекты или функции, которые представляют наибольший интерес для пользователя или потребителя, и на основании этих данных получить представление о том, какие аспекты обладают наибольшим весом в принятии решений потребителя. Эта задача включает в себя несколько подзадач, в том числе такие как идентификация и извлечение соответствующих объектов и их признаков и атрибутов и определение тональности для каждого.

Подходы к решению этих задач также можно разделить на три основные части:

1. Основанные на имеющейся информации

2. Статистические

3. Смешанные

Методы, основанные на имеющейся информации берут за основу уже имеющуюся у нас информацию и применяют ее. Например, мы знаем, что существуют определенные аффективные маркеры, такие как «хороший», «плохой», «грустный», которые, в большинстве случаев, позволяют нам судить об эмоциональной окраске высказывания и позволяющие отнести его к определенной категории.

Статистические методы преимущественно используют методы машинного обучения, такие как «мешок слов», векторные модели, деревья решений. Более сложные методы пытаются различать случаи, когда отношение выражается говорящим (то есть выделить того, кто выражает отношение) и когда отношение направлено на объект (выделить объект, на который направлено отношение).

Смешанные модели встречаются наиболее часто и представляют собой комбинацию этих двух подходов.

Данная работа представляет собой исследование тональности и выделение маркеров отношения в текстах, посвященных сети Интернет. Структура этой работы следующая: в первой главе рассмотрены предыдущие работы на тему автоматического анализа настроений и подведены краткие итоги. Во второй главе обозначены цели данного исследования, а также обозначены материалы и методы, которые были использованы в ходе исследования. В первой части третьей главы показана простая дескриптивная статистка употребления слова «Интернет» и его синонимов, а далее рассмотрены различные методы автоматического анализа тональности и выделения маркеров отношения к нему. В заключительной части будут выделены наиболее эффективные способы и методы определения тональности текстов на тему Интернета, сделаны выводы и подведены итоги.



Глава I. Обзор предыдущих работ

В последние несколько лет вокруг анализа тональности текстов естественного языка идет непрекращающаяся дискуссия, и различных работ посвященных данной теме становится все больше. Среди них можно выделить несколько основных подходов. Первый из них - статистический. Он основывается на оценке наиболее частотных слов, маркирующих ту или иную оценку, подсчета расстояний между словами, нахождении частотных n-грамм, и т.д. (Hu and Liu, 2004) (Popescu and Etzioni, 2007) (Scaffidi et al., 2007).

Другие добавляют к этому простой парсинг, обращая внимание на синтаксическую зависимость и оценивая при этом наиболее частотные вершины именных, глагольных и предложных групп (Popescu and Etzioni, 2007). Иногда во внимание принимаются также знаки препинания, а слова, не связанные синтаксически с установленной целью, игнорируются.

Третий подход использует машинное обучение, подходы в котором могут быть примерно разделены на две категории: обучение с учителем (наблюдателем) и обучение без учителя (наблюдателя). В первом случае имеется выборка размеченных данных, и программе требуется определить определенную зависимость между имеющимися данными и их маркерами. В случае анализа тональности такими маркерами обычно являются маркеры отношения (например, «позитивный», «негативный», «нейтральный») или условные маркеры настроения (например, «грустный», «веселый», «заинтересованный», «скучный»). В качестве моделей для обучения с учителем могут быть использованы такие модели как условные случайные поля, УСП (conditional random field, CRF) (Ganu et al, 2009) (Breck and Cardie, 2007), в том числе программы, оперирующие на полу-УСП уровне и позволяющие оперировать данными на уровне фразы (Choi and Cardie, 2010), скрытые Марковские модели (Jin and Ho, 2009), логистические регрессии. Во втором случае изначальная разметка данных отсутствует, и программе требуется самостоятельно выделить признаки, согласно которым входные данные должны быть разделены на кластеры. Такой подход позволяет снизить затраты, связанные, в том числе, с ручной разметкой данных и выбора функций. В числе таких моделей можно выделить, в частности, скрытое распределение Дирихле (Brody and Elhadad, 2010). Однако, точность таких систем часто уступает моделям с участием наблюдателя.

Совсем недавно в задачах анализа тональности стали использоваться рекуррентные нейронные сети, в том числе в задачах определения мнения говорящего (Irsoy and Cardie, 2014). Стоит отметить, что в этой системе в качестве определяющего параметра использовались исключительно векторные модели, что позволило существенно упростить схему. С помощью нейронных сетей возможно определять тональность как на уровне документа, так и на уровне отдельной фразы (Socher et al, 2011;2013).

Довольно часто встречается объединение этих подходов для увеличения точности модели, как, например, использование простого синтаксического парсинга данных перед началом машинного обучения или использование параметра расстояния между словами в дополнение к синтаксическим деревьям (Polyakov, Kalinina and Pleshko, 2015).

Цели

Целью данной работы является поиск и применение наиболее оптимального метода для анализа тональности и извлечения маркеров отношение к Интернету на материале газетных статей. В ходе работы применено несколько различных подходов, для каждого из которых определена его эффективность с помощью различных статистических тестов. Это позволит создать инструмент для дальнейших исследований онлайн-среды, в частности отношения ко Всемирной Паутине в различные периоды ее развития.

Материалы исследования

Данное исследование было проведено на материалах газетных статей различных изданий («Известия», «Новая Газета», «Московский Комсомолец»), опубликованных в последние 15 лет относящихся к тематике интернета. Материалы собраны и предоставлены Научно-учебной лабораторией политических исследований НИУ ВШЭ.

Глава II. Создание корпуса

В связи с тем, что в газетной статье преимущественно невозможно выделить какую-либо эмоциональную окраску, было решено создать корпус предложений, для которых эта окраска более выражена. Все тексты были разбиты на отдельные предложения, для каждого из них была указана такая информация, как название издания, название статьи, дата выхода, автор, ключевые слова, указанные автором (при наличии). Объем корпуса составил 13622 вхождения. Из предложений этого корпуса был создан подкорпус, в который были собраны предложения, содержащие слово «Интернет» или его синонимы. Для 10878 случайных предложений этого корпуса была отдельно размечена эмоциональная окраска - позитивная, негативная или нейтральная. Дальнейшее исследование производилось на материалах размеченного корпуса.

1. Дескриптивная статистика

Внутри трех выбранных классов эмоционально окрашенных предложений можно условно выделить следующие основные кластеры:

1) Негативно окрашенные:

a. Негативное отношение к информации, которая представлена в Интернете (Если посмотреть видео и фото, выложенные в интернете его последователем -- а это на сегодняшний день секта из 15 таких же как он алкашей -- то там его квартира снята вся в крови и грязи.)

b. Неполадки и плохое функционирование сети Интернет (Как объяснить, что у кого-то 2 апреля сайт открывался, а у кого-то нет: доступ к сайту имели только те интернетпользователи чьи провайдеры были подключены напрямую к Московскому узлу обмена трафиком.)

2) Позитивно окрашенные:

a. Интернет является хорошим способом передачи информации о общения (Молодые люди рассказали, что через форумы в Интернете договариваются о патрулировании своего района.)

b. Возможность доступа к сети и качественная работа Интернета (Это и связь с регионами и массовые опросы и о радость для владельцев компьютеров доступ в Интернет.)

3) Нейтральные\с отсутствием эмоциональной окраски:

a. Передача информации с помощью сети Интернет (Подсчет недовольных планируется устроить через Интернет и мобильные телефоны.)

b. Описание изменений, происходящих непосредственно с Интернетом (Если тренды не изменятся и рынок интернетвидео продолжит расти, то доходы от работы с онлайнкинотеатрами могут превысить рекламные доходы КиноПоиска, полагает она.)

c. Сравнение Интернета с другими источниками информации и медиа (Театр задолго до космической эры переносил людей в пределы, которых достигало человеческое воображение и во времена, свободные от кино, интернета, телевизора и был чуть ли не единственным развлечением. Не успеем оглянуться как проблемы традиционных СМИ, не выдерживающих конкуренции с интернетисточниками, станут общими для всей издательской отрасли.)

Выделим наиболее частые случаи употребления слова «Интернет». Для этого соберем список наиболее частотных биграмм по корпусу (первые 15).

Без удаления стоп-слов:

1.	в интернет	3401
2.	сеть интернет	1582
3.	интернет и	636
4.	через интернет	550
5.	интернет в	518
6.	интернет на	262
7.	по интернет	248
8.	из интернет	183
9.	к интернет	177
10.	интернет по	137
11.	интернет а	105
12.	пользователь интернет	95
13.	интернет не	90
14.	интернет для	82
15.	интернет с	78

С удалением стоп-слов (используется стандартный список из модуля nltk):

1.	сеть интернет	1582
2.	пользователь интернет	95
3.	российский интернет	48
4.	интернет источник	42
5.	безопасный интернет	40
6.	интернет работы	36
7.	помощь интернет	32
8.	интернет официальный	30
9.	интернет появляться	27
10.	пользоваться интернет	25
11.	интернет включать	25
12.	развитие интернет	22
13.	интернет автор	22
14.	использование интернет	21
15.	интернет www.fondrgs.ru	19

Отсюда видно, что в первые 15 частотных биграмм входит только одна, которую можно считать оценочной - «безопасный интернет».

Машинное обучение

В связи с неоднородностью размеченных данных - большая часть вхождений маркируется как нейтральные (из 10878 размеченных вхождений 1327 негативно окрашенных, 1619 позитивно окрашенных и 7932 окрашенных нейтрально) было взято по 1000 позитивно, негативно и нейтрально окрашенных случайных вхождений в качестве обучающей выборки и по 300 для тестовой выборки. Выборки не пересекаются между собой. Для каждой модели используется два варианта векторизации - статистическая (CountVectorizer) и с примирением tf-idf меры (TfidfVectorizer). В обоих случаях пунктуация удалена. Маркер pos означает позитивную тональность, neg - негативную тональность, som - отсутствие эмоциональной окраски.

Бейслайн.

В качестве бейслайна используется DummyClassifier. Он выдает следующие результаты:

Count Vectorizer

precision recall f1-score

som 0.34 0.34 0.34

pos 0.24 0.22 0.23

neg 0.30 0.33 0.32

avg / total 0.29 0.29 0.29

Tf-idf

precision recall f1-score

som 0.33 0.29 0.31

pos 0.37 0.42 0.39

neg 0.40 0.39 0.39

avg / total 0.37 0.37 0.37

Матрица ошибок (Confusion matrix) для него выглядит следующим образом:

Отсюда видно, что бейслайн имеет сравнительно низкую точность, сравнимую со случайным распределением. В случае статистической векторизации он не справляется с выделением позитивно окрашенных предложений, а при векторизации по tf-idf наоборот, имеет высокую точность при выделении позитивно окрашенных предложений, не справляясь с выделением всех остальных.

Наивный классификатор Байеса

Наивные классификаторы Байеса -- это семейство простых вероятностных классификаторов, основанных на применении теоремы Байеса с сильными (наивными) допущениями независимости между функциями. Он является одним из наиболее популярных методов разделения объектов на определенные категории. Этот классификатор использует частоту слов в качестве основного признака.

Алгоритм наивного классификатора Байеса является условной вероятностной моделью, для которой каждый заданный экземпляр задачи должен быть представлен в виде вектора x = (x1, x2,….xn), который представляет некие n признаков, и на основании этого вектора присваивает выбранному объекту вероятность.

Обучим имеющуюся модель с помощью наивного классификатора Байеса:

Count Vectorizer

precision recall f1-score

som 0.53 0.68 0.60

pos 0.59 0.47 0.52

neg 0.60 0.56 0.58

avg / total 0.57 0.57 0.57

Tf-idf

precision recall f1-score

som 0.53 0.66 0.59

pos 0.57 0.53 0.55

neg 0.66 0.55 0.60

avg / total 0.59 0.58 0.58

Видно, что точность этой модели несколько выше, чем точность бейслайна (ф-мера 0.57\0.58 в сравнении с 0.29\0.37 - практически в два и в полтора раза выше соответственно), у нее нет «выпадающих» признаков, как было в предыдущем случае. Лучше всего выделяются нейтральные маркеры, но остаются некоторые трудности с определением предложений с позитивным маркированием - модель относит их к нейтрально маркированным, что более выражено при количественной векторизации и менее выражено при tf-idf векторизации.

Логистическая регрессия

Логистическая регрессия (logistic regression, or logit regression, or logit model) представляет собой регрессионную модель, в которой зависимая переменная может быть отнесена к определенной категории. Она используется для оценки вероятности того или иного ответа на основании одной или более предикторных (или независимых) переменных (признаков).

В процессе обучения этой модели получаем следующие результаты:

Count Vectorizer

precision recall f1-score

som 0.41 0.50 0.45

pos 0.46 0.48 0.47

neg 0.55 0.41 0.47

avg / total 0.47 0.46 0.46

Tf-idf

precision recall f1-score

som 0.47 0.56 0.51

pos 0.52 0.44 0.47

neg 0.59 0.56 0.58

avg / total 0.53 0.52 0.52

Отсюда можно увидеть, что точность логистической регрессии несколько ниже, чем точность наивного классификатора Байеса (ф-мера 0.46\0.52 в сравнении с 0.57\0.58). Эта модель также часто неверно разделяет случаи позитивного и нейтрального маркирования, относя первое ко второму (более выражено для модели статистической векторизации и менее для tf-idf).

Из полученных данных видно, что модели на основании tf-idf векторизации лучше выделяют кластер негативно маркированных сообщений, при примерно равной точности выделения остальных двух классов. В итоге получается, что модель, основанная на наивной классификации Байеса с векторизацией по tf-idf является наиболее точной по полученным данным. Дальнейшее обучение будет производиться на основе этой модели.

Синтаксический анализ и пунктуация

Посмотрим, как на работу модели будет влиять добавление базового анализ синтаксических связей, а также наличие\отсутствие пунктуации.

Результаты при добавлении в модель пунктуации:

Tf-idf

precision recall f1-score

som 0.55 0.69 0.61

pos 0.63 0.53 0.56

neg 0.68 0.59 0.64

avg / total 0.62 0.60 0.60

Получается, что при наличии пунктуации точность обучаемой модели несколько повышается.

Для синтаксического анализа был выбран синтаксический парсер TreeTagger (Schmid, 1994). В результате обработки вхождения с помощью данного парсера производится обозначение синтаксических связей внутри предложения, а также лемматизация.

Результаты обучения модели с применением парсинга и лемматизации:

Tf-idf

precision recall f1-score

som 0.49 0.58 0.59

pos 0.53 0.50 0.49

neg 0.60 0.59 0.58

avg / total 0.54 0.55 0.55

Из этих результатов видно, что синтаксический анализ не дает результатов при обучении модели и наоборот, понижает точность ее обучения.



Заключение

На основании полученных результатов наиболее оптимальной моделью обучения для задачи маркирования высказываний, выражающих отношение к интернету является модель, построенная на основе наивного классификатора Байеса с сохранением пунктуации и без дополнительного анализа синтаксиса. Полученная точность модели может объяснятся спецификой обрабатываемых данных: так как анализ произведен на основании исключительно газетного корпуса, многие выделенные маркеры могут характеризовать подобный стиль в целом, но не маркировать отношение говорящего, а признаки, выбивающиеся из общего стиля могут быть отнесены программой к маркерам определенной эмоциональной окраски, хотя на самом деле они таковыми не являются. В дальнейшем имеет смысл увеличить объем корпуса, возможно, дополнив его не только газетными статьями, но и текстами других стилей, в том числе художественными, научными, твитами и текстами из социальных сетей. На основании расширенного корпуса возможно будет произвести более полный анализ данных по более узким категориям (в т.ч. провести анализ настроеий), а также более подробно рассмотреть эксплицитные маркеры тональности по отношению к Интернету.



Список использованных источников и литературы

1. Helmut Schmid (1994), Probabilistic Part-of-Speech Tagging Using Decision Trees. Proceedings of International Conference on New Methods in Language Processing, Manchester, UK.

2. Hu M., Liu B. (2004), Mining and summarizing customer reviews, International Conference on Knowledge Discovery and Data Mining (ICDM)

3. Breck E., Choi Y., Cardie C. (2007). Identifying expressions of opinion in context. In IJCAI, pp. 2683-2688.

4. Popescu A. M., Etzioni O., (2007), Extracting product features and opinions from reviews, In Natural language processing and text mining (pp. 9-28)

5. Scaffidi C., Bierhoff K., Chang E., Felker M., Ng H., Jin C., (2007), Red Opal: product-feature scoring from reviews, In Proceedings of the 8th ACM conference on Electronic commerce, pp. 182-191

6. Pang B., Lee L (2008) Opinion Mining and Sentiment Analysis (Foundations and Trends in Information Retrieval) (pp. 1-135)

7. Su, Fangzhong; Markert, Katja (2008). "From Words to Senses: A Case Study in Subjectivity Recognition" (PDF). Proceedings of Coling 2008, Manchester, UK.

8. Jin Wei, Hung Hay Ho, (2009), A novel lexicalized HMM-based learning framework for web opinion mining, in Proceedings of International Conference on Machine Learning (ICML-2009).

9. Ganu, G., Elhadad, N., and Marian, A. (2009). Beyond the Stars: Improving Rating Predictions using Review Text Content. In WebDB (Vol. 9, pp. 1-6).

10. Niklas J., Gurevych I., (2010), Extracting Opinion Targets in a Single and CrossDomain Setting with Conditional Random Fields, in Proceedings of Conference on Empirical Methods in Natural Language Processing (EMNLP-2010)

11. Andrew L. Maas, Raymond E. Daly, Peter T. Pham, Dan Huang, Andrew Y. Ng, and Christopher Potts, (2011), Learning Word Vectors for Sentiment Analysis

12. Mayorov V., Andrianov I., Astrakhantsev N., Avanesov V., Kozlov I., Turdakov D. (2015), A High Precision Method for Aspect Extraction in Russian (Диалог-2015)

13. Blinov P., Kotelnikov E. (2015) Semantic Similarity for Aspect_Based Sentiment Analysis

14. Vasilyev V., Denisenko A., Solovyev D. (2015) Aspect Extraction and Twitter Sentiment Classification by Fragment Rules

15. Четвёркин И., Лукашевич Н. (2010) Автоматическое извлечение оценочных слов для конкретной предметной области

16. Майоров В., Аванесов В., Андрианов И., Астраханцев Н., Козлов И., Турдаков Д. (2015) Высокоточный метод извлечения аспектных терминов для русского языка

17. Поляков П. Ю., Калинина М. В., Плешко В. В. (2015) Автоматическое определение тональности объектов с использованием семантических шаблонов и словарей тональной лексики

18. Тарасов Д. С. (2015) Глубокие рекуррентные нейронные сети для аспектно-ориентированного анализа тональности отзывов пользователей на различных языках

Размещено на Allbest.ru