Количественный рекуррентный анализ в обнаружении экстремальных событий в социальных сетях

Первая мера в рекуррентном количественном анализе - доля точек повторения (percent recurrence or recurrence rate, REC or RR).

(1)

Которая просто вычисляет количество черных точек в RP, исключая главную диагональ. Она является мерой относительной плотности точек повторения в разреженной матрице и связана с определением суммы корреляции. Данная мера оценивает, насколько вероятно повторение состояния системы.

Когда RR используется в качестве оценки суммы корреляции, требуются большие сегменты данных. В длинных временных рядах вероятность обнаружения рекуррентности на рекуррентной диаграмме, а также вероятность повторения данного события может рассчитываться по следующей формуле.

(2)

Зная вероятность состояния случайного процесса для размерности m = 1, RR можно аналитически вычислить с помощью другой формулы:

(3)

Данная вероятность может использоваться для аналитического описания мер RQA для некоторых систем.

Второй мерой в RQA является процент детерминизма/предсказуемости (determinism, DET), определяемый как доля точек повторения, образующих диагональные линии.

Системы, обладающие детерминированной (подчиняющейся правилам) динамикой, характеризуются диагональными линиями, указывающими на рекуррентность состояний. Для периодических сигналов диагональные линии длинные. Для хаотических сигналов диагональные линии короткие. Для стохастических сигналов диагональные линии отсутствуют, за исключением случайных очень коротких линий повторения. DET можно интерпретировать как предсказуемость системы в большей степени для периодического поведения, чем для хаотических процессов. Но следует понимать, что DET не имеет такого же строгого значения детерминизма процесса. Параметр устанавливает нижние границы для определения линий в рекуррентной диаграмме.

Порог исключает диагональные линии, образованные движением по касательной траектории фазового пространства. Как правило, равен 2.

Если равен 1, DET и RR идентичны. При > 2 этот параметр служит фильтром, исключающим более короткие линии и убывающий DET, что практически полезно для изучения некоторых динамических систем. Стоит принять во внимание, что слишком большой может ухудшить гистограмму и, таким образом, надежность измерения DET.

Третья переменная в RQA - это максимальная длина диагональной линии (за исключением главной диагонали).

 (5)

Данная мера просто характеризует длину самой длинной диагонали во всем RP. Поскольку диагональные структуры показывают диапазон, в котором сегмент траектории довольно близок к другому сегменту траектории в другое время, то эти линии дают подсказку о расхождении сегментов траектории. Чем меньше , тем больше расходятся траектории. Исходя из этой идеи, очевидно, что существует связь между наибольшим положительным показателем Ляпунова (если он есть в рассматриваемая система) и . Действительно, связь можно найти, рассматривая частотное распределение длин диагональных линий и энтропию, которая является нижним пределом суммы положительных показателей Ляпунова.

С связана и средняя длина диагональных линий, которая высчитывается следующим образом:

Это среднее время, когда два отрезка траектории находятся близ друг к другу. В этом случае можно интерпретировать как среднее время прогнозирования.

Четвертая переменная в рекуррентном количественном анализе - это энтропия Шеннона частотного распределения длин диагональных линий (ENT):

, где (7)

Данная мера отражает сложность детерминированной структуры в системе. Чем выше тем сложнее динамика, например, для некоррелированного шума или колебаний, значение довольно мало, что указывает на его низкую сложность. Данную меру можно описать и чуть иначе, энтропия определяет, сколько информации нужно для восстановления системы. Низкое значение энтропии указывает, что для идентификации системы требуется немного информации, в отличие от этого, высокая энтропия указывает на то, что требуется много информации. Энтропия мала, когда длина самого длинного сегмента, параллельного диагонали, мала и не сильно изменяется. Это должно быть связано с информацией о детерминизме. Высокая энтропия характерна для периодического поведения, в то время как низкая энтропия указывает на хаотическое поведение.

Пятой мерой RQA является тренд (TND), который представляет собой коэффициент линейной регрессии по плотности точек повторения на параллельных главной диагонали линиях.

Меры, введенные до настоящего времени, RR, DET, и другие могут быть рассчитаны отдельно для каждой диагонали, параллельной главной и с расстоянием k до неё. Например, плотность точек повторения по диагоналям с расстоянием k от главной равно:

Используя приведённую выше формулу, можно получить формулу для тренда:

Тренд дает информацию о стационарности в сравнении с нестационарностью в процессе. Квазистационарная динамика будет иметь значения TND, которые колеблются около 0. Нестационарная динамика будет иметь значения TND, далекие от 0, показывая дрейф в динамике, что может указывать на то, что система находится между более стационарными состояниями. Вычисление TND исключает ребра RP ( < ), из-за отсутствия статистики по причине меньшего количества точек повторения. Выбор зависит от изучаемого процесса. В то время как > 10 должно быть достаточно для шума, эта разница должна быть намного больше для процесса с некоторой автокорреляцией (всегда должно быть достаточно десятикратного порядка времени автокорреляции). Следует отметить, что, если используется зависящий от времени RQA (меры вычисляются в сдвинутых окнах), то TND будет сильно зависеть от размера окон и может давать противоположные результаты для разных размеров окон.

Пять переменных RQA, определенных выше, основаны главным образом на длине, количестве и распределении диагональных линий в RP. То есть они чувствительны к параллельным траекториям вдоль разных отрезков временного ряда. Но в RP имеются не только диагональные линии, а также вертикальные и горизонтальные элементы. На основании этих вертикальных линий Marwan с соавторами представили дополнительные количественные оценки рекуррентности.

Шестой мерой на основании их суждений стало замирание (laminarity, LAM).

LAM содержит определение, аналогичное определению DET, то есть LAM показывает процент повторяющихся точек в вертикальных структурах, тогда как DET сообщает процент повторяющихся точек в диагональных структурах.

LAM вычисляется для тех , которые превышают минимальную длину , чтобы уменьшить влияние точек пребывания. Для итеративных карт (в отличие от непрерывных потоков) обычно устанавливается равным 2. Поскольку LAM количественно определяет относительный объем вертикальных структур по всей рекуррентной диаграмму, то он также показывает частоту возникновение ламинарных состояний в системе. Длина ламинарных фаз во времени игнорируется, но LAM будет уменьшаться, если RP содержит повторяющиеся точки, которые более изолированы, чем в вертикальных или диагональных структурах.

Исходя из этого определим седьмую меру, являющуюся средней длинной вертикальных структур, показателем задержки (trapping time, TT):

В вычислениях также используется минимальная длина , как и в LAM. ТТ содержит информацию о количестве и длинах вертикальных структур в RP, демонстрируя среднее время, в течение которого система будет находиться в определенном состоянии (насколько долго состояние задержится). Восьмой и заключительной мерой рекуррентного количественного анализа является максимальная длина вертикальных структур , которая как и гласит название определяет самую длинную вертикальную линию на рекуррентной диаграмме:

И сама по себе аналогична диагональной мере Но чётко интерпретировать достаточно сложно, хотя она и может быть связана с сингулярными состояниями.

В отличие от пяти основных мер RQA, эти новые меры способны находить переходы хаос-хаос. Следовательно, эти меры делают возможным исследование перемежаемости, даже если они происходят только в довольно коротких и нестационарных временных рядах. Поскольку эти меры равны нулю для периодической динамики, то можно обнаружить и переходы порядок-хаос.

Рассмотрим на существующих примерах, как можно работать с данными мерами на практике. Поскольку социальные сети предполагают работу со словами, символами, то и пример для рассмотрения выберем похожий.

Рекуррентный анализ или кросс-рекуррентный анализ прекрасно работают с лингвистическими системами или символической динамикой. На самом деле, одно из самых простых объяснений рекуррентности можно понять по простой детской книге, написанной доктором Сьюзом, «Green Eggs and Ham». Уэббер и Збилут неоднократно использовали этот пример в учебных целях. Рассуждение состоит в следующем. Задайте ребенку загадку: «Как доктор Сьюз может написать книгу из 812 слов, если у него ограниченный словарный запас, состоящий всего из 50 слов?» Очевидный ответ заключается в том, что слова должны повторяться. По аналогии почему бы не спросить ребенка: «Как книги с тысячами слов могут быть написаны на русском языке, если доступно только 33 буквы алфавита?». В этом случае необходимо использовать повторно буквы. Таким образом, на уровне слов или орфографическом (орфографическом) уровне символы можно просто повторно использовать в любой комбинации, желаемой автором, при условии, что они соответствуют допустимым словам на выбранном языке. Опыт показывает, что буквы в словах или слова в предложениях не появляются и не должны появляться рядом какое-то время. Скорее, фактические лингвистические последовательности являются одновременно очень нелинейными и очень значимыми.

В этом контексте Вальтер, Уэббер и Збилут в 1999 году внедрили RQA для изучения лингвистического структурирования американских стихов, шведских стихов и итальянских переводов шведских стихов. Они обнаружили неизменность среди различных языковых образцов, предлагая скрытое структурирование на орфографическом уровне. Имеют ли разные авторы или разные докладчики конкретные повторяющиеся сигнатуры, передающие их индивидуальность? Можно продолжить на орфографическом уровне, переводя любой речевой текст в числовую форму путем произвольной замены целых чисел на буквы: А = 1; Б = 2; В = 3; ...; Э = 31; Ю = 32; Я = 33; и для чисел: 0 = 34; 1 = 35; 2 = 36…; 7 = 41; 8 = 42; 9 = 43. Мы можем упростить задачу, игнорируя регистры букв, все знаки препинания, пробелы и переводы строк. Возникает вопрос: как определить параметр рекуррентности? Итак, поскольку схема кодирования полностью произвольна (можно использовать и другой порядок: Я = 1; Ю = 2; Э = 3;…; и т.д.), то наиболее важным ограничением является то, что радиус должен быть равен 0. Это гарантирует, что только одинаковые буквы (уникальные целые числа) будут повторяться друг с другом. Размерность вложения может быть равно 1 или выше, но для размерности > 1 задержка должна быть установлена на единицу, чтобы не пропустить ни одной буквы в строке. Длина текста задает максимальный размер окна, но меньшие окна могут разделить текст на несколько эпох. Не имеет значения, масштабирована ли матрица расстояний или нет, потому что единственный допустимый радиус - 0. Параметр line (Этот параметр важен при извлечении количественных признаков из рекуррентных диаграмм, но не оказывает влияния на саму рекуррентную матрицу. Если длина рекуррентного объекта меньше, чем параметр линии, то во время количественного анализа этот объект отклоняется. Обычно данный параметр устанавливают равным 2, поскольку для определения любой линии требуется минимум две точки. Но можно увеличить параметр строки (с целочисленными шагами) и тем самым реализовать функцию количественного фильтра для извлечения признаков) должен быть равен 2, если, конечно, не хотите исключать короткие слова длиной более двух символов каждое (но это не рекомендуется). После завершения этих предварительных данных, что могут означать структуры диагональных линий на графике повторения? Если в качестве повторяющихся точек учитываются только идентичные буквы, строка диагональных повторений должна указывать на то, что идентичные строки символов появляются в разных позициях в тексте. На самом деле, строки различной длины должны представлять слова различной длины. Количественная рекуррентность может быть зафиксирована в восьми рекуррентных мерах, которые были рассмотрены ранее.

Теперь отойдём от символов и перейдём к словам. Возникает новая проблема, каким образом закодировать слова. В отличие от английских букв, которые ограничены 26 символами и 10 цифрами, английские слова могут исчисляться сотнями тысяч. Например, Оксфордский словарь английского языка содержит около 290 000 статей и 616 500 различных английских словоформ. Чтобы закодировать слова, можно назначить целочисленные значения каждому новому слову текста, но всякий раз, когда слово повторяется, его старое целочисленное значение должно использоваться повторно. Для простоты можно рассматривать все знаки препинания как пробелы. После того, как полный текст закодирован, общее количество целых чисел в производном файле должно равняться общему количеству слов в тексте. Количество различных слов в тексте (размер словаря) будет представлено числовым значением наибольшего целого числа.

Давно известно, что психическая болезнь шизофрении характеризуется нарушенной речью. Итак, чтобы предоставить практический пример количественного текстового анализа с использованием RQA, рассмотрим речевые паттерны пациента с шизофренией и получившего «нормальное» академическое образование, приведенные Врубелем. Каждая цитата состоит ровно из 165 слов. Сначала цитируется шизофреник, контекст которого раскрывает измененное чувство реальности этого пациента. Чтобы понять суть того, как были закодированы 165 слов, вот коды для первых 26 слов («pre-started» считается как 2 слова из-за замены тире пробелом): 1-2-3-4-5-6-7-8-9-10-11-12-13-14-15-16-17-18-14-15-16-3-19-18-14-20 (обратите внимание на пример повторения 14-15-16: «before me and»).

Второй цитируемый - это обычный академик, который говорит логически. Первые 26 слов (из 165 слов) были закодированы следующим образом: 1-2-3-4-5-6-7-8-9-10-11-9-10-12-13-14-15-6-16-17-18-19-20-21-22-23 (обратите внимание на повторение 9-10: «of the»).

Слева в таблице представлен оригинальный текст, который использовался в дальнейшем анализе, справа его перевод на русский язык.

Таблица 2. Речь шизофреника и академика на английском и русском языках

In Wroclaw I pre-started to pray, you know, the psychiatrist Kobohen came before me and he stood before me and I also stood before him, because he came to the ward on a visit, you know, he came before and he says: oh, that's the new one--he says--he arrived today--he says and he made a sign of the cross, you know, like this before me. I felt in the presence of that such terrible desires to pray because of that cross, that I began praying incredibly, I prostrated myself, I prayed on my knees, prostrate, I so implored the Lord God as much as possible, you know, and I felt myself a ruler, you know, I thought I was the supreme ruler on this earth, that over the whole world I was the supreme ruler, I began praying so incredibly with various crosses, yes I prayed so incredibly with crosses, with perfection and in different ways. He was dismissed from there, …	Знаете, во Вроцлаве я заранее начал молиться, психиатр Кобохен прибыл раньше меня и встал передо мной, а я встал перед ним, потому что он посетил в палату. Знаете, он пришёл и сказал: о, новенький - сказал он - сегодня прибыл - сказал он и перекрестился, знаете, прям передо мной. Я почувствовал такое ужасное желание помолиться из-за этого креста, что немедля начал молитву. Забывшись, я молился на коленях, я как только мог умолял господа Бога, знаете, я чувствовал себя правителем, знаете, я думал я и есть верховный правитель этой земли, всего мира. Я начал отчаянно молиться и креститься, да, молился и крестился, совершенно, самыми разными способами. Тогда он ушёл…
Newtonian mechanics, for example, imposes a unified form of the description of the world. Let us imagine a white surface with irregular black spots on it. We then say that whatever kind of picture these make, I shall be able to approximate as closely as I wish to the description of it by covering the surface with a sufficiently fine square mesh, and saying of every square whether it is black or white. In this way I shall have imposed a unified form on the description of surface. The form is optional, since I could have achieved the same result by using a net with a triangular or hexagonal mesh. Possibly the use of a triangular mesh would have made the description simpler: that is to say, it might be that we could describe the surface more accurately with a coarse triangular mesh than with a fine square mesh (or conversely), and so on. The different nets correspond to different systems for describing the world.	Ньютоновская механика, к примеру, навязывает единую форму описания мира. Давайте представим белую поверхность с нерегулярными черными пятнами на ней. Затем мы говорим, что какой бы картина там ни была, я смогу приблизиться к описанию ее настолько близко, насколько захочу, покрыв поверхность достаточно тонкой квадратной сеткой и говоря о каждом квадрате, является ли он черным или белым. Таким образом, я наложу унифицированную форму на описание поверхности. Квадратная форма необязательна, ведь я мог бы достичь того же результата, используя сеть с треугольной или шестиугольной сеткой. Возможно, использование треугольной сетки сделало бы описание более простым: то есть, возможно, мы могли бы описать поверхность более точно с помощью грубой треугольной сетки, чем с мелкой квадратной сеткой (или наоборот), и так далее. Разные сетки соответствуют разным системам описания мира.

Для 165 слов текста (на английском языке), составляющих речь каждого субъекта, были построены рекуррентные диаграммы (рисунок 13).

Рисунок 13. Рекуррентная диаграмма речь шизофреника (а), рекуррентная диаграмма речи академика (б)

Сложно сказать что-то особенное, глядя на эти два графика, поскольку наблюдений довольно мало, но стоит отметить тот факт, что у академика повторяются довольно разные слова (точки размыты по всей поверхности диаграммы), в то время как у шизофреника заметна склонность к повторению недавно сказанных слов (точки чаще встречаются у главной диагонали)

«Временные ряды» рядом с каждой рекуррентной диаграммой представлены в виде «пилообразных» паттернов из-за повторного использования (повторения) слов. Рекуррентные точки строятся только тогда, когда найдено точное совпадение слов. Количественные показатели рекуррентности для этих двух субъектов как на уровне орфографии, так и на уровне слов до и после случайной перетасовки приведены в таблице ниже. Обычный текст из 742 символов был сокращён до 670 символов, чтобы соответствовать количеству символов в шизофреническом тексте.

Таблица 3. Меры RQA для речи шизофреника и академика

Меры RQA	Символы шизофреника (N=670)	Символы академика (N=670)	Слова шизофреника (N=165)	Слова академика (N=165)
%RR	6.511 (6.511)	6.312 (6.312)	1.890 (1.890)	1.567 (1.567)
%DET	22.257 (12.019)	22.280 (11.600)	26.087 (3.953)	23.113 (0.943)
Dmax	19 (4)	16 (4)	5 (2)	3 (2)
ENT	0.995 (0.317)	0.986 (0.359)	0.675 (0.000)	0.773 (0.773)
TND	0.104 (0.029)	0.251 (0.240)	-8.361 (2.108)	-1.898 (-1898)
%LAM	4.495 (12.636)	1.484 (18.576)	0.000 (11.067)	0.000 (0.943)
TT	2.000 (2.185)	2.000 (2.104)	2.000 (undefined)	Undefined (2.000)

Беглый обзор данных показывает больше различий на уровне слов, чем на орфографическом уровне. Перестановка решительно искажает детерминированные структуры. По большей части эти примеры - только неподтвержденные упражнения без статистической ценности. Но что стоит отметить, так это возможность использования методологии нелинейного рекуррентного подхода в различных речевых моделях многих субъектов.

В данном разделе были рассмотрены основные теоретические сведения, связанные с рекуррентными диаграммами и рекуррентным анализом, которые позволят начинающим исследователям разобраться в данной области. Кроме того, эти знания позволят в дальнейшем использовать их на практике для работы с данным видом анализа. Помимо всего этого в разделе была рассмотрена небольшая историческая справка по развитию этого вида анализа данных. А разделы, посвящённые экстремальным событиям и анализу текста, необходимы для более глубокого понимания действий при проведении рекуррентного анализа над текстовыми данными для обнаружения экстремальных событий.

2. Применение рекуррентного анализа для обнаружения экстремальных событий

В конце прошлой главы был рассмотрен пример применения рекуррентного анализа для текстовых данных, который просто продемонстрировал необходимые шаги для применения данного метода. Если кратко, то эти шаги выглядят следующим образом:

1. Преобразование текстовых данных во временной ряд

2. Использование вычислительных инструментов для построения рекуррентной диаграммы

3. Расчёт мер количественного рекуррентного анализа

Всего три шага после которых можно делать определённые выводы по получившимся результатам.

В данной главе будут рассмотрены необходимые для анализа инструменты и ещё три примера применения данного вида анализа, и помимо этого на каждом примере попробуем обнаружить экстремальные события (крахи).

Первый пример - промышленный индекс Доу-Джонса во времена Великой депрессии. Данный образец не имеет особого отношения к текстовым данным и социальным сетям, но является хорошим примером, наглядно демонстрирующим как можно обнаружить экстремальные события благодаря мерам рекуррентного количественного анализа.

Второй и третий пример будут связаны между собой, поскольку основываться они будут на биткоине. В первом случае будет рассмотрена динамика цен на биткоин (финансы), а во втором случае количество тегов «биткоин» в социальной сети Twitter по дням (социальная сеть). Будут использоваться данные за один и тот же период времени, который охватывает резкий скачок цены биткоина и столь же резкое его падение. После чего будет проведён сравнительный анализ: какие данные для раннего обнаружения экстремальных событий лучше, точные данные цен или же данные, созданные человеком.

Главное отличие рекуррентного анализа в разных областях - начальные данные. Когда речь идёт о финансах или финансовом секторе, то самый простой вид данных - стоимость акций или ресурса. И такие данные есть в общем доступе для скачивания. Прекрасным примером ресурса с подобными данными является Yahoo Finance (finance.yahoo.com), где можно найти данные практически по всем котировкам и бесплатно скачать csv файл за любой промежуток времени. Именно это ресурс будет в дальнейшем использоваться для примера с промышленным индексом Доу-Джонса и биткоином.

В отличие от финансового сектора, в котором имеются чёткие численные данные, работая с текстом всё не так просто. Поскольку требуется обнаружить рекуррентность, то перед исследователем в самом начале возникает вопрос: а каким образом преобразовать данные.

Один из возможных способов уже был продемонстрирован в первой главе, когда были рассмотрены тексты шизофреника и академика. В том случае каждому новому слову присваивался номер а уже повторяющиеся слова имеют те же значения, что и у их раннего аналога. Таким не хитрым способом можно закодировать все слова, а позже использовать это как временной ряд для анализа, что и было проделано в примере. Естественно, делать подобное вручную не слишком удобно, поэтому самый лёгкий способ - написать небольшой скрипт, который автоматически проделает данную операцию.

Второй способ - поиск существующих временных рядов данных, которые собирают некоторые онлайн-платформы или другие исследователи. В таком способе имеется два существенных недостатка:

1. Необходимых данных может попросту не иметься

2. Все подобные платформы платные, а значит придётся заплатить определённую сумму даже не имея стопроцентной гарантии, что необходимый набор данных за нужный период хранится в их онлайн-базе

Конечно, бывают и исключения (хотя подобное редкость), как например временной ряд количества хэштегов «биткоин» в социальной сети Twitter в день, который будет использоваться в третьем примере в данной главе. Хотя даже в этом случае не обошлось без недостатков, поскольку хоть сам временной ряд на исходной платформе и является интерактивным, но из-за отсутствия данных в формате csv, их придётся переносить в нужный формат вручную.

И наконец третий способ - использование существующих специализированных программ для анализа текстов, одну из которых и планировалось использовать в данной работе, но из-за блокировки Twitter автора получить данные не представилось возможным, а потому и пришлось воспользоваться вторым способом.

Программа, о которой сейчас идёт речь - Mozdeh (big data text analysis), разработанная исследовательской группой статистической киберметрики университета Вулверхэмптона. Это бесплатное приложение для анализа текстов. Внешне приложение выглядит как на рисунке 14.



Рисунок 14. Приложение Mozdeh

В нём имеется множество различных функций, способных облегчить сбор информации, особенно когда дело касается социальных сетей. Некоторые из его возможностей перечислены ниже:

Сбор данных: Mozdeh может собирать текстовые данные социальных сетей непосредственно с самих сайтов, таких как Twitter и YouTube, или может импортировать тексты, собранные другими способами. И Twitter, и YouTube в настоящее время обмениваются своими данными через интерфейс прикладного программирования, который представляет собой технологию обмена информацией, с которой Mozdeh взаимодействует для загрузки сообщений. В будущем эти сайты могут отозвать свои API или взимать плату за них. В этом случае функция будет изъята из Mozdeh. По этой причине рекомендуется собирать данные как можно скорее. Другие сайты могут также начать предлагать полезные API-интерфейсы, которые затем могут быть добавлены в Mozdeh, но в данный момент помимо Twitter и YouTube, программа может собирать данные с TripAdvisor, Scopus, Reddit, Facebook и текст с веб-страниц. Единственным недостатком является то, что данная программа позволяет собирать либо все твиты самого пользователя, либо лишь недавние твиты других пользователей данной социальной сети. Поэтому в случае необходимости каких-то старых данных, их всё равно придётся купить на какой-нибудь платформе. Пример сбора данных показан на рисунке 15.

Рисунок 15. Сбор данных приложением Mozdeh

Поиск и фильтрация: Когда Mozdeh собирает или импортирует тексты, они группируются в «проект» для анализа. После завершения этапа сбора данных можно начать анализ проекта. Загруженные тексты можно исследовать в Mozdeh с помощью комбинации поиска по ключевым словам, фильтров и параметров сортировки. Эти средства полезны для изучения темы, а также как часть ассоциативного анализа. Справка по некоторым из этих параметров доступна в Mozdeh на его веб-сайте или при наведении курсора мыши на кнопку, как на рисунке 16.

Рисунок 16. Поиск и фильтрация данных приложением Mozdeh

Анализ тональности текста: Сентимент-анализ - это один из видов анализа, использующий компьютерную программу для обнаружения и классификации субъективного контента. Mozdeh включает в себя программу SentiStrength для оценки силы положительных и отрицательных настроений в текстах. SentiStrength лучше всего подходит для английского языка, но также может классифицировать настроения на нескольких других языках. Анализ тональности текста полезен для выявления проблем, которые вызывают положительные или отрицательные комментарии, а также для сравнения позиций различных групп, таких как мужчины и женщины. Пример можно увидеть на рисунке 17.

Рисунок 17. Анализ тональности текста приложением Mozdeh

Функция определения пола: Mozdeh может угадать пол автора сообщения по имени пользователя. Это делается путем разделения имени пользователя на две части, интерпретации первой части как их первого (заданного) имени, а затем проверки, используется ли это имя исключительно одним полом или нет. Если это так, то предполагается, что автор принадлежит к этому полу. Если нет, то пол автора остается без назначения. Список имён по половому разделению взят из переписи населения США 1992 года. Из этого списка используются 1022 наиболее распространенных мужских и 3938 наиболее распространенных женских имен. Имя включается в список, если оно используется одним полом по крайней мере в 90% случаев. США - космополитическая страна, поэтому этот список должен хорошо работать для всех англоязычных стран, а также должен быть разумным для большинства западных стран. Список также включает несколько названий, относящихся к конкретному полу (например, Mr, Ms) для людей, которые включают их в свои имена пользователей. В Twitter и YouTube этот метод, по-видимому, дает несколько ложных совпадений и определяет пол лишь примерно 30% пользователей. Остальные люди, как правило, имеют имена, которые не являются производными от их официальных имен. Данная функция не особо полезна для рекуррентного количественного анализа, но является полезной для сентимент-анализа текста.

Временной ряд по дате сообщения (рисунок 18): Многие тексты в социальных сетях содержат точную дату и время публикации. Если коллекция текстов охватывает длительный период, то ее можно использовать для обнаружения изменений во времени. Mozdeh поддерживает три типа анализа времени: обнаружение трендов, обнаружение всплесков и обнаружение различий. Первые два основаны на визуальных проверках графиков временных рядов.

Рисунок 18. Построение временного ряда по дате сообщения приложением Mozdeh

Данная функция очень полезна для рекуррентного анализа текстов социальных сетей, поскольку при её использовании совместно с поиском по ключевому слову можно построить временной ряд, характеризующий частоту упоминания ключевого слова (словосочетания) во времени, как показано на рисунке выше. На самом деле, нечто подобное и будет использоваться для одного из дальнейших примеров.

Ассоциативное обучение: Mozdeh может автоматически проверять связи между ключевыми словами запроса и (или) фильтрами на главном экране поиска и словами во всех текстах проекта. Это делается путем:

1. Нахождения всех текстов, которые соответствуют запросу и / или фильтрам.

2. Извлечение слов из всех соответствующих текстов.

3. Проверка, встречаются ли эти слова чаще в соответствующих текстах, чем в остальных текстах.

4. Перечисление результатов в порядке убывания значимости различий с использованием различий в пропорциях и статистических критериев хи-квадрат. Значение хи-квадрат является наиболее подходящим для статистических тестов.

5. Дальнейший анализ статистически значимых терминов для выявления их причин.

Оставшиеся функции программы не имеют отношения к анализу текста, а потому будут опущены в данной работе. Благодаря большому числу функций, данная программа является прекрасным инструментом для подготовки текста к рекуррентному анализу. К примеру, можно ограничиться лишь основными функциями: сбор данных, поиск по ключевым словам, построение временного ряда. Но, кроме этого, некоторые исследователи могут попытаться рассмотреть лишь те сообщения из социальных сетей, которые имеют положительную тональность или же написаны только мужчинами, и для этого как раз имеются нужные функции, которые расширяют возможности для анализа и сравнения результатов.

После получения временного ряда возникает следующий вопрос, а какие инструменты позволят нарисовать рекуррентную диаграмму и рассчитать существующие показатели. На самом деле, большая часть программ уже устарела и не поддерживается современными системами, так как были созданы в начале тысячелетия. Взамен некоторые языки программирования обзавелись дополнительными библиотеками для данного вида анализа. В данном подразделе речь пойдёт о двух конкретных языках: python и R.

В R эта функция выглядит как на рисунке 19:

Рисунок 19. Функция RQA на языке R

takens - вместо указания time.series, embedding.dim и time.lag пользователь может указать непосредственно векторы Такенса.

time.series - исходный временной ряд, из которого выполняется реконструкция фазового пространства.

embeddingDim - целое число, обозначающее размерность, в которую мы будем встраивать временные ряды.

timeLag - целое число, обозначающее количество временных шагов, которые будут использоваться для построения векторов Такенса.

radius - максимальное расстояние между двумя точками фазового пространства, которое следует рассматривать как повторение.

Lmin - минимальная длина диагональной линии для учета в RQA. По умолчанию lmin = 2.

Vmin - минимальная длина вертикальной линии, которая должна учитываться в RQA. По умолчанию vmin = 2.

distanceToBorder - чтобы избежать эффектов границы, точки distanceToBorder вблизи границы матрицы повторения игнорируются при вычислении параметров RQA. По умолчанию, distanceToBorder = 2.

save.RM - логическая переменная. Если TRUE, то матрица повторения сохраняется как разреженная матрица.

doPlot - логическая переменная. Если TRUE, то отрисовывается рекуррентный график. Однако построение рекуррентной матрицы требует больших вычислительных мощностей.

После применения функции на выход выдаётся рекуррентная матрица, разные меры RQA: RR, DET, LAM, RATIO, Lmax, Lmean, DIV, Vmax, Vmean, ENT, TND и рекуррентный график, то есть все необходимые для анализа данные.

Библиотека на python действует схожим образом, а потому существенных различий между использованием этих языков программирования нет. Выбор остаётся на усмотрение исследователя. В данном случае автору ближе работа с языком python, поэтому применяться будет именно он.

Рассмотрев все необходимые инструменты для работы с рекуррентным анализом, начнём работать с ним.

На первом примере будет показано, правда ли, что показатель LAM может помочь предсказать возникновение экстремального события. Именно поэтому для простоты взят финансовый сектор, поскольку как уже упоминалось ранее для таких данных не требуется проводить анализ текста, а можно сразу использовать готовый временной ряд.

Некоторые исследователи уже демонстрировали возможности количественного рекуррентного анализа отличать критические события на финансовых рынках от нормальных состояний. Попробуем рассмотреть экономический пузырь с помощью RQA. В данном примере используется промышленный индекс Доу-Джонса (DJI) 1929 года (используемые данные взяты с yahoo.finance.com).

Пискун с соавторами в 2008 году показали, что замирание (LAM) является наиболее подходящей мерой, чувствительной к критическим событиям на рынках. Оно количественно определяется как отношение количества точек повторения в вертикальных линиях ко всем точкам повторения на рекуррентной диаграмме. Фактически, обратная сторона замирания отражает уровень волатильности рынка.

Прежде всего, посмотрим на крах DJI 1929 года (рисунок 20). Данные DJI были взяты таким образом, чтобы крах случился ровно посредине. Размер окна - 250, размерность и задержка - 1, радиус - 0,1. Параметры вложения были выбраны опытным путем, так как наиболее подходят для расчета показателей в динамике для нашей цели.

Рисунок 20. Крах промышленного индекса Доу-Джонса

Рассчитанная мера LAM (рисунок 21) начинается с горизонтальной координаты x = 250, потому что был принят во внимание размер окна (250 точек). Таким образом, каждая точка LAM точно соответствует точкам DJI.



Рисунок 21. Показатель LAM во время краха промышленного индекса Доу-Джонса

Согласно рисунку 21, мера LAM количественно оценивает режим нормального функционирования рынка. Снижение показателя указывает на нестабильность рынка, чему способствуют хорошие торговые ожидания и, как следствие, повышение волатильности. Горизонтальная 3 координата x = 1355 указывает на границу нестабильности, проходя через которую, крах неизбежен. Пузырь сформировался, и возникновение краха - лишь вопрос времени. Эту границу мы можем назвать «критической точкой». LAM также показывает время полного расслабления рынка. Период между критической точкой и полным расслаблением рынка, который содержит крах и экономическую депрессию, мы определяем как «критический период».

После 04.05.1928 (х = 1156) LAM начал падать, что указывает на начало нестабильности. Критическая точка появилась 26.03.1929 (х = 1355). Таким образом, LAM подал сигналы за 342 и 145 торговых дней до краха (в году 250 торговых дней). Этого времени более чем достаточно для принятия мер по устранению «взрыва пузыря».

Точка полного восстановления рынка наступила 18.08.1932 (х = 2207), поскольку сегмент, охваченный окном (х = 2207 - 2457), уже функционировал в своем нормальном режиме. Поэтому полное восстановление считается с первой точки данного окна.

Необходимо показать количественное описание конъюнктуры рынка. Но разные строки будут давать разные значения абсолютных показателей, поэтому лучше проводить оценки в процентах до самой нижней границы нормального режима (таблица 4).

Таблица 4. Описание рынка и меры LAM для промышленного индекса Доу-Джонса

	Нормальное состояние	Начало не-стабильности	Критическая точка	Крах	Минимум	Полное восстановление
Коорди-ната «x»	0-1155	1156	1355	1500	1700	2207
Дней до краха	-	342	145	-	-	-
LAM	0.980-0.992	0.980	0.969	0.925	0.898	-
%LAM	-	-	1.122	5.612	8.367	-

Для того чтобы показать, что LAM действительно может указать на нестабильность и экстремальное событие, необходимо рассмотреть и другие крахи, которые будут отображены в таблице 5.

Таблица 5. Значение меры LAM для разных рынков

	Нормальное состояние	Начало не-стабильности	Критическая точка	Крах
Промышленный индекс Доу-Джонса 1987
Дней до краха	-	341	161	-
LAM	0.989-0.985	0.985	0.964	0.932
%LAM	-	-	2,178	5.380
Нью-Йоркская фондовая биржа 1987
Дней до краха	-	342	145	-
LAM	0.995-0.991	0.991	0.966	0.931
%LAM	-	-	2.523	6.054
S&P 1987
Дней до краха	-	352	150	-
LAM	0.989-0.976	0.976	0.963	0.932
%LAM	-	-	1.332	4.721
Индекс Hang Seng 1994
Дней до краха	-	210	20	-
LAM	0.989-0.981	0.981	0.966	0.957
%LAM	-	-	1.529	2.509
Индекс NASDAQ 2000
Дней до краха	-	343	11	-
LAM	0.989-0.977	0.977	0.937	0.925
%LAM	-	-	4.094	5.322

Согласно представленной таблице мы можем утверждать, что:

· Период нестабильности начинается гораздо раньше, чем крушение. В нашем случае это начиналось с 210 (Индекс Hang Seng 1994) до 352 (S&P 1987) дней назад. Этого времени более чем достаточно, чтобы обеспечить денежно-кредитное регулирование и взорвать пузырь

· Критическая точка возникает ближе к краху, со 161 в 1987 году (Промышленный индекс Доу-Джонса) до 11 в 2000 (NASDAQ) дней назад. Это означает, что в настоящее время происходит быстрая консолидации капитала и инвестиций в прибыльный рынок

· Отклонения LAM от нормального состояния до критического разнятся в разных случаях, потому что волатильность различных рынков в разное время не одинакова.

Таким образом, нельзя предсказать точное время краха с помощью RQA, но, во-первых, данный метод прекрасно подходит для анализа рынков, а во-вторых, можно определить сам факт того, что через некоторое время (не более года) произойдёт крах рынка.

Как и прежде, используемые данные взяты из открытых данных Yahoo Finance. На рисунке 22 представлено как выглядит временной ряд для биткоина на сегодняшний день.



Рисунок 22. Временной ряд курса биткоина за весь период

В данном примере больший интерес представляет показатель LAM, поэтому пропустим шаг с построением рекуррентной диаграммы (поскольку это действие уже было проделано в предыдущем примере и будет проделано в следующем, который интересует нас больше всего).

Из-за сложности получения временного ряда для тегов биткоина в следующем примере будет приводиться набор данных всего за сто дней, охватывающих пик цены данной валюты. Чтобы сравнение рекуррентного анализа к двум областям было точнее, то и для данного примера возьмём всего 100 дней начиная с 1 ноября 2017 года.

В таком случае временной ряд выглядит как на рисунке 23:

Рисунок 23. Временной ряд курса биткоина за 100 дней с 1 ноября 2017 года

Воспользовавшись библиотекой python для расчётов, получаем следующий набор значений для показателя LAM, которые указаны в таблице 6.

Таблица 6. Мера LAM для курса биткоина за период в 100 дней

	Нормальное состояние	Начало не-стабильности	Критическая точка	Крах
Биткоин курс
Дней до краха	-	29	8	-
LAM	0.995-0.983	0.983	0.971	0.942

Как видно из приведённых данных, если рассматривать данный рынок уже после событий, то рекуррентный количественный анализ способен предсказать крах за 8 дней до его начала и начало фазы нестабильности за месяц. Теперь проверим, как себя проявит RQA на следующем примере с текстовыми данными.

Изначально предполагалась использование третьего способа получения текстовых данных с Twitter, а именно использование программы Mozdeh, но из-за обстоятельств пришлось воспользоваться вторым способом, при котором данные взяты из онлайн-платформы (бесплатной), которая занималась биткоином, и по счастливой случайности их интересовало и количество хэштегов по данной тематики в одной из популярных социальных сетей. Временной ряд представлен на рисунке 24.

Рисунок 24. Временной ряд количества твиттов с хэштегом «биткоин»

На самом деле, если сравнить с временным рядом курса биткоина, то они очень схожи, хотя реакция пользователей слегка задерживается на 1-2 дня и иногда несколько чрезмерна.

Возьмём тот же временной промежуток: 100 дней начиная с 1 ноября 2017 года. И затем построим фазовый портрет и рекуррентную диаграмму, основывающуюся на данном временном ряде. Они представлены на рисунке 25.

Рисунок 25. Фазовый портрет (слева), рекуррентная диаграмма (справа) для временного ряда из рисунка 24

Возможно, из-за малого количества данных, но на рекуррентной диаграмме отчётливо заметно затухание в правом нижнем и левом верхнем углах, что означает нестабильность и возможное наличие сдвига, критической точки для данной модели.

Таким образом, уже на этапе построения рекуррентной диаграммы можно утверждать о наличие экстремального события для данного временного ряда.

Рассчитаем меру LAM, с которой работали в предыдущих примерах. Как и ранее воспользуемся библиотекой python и затем построим график (рисунок 26) для показателя замирания, который представлен ниже.



Рисунок 26. Показатель LAM для хэштега «биткоин» за период в 100 дней

На основе данного графика построим таблицу с показателем замирания для разных состояний системы (таблица 7).

Таблица 7. Мера LAM для хэштега биткоин за период в 100 дней

	Нормальное состояние	Начало нестабильности	Критическая точка	Крах
Биткоин хэштег
Дней до краха	-	35	15	-
LAM	0.998-0.979	0.979	0.956	0.905

Таким образом, резкое падение меры LAM характеризует начало фазы нестабильности системы, а позже и наступление краха. Как видно из данных, количественное падение показателя куда выше, чем при аналогичном периоде у курса биткоина. На то может быть несколько причин, главная из которых заключается в том, что в социальной сети пользователи начали резко реагировать на небольшое падение до резкого взлёта валюты, то есть сыграл человеческий фактор. Серьёзные выводы делать сложно из-за малого набора данных для сравнений, но на данный момент можно утверждать, что работа с социальной сетью для поиска экстремальных событий не уступает аналогичной с финансовыми рядами, а возможно (если провести ещё несколько экспериментов) даже лучше.

В данном разделе были рассмотрены современные инструменты для проведения рекуррентного количественного анализа (сделан акцент на текстовом анализе, который требует предварительной подготовки данных), а также проведён сам анализ на трёх примерах: промышленный индекс Доу-Джонса (чтобы показать, что мера LAM действительно может обнаружить появление экстремального события), курс биткоина и временной ряд хэштега биткоина (второй из этой пары является главной задачей данной работы - провести рекуррентный количественный анализ над данными из социальных сетей, а первый нужен для сравнения: какой тип данных лучше подходит для работы).

Заключение

рекуррентный диаграмма нелинейный

В результате проведённого исследования были рассмотрены все необходимые теоретические сведения для проведения рекуррентного количественного анализа, а также современные инструменты, позволяющие облегчить задачу, особенно когда дело касается подготовки данных, сбора текстовой информации и её преобразование во временные ряды.

Помимо теоретических наработок, которые могут помочь другим исследователям или же могут стать учебным материалом по рекуррентному анализу, поскольку в теоретической главе имеются все необходимые в том числе и исторические данные по данному методу: история, развитие и последние исследования в данной области, построение рекуррентных графиков и их анализ, меры рекуррентного количественного анализа, а также небольшой пример работы с текстовой информацией для проведения RQA, в данном исследовании имеются и практические результаты. Проведён рекуррентный количественный анализ для трёх разных наборов данных: промышленный индекс Доу-Джонса, курс биткоина и данные по хэштегам из социальной сети Twitter. Главными результатами практической части можно считать демонстрацию возможности предсказания (определения наличия) экстремального события по показателю LAM, а также проведения данного анализа по отношению к данным из социальных сетей. Таким образом, можно с уверенностью утверждать, что RQA позволяет определить наличие экстремального события, хоть и не может гарантировать точность предсказания. Но один уже этот факт позволит многим заинтересованным сторонам начать действовать несколько иначе, чем если бы у них отсутствовали подобные данные.

Таким образом, цель данного исследования выполнена, поскольку рекуррентный количественный анализ в социальной сети проведён и благодаря нему было обнаружено экстремальное событие. Кроме того, все поставленные задачи тоже можно считать выполненными: метод и инструменты текстового анализа изучены, данные из социальной сети Twitter получены, анализ рекуррентных диаграмм проведён, а также обнаружены экстремальные события. Единственная задача, которую можно считать выполненной не до конца, это проведение текстового анализа. Поскольку в последнем примере был использован готовый временной ряд, то текстовые данные в итоге преобразованы в данной работе не были, но вместо этого были показаны способы преобразования текстовых данных и специализированное программное обеспечение, которое облегчит эту задачу.

Стоит отметить, что пусть в работе и была показана значимость показателя LAM, а кроме того если судить на основе примеров второй главы, то данные из социальных сетей позволяет лучше определить наличие экстремальных событий, но стоит помнить, что текстовые данные получить сложнее и их преобразование занимает время, поэтому судить о том, какие конкретно данные лучше использовать для анализа сложно (возможно, наш случай исключение, и если сравнить другие аналогичные данные, то в итоге выйдет, что числовые данные точнее). Именно поэтому требуются дальнейшие исследования в данной области, которые могут пойти в нескольких направлениях. Во-первых, исследования демонстрирующие какие наборы данных точнее предсказывают наступление критических событий, а, во-вторых, исследования, направленные на изучение других мер RQA. Возможно, другие меры могут стать заменой LAM или разные меры вместе дадут более точный результат.

Список литературы

1. Balakrishnan, V.; Nicolis, G.; Nicolis, C. (2000). Recurrence time statistics in deterministic and stochastic dynamical systems in continuous time: A comparison. Physical Review E, 61(3), pp.2490-2499.

2. Ben-Menahem, A., and Singh, S. J. (2012). Seismic waves and sources. Springer Science & Business Media.

3. Casdagli, M.C. (1997). Recurrence plots revisited. Physica D, 108(1-2), pp. 12-44.

4. Choi, J.M.; Bae, B.H.; Kim, S.Y. (1999). Divergence in perpendicular recurrence plot; quantification of dynamical divergence from short chaotic time series. Physics Letters A, 263(4-6), pp. 299-306

5. Crucitti, P., Latora, V., and Marchiori, M. (2004). Model for cascading failures in complex networks. Phys. Rev. E, 69, pp. 045104.

6. Dysthe, K., Krogstad, H. E., and Muller, P. (2008). Oceanic rogue waves. Annu. Rev. Fluid Mech., 40, pp. 287-310.

7. Eckmann, J.P.; Kamphorst, S.O.; Ruelle D. (1987). Recurrence plot of dynamical systems. Europhys. Lett., 5, pp. 973-977

8. Facchini, A.; Kantz, H. (2007). Curved structures in recurrence plots: The role of the sampling time. Physical Review E, 75.

9. Facchini, A.; Mocenni, C.; Vicino A. (2009). Generalized recurrence plots for the analysis of images from spatially distributed systems. Physica D, 238, pp. 162-169

10. Gao, J.B.; Cai, H.Q. (2000). On the structures and quantification of recurrence plots. Physics Letters A, 270(1-2), pp. 75-87.

11. Gierer, A.; Meinhardt H. (1972). A theory of biological pattern formation. Kybernetik, 12, pp. 30-39

12. Giuliani, A.; Benigni, R.; Webber, C.L.; Zbilut, J.P; Sirabella, P.; Colosimo, A. (2002). Nonlinear Signal Analysis Methods in the Elucidation of Protein Sequence-Structure Relationships. Chemical Reviews, 102(5), pp. 1471-1492.

13. Guo, L.; Billings S. (2007). State-space reconstruction and spatio-temporal prediction of lattice dynamical systems. IEEE Trans. Automat. Control, 52. pp. 622-632

14. Horai, S.; Yamada, T.; Aihara, K. (2002). Determinism Analysis with Iso-Directional Recurrence Plots. IEEE Transactions - Institute of Electrical Engineers of Japan C, 122(1), pp. 141-147.

15. Iwanski, Bradleyб E. (1998). Recurrence plots of experimental data: To embed or not to embed? Chaos.8(4), pp. 861-871.

16. Joseph P. Zbilut, Nitza Thomasson, Charles L. Webber, (2002). Recurrence quanti?cation analysis as a tool for nonlinear exploration of nonstationary cardiac signals, Medical Engineering & Physics 24, pp. 53-60

17. Kantz, H.; Schreiber, T.; Hegger R. (2002). Nonlinear Time Series Analysis. Cambridge University Press

18. Kretschmer, M., Klimis, G. M., Choi, C. J. (1999). Increasing returns and social contagion in cultural industries. British Journal of Management, 10(s1), pp. 61-72.

19. Krishnan, A.; Giuliani, A.; Zbilut, J.P.; Tomita, M. (2008). Implications from a Network-Based Topological Analysis of Ubiquitin Unfolding Simulations. PLoS ONE, 3(4).

20. Kruskal, J. B. (1964). Multidimensional scaling by optimizing goodness of fit to a nonmetric hypothesis. Psychometrika, 29(1), pp. 1-27.

21. Lorenz, E. N. (1963). Deterministic Nonperiodic Flow. Journal of the Atmospheric Sciences, 20, pp.120-141.

22. Manuca, R.; Savit R. (1996). Stationarity and nonstationarity in time series analysis Physica D-99, pp. 134-161

23. March, T.K.; Chapman, S.C.; Dendy, R.O. (2005). Recurrence plot statistics and the effect of embedding. Physica D, 200(1-2), pp. 171-184.

24. Marcos-Nikolaus, P.; Solй R. (2002). Spatial forecasting: detecting determinism from single snapshots. Chaos, 12 (2), pp. 369-376