Л. М. Ермакова

Размещено на http://www.allbest.ru/

78

ВЕСТНИК ПЕРМСКОГО УНИВЕРСИТЕТА

2011 Математика. Механика. Информатика Вып.2(6)

77

Пермский государственный университет

Методы обнаружения писем-трансформеров

Л.М. Ермакова

Аннотация

Проведен анализ сообщений-трансформеров. Предложены методы детектирования писем-трансформеров, устойчивые к небольшим изменениям текста и темы сообщения. Особо рассматривается проблема обнаружения намеренно искаженных фрагментов. Достоинством контентного подхода является его универсальность, так как он не опирается на служебную информацию и применим к классификации документов не только в электронной почте, но и в системах мгновенного обмена сообщениями, блогах, форумах, социальных сетях.

Ключевые слова: спам; корпусная лингвистика; фишинг; фильтрация; категоризация текстов.

Annotation

Transforming message detection

L. M. Ermakova Perm State University

Within the bound of this research a content analysis of transforming messages was carried out. Transforming messages detection technique was developed. This method is resistant to small text changes. The advantage of content approach is the fact that it is suitable not only for email filtering but also to spam detection in IM, social networks, blogs, forums etc. since it is not based on header analysis.

Key words: spam; corpus linguistics; phishing; filtering; text categorization.

Введение

Рассмотрим понятие спама и дадим обзор способов фильтрации. В настоящее время существуют две группы спам-фильтров: техники, базирующиеся на тестовых выборках, и мониторинг почтового потока [1]. Актуальными являются методы улучшения сигнатурного подхода [1]. В рамках исследования было проведено сравнение спама на русском, английском и французском языках. Частично были рассмотрены также рассылки на испанском и итальянском языках. Проведен анализ сообщений-трансформеров. Предложен метод обнаружения писем-трансформеров, не зависящий от языка и устойчивый к небольшим изменениям текста и темы сообщения. фильтрация письмо трансформер сообщение

1. Понятие спама, эволюция спам-рассылок и методов борьбы с ними

Лаборатория Касперского дает следующее определение спама:

Спам - это анонимные незапрошенные массовые рассылки электронной почты [2].

Специалисты Лаборатории Касперского подсчитали, что в последнем квартале 2010 г. спам составил 77,1% в общем почтовом трафике [3]. Кроме того, отмечается, что российские спамеры стали больше заботиться о внешнем виде рассылок: короткие текстовые письма начали уступать место сообщениям в формате HTML [4]. Однако в последнее время в России стал популярен также спам в социальных сетях и системах мгновенного обмена сообщениями (IM). Ведение черных списков дает наибольшее количество ложных срабатываний [5]. Анализ заголовков сообщений является достаточно эффективным только для электронной почты, но он является малоприменимым для фильтрации спама в социальных сетях и IM. Здесь больше всего подходят контент-методы и техники, основанные на анализе ссылок.

Рассылки спама появились в 90-е гг. XX в. На ранних этапах спамеры делали рассылки с собственных адресов. Первые спам-сообщения были одинаковыми. Такой спам легко фильтруется.

Появление средств обнаружения спама, основанных на анализе содержания письма (контентный анализ), привело к эволюции содержания спамерских писем: их стали готовить таким образом, чтобы автоматический анализ был затруднен. Сообщения можно сделать разными, например путем персонализации ("Hello, joe! " - в начале письма на адрес joe@user.com). В качестве метода борьбы были предложены нечеткие сигнатуры - устойчивые к небольшим изменениям текста и статистические обучаемые методы фильтрации (байесовская фильтрация).

В начало или конец письма может быть помещен отрывок из классического текста или просто случайный набор слов. В HTML-сообщение может быть введен "невидимый" текст (очень мелким шрифтом или цветом, совпадающим с цветом фона). Эти добавления затрудняют работу нечетких сигнатур и статистических методов. В ответ появился поиск цитат, детальный разбор HTML и другие методы углубленного анализа содержания письма. Во многих случаях можно определить сам факт использования "спамерского трюка" и классифицировать сообщение как спам, не анализируя его текст в деталях.

Рекламное сообщение может быть прислано пользователю в виде графического файла. В качестве ответной меры появляются способы анализа изображений, выделяющие из них текст.

Письма-трансформеры - это сообщения, имеющие сходное содержание, но различные по форме. Каждое отдельное письмо выглядит как обычный связный текст, и только имея много копий сообщения, можно установить факт перефразировки. Таким образом, эффективно настроить фильтры можно только после получения существенной части рассылки.

Сегодня основная масса рассылок производится с взломанных пользовательских компьютеров. Спамеры широко используют три последних метода (вставка "невидимого" текста, использование графического вложения, письма-трансформеры), и далеко не все антиспам-средства могут с ними эффективно бороться, что дает возможность доставлять спам тем пользователям, которые используют недостаточно надежные средства фильтрации [6].

Яндекс приводит следующие методы автоматического детектирования спама:

· техники, опирающиеся на тестовые выборки (их применение затруднительно из-за трудоемкости построения и поддержания в актуальном состоянии);

· ручной анализ и мониторинг почтового потока (сигнатурный подход) [1].

В настоящее время, помимо всего прочего, Яндекс использует ведение белых списков [1]. Ограничение этого метода заключается в том, что доставка письма адресату, которому раньше письма не отправлялись, затруднительна. Некоторые системы вводят подобие авторизации. Однако практика показывает, что ведение белых списков не является эффективным методом в IM (например qip, icq) и социальных сетях (ВКонтакте, Facebook). Многие исследователи считают, что спам может быть отфильтрован только получателем [7]. Однако согласно другому исследованию, также проведенному компанией Яндекс, в 40 процентах случаев люди не могут отличить спам от легального сообщения [8].

Актуальными являются методы улучшения сигнатурного подхода. Можно выделить "синтаксические" (т.е. оперирующие с цепочками слов) и "лексические" (т.е. оперирующие со словарем) (например, метод опорных слов) методы расчета сигнатур [1]. Современные "синтаксические" методы, основанные на шинглах [9; 10], используют идею вычисления контрольных сумм для всех подцепочек текста ("шинглов") и последующего построения случайной выборки из полученного набора. По шинглам можно с высокой вероятностью судить о сходстве текстов, их вложенности, плагиате и т.д. Однако для практических задач, в том числе для обнаружения массовых рассылок, требуется слишком большое количество шинглов, что предъявляет непреодолимо высокие требования к ресурсам для проведения процедуры кластеризации [1]. Недостаток любого "лексического" метода, включая байесовский классификатор, в том, что он не применим для других языков.

В литературе также приводятся методы анализа последовательности заголовков [11], однако на нашей выборке метод оказался неэффективным, так как нам не удалось выявить уникальную для спама последовательность заголовков.

2. Особенности спама на различных языках

Выборка для каждого языка состояла примерно из тысячи сообщений.

По структуре спам делится на три категории:

· спам, замаскированный под личную корреспонденцию;

· спам, замаскированный под легальные массовые рассылки;

· рекламный спам.

Нигерийские письма на французском языке составлены согласно узусу деловой переписки, но если для официальной переписки характерно использование конструкции "а l'attention de" с указанием должности и/или фамилии, то здесь мы видим "а votre attention". Очевидно, что такой признак неприменим для рекламного спама или для "писем счастья". Узуальное употребление прямого императива ограничено во французском языке, так как считается не достаточно вежливой формой, но почти повсеместно встречается в спаме. Это связано с тем, что спамер пытается контролировать действия получателя письма и лишить его выбора (особенно часто прямой императив встречается именно в цели сообщения: "push the button now", "achetez maintenant"). То же самое касается форм изъявительного наклонения. Действие, выраженное формой реального времени, мыслится как реальное (ср. "когда будет написана статья" и "если статья будет написана", в первом случае предполагается, что она все-таки будет написана, во втором есть сомнения). В рекламном спаме, как правило, присутствует предложение больше не получать подобные письма. Если пользователь решит воспользоваться этой "услугой", то спамер, во-первых, узнает, что адрес действующий, во-вторых, перейдя по ссылке, пользователь может загрузить себе вредоносное программное обеспечение.

Большое количество ссылок характерно для массовых рекламных рассылок, в том числе и спама, особенно французского. Французский спам, в отличие от английского и тем более русского, очень аккуратно оформлен. Как и в русском спаме, в нем много англицизмов. Наличие адреса электронной почты в тексте сообщения свойственно как деловой переписке, так и фишинговому спаму. Идея мошенничества заключается в том, что пользователь ответит на сообщение. Таким образом, спамер поймет, что адрес "действующий", а на рынке спамерских баз такие адреса ценятся гораздо выше. Списки являются классическим показателем рекламы. Они позволяют обратить внимание на предлагаемые услуги или товары. Даже не читая сообщение, пользователь может легко понять, что именно рекламируется. Восклицательные или вопросительные предложения также могут свидетельствовать о рекламном спаме. Но надо быть внимательным: во-первых, они могут использоваться и в легальных рассылках, во-вторых, в русском языке принято ставить "!" после обращения. Графическое выделение отдельных слов также связано с расстановкой акцентов. Однако подобный прием часто используется в личной переписке для того, чтобы обратить внимание собеседника на некоторый аспект. К формулам вежливости в данном случае были отнесены разного рода приветствия, обращения и пр. Они характерны для персонализированной переписки.

Во французском спаме наблюдается меньшее содержание местоимений и притяжательных детерминативов, для английского такой тенденции не наблюдается.

Таким образом, признаки спама могут проявляться или отсутствовать в зависимости от темы письма, его структуры или цели.

3. Методы трансформирования сообщения

Метод опорных слов малопригоден для русскоязычного спама, так как часто здесь применяется транслитерация и намеренные искажения слов (вставка лишних символов внутри слова, намеренные опечатки, введение латиницы в текст, написанный кириллицей). Однако названные признаки не являются однозначными. Причин использования транслитерации может быть несколько. В основном его применяют эмигранты и путешественники, у которых нет клавиатуры с русской раскладкой. Возможны также проблемы с кодировками. Кроме того, пользователи далеко не всегда руководствуются одинаковыми правилами транслитерации.

Рис. 1 Доля сообщений, написанных с помощью транслитерации, в спаме

Рис. 2 Доля сообщений, написанных помощью транслитерации, в неспаме

Приведем примеры частей трансформеров, написанных кириллицей и с помощью транслитерации.

Особенность русскоязычного спама заключается в широком использовании так называемых спамерских трюков:

· Замена букв цифрами и наоборот (4-ч, 0-о, 3-з, 1-l).

· Замена кириллических символов схожими символами латиницы (k-к, а-a, Н -H и т.д.).

· Введение дополнительных символов ("Вы хотите вернуть вашего любимо го человека навсегда и полностью избавиться от измен?").

· Чередование различных символов (например, в номерах телефонов).

Если внимательно посмотреть на примеры, то можно выделить еще один метод трансформации сообщения - синонимичные конструкции (sWEVIE email BAZY = sWEVIE email BAZY=aDRESA DLQ email RASSYLOK, Предлагаем Вам = Мы предлагаем Вам, необходимость = потребность).

Варьироваться может только адрес:

Максимальная изменчивость наблюдается в рекламе медикаментов. Здесь варьируется как тема сообщения, так и текст. Тема и часть текста могут меняться местами. Помимо этого, все ссылки уникальны (обычно они автоматически создаются на бесплатных хостингах). При этом смысл практически не меняется.

То же самое можно сказать о рекламе казино. В целом нужно отметить, что французский и английский спам является более изощренным, чем русский или итальянский. Особенно это касается таких тематик, как казино, медикаменты, игры на бирже, порно и программное обеспечение. В испаноязычном спаме вариативность почти отсутствует.

4. Использование триграмм для определения трансформеров

Существуют многочисленные подходы для вычисления меры сходства двух документов (коэффициент Жаккарда, Хэммингово расстояние, расстояние редактирования) [12]. Мы определяли меру сходства посредством триграмм.

Традиционно триграммы используются для выявления плагиата [13; 14], а также для определения языка и кодировки [15; 16]. Другая группа методов установления авторства основана на квантитативных характеристиках [17-19]. Количественные признаки учитывались в индексе Флеша и Флеша-Кинкейда [20].

В предложенном методе мы объединили техники, основанные на триграммах и квантитативных характеристиках, таких как доля полнозначных и служебных слов, доля предложений, слов и абзацев определенной длины, доля вхождения каждой части речи (краткие и полные формы мы считали различными), количество знаков препинания, совстречаемость частей речи и т.д. (рис. 3). Общее число признаков - 135.

Метод триграмм был несколько модифицирован. Во-первых, мы считали последовательности из трех подряд идущих слов и определяли их части речи по грамматическому словарю Зализняка.

Рис. 3 Доли последовательностей частей речи

Второе применение триграмм - поиск одинаковых подстрок в сообщениях и вычисление меры сходства по формуле

где

- мера сходства;

- количество совпадений;

- количество триграмм в первом тексте;

- количество триграмм во втором тексте.

Эта величина не является нормированной. Мера сходства для русскоязычных и итальянских трансформеров велика и слабо варьируется, в то время как для французского и английского языков она значительно меньше и имеет большой разброс (рис. 4-9).

Рис. 4 Мера сходства, вычисленная для рассылки "ЕГРЮЛ" при помощи триграмм

Рис. 5 Мера сходства, вычисленная для рассылки "Email базы" при помощи триграмм

Рис. 6 Мера сходства, вычисленная для рассылки "Медикаменты" при помощи триграмм

Рис. 7 Мера сходства, вычисленная для рассылки "Свидания" при помощи триграмм