Разработка модели обнаружения компрометации банковских транзакций

В рамках второй главы настоящей работы был проведен анализ подходящих методов и моделей проверки банковских транзакций в части обнаружения потенциального мошенничества.

Для начала было произведено изучение допустимых методов для анализа банковских транзакций, в число которых вошли статистические методы анализа, такие как логистическая регрессия, а также методы машинного обучения с учителем, которые могут быть разделены на:

· Методы классификации на основании расстояний:

o Метод К-ближайших соседей;

o Метод опорных векторов;

· Вероятностные методы классификации - Наивный Байесовский классификатор;

· Графовые методы классификации - деревья решений;

· Ансамбли классификаторов:

o Случайные леса;

o Адаптивный бустинг.

Все эти методы могут быть использованы для формирования итоговой модели обнаружения мошеннических операций.

Затем, были рассмотрены методы определения качества формируемой модели, которые требуют значительного расширения от классической модели вследствие крайней несбалансированности исходных данных. Для определения качества модели должны использоваться следующие показатели:

· Precision (полнота);

· Recall (точность);

· F1-score (F-мера);

· Heidke Skill Score (HSS).

Более того, для минимизации зависимости от разбиения данных на тестовую и обучающую выборку, процесс проверки каждой из моделей должен быть итеративным с использованием последовательного метода Монте-Карло.

3. Реализация модели

Для построения моделей на основании выделенных и описанных выше моделей будет использоваться открытый набор данных, представленный на портале проектов, ориентированных на науку о данных Kaggle. [33].

Данный набор данных содержит обезличенные данные о банковских транзакциях, совершенных в течение двух дней в сентябре 2013 года держателями банковских карт из Европейского Союза. Данная база данных содержит информацию по 284 807 транзакциям, из которых 492 являются скомпрометированными. Таким образом, объем мошеннических операций составляет всего 0,172% от всех совершенных транзакций, что говорит о крайне высокой степени несбалансированности исходных данных.

Этот набор данных был подготовлен в результате сотрудничества двух организаций, занимающихся исследованиями данных в области выявления мошенничества банковских операций:

· Французская корпорацией Worlline, которая предоставляет услуги в области проведения банковских операций;

· Группы машинного обучения Свободного Университета Брюсселя (Machine Learning Group of Universitй Libre de Bruxelles).

Сформированный ими набор данных использовался этими исследовательскими группами в рамках проводимых исследований и разработке подходов к выявлению банковского мошенничества.

Каждая операция в данном наборе характеризуется значениями 31 параметра. Тем не менее, для сохранения обезличенности данного набора данных, большая часть из данных показателей не могла быть отражена напрямую. Для обезличивания ряда параметров создателями набора данных был использован метод главных компонент. Результатом преобразования являются 28 количественных переменных с наименованиями V1 - V28.

Использованный при подготовке метод главных компонент является одним из способов снижения размерности данных, который, с одной стороны, позволяет снизить количество используемых параметров, но при этом обеспечивая минимальные потери информации. Сокращение размерности при этом достигается путем преобразования данных в новый набор главных компонент, которые не коррелируют и расположены таким образом, что первые выделенные компоненты сохраняют наибольшие вариации, присутствующие во всех исходных переменных. [34]

Таким образом, каждая операция в полученном наборе данных характеризуется следующими параметрами:

· Time - время совершения операции (в секундах от начала наблюдения);

· V1, V2, …, V28 - параметры, полученные в результате сокращения размерности методом главных компонент;

· Amount - сумма операции в евро;

· Class - итоги классификации транзакций, которые представлены двумя значениями: 0 - легитимная транзакция, 1 - скомпрометированная транзакция.

Данные набор данных является наиболее приближенным к реальности и используется во многих исследовательских работах на данную тематику.

Описательная статистика

Как было указано ранее, используемый набор данных содержит информацию о 284 807 банковских операциях. Каждая из данных транзакций описывается 31 параметром транзакций, 28 из которых являются результатом сокращения размерности данных методом основных компонент.

Прежде чем начать непосредственный анализ и перейти к формированию математических моделей, в рамках данной работы был проведен предварительный анализ исходных данных. В частности, были рассмотрены распределения каждой из переменных, а также проведена проверка на отсутствие значительной корреляции между параметрами, используемыми в качестве предикторов для формируемой модели.

Для проведения анализа данных в рамках данной работы используются инструменты языка программирования Python, так как он обладает большим количеством инструментов статистического и эконометрического анализа данных, а также имеет достаточно высокую производительность для проведения

Общее описание всех имеющихся в наборе данных переменных приведено в таблице ниже.

Таблица 1. Описательная статистика исходных переменных

Как видно из таблицы выше, в имеющемся наборе данных присутствуют значения для всех наблюдений, то есть для всех используемых операций. Таким образом, используемые данные не содержат пропусков, и в рамках анализа могут использоваться информация по всем наблюдениям.

Более того, для всех переменных, сформированных методом главных компонент значение математического ожидания равно нулю, следовательно, все эти переменные являются несмещенными относительно нуля. Гистограммы распределений для всех переменных находятся в Приложение 1. Гистограммы распределения к настоящей работе.

Для графического отображения всех имеющихся сделок можно использовать плоский график в координатах "Время-Сумма операции". Данный график отображен на рисунке ниже (Рисунок 13).

Рисунок 13. График распределения транзакций

Как видно из графика, распределение сильно зависит от ее суммы. Таким образом, можно сказать о наличии выбросов по объему операции. Тем не менее, как видно, скомпрометированных транзакций с большой суммой операции в наборе данных нет, вследствие чего данные сделки не следует рассматривать как выбросы, и они должны быть использованы при построении моделей.

Анализ наличия зависимостей

Помимо анализа на наличие выбросов перед построением модели также необходимо рассмотреть внутренние взаимосвязи между переменными. Для этого в рамках настоящего анализа используется расчет корреляции Пирсона между всеми имеющимися переменными. Результаты анализа внутренних зависимостей приведена на матрице корреляций ниже (Рисунок 14).

Рисунок 14. Матрица корреляций

Как видно из полученной матрицы, значительные корреляции между имеющимися переменными отсутствуют, так как ни одно из значений по модулю не превышает 0,9. Наиболее сильная внутренняя зависимость имеет место между переменными V2 и Amount - ее значение равно -0,5.

Таким образом, для построения модели могут быть использованы все имеющиеся в наборе данных переменные. Дополнительно еще можно рассмотреть матрицы корреляций для легитимных транзакций и для операций, являющихся мошенническими.

Для легитимных операций матрица корреляций отображена на рисунке ниже (Рисунок 15).

Рисунок 15. Матрица корреляций для легитимных транзакций

Так как легитимные операции составляют большую часть набора данных, то внутренние корреляции между факторами соответствуют значениям для всего набора данных.

Что касается скомпрометированных операций, для них матрица корреляций имеет значительные отличия. Значения внутренних корреляций имеет более высокие уровни, что видно из рисунка ниже (Рисунок 16).

Данные зависимости показывают, что сами распределения данных для легитимных и скомпрометированных транзакций имеют значительные различия, на основании которой и может быть построена искомая модель.

Рисунок 16. Матрица корреляций для скомпрометированных операцийИсходя из внутренних зависимостей можно сделать вывод, что все имеющиеся переменные могут быть использованы для построения модели, так как внутренние корреляции между ними незначительны. Тем не менее, не все имеющиеся предикторы следует использовать для построения моделей, так как зависимость между параметром и показателем компрометации операции может отсутствовать.

Так как переменная, отображающая класс наблюдения, является номинальной, то для выявления наличия зависимости между каждым из имеющихся параметром и классом наблюдения в рамках настоящей работы использовались T-тесты для независимых выборок. В рамках Т-тестов используется гипотеза о равенстве средних для двух выборок. Таким образом, для проведения данного статистического теста необходимо разбить наблюдения на легитимные и скомпрометированные и использовать Т-тест для полученных наборов данных.

Уровни значимости, полученные в результате анализа, для всех переменных отражены на диаграмме ниже (Рисунок 17).

Рисунок 17. Результаты Т-тестов для независимых выборок

Как видно из полученной диаграммы, не для всех переменных можно решительно отвергнуть предположение о равенстве средних в различных группах наблюдений.

Для уровня значимости 95% нулевая гипотеза не может быть отвергнута для трех переменных:

· V22,

· V23,

· V25.

При этом для уровня значимости 99%, можно сказать, что взаимосвязь между значениями параметра и классом наблюдения отсутствует еще для переменных:

· V13,

· V15,

· V26.

Таким образом, так как даже на 99% доверительном интервале количество параметров, для которых нулевая гипотеза о равенстве средних может быть решительно отвергнута, остается достаточно высоким (24 параметра), то для построения модели не будут использоваться все перечисленные выше переменные, а также переменная "Время", так как продолжительность наблюдений, имеющихся в наборе данных, является незначительным и недостаточным для анализа данных как временных рядов.

Предобработка данных

По причине крайней несбалансированности набора данных банковских операций, содержащих информацию о мошенничестве, при обучении не вероятностных моделей могут возникнут трудности в связи с пропорциями между мажоритарным и миноритарным классами. Для минимизации такого рода дисбаланса во многих исследованиях применяются специализированные методы, позволяющие изменять долю мажоритарного или миноритарного класса. Как показывают другие работы, нацеленные на обнаружение компрометации мошеннических операций, методы балансировки данных являются достаточно действенными для повышения качества разрабатываемых моделей. [35]

Все существующие модели балансировки данных, используемые для выравнивания классов, можно разделить на две основные группы:

· Методы избыточной дискретизации (oversampling techniques) - данные методы нацелены на увеличение количества наблюдений, принадлежащих к миноритарному классу на основании имеющихся без изменения состава мажоритарного класса;

· Методы субдискретизации (undersampling techniques) - методы предназначены для снижения количества наблюдений, содержащихся в мажоритарном классе с минимальной возможной потерей информации о свойствах данного класса. Изменений в миноритарном классе при этом не происходит.

Согласно исследовательской работе, проведенной Show-Jane Yen иYue-Shi Lee из департамента компьютерных наук и информатики Университета Мин Чуан (Ming Chuan University) [36], а также модели, предложенной Padmaja T. M. et al. [35], можно выделить следующие основные техники дискретизации, используемые на сегодняшний день для повышения качества моделей классификации, обучаемых на несбалансированных наборах данных (и в частности для задач выявления мошеннических транзакций):

· Synthetic Minority Over-sampling Technique (так же известный как SMOTE);

· Метод случайной субдискретизации (Random undersampling);

· Методы класса NearMiss (с различными версиями данного алгоритма).

Метод случайной дискретизации заключается в случайной выборке заданного количества наблюдений из мажоритарного класса таким образом, чтобы достигалось заданное отношение количества экземпляров в мажоритарном классе после выборки и миноритарном классе. Так как в рамках настоящей работы уже присутствует использование стохастических процессов, а в частности используется последовательный метод Монте-Карло при разделении выборки на обучающую и проверочную, увеличение количества случайных процессов при совершении выборок лишь снизит точность получаемых оценок качества получаемых моделей, таким образом данный метод является не оптимальным для решения поставленной задачи.

Избыточная дискретизация SMOTE - это алгоритм создания искусственных примеров для миноритарного класса на основании метода ближайших соседей, который был рассмотрен ранее (K-Nearest Neighbours). В рамках данной процедуры для каждого наблюдения производится поиск К-ближайших соседей, где значение параметра К зависит от меры, во сколько раз необходимо увеличить исходный набор данных. Для каждой такой пары соседних наблюдений вычисляется разность векторов их признаков, в результате чего получается вектор искусственно сформированного наблюдения.

Алгоритмы из семейства Near Miss - напротив, нацелены на снижение количества экземпляров мажоритарного класса путем поиска таких наблюдений, которые соответствуют определенному свойству относительно наблюдений миноритарного класса. Как правило, в работах используются следующие имплементации алгоритма Near Miss:

· Версия 1 - выбор экземпляров мажоритарного класса, для которых среднее расстояние до ближайших K соседей из миноритарного класса является наименьшим;

· Версия 2 - выбор экземпляров мажоритарного класса, для которых среднее расстояние до самых дальних образцов миноритарного класса является наименьшим;

· Версия 3 - двухэтапный алгоритм, в рамках которого для каждого значения миноритарного класса выделяется М-ближайших соседей, а затем из мажоритарного класса производится выборка наблюдений, для которых расстояние до K-ближайших соседей является максимальным.

Таким образом, в рамках настоящей работы производился анализ применимости следующих стратегий дискретизации данных на основании имеющихся данных о банковских операциях:

· SMOTE;

· NearMiss-1;

· NearMiss-2.

Все эти методики дискретизации данных реализованы в специализированной библиотеке на языке Python Imbalanced learn (imb-learn) [37].

Для наглядности данные методы были применены для заданной части выборки (10% от всех наблюдений). Целевое отношение количества экземпляров в миноритарном классе относительно мажоритарного равно 5%. Полученные в результате распределения операций приведены на графике ниже (Рисунок 18).

Рисунок 18. Результаты дискретизации с помощью различных методов

Как видно из рисунка выше, наиболее применимые результаты были получены в рамках методики SMOTE, так как при использовании алгоритмов семейства NearMiss происходит значительное сокращение детализации легитимных операций, что негативно скажется на качестве формируемых в дальнейшем моделей.

Группировка

Так как в рамках данной работы будет рассматриваться также и возможность построения вероятностных моделей выявления скомпрометированных банковских операций, использование количественных величин, для которых практически отсутствуют дублирующиеся значения, может привести к значительному ухудшению качества формируемой модели.

Как было рассмотрено ранее, решением для данной проблемы может стать группировка данных и разбиение значений наблюдений на различные классы. В рамках данной работы было принято решение о группировке значений всех количественных параметров модели по перцентилям, при этом, определение оптимального количества классов будет рассматриваться индивидуально для каждой из моделей с целью получения наилучшего качества.

Более того, такого рода группировка может также положительно повлиять и на модели, не являющиеся вероятностными, так как в данном случае будет минимизировано воздействие шумов в данных.

При физическом построении методики группировки данных средствами языка программирования Python использовался алгоритм расчета перцентилей, реализованный в рамках одной из наиболее популярных научных библиотек с открытым исходным кодом NumPy. [38] Результатом реализованного преобразования является вектор с номерами классов (диапазонов), к которым принадлежит каждое имеющееся наблюдение.

При этом стоит учитывать, что благодаря минимизации воздействия шумов, зависимости признака компрометации операции от каждого из имеющихся сгруппированных признаков может отличаться от результатов, полученных в рамках анализа зависимостей между классом наблюдения (легитимная или мошенническая операция) и предикторами. Вследствие этого проверка наличия зависимостей для сгруппированных значений на примере разбиения на 30 классов была проведена повторно. Полученные значимости для T-тестов отображены на рисунке ниже (Рисунок 19).

Рисунок 19. Результаты Т-тестов для независимых выборок сгруппированных переменных

Как видно из диаграммы выше, ситуация значительно отличается от полученной для не группированных значений. В данном случае можно решительно опровергнуть (на доверительном интервале 99%) предположение, что существует зависимость класса наблюдения от значения переменных:

· V13,

· V15,

· V22,

· V25.

Таким образом, в качестве предикторов формируемых моделей остаются переменные V23 и V26, в отличие от их непосредственного использования. В результате, для использования только статистически значимых переменных в рамках данной работы была разработана специализированная процедура, которая определяет перечень переменных, которые следует использовать для построения моделей на основании Т-тестов.

Формирование обучающей и проверочной выборки

Для формирования моделей в рамках данной работы была разработана специализированная процедура, позволяющая разделить исходный набор данных на тренировочную и проверочную выборку с помощью случайного выбора. Главным выходным параметром для данной процедуры является пропорция, которая должна быть достигнута при разделении выборки, то есть доля, которую должна составить обучающая выборка от полного объема исходного набора данных.

При этом достаточно важной частью является крайняя несбалансированность данных. Для сбалансированного набора данных достаточно было бы попросту сформировать случайный вектор с номерами строк исходной выборки и длиной соответствующей заданной доле обучающей выборки. Данный алгоритм обеспечил бы достаточную долю разбиения. Проверочная выборка при этом формируется как все строки, номера которых не принадлежат сформированному вектору.

Однако стоит учитывать, что при таком подходе существует достаточно большая вероятность, что ни одна из операций, являющихся скомпрометированными, может не войти в обучающую выборки или же не в проверочную выборку. Таким образом, информации будет недостаточно для оценки качества формируемой модели.

Вследствие этого процедура разбиения на проверочную и обучающую выборку была модифицирована таким образом, чтобы при разделении выборок пропорция легитимных и мошеннических операций оставалась близкой к неизменной. Для этого данная процедура должна отдельно производиться для реальных и скомпрометированных транзакций, что и было реализовано в рамках разработанного алгоритма.

Формирование и настройка отдельных моделей

Как было рассмотрено ранее, модель логистической регрессии является одной из наиболее простых и легко реализуемых для задач бинарной классификации, то есть классификации между двумя классами.

Для реализации данной модели в рамках настоящей работы использовалась готовая библиотека машинного обучения на языке Python ScikitLearn. [39] [40] [41]

Метод логистической регрессии не требует какой-либо настройки, вследствие чего он может быть использован сразу же после разделения данных на обучающую и проверочную выборки. Для обучения модели используется 80% набора данных, а для оценки качества модели - оставшиеся 20% операций.

Также, как было указано ранее, для получения более достоверных результатов тестирования моделей будет использоваться последовательный метод Монте-Карло. Таким образом, в рамках каждой итерации будет производиться оценка качества предсказания модели на основании выделенных оценок.

Прежде всего было проведено построение модели без использования какой-либо дополнительной предобработки данных из набора в рамках 20 итераций деления выборки. В результате проведения обучения и оценки результатов предсказания в течение 20 итераций была получена медиана для всех изучаемых показателей, а также построены диаграммы Бокса-Вискерса. Результаты приведены в таблице и на диаграмме ниже (Рисунок 20).

Рисунок 20. Показатели качества модели логистической регрессии

Как видно из результатов выше, модель показывает достаточно неплохие результаты. Уровень F-меры достигает 71%, причем модель корректно обнаруживает около 61% скомпрометированных операции с достаточно низким уровнем ложноположительных результатов - всего около 10 случаев для выборки из 56 961 наблюдения (менее 0,02%).

Тем не менее, вполне вероятно, что дополнительная предобработка данных может улучшить показатели модели. Далее будут результаты модели, сформированные на основании модифицированных данных.

Использование дискретизации SMOTE

Рисунок 24. Показатели качества итоговой модели логистической регрессии

Таблица 3. Показатели качества итоговой модели К-ближайших соседей

Рисунок 30. Показатели качества итоговой модели К-ближайших соседей

Аналогично другим моделям, метод опорных векторов был испробован с различным отношением объемов мажоритарного и миноритарного классов, а именно: исходное распределение (0,17%), 0,5%, 1%, 5%, 10%, 20%. Результаты предсказаний для данных настроек модели приведены на рисунке ниже (Рисунок 33).

Рисунок 33. Показатели качества метода опорных векторов с использованием дискретизации

Как видно из диаграммы выше, дискретизация исходных данных имеет положительный эффект на качество предсказательной модели. При этом наилучшие результаты достигаются при параметре избыточной дискретизации 0,5%. При увеличении уровня скомпрометированных транзакций происходит значительное снижение качества предсказательной модели.