Разработка системы проверки данных клиентов банка на основе методов машинного обучения

Кроме того, практическая часть служит основанием для вывода о том, что калибровка чувствительных к стоимости моделей, значительно улучшает итоговое качество. При этом нельзя не упомянуть значительное ухудшение метрики ROC-AUC для всех построенных моделей, включая даже не чувствительные к стоимости. Возможно, причина этого кроется в том, что текущая модель и модели для этой работы обучались на разных наборах данных, а также в том, что в контексте этой модели используется US с целью искусственно повысить долю мошеннических операций в общей выборке.

Заключение

Подводя итоги работы, можно с уверенностью говорить о том, что цель данной работы, а именно, разработка модели машинного обучения, которая решает задачу верификации в онлайн-каналах с учетом стоимости различных решений, была выполнена в полном объеме.

Цель была выполнена благодаря выполнению нескольких задач. В результате обзора литературы были выделены причины проблемы, которая заключается в том, что использование чувствительных к затратам методов в антифроде не является распространенной практикой. Главной причиной, исходя из обзора, можно назвать малое количество открытых данных о мошенничестве и его стоимости, и, как следствие, довольно небольшой объем исследований, связанных с ним. Кроме того, обзор статей по теме помог сформировать используемые инструменты и методы:

различные вариации AdaBoost;

калибровка Платта и изотонической регрессией;

US, который позволяет работать с несбалансированными данными;

способы оценки моделей, подходящие для чувствительных к стоимости алгоритмов (Total cost, Savings, AUC-ROC, PSI);

Выполнение задачи сбора данных позволило проанализировать предикторы, а также определить необходимость использования US для обучения моделей. После построения моделей AdaC1, AdaC2, AdaC3, AdaBoost, CSDT, CSRP, AdaCG и AdaCS, а также двух откалиброванных вариаций каждой модели, был проведен сравнительный анализ моделей между собой, а также с моделью, которая работает в текущий момент, но не учитывает стоимости решений.

Главным выводом данной работы, который подтверждает поставленную гипотезу, можно назвать тот факт, что добавление стоимостей в процесс моделирования, увеличивает количество сохранённых средств, то есть уменьшает издержки. Это значительно упрощает интерпретацию модели для коллег со стороны бизнес-департамента и позволяет взглянуть на качество с другой стороны, избегая расчета прибыльности модели через сторонние средства.

При этом нельзя не упомянуть, что, несмотря на тот факт, что AdaBoost, не учитывающий затраты в процессе обучения, имеет наилучшие результаты с точки зрения Savings, стоит подвергать эти результаты определенному скепсису. Это связано с тем, что результаты этой модели нельзя назвать стабильными, то есть в некотором смысле получение таких высоких показателей является скорее случайностью, чем постоянным поведением модели.

Вторая по качеству модель CSRP также оставляет некоторые сомнения, так как заметен значительный перепад в качестве между обучающей и тестовой выборкой, что говорит о переобучении. Таким образом, примерно одинаково успешными оказались все чувствительные к затратам модели AdaBoost, самой стабильной из которых оказалась модификация AdaC3, откалиброванная изотонической регрессией.

Сравнение её качества в разрезе потерь в разных классах объекта с другими не откалиброванными моделями подтвердило преимущество использования калибровки для решения задач антифрода, а также наглядно показало, за счет чего именно происходит понижение общих издержек. Это связано с тем, что откалиброванные алгоритмы в большей степени фокусируются на объектах положительного класса, то есть на тех, для которых стоимость неверной классификации выше, и, как следствие, понижают общие затраты, даже в ситуации, где издержки на не мошеннические объекты растут.

Практическая значимость данного исследования подтверждается не только с точки зрения добавления информации к довольно небольшому списку статей по теме, но и с точки зрения внедрения таких разработок в банке «Хоум Кредит», так как результаты этой работы заинтересовали часть коллег.

Несомненно, данное исследование необходимо углублять. Главной перспективой для будущей работы является добавление других моделей в анализ, например, вариаций AdaCG (AdaCG1 и AdaCG2), которое позволит охватить более широкий спектр методов и углубить некоторые выводы.

Другой перспективой является использование OS и тестирование моделей, обученных на таких данных, что позволит дополнительно проанализировать природу и закономерности в мошеннических операциях. Кроме того, существуют и другие методы US, помимо случайного US, использованного в этой работе, например, связи Томека или семейство методов NearMiss, которые, возможно, стоит использовать для сравнения в будущей работе.

Более того, существуют и другие методы калибровки предсказанного значения, которые не были использованы в работе, но, возможно, интересны в контексте будущего анализа и на предмет улучшения общего качества моделей, к примеру ROC-калибровка.

С точки зрения работы с данными существуют перспективы, связанные с более тщательным отбором и контролем качества предикторов, которые в рамках практики не были применены. Очевидно, что существование более чем 200 предикторов значительно увеличивает время на сбор данных и на само обучение моделей, что также является важным параметров с точки зрения практической деятельность. Помимо базовой проверки доли непустых значений, распределения и корреляции, можно использовать группировку для правил, которые показывают количество, или бинаризацию для непрерывных значений.

Таким образом, все эти методы можно использовать в качестве перспективных направлений будущих исследований.

Литература

1. European Central Bank. The fifth oversight report on card fraud, 2018.

2. Ling C.X., Sheng V.S. Cost-Sensitive Learning and the Class Imbalance Problem // In: Encyclopedia of Machine Learning / Ed. by Sammut C. Boston: Springer, 2010.

3. Sun Y., Kamel M.S., Wong A.K.C., Wang Y. Cost-sensitive boosting for classification of imbalanced data // Pattern Recognition, 2007. pp. 3358-3378.

4. Bhattacharyya, S., Siddhartha B., Sanjeev J., Kurian T., Westland C. Data mining for credit card fraud: A comparative study // Decision Support Systems, 2011. pp. 602-613.

5. Masnadi-Shirazi H., Vasconcelos N. Cost-Sensitive Boosting // IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011. pp. 294 - 309.

6. Maes S., Tuyls K., Vanschoenwinkel B., Manderick B. Credit Card Fraud Detection Using Bayesian and Neural Networks // Artificial Immune Systems: 7th International Conference. 1993. pp. 261--270.

7. Bahnsen A.C., Stojanovich A., Aouada D., Ottersten B. Cost Sensitive Credit Card Fraud Detection Using Bayes Minimum Risk // 12th International Conference on Machine Learning and Applications. Miami. 2013. Vol. 2.

8. Hulse J.V., Khoshgoftaar T., Napolitano A. Experimental perspectives on learning from imbalanced data // Proceedings of the 24th international conference on Machine learning. Bejing. 2007. pp. 935-942.

9. Kittler , Hatef , Duin , Matas J. On Combining Classifiers // IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE. 1998. Vol. 20.

10. Freund Y., Schapire R.E. Experimentswitha NewBoostingAlgorithm // Thirteenth International Conference on Machine Learning. Los Altos. 1996. pp. 148-156.

11. Joshi V., Kumar V., Agarwal R.C. Evaluating boosting algorithms toclassify rare classes: Comparison and improvements // First IEEE International Conference on Data Mining. San Jose. 2001.

12. Bahnsen A.C. Example-Dependent Cost-Sensitive Classification with Applications in Financial Risk Modeling and Marketing Analytics, September 2015.

13. Nikolaou. Cost-sensitive Boosting Algorithms: Do We Really Need Them // Machine Learning Journal, Vol. 104, No. 2, September 2016. pp. 359-384.

14. Ting K.M. A Comparative Study of Cost-Sensitive Boosting Algorithms // Seventeenth International Conference on Machine Learning. 2000. pp. 983-990.

15. Landesa-Vazquez I., Luis Alba-Castro J. Shedding Light on the Asymmetric Learning Capability of AdaBoost // Pattern Recognition Letters, Vol. 33, No. 3, February 2012. pp. 247-255.

16. Masnadi-Shirazi , Vasconcelos. Asymmetric Boosting, 2007.

17. Bahnsen A.C. Example Dependent Cost Sensitive Classification, 2015. P. 90.

18. Louppe G., Geurts P. Ensembles on Random Patches // European conference on Machine Learning and Knowledge Discovery in Databases. 2012. Vol. 1.

19. Bettinger R. Cost-sensitive classifier selection using the ROC convex hull method 2003.

20. Hernбndez-Orallo , Flach , Fer. ROC curves in cost space // Machine Learning, Vol. 93, February 2013. pp. 71-91.

21. Niculescu-Mizil A., Niculescu-Mizil A. Predicting good probabilities with supervised learning // Twenty-Second International Conference on Machime Learning. Bonn. 2005.

22. Platt J.C. Probabilistic Outputs for Support Vector Machines and Comparisons to Regularized Likelihood Methods 2000.

23. Zadrozna B., Elkan C. Learning and Making Decisions When Costs and Probabilities Are Both Unknown 2001.

24. Alec L.Z. Examining Distributional Shifts by Using Population Stability Index (PSI) for Model Validation and Diagnosis // SAS Conference. Long Beach. 2017.

Размещено на Allbest.ru