Название переменных	Значения переменных	SHAP values
DCSR	5,13	0,001
DCSR2	14,41	-0,01
TDtoAssets	0,67	-0,003
Gross_margin	-0,02	-0,001
%OborCred.Z.	1,3	0,005
%OborZapasov	1,05	-0,005
Currentrat.	1,04	0,014
Cashrat.	0,39	-0,015
divpayout	-5,4	0,201
dDtoEBITDA	1,3	-0,002
dTDtoAssets	0,1	-0,003
DtoEBITDA	5,8	-0,004
BaseValue	0,17
Сумма по столбцу (вероятность отнесения к классу банкротов)	0,35

Как видно из таблицы 5, модель отнесла компанию к классу банкротов с вероятностью 0.35. Basevalue для модели из 11 переменных=0.17. В таблице 6, в колонке «SHAPvalues» приводятся SHAPvalues, для каждой из 11 переменных. В колонке «Значения переменных», приводятся рассчитанные финансовые коэффициенты - объясняющие переменные. Сумма всех SHAPvalues и SHAPBasevalue равна итоговой вероятности дефолта, прогнозируемой моделью. Отсюда, можно увидеть, почему модель предрекает для ЗАО «Международный Аэропорт "Домодедово"» банкротство. Положительные значения SHAPvalue означают негативные факторы, в то время как отрицательные значения SHAP value снижают вероятность банкротства. Как можно увидеть из таблицы 6, показатель «divpayout» имеет SHAPvalue 0.201. Переменная «divpayout» рассчитывается как отношение выплаченных за год дивидендов к чистой прибыли. У ЗАО «Международный Аэропорт "Домодедово"» данный показатель за 2018 год равен -5.4, что свидетельствует о том, что компания выплатила дивиденды, имея непокрытый убыток.

Предположим, что мы выкинем переменную «divpayout». Без нее, прогнозируемая вероятность банкротства для ЗАО «Международный Аэропорт "Домодедово"» составила бы 0.15, и модель отнесла бы его к классу не банкротов, так как 0.15<границы разделения 0.25. Тогда, учитывая, что SHAPBasevalue=0.17, получилось бы, что аэропорт более низкие шансы обанкротиться чем средняя компания из выборки наблюдений.

После обучения модель без переменной «divpayout», получается следующая картина:

Таблица 7. Интерпретация прогнозов модели на основе отчетности аэропорта Домодедово за 2018 год без переменной «divpayout»

Название переменных	Значения переменных	SHAP values
DCSR	5,13	0,001
DCSR2	14,41	-0,01
TDtoAssets	0,67	-0,005
Gross_margin	-0,02	-0,003
%OborCred.Z.	1,3	0,007
%OborZapasov	1,05	-0,005
Currentrat.	1,04	0,021
Cashrat.	0,39	-0,023
divpayout	выброшена	выброшена
dDtoEBITDA	1,3	-0,003
dTDtoAssets	0,1	-0,002
DtoEBITDA	5,8	-0,001
BaseValue	0,18
Сумма по столбцу (вероятность отнесения к классу банкротов)	0,16

Как видно из таблицы 7, после выбрасывания переменной все SHAPvalues и Basevalue незначительно изменились, однако финальный прогноз модели упал говно настолько, насколько и предсказывалось - приблизительно на 20 процентных пунктов.

4.3 Анализ взаимосвязей переменных с банкротством

SHAPvalues рассчитываются для каждого наблюдения по каждой переменной и напрямую связаны с конечной вероятностью отнесения наблюдения к классубанкротов. Поэтому, построив диаграмму рассеивания между всеми SHAPvalue по i-ой переменной и значениями i-ой переменной, можно оценить зависимость между переменной и банкротством.

Влияние переменной «divpayout» набанкротство

Как видно из рисунка 3, на оси y отложены значения SHAPvalues для всех наблюдений по переменной «divpayout». Заметны выбросы, самая левая точка -- это наблюдение по ЗАО «Международный Аэропорт "Домодедово"» за 2018 год.

Рисунок 6. Связь переменной "dividendpayout" с банкротством

Из диаграммы рассеивания следует, обратная связь между переменной и банкротством. Модель, считает, что, выплаты дивиденды, при отрицательной прибыли негативно сказывается на финансовой устойчивости, при этом, если компания выплачивает дивиденды, кратно превышающие чистую прибыль, значит, шансы обанкротиться минимальны. Следует отметить, что политика выплаты дивидендов может сильно зависит от отрасли и стадии жизненного цикла компании.

Также важно обратить внимание на то, насколько модель чувствительна к выбросам. Если выплаты дивидендов превышают чистую прибыль за период в 4 раза, модель снижает вероятность банкротства на 0.15, в то время как когда выплаты дивидендов превышают чистую прибыль за период в 2 раза - только на 0.15.

Влияние переменной «TDtoAssets» на банкротство

TDtoAssets рассчитывается как . Под обязательствами понимается любые обязательства типа займов, кредиторской задолженности или задолженности перед налоговой.

Как видно из рисунка ниже, прослеживается прямая связь долговой нагрузки с банкротством. При этом, для компаний с отрицательным собственным капиталам, значение переменной TDtoAssets становится больше единицы, и тут у SHAPvalues резко возрастает дисперсия.

Рисунок 7. Связь переменной "TDtoAssets" с банкротством



Влияние переменной «DSCR» на банкротство.

Любопытная зависимость наблюдается при между данной переменной и банкротством.DSCR, рассчитывается как

При DSCR ниже 0, вероятность банкротства резко возрастает, в то время как по мере роста положительных значений DSCR вероятность банкротства плавно снижается.

Рисунок 8. Связь переменной "DSCR" с банкротством

Влияние переменной «Currentrat.» на банкротство.

Переменная рассчитывается как . Наблюдается обратная линейная зависимость между данной переменной и вероятностью банкротства

Рисунок 9. Связь переменной "Currentrat." с банкротством

Влияние переменной «Gross_margin» на банкротство.

Переменная рассчитывается как . Наблюдается нелинейная зависимость. Для части компаний, имеющих огромные убытки, SHAPvalues не превышают 0.05. Для компаний, имеющих большую рентабельность SHAPvalues, не меняется.

Рисунок 10. Связь переменной "Gross_margin" с банкротством



Заключение

В настоящее время методы машинного обучения активно развиваются и популяризируются. Появившийся метод интерпретации нелинейных моделей SHAP и его дальнейшее развитие может произвести революции в распознавании моделей «черный ящик» основанный на решающих деревьях.

Целью данной работы являлось построение модели, прогнозирующей вероятность банкротства для публичных российских компаний, оценка ее точности и экономическая интерпретация. Под понятием банкротства понимался факт неисполнения компании обязательств перед кредиторами либо крайне неблагоприятное освящение финансового состояния компании в СМИ.

По мере исследования по применению различных методов кпрогнозированию банкротств публичных компаний возникла фундаментальные проблема,связанная с малым количеством наблюдений банкротов. Чтобы обойти это ограничение, было решено преобразовать панельные данные в пространственную выборку, рассматривая наблюдения по компаниям за несколько лет как независимые. При этом, во избежание завышения точности, наблюдения, относящиеся к одной компании, шли строго или обучающую или в тестовую выборки.

В качестве объясняющих переменных использовались финансовые коэффициенты, рассчитанные из показателей баланса и отчета о финансовых результатах. Для отбора переменных был произведен пошаговый отбор n-лучших переменных с помощью статистических тестов, линейных и нелинейных моделей. Переменные исключались в том случае, если это увеличивало точность модели.

В результатебыли построены несколько моделей, из которых лучшие результаты показали логистическая регрессия с LASSO регуляризацией, градиентный бустинг и случайный лес. С целью улучшения прогнозной силы было решено объединить эти три модели в ансамбль, усредняя их прогнозные вероятности. Средний AUCансамбля составил 0.90.

Результаты сравнения спрогнозированных вероятностей дефолта на тестовой выборке показали значительную корреляцию со спрогнозированными рейтингами АКРА. Кроме того, результаты ансамбля моделей были интерпретированы методом SHAP, по ряду переменных были проанализированы зависимости, которые эмпирическим путем подтверждают теоретические гипотезы о зависимостях между этими переменными и вероятностью банкротства.

В будущем подобные модели могут использоваться для предварительного ускоренного кредитного скоринга и ранжирования клиентов с целью предварительного отсечения клиентов с неподходящим финансовым профилем и снижения нагрузки на кредитных аналитиков.



Список использованной литературы

1. Белоглазов Д. А. Особенности нейросетевых решений, достоинства и недостатки, перспективы применения //Известия южного федерального университета. Технические науки. - 2008. - Т. 84. - №. 7.

2. Карминский А. М., Бурехин Р. Н. Сравнительный анализ методов прогнозирования банкротств российских строительных компаний //Бизнес-информатика. - 2019. - Т. 13. - №. 3.

3. Altman E.I. Financial ratios, discriminant analysis and the prediction of corporate bankruptcy // The Journal of Finance. - 1968. - Vol. 23, No. 4. - P. 589-609.

4. Altman, E.I., Marco, G., Varetto, F. (1994), Corporate distress diagnosis: Comparisons using linear discriminant analysis and neural networks (the Italian experience), Journal of Banking & Finance, 3 (18) (1994) 505-529.

5. ALTMAN, E. L., R. A. EISENBEISA ND J. SINKEY, Applications of Classification techniques in Business, Banking, and Finance, JAI Press, Greenwich, CT, 1981.

6. Aldrich J. H., Nelson F. D., Adler E. S. Linear probability, logit, and probit models. - Sage, 1984. - №. 45.

7. Ariza-Garzуn M. J. et al. Explainability of a Machine Learning Granting Scoring Model in Peer-to-Peer Lending //IEEE Access. - 2020. - Т. 8. - С. 64873-64890.

8. Balakrishnama S., Ganapathiraju A. Linear discriminant analysis-a brief tutorial //Institute for Signal and information Processing. - 1998. - Т. 18. - С. 1-8.

9. Barboza F., Kimura H., Altman E. Machine learning models and bankruptcy prediction //Expert Systems with Applications. - 2017. - Т. 83. - С. 405-417.

10. Beaver B. Financial ratios as predictors of failure // Journal of Accounting Research. - 1966. - Vol.4. - P. 91-101

11. Blazy, R., Combier, J. (1997), “La dйfaillanced'entreprise: causes йconomiques, traitementjudiciaire et impact financier”, Economica.

12. Chen, G. and H. Tsurumi, 2010. Probit and logit model selection. Communications in Statistics - Theory and Methods, 40, 159-175.

13. Dash M., Liu H. Feature selection for classification //Intelligent data analysis. - 1997. - Т. 1. - №. 3. - С. 131-156.

14. Deakin E. B. Distributions of financial accounting ratios: some empirical evidence //The Accounting Review. - 1976. - Т. 51. - №. 1. - С. 90-96.

15. Fatima S. S., Wooldridge M., Jennings N. R. A linear approximation method for the Shapley value //Artificial Intelligence. - 2008. - Т. 172. - №. 14. - С. 1673-1699.

16. Hamer, M.M. (1983), "Failure prediction: Sensitivity of classification accuracy to alternative statistical methods and variable sets", Journal of Accounting and Public Policy 2, 289-307.

17. Haykin S. Neural networks: a comprehensive foundation. - Prentice Hall PTR, 1994

18. Jo H., Han I., Lee H. Bankruptcy prediction using case-based reasoning, neural networks, and discriminant analysis //Expert Systems with Applications. - 1997. - Т. 13. - №. 2. - С. 97-108.

19. Khorasgani, A. (2011), Optimal accounting-based default prediction model for the UK SMEs, Proceedings of ASBBS Annual Conference: Las Vegas, 1 (18) (2011) 149-168.

20. Kollar B., Cisko Љ. Credit risk quantification with the use of CreditRisk+ //International Conference on Management, Education, Business, and Information Science. - 2014. - С. 43-46.

21. Leo M., Sharma S., Maddulety K. Machine learning in banking risk management: A literature review //Risks. - 2019. - Т. 7. - №. 1. - С. 29.

22. Liaw A. et al. Classification and regression by randomForest //R news. - 2002. - Т. 2. - №. 3. - С. 18-22.

23. Lohmann C., Ohliger T. Nonlinear relationships and their effect on the bankruptcy prediction //Schmalenbach Business Review. - 2017. - Т. 18. - №. 3. - С. 261-287.

24. Lundberg S. M., Lee S. I. A unified approach to interpreting model predictions //Advances in Neural Information Processing Systems. - 2017. - С. 4765-4774.

25. Lundberg, Scott M, and Su-In Lee. 2017. “A Unified Approach to Interpreting Model Predictions.” In Advances in Neural Information Processing Systems 30, edited by I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, 4765-74. CurranAssociates, Inc.

26. Maleev, V., Nikolenko, T. (2010), Predicting Probability of Default of Russian Public Companies on the Basis of Financial and Market Variables. Preprint.

27. Odom M. D., Sharda R. A neural network model for bankruptcy prediction //1990 IJCNN International Joint Conference on neural networks. - IEEE, 1990. - С. 163-168.

28. Ohlson, J.A. (1980), Financial ratios and the probabilistic prediction of bankruptcy, Journal of accounting research, 1 (18) (1980) 109-131.

29. Petropoulos A. et al. A robust machine learning approach for credit risk analysis of large loan level datasets using deep learning and extreme gradient boosting //IFC Bulletins chapters. - 2019. - Т. 49.

30. Tam K. Y., Kiang M. Y. Managerial applications of neural networks: the case of bank failure predictions //Management science. - 1992. - Т. 38. - №. 7. - С. 926-947.

31. Shapley, Lloyd S. 1953. “A Value for n-Person Games.” In Contributions to the Theory of Games Ii, edited by Harold W. Kuhn and Albert W. Tucker, 307-17. Princeton: Princeton University Press.

32. Steinwart I., Christmann A. Support vector machines. - Springer Science & Business Media, 2008.

33. Tsai C. F. Feature selection in bankruptcy prediction //Knowledge-Based Systems. - 2009. - Т. 22. - №. 2. - С. 120-127.

34. Zhang G. et al. Artificial neural networks in bankruptcy prediction: General framework and cross-validation analysis //European journal of operational research. - 1999. - Т. 116. - №. 1. - С. 16-32.

35. Hдrdle W. K. et al. The default risk of firms examined with smooth support vector machines. - 2007.

36. Klieљtik T., Koиiљovб K., Miљankovб M. Logit and probit model used for prediction of financial health of company //Procedia Economics and finance. - 2015. - Т. 23. - С. 850-855.

37. An Explainable Hybrid Model for Bankruptcy Prediction Based on the Decision Tree and Deep Neural Network

38. P. du Jardin. Bankruptcy prediction models: How to choose the most relevant variables? - 2009.

39. techniques-in-machine-learning-with-python-f24e7da3f36e (датаобращения: 17.05.2020).

40. Petropoulos A. et al. A robust machine learning approach for credit risk analysis of large loan level datasets using deep learning and extreme gradient boosting //IFC Bulletins chapters. - 2019. - Т. 49.

41. АвтоВАЗ на грани банкротства // РБК URL: https://www.rbc.ru/story/56be02fa9a79476bcdb3b1fc (дата обращения: 17.05.2020).

42. АКРА понизило рейтинг а/п "Домодедово" и бондов дочерней компании до "A-(RU)", изменило прогноз на "негативный" // Финмаркет URL: http://www.finmarket.ru/bonds/news/5221163 (дата обращения: 17.05.2020).

43. Курс лекций по эконометрике Демешев Б.Б. // Coursera URL: https://ru.coursera.org/learn/ekonometrika (дата обращения: 17.05.2020).

44. Кредитные фабрики будущего // Банковское обозрение URL: https://bosfera.ru/bo/kreditnye-fabriki-budushchego (дата обращения: 17.05.2020).

45. Как интерпретировать предсказания моделей в SHAP // habr.com URL: https://habr.com/ru/post/428213/ (дата обращения: 17.05.2020).

46. Нейронные сети для начинающих. Часть 1 // habr.com URL: https://habr.com/ru/post/312450/ (дата обращения: 17.05.2020).

47. Открытый курс машинного обучения. Тема 4. Линейные модели классификации и регрессии // habr.com URL: https://habr.com/ru/company/ods/blog/323890/#6-plyusy-i-minusy-lineynyh-modeley-v-zadachah-mashinnogo-obucheniya (дата обращения: 17.05.2020).

48. ТГК-2 создала прецедент на рынке рублевых облигаций // РБК URL: https://www.rbc.ru/finances/25/05/2017/5922d8479a7947f91b81cb6b (дата обращения: 17.05.2020).

49. ЦСР представит новейшие данные о состоянии деловой среды в России на фоне пандемии covid-19, падения курса рубля и цен на нефть // ЦСР URL: https://www.csr.ru/ru/news/tssr-predstavit-noveyshie-dannye-o-sostoyanii-delovoy-sredy-v-rossii-na-fone-pandemii-covid-19-padeniya-kursa-rublya-i-tsen-na-neft/ (дата обращения: 17.05.2020).

50. Feature Selection Techniques in Machine Learning with Python // Towards Data Science URL: https://towardsdatascience.com/feature-selection-techniques-in-machine-learning-with-python-f24e7da3f36e (датаобращения: 17.05.2020).

51. Mind: How to Build a Neural Network (Part One) // http://stevenmiller888.github.io/ URL: http://stevenmiller888.github.io/mind-how-to-build-a-neural-network/ (датаобращения: 17.05.2020).



Приложение 1. Отобранные переменные.

Название	Описание
DSCR
DSCR2
TDtoAssets
DtoEBITDA
Gross_margin
%OborCred.Z.
%OborZapasov
Current rat.
Cash rat.
div payout
dDtoEBITDA
dTDtoAssets



Приложение 2. Наблюдения по отраслям.

Отрасль	N компаний	N банкротов
Металлы и горная добыча	20	4
Торговля	19	4
ОПК и машиностроение	16	5
Нефть и газ	15	2
Электроэнергетика	12	2
Транспорт	12	3
Химия и нефтехимия	11	2
Сель. хоз. и продукты питания	10	4
Телекоммуникации	7	0
Медиа и интернет	6	0
Фармацевтика	5	1
Автомобили	5	3
Строительные материалы	4	2
Коммерческая недвижимость	4	2
ЖКХ	3	1
Алкоголь и табак	3	0
Прочее	2	0
Услуги	2	1
Информационные технологии	2	1
Атомная промышленность	2	0
Лес и деревообработка	1	1
Итого	161	38



Приложение 3. Корреляционная матрица.

Размещено на Allbest.ru