Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Правительство Российской Федерации

федеральное государственное автономное образовательное учреждение

высшего образования

«Национальный исследовательский университет

«Высшая школа экономики»

Факультет экономических наук

МАГИСТЕРСКАЯ ДИССЕРТАЦИЯ

«Межотраслевое моделирование дефолтов»

по направлению подготовки Финансы и кредит

образовательная программа «Корпоративные финансы

Тарасов Федор

Москва 2020



Оглавление

• Введение
• Глава 1. Общая характеристика моделей дефолта
• 1.Существующие подходы к понятию дефолта
• 2. Описание моделей вероятности дефолта
• Глава 2. Обзор методов прогнозирования дефолта.
• 2.1 Линейно Дискриминантный анализ
• 2.2 Метод опорных векторов
• 2.3 Случайный лес
• 2.4 Логит и пробит модели
• 2.5 Нейронные сети
• 2.6 Сравнение точности моделей прогнозирования дефолтов
• Глава 3. Построение модели
• 3.1 Подготовка обучающей выборки
• 3.2 Отбор моделей
• 3.3 Отбор переменных
• Глава 4. Экономическая интерпретация
• 4.1 Метод SHAP для интерпретации результатов нелинейных моделей
• 4.2 Результаты прогнозирования
• 4.3 Анализ взаимосвязей переменных с банкротством
• Заключение
• Список использованной литературы
• Приложение 1. Отобранные переменные
• Приложение 2. Наблюдения по отраслям
• Приложение 3. Корреляционная матрица


Аннотация

Магистерская диссертация посвящена анализу моделей прогнозирования банкротства. В качестве данных использовалась консолидированная финансовая отчетность публичных российских компаний в формате МСФО за период с 2010 по 2018 года. В рамках работы были построены различные эконометрические модели оценки дефолта, и наилучшей оказался ансамбльс AUC 90% из нескольких моделей: случайный лес, градиентный бустинг и LASSO регрессия. Было выявлено, что ансамбль моделей, превосходит каждую из них по отдельности в прогнозной точности. Затем, для интерпретации прогнозов ансамбля моделей был применен метод SHAP, позволяющий представить вероятность дефолта в виде суммы вкладов каждой из объясняющих переменных. В итоге была получена полностью интерпретируемая модель прогнозирования вероятности банкротства. Подобные прогнозные ансамбли моделей могут быть использованы для улучшения банковских скоринговых систем и ускоренного рейтинговая заемщиков. Использование в ансамбле нелинейных и линейных моделей позволяет им компенсировать недостатки друг друга, а SHAPметод, объяснить результаты прогнозирования, тем самым открывая новые возможности для машинного прогнозирования вероятности банкротств.

This paper is focused on bankruptcy prediction models. The data collected for analysis was gained from IFRS financial statements of Russian public companies between 2010 and 2018. After training several econometric models the best model appeared to be ensemble modelwith 90% AUC, consisting of three models: random forest, gradient boosting and LASSO regression. As a result, ensemble of modelsoutperforms individual models. In order to interpret ensemblemodels' predictions, SHAP method was applied,which helps to calculate features contribution to the prediction. Finally,fully interpretable deep learning model was obtained. Such ensemble models can be applied in credit scoring and preliminary credit rating distribution.Application of linear and non linear models compensates each other flaws, while SHAP method provides us with clear explanation of predictions. All of the above provides new opportunities in application of machine learning techniques to bankruptcy prediction problems.



Введение

По результатам опроса предпринимателей центра стратегических разработок(49), примерно треть российских предпринимателей опасаются банкротства своего бизнеса из-за неблагоприятной экономической обстановки, сложившейся в результате эпидемии коронавируса, падением курса рубля и низкими ценами на нефть. На этом фоне, на передний план, выступает возможность быстро и точно вынести решение об одобрении кредитной сделки. Цифровые технологии неуклонно проникают в финансовую отрасль. Если еще 10 лет назад, кредитные аналитики работали с информацией на бумажных носителях, теперь, на смену им пришли отсканированные изображения. В недалеком будущем кредитные аналитики перестанут работать с финансовой отчетностью напрямую. Вместо этого им будут подаваться эргономично структурированная и автоматически предобработанная информация, необходимая для принятия финансового решения. MSExcel и калькуляторы уйдут в прошлое, как когда-то ушли печатные машинки и гусиные перья.

Актуальностьи важность быстрой и точной оценки кредитоспособности заемщика, в последнее время вырастает не только из-за экономических потрясения, но и из-за усиливающейся конкуренции между банками на фоне новых открывающихся возможностей благодаря росту цифровизации процесса сбора информации. Так, например, ПАО «Сбербанк», в 2019 году, благодаря запущенной ранее, так называемой «фабрики быстрых кредитов» начал выдавать кредиты юридическим лицам за 7 минут. В ближайшие годы, процесс кредитного анализа может изменится до неузнаваемости, благодаря BigData и системам комплексной автоматизации кредитного процесса(44).

Предметом исследования являются различные модели оценки платежеспособности клиента, выдающие в качестве результата вероятность отнесения клиента к классу неблагонадежных заемщиков.

Объект исследования- выборка из 161 российских публичных нефинансовых компаний, данные по которым (2013-2018 годы) были собраны вручную. Собранные данные для построения моделей представляют из себя консолидированную групповую финансовую отчетность по стандартам МСФО. дефолт банкротство финансовая отчетность

Цели и задачи работы - изучив мировые практики, с помощью эконометрических моделей и методов машинного обучения построить модель, прогнозирующую вероятность дефолта на основе доступных данныхпубличных компаниях. Экономически интерпретировать результаты прогнозов модели, оценить наиболее значимые признаки.

Новизна работы заключается в экономической интерпретации результатов прогноза ансамбля из нескольких линейных и нелинейных моделей с помощью метода SHAP (SHapleyAdditiveexPlanations) для оценки вероятности дефолта публичных компаний.Также, новизной работы является прогнозирование с помощью ансамбля из линейных и нелинейных моделей. Следует отметить, что несмотря на важность задачи прогнозирования банкротств с помощью более продвинутых методов, отечественных работ в данной области не так много, а работы, посвященные прогнозированию отзывов банковских лицензий, скорее являются исключением (Каминский, 2019).

В первой главе рассказывается о выбранном подходе к дефолту и дается общее описание существующих моделей определения вероятности дефолта.

Во второй главе подробно рассматриваются модели прогнозирования дефолта, из достоинства и недостатки, а также производится сравнение этих методов по точности.

В третьей главе описывается процесс построения модели: подготовку данных, разбиение на тестовую и обучающую выборки, выбор оптимальной формы модели, отбор переменных.

В четвертой главе производится экономическая интерпретация модели, результаты прогнозирования сравниваются с рейтингами АКРА, рассматривается влияние переменных на банкротство.

Практическая значимость работы, заключается в ускоренном ранжировании компаний по уровню финансового риска. Данный метод может превосходить банковские скоринговые модели по точности и надежности и может применяться как для кредитного скоринга, так и для ускоренного рейтингования компаний. Также, благодаря специальному методу интерпретации, появляется возможность четко понять причины, по которым модель сделала то или иное предсказание



Глава 1. Общая характеристика моделей дефолта

1. Существующие подходы к понятию дефолта

Определение терминов банкротства и дефолта требует уточнения, так как в различных ситуациях под ними могут подразумеваться разные понятия. В общем смысле под дефолтом подразумевается неспособность компании выполнить свои обязательства. Если же кредиторы начинают требовать с должника выполнить обязательство, на основе поданного заявления, арбитражный суд может возбудить дело о несостоятельности должника. Если же компания будет признана судом банкротом, запускается процедура банкротства.

В современной литературе подходы к дефолту можно разделить на 2 основных типа:

Под понятие дефолта подпадают те компании, которые не могут вовремя рассчитаться по процентным выплатам или погасить платежи по телу займа(Maleev, Nikolenko, 2010).

Другие авторы расширяют понятие дефолта включают сюда помимо платежей по долговым обязательстваv любые выплаты кредиторам (Khorasgani, 2011).

Третий подход, предполагает рассматривание только тех компаний, в отношении которых запущена юридическая процедура банкротства (Карминский, Бурехин, 2019).

В данной работе, по каждой из 161 компании в выборке был произведен поиск негативной информации о финансовом положении в открытых источников. Под негативной информацией подразумевается зафиксированный в СМИ факт невыполнением фирмы обязательств перед кредиторами или крайне неблагоприятному освещению финансового положения фирмы в новостном источнике. Так например, в категорию компаний с неблагоприятным финансовым положением попал ПАО «АВТОВАЗ» в 2016 году, так как компания большой четверки EY,проводящая аудит за 2015, высказала сомнения в его платежеспособности (41). Несмотря на это, Автовазбыл спасен за счет масштабной помощи со стороны государства, однако для целей исследования, в 2015 году Автоваз относится к классу банкротов.

Пример второго варианта -- это генерирующая компания ТГК-2, создавшая впервые в новейшей российской истории в 2017, прецедент реструктуризации выплат по облигационным займам в связи с кассовым разрывом (48). Это событие, в логике данного исследования предполагает отнесение ТГК-2 к классу банкротов в 2017 году.

Помимо, проблем с подходом к определению банкротства, исследователи неизбежно сталкиваются с логическим парадоксом корабля Тесея. За какой период отчетность нужно брать, чтобы прогнозировать банкротство? Начиная с какой отчетной даты, компания попадает в ситуацию, из которой она неизбежно станет банкротом, и в какой момент кредитный эксперт должен был увидеть надвигающуюся угрозу и начать принимать меры для спасения денег банка?

Беря отчетность в год банкротства, и обучая по этим данным модель, исследователь получаетинструмент, прогнозирующий банкротство «задним числом», данная модель может быть интересна с научной точки зрения, однако совершенно необязательно применима в реальном кредитном анализе, так как главная его задача это предвидеть банкротство а не сообщить о нем по факту его свершения.

Поэтому, в исследовании, для построения моделей берется финансовая отчетность с временным лагом в 1 год до года, в котором считается, что произошло банкротство.



2. Описание моделей вероятности дефолта

Активное исследование проблематики прогнозирования банкротств началось с середины 60-х годов XX века. Тогда появились знаковые работы использующие, использующие линейные модели для классификации. В работе Бивера (Beaver,1996) 1966 года предложено использовать анализ относительных показателей (одномерный параметрический метод), в работе Альтмана (Altman, 1968) был применен линейный дискриминантный анализ (ЛДА), на 66 американских публичных компаниях, в результате была получена 9-факторная модель.

Следующим этапом в развитии прогнозирования банкротств стало применение логит и пробит моделей. Мартин и Олсон показали, что логистическая регрессия зачастую превосходят дискриминантный анализ. К тому же в работе Олсона (Ohlson, 1980), предложено оценивать вероятность дефолта не только на год, но и на два года вперед. В выборку тогда попали 2000 промышленных компаний за период 1970-1976 гг., которые торговались на бирже хотя бы 3 года, и из которых 135 потерпели дефолт.

Hдrdle, Lee, Schдfer, Yeh, 2007 (Hдrdle, 2007) применили метод опорных векторов для прогнозирования банкротств на выборке из 20 000 не банкротов и 1 000 банкротов немецких компаний с 1997 по 2002 год.

Все вышеперечисленные работы, используют в качестве переменных финансовые коэффициенты, отражающие ликвидность активов компании, долговую нагрузку и рентабельность. Все они рассчитываются из финансовой отчетности, изредка, в случае публичных компаний исследователи добавляют в модель переменные, основанные на рыночной оценке компании.

Использование нефинансовых показателей, затрудняется из-за невозможности их получения для обучения моделей, равно как и оперативного их использования для целей бизнеса и оперативного же прогнозирования.

Ключевая проблема статистических методов заключается в том, что связи между переменными и банкротством зачастую не являются линейными, а переменные не имеют нормального распределения. Edward B. Deakin в 1976 провел исследование (Deakin,1976) на нормальность распределений одиннадцати наиболее часто встречающихся в прогнозировании банкротств финансовых коэффициентов на предмет нормального распределения, для 1800 американских компаний за период 1955-1973 из разных отраслей. По результатам работы было выявлено, что все исследуемые величины распределены не нормально. Там же, Эдвард делает предположение, что нормальное распределение может быть получено с помощью предварительных математических преобразований, в частности при логарифмировании и взятию квадратного корня некоторые переменные становились близки к нормальному распределению. Также Эдвард делает предположение, что переменные могут иметь распределение близкое к нормальному у определенных отраслей.

Самым главным недостатком линейных моделей является значительное количество допущений, которые разнятся от модели к модели. Нарушение предпосылок ведет к снижению прогностической способности. Также исследователи нередко ставят под сомнение линейность связи между объясняющими переменными и банкротством. В частности, ChristianLohmann и ThorstenOhliger в работе (Lohmann, 2017) опровергают линейность этой взаимосвязи, анализируя немецкие компании на временном интервале с 2000 по 2010, выяснив, что 5 из 7 финансовых коэффициентов связаны с банкротством нелинейно.

С начала 90-х начали активно применяться нейронные сети. Исследователи гонконгского университетов KarYanTam и Melody Y. Kiang прогнозировали банкротство американских банков штата Техас на промежутке 1985-1987, с помощью двухслойной и трехслойной линейной нейронной сети (TamK., 1992). В работе применяются 19 переменных, рассчитывающихся из финансовых показателей надежности банка. В результате точность предсказания дефолта для обанкротившихся банков достигала 76%, исследователи указывают на недостатки нейронных сетей, в частности:

1) Не существует единого универсального подхода к спецификации нейронной сети, настройке количества слоев, функций активации и т.д. Остро встает проблема переобучения.

2) Проблемы с интерпретацией - не существует никаких методов позволяющих интерпретировать, почему нейронная сеть сделала то или иное предсказание.

Альтман также применял нейронные сети (Altman, 1994), в 1994 вышла работа, проводящая сравнительный анализ ЛДА, логистической регрессии и нейронной сети, на основе 1000 итальянских компаний обрабатывающей промышленности. Альтман приходит к выводу, что нейронные сети способны классифицировать банкротства наравне с линейными моделями, а иногда даже лучше их. Альтман также рекомендует применять нелинейные и линейные модели совместно для улучшения прогнозной силы.

Тайваньский исследователь Tsung-NanChou (37) в 2019 проанализировал американские публичные компании на промежутке 2010-2018, с помощью ансамбля из модели случайного леса и нейронной сети, добившись accuracyrate 87%. Также он применил метод интерпретации нелинейных моделей SHAP и смог оценить влияние исследуемых переменных на банкротство.

В целом, нелинейные модели превосходят в прогнозной силе линейные, однако уступают им в интерпретируемости. В настоящее время, благодаря развитию методов обработки данных, нелинейные модели встречаются все чаще и им уделяется все больше внимания.



Глава 2. Обзор методов прогнозирования дефолта

2.1 Линейно Дискриминантный анализ

ЛДА имеет следующие допущения (BalakrishnamaS, 1998):

1) Для объясняющих переменных заранее известны законы распределений.

2) Однородность дисперсии ошибок.

3) Отсутствие мультиколлинеарности. (с увеличением корреляции между объясняющими переменными, прогнозная сила модели начинает уменьшаться, следовательно объясняемые переменные должны быть независимы)

Линейно дискриминантный анализ является статистическим методом анализа данных. Суть метода легко объяснить на модели из одной переменной.

Предположим, у нас есть одна объясняющая переменная, и мы знаем распределение этой переменной для класса банкротов (красная линия на рисунке 1, и для класса не банкротов (синяя линия на рисунке 1). Тогда, графически изобразив эти распределения, можно увидеть точку пересечения красной и синей линии. Проекция этой точки на ось объясняющей переменной и будет границей, которая разделяет наблюдения на 2 класса. Точно такая же логика используется и при прогнозировании.



Рисунок 1. Линейный дискриминантный анализ по одной переменной.

Математически ЛДА выводится через формулу Байеса, с помощью которой, зная распределение случайной величины, можно получить вероятность отнесения к тому или иному классу:

(1)

где это вес i-го класса, закон распределения объясняющей переменной, - закон распределения вектора объясняющих переменных.

Решение об отнесении наблюдения к тому или иному классу принимается обычным неравенством: =

сокращается.

К преимуществам данного метода можно отнести:

1. Высокую точность, при выполнении допущении о правильном выборе распределений объясняющих переменных.

2. Вычислительную простоту и легкую интерпретируемость.

К недостаткам данного метода можно отнести:

1. Если наблюдения зависимы друг от друга и выстраиваются во временные ряды, ЛДА так же не эффективен.

2. Допущение о правильном выборе распределений объясняющих переменных очень трудно выполнить на практике.

Многие исследователи, в частностиEdward B. Deakin (DeakinE, 1976) и Altman (Аltman, 1981) отмечали, что финансовые объясняющие переменные, используемые при прогнозировании банкротств, зачастую имеют не нормальные распределения, которые разнятся от отрасли к отрасли и от страны к стране. Сам Альтман со временем отказался от использования ЛДА в пользу логистической регрессии.

2.2 Метод опорных векторов

Зачастую курсы по машинному обучению начинаются с обзор данного метода (Steinwart, 2008). Его преимуществами являются интуитивная простота, возможность красивой и легко интерпретируемой визуализации на моделях двух переменных,

Принцип работы метода опорных векторов для задачи классификации:

Предположим, что у нас есть класс банкротов (-1) и класс не банкротов (+1). Для их разделения необходимо построить разделяющую границу, задающуюся вектором:

, вектор w-коэффициентов, b - интерцепт, x - набор объясняющих переменных.

Если , предсказываем класс банкротов.

Если , предсказываем класс не банкротов.

Отличительной особенностью метода опорных векторов является то, что разделяющая поверхность подбирается таким образом чтобы быть равноудаленной от ближайших наблюдений. Для примера возьмем модель из 2 объясняющих переменных, на которой красным и синим цветом отмечены точки для разных классов. Оптимальная разделяющая линия, подбирается таким образом, чтобы максимизировать расстояние между двумя пунктирными зелеными линиями, которые проходят через ближайшие к разделяющей поверхности точки.

Рисунок 2. Метод опорных векторов на примере модели из 2-х переменных

В общем случае метод опорных векторов строит разделительную гиперплоскость в n-мерном пространстве, где n-число переменных, а наблюдения в этом пространстве являются точками, у которых координаты откладываются по переменным-осям.

Интересной особенностью данного метода является так называемый «Ядерный трюк». На примере модели из двух объясняющих переменных его можно объяснить следующим образом:

На рисунке 3, есть набор красных и зеленых точке, которые невозможно разделить простой прямой линией в двумерном пространстве. Тем не менее, в линейную функциональную форму метода опорных векторов можно добавить искусственную третью переменную, являющуюся функцией первых двух, что позволяет перейти из двумерного пространства в трехмерное. Если разделяющей поверхностью в двумерном пространстве является прямая, то в трехмерном пространстве это плоскость.

Рисунок 3. Применения «ядерного трюка» для классификации линейно неразделимых данных

Таким образом, в трехмерном пространстве сравнительно легко провести плоскость, разделяющую красные и зеленые точки.

К преимуществам данного метода можно отнести:

1) Сравнительно небольшое количество наблюдений, которое необходимо для обучения модели.

2) Работа с большим числом переменных.

3) Подходит для линейно неразделимых данных.

К недостаткам метода опорных векторов относятся:

1) Длительное обучение на больших выборках, например >50 000 наблюдений (учитывая специфику прогнозирования банкротств, где наблюдений редко бывает больше пары десятков тысяч, данный минус не особо важен)

2) плохая работа с данными, имеющими разную размерность (величины типа валюты баланса шкалируют, чтобы разница между ними и, например коэффициентом рентабельности не была очень большой).

2.3 Случайный лес

Случайный лес это один из самых популярных алгоритмов машинного обучения (LiawA, 2002), так как он дает хорошую предсказательную силу и одновременно с этим просто в использовании. Случайный лес представляет собой ансамбль решающих деревьев.

Решающее дерево это алгоритм, которому задаются вопросы в формате ответа «да/нет», касающиеся данных, в зависимости от ответов, объекту присваивается тот или иной класс. Самыми первыми задаются вопросы, отсеивающие наибольшее количество объектов. Метриками для отсеивания для задач классификации может служить информационный выигрыш (informationgain) и Критерий Джини (Giniimpurity). При этом, необходимо понимать, что чем больше листьев у дерева (заданных вопросов), тем больше дерево подстраивается под обучающую выборку и переобучается.

Для того чтобы избежать переобучения деревья «стригут». Существует несколько методов:

При пост-обрезке (post-prunning), методе, заключающемся в том, что из дерева удаляются листья, несущие мало информации и не сильно влияющие на конечный результат.

При пред-обрезке (pre-prunning) количество листьев в глубину заранее ограничивается, либо же ограничивается минимальное число объектов, попадающих в лист, и если это число достигнуто, то дальше этого листа дерево не строится.

Однако, решающие деревья по одиночке не могут дать достаточно точные предсказания, поэтому их комбинируют в вместе в ансамбль деревьев.

Наиболее известные методы комбинации -- это случайные леса и градиентный бустинг.

Случайный лес, заключается в том, что несколько деревьев строятся одновременно и их прогнозы усредняются. Тем самым, деревья компенсируют ошибки друг друга, и их коллективный прогноз оказывается существенно точнее прогнозов поодиночке.

Градиентный бустинг, заключается в том, что деревья строятся последовательно, где каждое последующее дерево исправляет ошибки предыдущего.

К преимуществам случайного леса можно отнести:

1. Хорошо подходит для ненормализованных данных, с разным масштабом.

2. Хорошо подходит для большого количества классов.

3. Хорошо работает если наблюдений очень мало или очень много.

4. Устойчив к шумам и выбросам.

К недостаткам случайного леса относятся:

1. Требуется значительная вычислительная мощность на больших датасетах.

2. Проигрывают линейным моделям при прогнозировании линейных зависимостей.

3. Плохо подходят для несбалансированных данных. (требуется дополнительная обработка)

4. Легко переобучаются.

2.4 Логит и пробит модели

Логит и пробит модели, основаны на методе максимального правдоподобия (AldrichJ, 1984). Смысл, заключается в следующем: для того, чтобы наилучшим образом спрогнозировать класс объясняемой переменной, максимизируется функция максимального правдоподобия, равная произведению вероятностей отнесения объясняемой переменной к её истинному классу. Математически это записывается следующим образом:

Есть пары , пары независимы между собой и все переменные, указанные в этих парах, имеют одинаковое распределение. Есть функция максимального правдоподобия при заданных переменных , где -параметр нормального распределения.

Идея заключается в том, чтобы максимизировать функцию максимального правдоподобия L, подбирая соответствующим образом коэффициенты . В таком случае, прогнозы объясняемой переменной будут при увеличении количества наблюдений стремится к Y реальному.

Логит модель имеет следующую функциональную форму связи объясняемой переменной с объясняющими переменными (43):

, где , - необъясняемая ошибка.

(2)

Результаты влияния переменных логистической регрессии оценивают с помощью предельного эффекта:

(3)

Отсюда можно видеть, что предельный эффект зависит от величины объясняющей переменной.

Если же мы хотим оценить усредненный вклад объясняющей переменной можно представить следующими усреднениями:

1) Средний предельный эффект по наблюдениям для .

представляет собой среднее арифметическое предельных эффектов по всем наблюдениям.

2) Предельный эффект для среднего наблюдения .

Также влияния переменных на результирующий показатель в логистической регрессии можно представить как отношения шансов принадлежности к соответствующим классам.

, отсюда прямо пропорционально натуральному логарифму отношению шансов. Таким образом, при росте переменной на 1, отношение шансов вырастет на *100%.

Пробит модель, отличается от логит модели другой функциональной формой, также (AldrichJ., 1984):

, где , - необъясняемая ошибка.

Из-за специфической функциональной формы, численно влияние объясняющей переменной на результат определить в пробит модели невозможно, однако можно определить знак влияния переменной, который совпадает со знаком перед коэффициентом (KlieљtikT, 2015).

Таким образом, логит и пробит модели очень похожи, и при выборе между ними, единственное, чем следует руководствоваться это типом распределения остатков, используемого при моделировании зависимости между объясняющими переменными и объясняемой (Chen, 2010). В любом случае результаты моделей будут достаточно близки.

Логит и пробит модели имеют следующие допущения:

1) пары , имеют одинаковое распределение и независимы пара от пары.

2) Ошибки регрессии имею нормальное распределение для пробит модели и логистическое распределение (похоже на ) для логит модели.

3) Желательно чтобы объясняющие переменные не были мультиколлинеарны.

К преимуществам данных методов можно отнести:

1) Хорошую интерпретируемость, влияние фактором можно рассчитать аналитически и очень просто объяснить в случае логит модели.

2) Вычислительная простота, могут работать на очень больших выборках.

3) Могут работать с большим количеством переменных.

4) Выдают вероятности отнесения к классам.

5) В отличии от линейно-дискриминантного анализа, логит и пробит модели устойчивы к гетероскедастичности и не требуют нормального распределения объясняющих переменных (Kollar, 2014).

К недостаткам логит и пробит моделей относятся:

1) Плохая работа в случае мультиколлинеарности.

2) Плохая работа в случае сложных нелинейных связей. На практике предположения теоремы Маркова-Гаусса почти никогда не выполняются, поэтому чаще линейные методы работают хуже, чем, например, методы опорных векторов и ансамбли (по качеству решения задачи классификации/регрессии) (ZhangG, 1999).

2.5 Нейронные сети

Нейронная сеть -- это последовательность нейронов, соединенных между собой (OdomM, 1990).Структура нейронной сети пришла в мир программирования прямиком из биологии. Благодаря такой структуре машина обретает способность анализировать и даже запоминать различную информацию (JoH, 1997).

Нейрон -- это вычислительная единица, которая получает информацию, производит над ней простые вычисления и передает ее дальше. Нейрон обычно представляет из себя линейную функцию типа , где x - объясняющие переменные, w и z - параметры нейронной сети, которые будут оптимизироваться (первоначально задаются вручную или случайным образом).

Входная информация подается в нейрон и преобразуется в нем. Результат преобразования подается в другой нейрон через функцию активации (нелинейная функция типа ). Это необходимо для добавления нелинейности в модель, и именно через нелинейные связи между нейронами и получается нейронную сеть, так как без функций активации, нейроны соединялись бы в обычную линейную модель. Множество параметров линейных моделей, заключенных в нейроны оптимизируется таким образом, чтобы максимизировать прогнозную точность модели (HaykinS, 1994).

К достоинствам нейронных сетей относятся:

1. Обработка нелинейных зависимостей

2. Устойчивость к шумам во входных данных

3. Решение задач при неизвестных закономерностях

К недостаткам нейронных сетей относятся ( Белоглазов, 2008):

1. Требует большого числа наблюдений для всех классов, не работает на маленьких выборках.

2. На сегодняшний момент не существует методов позволяющих интерпретировать результаты предсказания нейронной сети. Она представляет из себя настоящий черный ящик.

3. Трудоемкость и длительность обучения.

4. Не существует единственного способа подбора гиперпараметров нейронной сети. Подбор типа сети, функций активации и т.д. во многом это творческий процесс.

2.6 Сравнение точности моделей прогнозирования дефолтов

MartinLeoв 2019 анализировал какие методы машинного обучения наиболее часто используются для прогнозирования банкротств (LeoM, 2019). Для этого он исследовал 50 наиболее популярных работ, которые имели тэг «машинное обучение» начиная с 2003 года по 2019. Исходя из его наблюдений, наиболее популярные методы в машинном обучении это метод опорных векторов (SVM), встречается в 36% всех работ, случайный лес (RandomForest) 32% всех работ, нейронные сетями 30% всех работ. Затем идут Логистическая регрессия, K-ближайших соседей и модели, основанные на байесовских классификаторах от 8 до 12%.

Карминский А.М. и Р.М. Бурехин в 2019(Карминский, Берухин, 2019) прогнозировали банкротство российских строительных компаний на наблюдениях с 2011 по 2017 годы. Они выяснили, что нейронные сети показали наилучшую точность, хотя логистическая регрессия с регуляризацией имела точность, лишь незначительно уступающую сетям, в то время как случайные леса немного отставали от логистической регрессии.

Карминский А.М., также делает предположение, что применение нескольких моделей вместе может повысить точность и устойчивость прогнозирования.

Греческий исследователь Petropoulos A в 2019 решал задачу по моделированию дефолтов греческих банков (PetropoulosA, 2019). Наилучший результат на его данных показал градиентный бустинг.



Таблица 1. Точность моделей в исследованиях AUC

Авторы	Отрасли	Случайный лес	Градиентный бустинг	Логит-модель	Нейронная сеть	ЛДА	SVM
Petropoulos A, 2019	Банки	-	0,78	0,66	0,72	0,65	-
Карминский А.М. Р.М. Бурехин, 2019	Стройка	0,76	-	0,79	0,80	-	-
Демешев, Б. Б., Тихонова, А. С. 2014	МСП, разные отрасли	0.60-0.75	-	0.55-0.65	-	-	-
Flavio Barboza, Edward Altman, Herbert Kimura, 2017 (Barboza, 2017)	Разные отрасли	0,92	0,93	0,90	0,90	0,64	0,80-0,87

В таблице 1 приводятся работы, посвященные прогнозированию банкротств, сравнение точности работ из различных отраслей не совсем корректно, однако в общем, линейные модели с регуляризацией в настоящий момент не сильно проигрывают нелинейным моделям по точности.



Глава 3. Построение модели

3.1 Подготовка обучающей выборки

Для работы используется база данных финансовой отчетности публичных компаний, полученная из открытых источников. Всего в выборке 161 компания из разных отраслей. Как было сказано ранее, под понятием банкротства понимается факт неисполнения компании обязательств перед кредиторами либо крайне неблагоприятное освящение финансового состояния компании в СМИ. Для этих целей, по каждой из 161 компании было проведен анализ новостных источников, в результате которого, для 38 компаний был найден год, в котором компания может считаться банкротом, согласно вышеупомянутому подходу. Если таких годов было несколько, годом банкротства выбирался самый первый.

Для улучшения прогнозной силы и увеличения выборки наблюдений было решено использовать по максимуму все наблюдения для не банкротов и замешать их в выборку. 123 компании из 161 ни разу не обанкротились. Будем считать наблюдения за все года для этих 123 компаний как наблюдения независимых компаний. 38 компаний из 161 обанкротились. Год банкротства, и все последующие выкидываются. Наблюдение за год, предшествующий банкротству, считается годом, с классом банкротства, наблюдения, которые были за 2 года до банкротства и раньше считаются независимыми компаниями, не являющимися банкротами.

Логика данного метода обработки наблюдений подразумевает, что модель должна предсказывать банкротство за год до того, как оно произойдет. При этом, состояние за 2 года до банкротства характеризуется как финансовой устойчивое и не относящееся к классу банкротства. Наблюдения компании банкрота за 2 года до банкротства и больше, замешиваются в выборку как независимые компании не банкроты.

При этом, важно понимать, что наше допущение о независимости последовательных годов наблюдений для одной компании будет нарушать метрики оценки точности модели. Для того чтобы это обойти, наблюдения одной компании за разные года, которые мы замешиваем в общую выборку идут строго или в тестовую или в обучающую. Это проиллюстрировано на рисунке 4.

Рисунок 4. Разбиение на обучающую и тестовую выборки.

3.2 Отбор моделей

Для построения моделей используются библиотеки Scikit-learn, Pandas, Numpy, Catboost для Python.

Для проверки точности моделей используется стратифицированное (при каждом разбиении доли классов сохраняются, так же, как и в основной выборке, не может быть такого, что в тестовую выборку попадет 0 банкротов) случайное разбиение на обучающую и тестовую выборку.

Процедура измерения точности устроена следующим образом:

Вначале, согласно описанному выше методу, датасет разбивается на тестовую и обучающую выборки. Затем, происходит обучение тестируемой модели и находится метрика AUC (площадь под ROC-кривой). Затем процедура повторяется 15 раз. На основе 15 посчитанных AUC, рассчитывается среднее арифметическое значение, а также 5% и 95% доверительные интервалы, для того чтобы оценить, насколько AUCволатилен.

Для выбора оптимальной формы были построены следующие модели:

1) Логистическая регрессия Lasso с регуляризацией. Показала достаточно высокий результат AUC=0.85 и уступила лишь градиентному бустингу. Использовалась команда LogisticRegression из библиотеки Scikit-learn. Гиперпараметры были поставлены по умолчанию.

2) Градиентный бустинг. Традиционно показывает наилучший результат классификации и часто применяется на чемпионатах по машинному обучению. Использовалась библиотека Catboost. Гиперпараметры были поставлены по умолчанию.

3) Случайный лес. Использовалась команда RandomForestClassifier из библиотеки Scikit-learn. Гиперпараметры были подобраны перебором. Наибольшая глубина дерева установлена в 9.

4) Ансамбль моделей. Усредненное голосование (среднее арифметическое) описанных выше трех моделей, а именно логистической регрессии Lasso с регуляризацией, случайного леса и градиентного бустинга. Ансамбль из этих трех моделей показал наилучшие результаты

Таблица 3. Результаты точности моделей

Название модели	5% AUC	Средний AUC	95% процентиль AUC
Ансамбль моделей	0.89	0.90	0.91
Градиентный бустинг	0.87	0.89	0.89
Логистическая регрессия с LASSO регуляризацией	0.83	0.85	0.86
Случайный лес	0.82	0.84	0.86
Наивный байесовский классификатор	N/A	0.75	N/A
Логистическая регрессия	N/A	0.71	N/A
K-ближайших соседей*	N/A	0.54	N/A
Метод опорных векторов*	N/A	0.52	N/A



Также были построены другие модели прогнозирования, которые в силу определенных причин показали недостаточную точность.

5) Метод опорных векторов - перед применением метода данные были дополнительно отшкалированы, однако это не принесло ожидаемого результата и точность оказалась низкой. Причинами этому могли послужить очень низкая частота одного из классов (банкротств), линейная неразделимость данных. Ядерный трюк не применялся.

6) K-ближайших соседей - плохо работает при имбалансных выборках. Его точность ожидаемо оказалась низкой.

7) Наивный байесовский классификатор - его точность не может превышать определенный порог, характеризующийся его допущением о независимости переменных.

8) Классическая логистическая регрессия - показала более низкий результат, так как не использует регуляризация и хуже подстраивается под нелинейные зависимости в данных чем Lasso регрессия.

Таким образом, в результате перебора моделей, была выбрана наиболее удачная, а именно ансамбль из нескольких наиболее точных моделей.

3.3 Отбор переменных

Общих причин, приводящих компанию к банкротству, можно привести множество:

BlazyandCombier (1997) (BlazyR, 1997) подразделяют причины наследующие группы:

1) Случайные происшествия (смерть главы компании, мошенничество, катастрофы, судебные тяжбы не связанные с финансовым состояние компании, преступный умысле)

2) Проблемы со сбытом (потеря доли рынка, неудачная продуктовая линейка и потеря покупателей)

3) Финансовые проблемы (нехватка денежных средства, непомерная стоимость заёмного капитала конкретно для этой компании, отказ в предоставлении средств со стороны заимодавца)

4) Информационные и управленческие проблемы (неэффективный менеджмент, неудачная структура компании ми финансовая архитектура)

5) Макроэкономические факторы (снижение спроса, рост конкуренции, сжатие денежной базы и рост ставок по кредитам во всей экономике)

6) Просчеты в стратегическом планировании

7) Производственные проблемы (высокая себестоимость, нехватка инвестиций и основных средств, потеря поставщиков неэффективный производственной процесс.)

Несмотря на большое количество первопричин исход у всех у них один, однако отбор переменных является достаточно сложной задачей.

Доступность данных является серьезной проблемой для исследования банкротств. Слишком много переменных в модели могут затруднить отбор наиболее значимых. Hamer (1983) писал, что подбор переменных для моделирования банкротств это поиск баланса между удешевлением и облегчением сбора данных для этих переменных и наиболее эффективного и точного построения модели.

Что касается прогнозирования банкротств публичных компаний, то рыночные модели (структурные модели и модели сокращенной формы) часто оказываются слишком сложными или зависимыми от рынка. Для их применения необходим доступ к большому массиву данных (рыночной стоимости акционерного капитала, долговых обязательств, спрэдов доходности облигаций и т.д.). Карминский А.М. в своем исследовании (Карминский А., 2019) делает вывод, что рыночная информация является существенным фактором при прогнозировании банкротств публичных компаний.

Несмотря на широкое применение рыночных моделей западными компаниями, на российском рынке их использование затруднено из-за небольшого количества котирующихся ценных бумаг.

Таблица 4. Частотность разных типов переменных, посчитанная на 190 работах (38).

Переменная	В скольки процентах из 190 работ встречается
Финансовый коэффициент (частное от деления двух финансовых показателей)	93%
Статистическая переменная (средне значение, СКО, дисперсия, логарифм, факторный анализ), рассчитанная из других переменных)	28%
Лаговая переменная	14%
Нефинансовая переменная	13%
Переменная, полученная на основе рыночных данных курса акций	6%
Переменная, полученная из финансовой отчетности	5%

Учитывая то, что в данной работе применяется ансамбль из нескольких моделей, применение какого-то одного подхода к отбору переменных невозможно. Поэтому, для отбора переменных используется совокупность нескольких разных тестов, которая затем усредняется. Первоначальная модель имела 33 переменные, однако в последующем этот список сократился до 11.

Тест 1. ANOVA F-value (Tsai C, 2009).

ANOVA тест, сравнивает дисперсию двух выборок (исследуемой на значимость объясняющей переменной и объясняемой переменной). Если дисперсии имеют сходство, присутствует статистическая связь и переменная считается значимой.

Тест 2. RFE feature selection (Dash M, 1997)

В основной модели переменные последовательно заменяются случайным шумом, и при этом измеряется падение точности. Переменные, при выбрасывании которых точность падает незначительно, считаются незначимыми.

Тест 3. Lasso регрессия. (DashM, 1997)

На основе всех переменных, для оценки их значимости, строится вспомогательный Lasso регрессия, которая в силу своей природы зануляет коэффициенты перед незначимыми переменными.

Тест 4. RFEfeatureselection.

На основе всех переменных строится вспомогательный случайный лес для оценки их значимости. Переменные ранжируются по показателю Критерий Джини (Giniimpurity), который тем выше, чем раньше переменная встречается в листьях дерева и характеризует то, насколько данная переменная разделяет классы. Переменные, имеющие наименьший Критерий Джини, считаются незначимыми.

Тесты подобраны таким образом, что позволяют проранжировать переменные по значимости. Затем, наименее значимые переменные начинают выбрасываться, и после каждой итерации точность модели замеряется.

В результате точность модели по мере сокращения количества переменных с 33 до 11 росла, однако попытки снизить количество переменных ниже 11 приводили к ухудшению точности модели.

Таблица 5. Влияние количества переменных на точность прогнозирования.

Количество переменных	5% процентиль AUC	Средний AUC	95% процентиль AUC
33	0.86	0.87	0.89
20	0.89	0.90	0.91
11	0.89	0.90	0.91
10	0.88	0.89	0.91



Таким образом, были отобраны переменные, которые можно разделить на следующие группы (подробно с методикой расчета показателей можно ознакомиться в приложении №1):

1) Показатели долговой нагрузки:

DSCR, TDtoAssets, DtoEbitda (за 1 года= до банкротства), DCSR2 (за 2 года до банкротства), dDtoEBITDA, dTDtoAssets (лаговые переменные показывающие изменения указанных выше коэффициентов)

2) Показатели рентабельности:

Gross_margin

3) Показатели ликвидности:

Currentrat., Cashrat., %OborCred.Z. (процентное изменение оборачиваемости кредиторской задолженности в днях), %OborZapasov (процентное изменение оборачиваемости запасов в днях)

4) Прочие показатели

divpayout

Глава 4. Экономическая интерпретация

4.1 Метод SHAP для интерпретации результатов нелинейных моделей

Как уже говорилось раньше, нелинейные модели сложно интерпретировать, они обыгрывают линейные модели в точности, но, при этом бывает совершенно непонятно, почему модель сочла эту компанию банкротом.

В 2017 году на конференции NIPS (ConferenceonNeuralInformationProcessingSystems) был представлен новый метод (LundbergS., 2017) интерпретации результатов нелинейных моделей SHAP (SHapleAdditiveExplanation). Суть его заключается в следующем: предположим, модель на основе данных для какого-то наблюдения сделала прогноз. Теперь мы обучим модель еще раз с нуля без исследуемой на значимость переменной и посмотрим, как изменился прогноз. Предсказание изменится в сторону, противоположную вкладу переменной в прогноз. Затем, не добавляя обратно вышеупомянутую переменную, из модели убирается другая переменная. Так продолжается до тех пор, пока в модели не останется переменных. Учитывая, то, что, в данной случае эффект оценивания переменных зависит от порядка, в котором они убираются, необходимо перебрать все возможные их сочетания, то есть переобучить модель N! раз, где N - число переменных. Данная процедура требует огромных вычислительных мощностей, однако, с помощью сложных математических алгоритмов, метод SHAP учитывает нелинейные связи и решает её, значительно экономя вычислительные ресурсы.

Данный метод пришел из теории игр, в которой ученый по имени Shapley, Lloyd S. пытался решить задача о справедливом разделении вознаграждения между участниками игры (Shapley, 1953). Проиллюстрировать его решение можно используя следующие принципы:

1. Сумма вознаграждения каждого игрока равна общей сумме призового фонда

2. Если два игрока сделали равный вклад в игру, они получают равную награду

3. Если игрок не внес никакого вклада, он не получает вознаграждения

4. Если игрок провел две игры, то его суммарное вознаграждение состоит из суммы вознаграждений за каждую из игр.

Спустя полвека, его идеи нашли продолжение в публикации «AUnifiedApproachtoInterpretingModelPredictions» (Lundberg, 2017) за авторством Lundberg, ScottM, и Su-InLee. в 2017. В 2019 Lundberg разработал библиотеку SHAP для Python, позволяющую одной строчкой кода проанализировать свою модель и получить необходимую интерпретацию.

В контексте прогнозирования банкротств, переменные модели выступают в качестве игроков, а призовой фонд -- это итоговая вероятность банкротства.

Математически формула для расчета вклада i-той переменной в формирование итоговой вероятности банкротство выглядит следующим образом (FatimaS, 2008):

(3)

Где:

1. это предсказание модели с i-той переменной.

2. это предсказание модели без i-той переменной.

3. n это количество переменных.

4. S это произвольный набор переменных без i-той переменной.

Работ использующих метод SHAP для интерпретации моделей, прогнозирующих банкротства достаточно мало. В апреле 2020 испанские исследователи опубликовали работу (Ariza-Garzуn, 2020), в которой прогнозировали банкротства физических лиц в пиринговом кредитовании с помощью моделей машинного обучения, на основе данных из финтех платформы пирингового кредитовании LendingClub. Диаграммы рассеивания SHAPvalues и значений переменных, позволяют четко увидеть тип зависимости между вероятностью банкротства и объясняющей переменной, также четко видны нелинейные зависимости, выбросы, гетероскедастичность и структурные скачки. В результате, исследователи приходят к выводу, что с использованием метода SHAP, модели, основанные на машинном обучении, будут превосходить линейные не только в точности, но и в интерпретируемости и прозрачности.

4.2 Результаты прогнозирования

Получив готовую модель, можно попытаться спрогнозировать вероятность банкротства по различным компаниям. Для того чтобы прогнозы были полностью независимыми нужно чтобы модель «не знала» этих компаний. Для этого, из данных удаляются наблюдения по прогнозируемой компании, модель обучается и, затем, для прогноза ей подаются данные прогнозируемой компании. Таким образом, прогнозирование осуществляется независимо от обучения и модель не подстраивается под прогноз.

В таблице 5 приводятся результаты прогнозирования для 15 российских компаний. Следует отметить, что модель на выходе выдает лишь вероятность отнесения к тому или иному классу, а уже интерпретация вероятности зависит от целей аналитика. Граница вероятности, разграничивающая банкротов и не банкротов, оценивается исходя из того, боимся ли мы больше пропустить банкрота, или же отказаться слишком большому числу надежных клиентов, которые ошибочно идентифицируются как банкроты. В данном случае, граница ставилась таким образом, чтобы показатели точности Recallratio были примерно одинаковы для обоих классов. То есть, количество правильно угаданных банкротов моделью на выборке из 100 банкротов было равно количеству правильно распознанных не банкротов из 100 не банкротов.

При данном разбиении, Recallratio получается равным 0,81-0,87, в зависимости от случайного разбиения выборки.

Таблица 6. Результаты прогнозирования модели

Наименование	АКРА	P (дефолт=0.3)	Class	Year
ЗАО "МеждународныйАэропорт "Домодедово"	A(RU)	0,35	1	2018
МРСК Северо-Запада	AA+(RU)	0,21	0	2018
ПАО "Мегафон"	AA(RU)	0,19	0	2018
ПАО МОЭСК	AAA(RU)	0,18	0	2018
ООО "Азбука вкуса"	BBB(RU)	0,17	0	2017
ОАО "РЖД"	AAA(RU)	0,16	0	2018
ФГУП "Почта России"	AAA(RU)	0,15	0	2018
ПАО "Ростелеком"	AA(RU)	0,14	0	2018
ПАО "Россети"	AAA(RU)	0,14	0	2018
ПАО "Магнит"	AA(RU)	0,13	0	2018
ПАО "КАМАЗ"	A+(RU)	0,11	0	2018
Газпром нефть	AAA(RU)	0,08	0	2018
ПАО «ФСК ЕЭС»	AAA(RU)	0,07	0	2018
ПАО "РусГидро"	AAA(RU)	0,05	0	2018
ПАО "Газпром"	AAA(RU)	0,05	0	2018

Сопоставим результаты прогнозирования модели с рейтингами российского рейтингового агентства АКРА. Модель обучалась на данных с временным лагом за год до банкротства. Данные для обучения берутся из финансовой отчетности на конец отчетного года. Таким образом, если в модель подать данные финансовой отчетности на конец 2018 года, прогноз банкротства будет на конец 2019. При этом, данные по годовой финансовой отчетности публикуются в середине 1-2 кварталов последующего года. Таким образом, следуя вышеупомянутой логике, рейтинг АКРА следует брать на конец 1 квартала после отчетности, по которой строится прогноз модели.

На рисунке 2 заметна обратная зависимость между рейтингом АКРА и вероятностью отнесения к классу банкротства, прогнозируемой моделью для каждого наблюдения. В таблице 5 указывается, модель оценила все компании как не банкротов, за исключением компании под названием ЗАО "Международный Аэропорт "Домодедово". Для этой компании модель оценила вероятность отнесения к классу банкротов в размере 0,35. Следует отметить, что в конце апреля 2020, АКРА понизило рейтинг аэропорта "Домодедово" и бондов дочерней компании до «A-» (42), хотя это и связано главным образом с пандемией короновируса, и никак не могло быть учтено в модели.

Рисунок 5. Сопоставление прогнозов модели с рейтингами АКРА.

Для того чтобы оценки вклада каждой из объясняющих переменных в прогнозирование дефолта использовался SHAP метод.Сначала рассчитывается SHAPbasevalue. Этот показатель константа для всех наблюдений, и рассчитывается как вероятность отнесения к классу банкротов для наблюдения со средним арифметическим по всем переменным. Затем, для каждого наблюдения и для каждой переменной рассчитываются SHAPvalues.

Рассмотрим интерпретацию прогноза модели для ЗАО "Международный Аэропорт "Домодедово" за 2018 год:

Таблица 7. Интерпретация прогнозов модели на основе отчетности аэропорта Домодедово за 2018 год.