Искусственная нейронная сеть представляет собой математическую модель, построенную по принципу организации и функционирования биологических нейронных сетей. Схематически искусственная нейронная сеть состоит из входного слоя, скрытого уровня и выходного слоя (см. рис. 1). ИНС состоит из большого количества обрабатывающих элементов, которые соединены между собой однонаправленными сигнальными каналами. Нейроны входного уровня представляют вводные данные, а нейроны выходного слоя - разделитель между классами.

Схематическое изображения искусственной нейронной сети.

Существует возможность добавления в модель ИНС дополнительных скрытых уровней, которые, теоретически, могут повысить качество предсказаний модели. Однако ряд авторов (Chen et al, 2006; Dong et al, 2014; Hamdi and Mestiri, 2014) указывает на то, что выход за рамки стандартной, состоящей из трех слоев, структуры не привел к увеличению предсказательной силы модели, поэтому в данном исследовании будут рассмотрены ИНС только с тремя слоями.

Первоначальная модель на основе искусственных нейронных сетей строилась по исходной, несбалансированной выборке, которая была поделена на 3 части:

· тренировочная (training) - 50% от всех наблюдения; эти наблюдения были доступны для обучения сети;

· проверочная (validation) - 25% от всех наблюдений; эти наблюдения использовались для избегания эффекта переобучения сети; они не были доступны для сети в режиме обучения;

· оценочная (estimation) - 25% от всех наблюдений; на этой подвыборке проводилась оценка предсказательной силы, по которой модели сравнивались между собой.

В качестве набора переменных для первой модели на основе нейронных сетей использовались все доступные переменные, включая дамми-переменные периодов и отраслей.

Ранжировка моделей по качеству производилась по набранным им очкам эксперимента (experiment score), которые автоматически рассчитывались программным обеспечением (NeuroSolutions Infinity). Производитель ПО не предоставляет точной расчетной формулы для этого показателя, однако уточняет, что при его расчете принимаются во внимание такие показатели как: площадь под ROC кривой, процент правильных предсказаний, нормализованный показатель RMSD, нормализованный показатель MAE, а также средний процент правильных предсказаний для каждого класса.

Несмотря на то, что расчетные очки эксперимента включают в себя показатель ошибки модели по классам, используемая выборка оказалась слишком несбалансированной для корректного применения базовых оценочных методов, заложенных в ПО. Итоговая модель, признанная наилучшей по значению очков эксперимента, правильно предсказывает 4 банкрота из 36 и 1 398 небанкротов из 1 399 на оценочной выборке, которая составляла 25% от общей. Модель на основе нейронных сетей обладает тем же недостатком, что и логистическая регрессия при оценке ее на уровне 50%.

Матрица несоответствия для оценочной выборки (базовая оценка) модели ИНС №1

Выходная величина модели, полученной с применением искусственных нейронных сетей, представлена числом от 0 до 1. По умолчанию компания признается банкротом, если эта величина больше 0,5. По аналогии с логистической регрессией, существует возможность оптимизировать этот уровень для достижения максимальной предсказательной силы модели на тренировочной выборке. Оценка модели в данном случае будет проводится с применением выведенного уровня отсечения к тестовой выборке (в тестовую выборку включены как оценочная подвыборка, так и проверочная).

Значение G-mean для различных точек отсечения модели ИНС №1

Как и для логистической регрессии, оптимальной точкой отсечения оказалось значение, локализованное в районе 0,03. Для уточнения третьего знака после запятой, была проведена детализация в диапазоне от 0,02 до 0,04. Оптимальным значением, с G-mean равным 1,277, оказалась точка отсечения равная 0,03. При таком условии, точность модели на тренировочной выборке составляет 80% для банкротов и 83% для небанкротов.

Уточнение точки отсечения согласно G-mean для модели ИНС №1

Предсказательная сила модели, на тестовой выборке несколько выше, чем на тренировочной: модель предсказывает верно 82% банкротов и 84% небанкротов при G-mean=1,286.

Матрица несоответствия для тестовой выборки модели ИНС №1

Модель на основе искусственных нейронных сетей, полученная выше описанным способом, включает 21 объясняющую переменную. Переменные, чей вес в модели превысил 5%, приведены ниже. Полный список переменных приведен в Приложении №2.

Наиболее значимые переменные в модели ИНС №1

В списке наиболее значимых объясняющих переменных присутствуют 3 финансовых коэффициента. Коэффициент отношения совокупного долга к совокупным активам (debt2as) и коэффициент быстрой ликвидности (quick2) встречались уже в модели логистической регрессии. Коэффициент отношения текущих активов к выручке (curas2sales) в предшествующей модели логистической регрессии не встречается. Кроме финансовых коэффициентов значимыми оказались 5 дамми-переменных: 3 из них являются дамми-переменными отраслей и уже встречались в модели лог регрессии; 2 переменные -- это маркеры годов, которые оказались незначимы в проведённой ранее логистической регрессии.

По списку отобранных переменных можно заключить, что несбалансированность выборки оказала негативное влияние на предсказательную силу нейронных сетей.

Следующая модель с использованием нейронных сетей была построена аналогичным образом, за исключением методики отбора переменных. В отличии от первой модели, для анализа использовались не все переменные, а только те, что оказались значимы в логистической регрессии. Такой метод отбора переменных иногда используется в исследованиях банкротства (например, Hamdi and Mestiri, 2014).

Способ построение и отбора оптимальной точки отсечения аналогичен процедуре, проведенной для модели ИНС №1. Оптимальный уровень отсечения для тренировочной выборки - 0,026. При таком уровне модель предсказывает правильно 78% банкротов и 85% небанкротов на тренировочной выборке с G-mean=1,277. Подробные расчеты приведены в Приложении №3 и Приложении №4.

На тестовой выборке точность модели оказалась несколько ниже: 76% для банкротов и 86% для небанкротов (G-mean=1,272).

Матрица несоответствия для тестовой выборки модели ИНС №2

Объясняющие переменные с весами из модели ИНС №2

Как упоминалось выше, в модели ИНС №2 был использован набор переменных, которые оказались значимы в модели логит №1. Три финансовых коэффициента вошли в модель в чистом виде: показатель быстрой ликвидности (quick2), коэффициент отношения совокупных обязательств к совокупным активам (debt2as) и коэффициент отношения выручки к совокупным активам (sales2as). Еще один финансовый коэффициент - рентабельность активов (roa) - вошел в состав двух комплексных переменных. Модель также подтвердила важность размера компании, аппроксимированную через логарифм совокупных активов (lnta).

Из четырех отраслевых дамми-переменных высокую значимость показала только переменная ind3. Она вошла в модель как в чистом виде, так и в составе двух комплексных переменных. Остальные отраслевые переменные оказались малозначимыми для предсказания банкротства.

Третья модель с использованием нейронных сетей была построена на основе сбалансированной выборки. Для ее построения была использована выборка, созданная для второй модели логистической регрессии. В условиях сбалансированности панели становятся релевантными оценки модели на 50% точке отсечения - переопределять этот уровень нет необходимости. В качестве возможных объясняемых переменных были взяты имевшиеся финансовые коэффициенты и дамми-переменные периодов и отраслей. Как и в предыдущих построениях, были применены трехуровневая структура сети и разбиение выборки на тренировочную, проверочную и оценочную в пропорции 50%, 25% и 25% соответственно.

Для тренировочной выборки, в которую входит проверочная, модель правильно предсказывает 70% банкротов и 81% небанкротов с G-mean=1,232. Точность предсказания модели на оценочной выборке составляет 84% для банкротов и 87% для не банкротов с G-mean=1,309.

Матрица несоответствия для тренировочной выборки (75%) для ИНС модели №3

Матрица несоответствия для оценочной выборки (25%) для ИНС модели №3

В качестве объясняющих переменных в третью ИНС модель вошли 8 переменных. Половина из них является финансовыми коэффициентами: коэффициент соотношения совокупного долга к совокупным активам (debt2as), коэффициент оборачиваемости (turnov1), рентабельность активов (roa) и валовая рентабельность продаж (grossmarg). Остальные переменные представляют различные функции на основе выше перечисленных финансовых коэффициентов. Примечательно, что ни одна дамми-переменная в модель не вошла.

Список объясняющих переменных и их веса для ИНС модели №3

Набор объясняющих переменных в модели ИНС №3 отличается от набора переменных для модели логит №2. Единственным сходством являются лишь два финансовых коэффициента: отношение совокупных обязательств к совокупным активам (debt2as) и рентабельность активов (roa). Дамми-переменные и размер компании в ИНС модели незначимы в отличие от логистической регрессии.

Дополнительно для сбалансированной выборки была построена модель на основе искусственных нейронных сетей с использованием коэффициентов, которые оказались значимыми в логистической регрессии по сбалансированной выборке.

На тренировочной выборке точность модели составляет 68% для банкротов и 75% для небанкротов (G-mean=1,192), в то время как для оценочной выборки эти значения составляю 87% и 84% (G-mean=1,308).

Матрица несоответствия для тренировочной выборки модели ИНС №4

Матрица несоответствия для оценочной выборки модели ИНС №4

Объясняющие переменные модели ИНС №4 с весами

Значимыми в рамках модели ИНС №4 оказались три финансовых коэффициента: отношение совокупных обязательства к совокупным активам (debt2as), коэффициент быстрой ликвидности (quick2) и рентабельность активов (roa). Также в модель вошла переменная размера компании (lnta).

2.6 Сравнение построенных моделей

Основной целью исследования является сравнение предсказательной силы моделей, построенных на основе различных методов. В условиях несбалансированности выборки, стандартные методы сравнения (общий процент правильно предсказанных исходов, площадь под ROC и др.) не дают удовлетворительного, с точки зрения экономического смысла, результата, так как предполагают равенство весов ошибок. Для итогового сравнения моделей выбран показатель G-mean, расчет которого подробно описан в работе. Фактически, этот показатель является геометрическим средним процента правильных ответов по классам. Поэтому он игнорирует абсолютные значения и не зависит от соотношения числа банкротов и небанкротов в используемой выборке. Первая группа сравниваемых моделей содержит логистическую регрессию №1 и ИНС модели №1 и №2.

Сравнение моделей на несбалансированной выборке

Значительной разницы между предсказательной силой логистической модели и моделей на основе искусственных нейронных сетей данная работа не обнаружила. ИНС №1 слегка превосходит логит №1 на тестовой выборке, однако это скорее выглядит как результат стечения обстоятельств, нежели методологического превосходства моделирования при помощи ИНС. Таким образом, гипотеза №1 не отвергается на сбалансированной выборке.

Способ отбора переменных для нейросетевого моделирования не оказывает значительного влияния на качество модели. Модель со свободным выбором переменных слегка превосходит модель, ограниченную переменными логистической модели. ИНС №2 предсказывает больший процент небанкротов и меньший процент банкротов по сравнению с ИНС №1.

Сравнение моделей на несбалансированной выборке

Результаты моделей на сбалансированной выборке гораздо более неоднозначные. Прежде всего стоит выделить разницу в предсказаниях по тренировочным и тестовым выборкам. И для логистической регрессии, и для искусственных нейронных сетей существует значительная разница в предсказательной силе в рамках модели в зависимости от выборки.

Логистическая регрессия лучше проявляет себя на тренировочной выборке, а модели на основе нейронных сетей - на тестовых. Эта разница может быть объяснена механикой выбора оптимальной модели. Для логистической модели тестовая выборка не доступна при формировании модели. Тестовая выборка также недоступна при обучении нейронных сетей, однако качество предсказания по тестовой выборке является критерием отбора лучшей модели. Таким образом, логистическая регрессия максимизирует качество модели на тренировочной выборке, а моделирование с помощью нейронных сетей - на тестовой.

Выше приведенные выводы позволяют заключить, что, вне зависимости от типа использованной выборки, гипотеза №1 не отвергается.

С учетом выше приведенного обоснования, качество предсказания моделей оказывается примерно одинаковым для сбалансированной выборки. Способ отбора переменных для ИНС снова не оказывает существенного влияния на результат.

Сопоставление результатов моделей по сбалансированной и несбалансированной выборкам позволяет заключить, что искусственное уменьшение панели до сбалансированной не оказывает положительного влияния на качество модели, приводя к большей вариации результатов в зависимости от выборки и для нейронных сетей, и для логистической регрессии.

Составленные в работе модели отличались набором объясняющих переменных, которые оказались значимыми.

Объясняющие переменные различных моделей

Во всех построенных моделях в качестве объясняющей переменной используется отношение совокупных обязательств к совокупным активам (debt2as). Этот показатель из группы коэффициентов устойчивости компании оказался важным фактором для выявления банкротов. В пяти из шести моделей присутствует показатель быстрой ликвидности (quick2) и показатель рентабельности активов (roa). В половине моделей используется коэффициент отношения выручки к совокупным активам (sales2as). По одному разу встречаются коэффициент отношения текущих активов к выручке (curas2sales), коэффициент оборачиваемости (turnov1) и коэффициент валовой маржинальности (grossmarg).

Основной набор коэффициентов (debt2as, quick2, roa, sales2as) аппроксимирует четыре основных параметра предприятия: устойчивость, ликвидность, прибыльность и эффективность соответственно. Это подтверждает предположение о том, что для финансовой устойчивости крупных российских акционерных предприятий значимы все основные финансовые характеристики.

Гипотеза №2 подтверждается частично: все четыре параметра компаний действительно оказываются значимыми, однако лишь три из них (эффективность, устойчивость и прибыльность) коррелируют с вероятностью банкротства ожидаемым образом.

Этот вывод отличается от похожей работы Людмилы Луговской (Lugovskaya, 2009), которая рассматривает выборку, состоящую из малых и средних предприятий России. Для российского сегмента малых и средних предприятий показатели, относящиеся к общей задолженности, оказались незначимыми. Это является подтверждением предположения о разных условиях доступа к кредитным ресурсам для предприятий, принадлежащих к сегменту малого и среднего бизнеса, и крупных компаний, которое было выдвинуто в данной работе.

Размер компании значим четырех моделях из шести, причем в рамках логистической регрессии он отрицательно влияет на вероятность банкротства, что согласуется с гипотезой №3.

Переменные периодов времени встречаются лишь в одной модели на основе нейронных сетей, что означает правильность гипотезы №4 о незначимости переменных годов. Дамми-переменные оказываются значимыми в четырех моделях из шести, что предполагает зависимость вероятности банкротства от отраслевой принадлежности компании. Этот вывод подтверждает гипотезу №5.

Заключение