Размещено на http://www.allbest.ru/

Кубанский государственный аграрный университет

Исследование достоверности оптимизированной модели скоринга путем прогнозирования кредитных историй заемщиков, данные которых не использовались при синтезе модели

Лебедев Е.А., - соискатель

Аннотация. В статье рассматривается актуальная проблема прогнозирования рисков кредитования физических лиц, и предлагаются пути решения поставленной задачи. Проводится прогнозирование кредитных историй на двух тестирующих групп заемщиков, данные которых не использовались при синтезе модели: которым были выданы кредиты и которым в этом было отказано. Результаты прогнозирования анализируются с целью установить являются ли тестирующие выборки частью той генеральной совокупности, по отношению к которой репрезентативна обучающая выборка, использованная при синтезе модели.

Ключевые слова: ДОСТОВЕРНОСТЬ ОПТИМИЗИРОВАННАЯ СЕМАНТИЧЕСКАЯ ИНФОРМАЦИОННАЯ МОДЕЛЬ СКОРИНГ ПРОГНОЗИРОВАНИЕ КРЕДИТНАЯ ИСТОРИЯ ЗАЕМЩИК СИНТЕЗ ВНУТРЕННЯЯ И ВНЕШНЯЯ ВАЛИДНОСТЬ АДЕКВАТНОСТЬ

Данная статья является продолжением статьи автора (7). В работе автор описал применение метода системно-когнитивного анализа (СК-анализ) для определения кредитоспособности потенциальных заемщиков. С помощью специального программного инструмента СК-анализа - универсальной когнитивной аналитической системы “Эйдос” было осуществлено решение следующих задач:

1. Формализация предметной области.

2. Формирование обучающей выборки.

3. Синтез модели

4. Оптимизация.

5. Верификация модели.

Для синтеза модели были использованы данные из 400 кредитных досье заемщиков получивших кредит в Краснодарском отделении Сбербанка России №8619 в период с 2002 по 2006 гг. и имеющих кредитную историю.

прогнозирование риск кредитование физическое лицо

1. Формализация предметной области

Исходя из определения положительной кредитной истории изложенного в Правилах кредитования физических лиц Сбербанком России и его филиалами от 30.05.2003 №229-3р., было принято решение о формировании двух классов заемщиков с “положительной” и “отрицательной” кредитной историей.

Для решения задачи формализации предметной области решено использовано 17 описательных шкалах и 412 градациях. Описательные шкалы представлены в таблице 1. Так как количество градаций слишком велико, в рамках данной статьи градации расшифровываться не будут.

Таблица 1 - Описательные шкалы и градации используемые для формализации предметной области

2. Формирование обучающей выборки

Для измерения внутренней валидности полученную обучающую выборку скопировали в распознаваемую, после чего провели пакетное распознавание.

Анализируя полученные данные можно предположить, что не все заемщики представленные в выборке сходны по своим признакам в разрезе классов. Так, не смотря на принадлежность заемщиков к одному из существующих классов, 15,7% анкет не были идентифицированы.

Для решения задачи 100% идентификации анкет этап оптимизации модели был повторен. Суть оптимизации состояла в сохранении существующих классов состоящих из верно идентифицирующихся типичных анкет заемщиков и добавлении новых классов состоящих из не идентифицирующихся нетипичных анкет из старых классов модели. Данная процедура была проделана до полной идентификации распознаваемой выборки. После каждого разделения классов для измерения внутренней валидности создается новая итерация модели. Процесс разделения классов показан на рисунке 1. Для решения поставленной задачи процесс оптимизации (разделения классов) был повторен 14 раз, результатом чего стало увеличение количества классов с 2-х до 37-и.

Рисунок 1. Дерево разделения классов

Результаты оптимизации показаны на рисунке 2. Полученный результат является приемлемым для решения задачи прогнозирования будущих состояний объекта управления, т.к. позволяет производить верную идентификацию заемщиков входящих в обучающую выборку со 100% вероятностью.

Также удовлетворительным можно считать процент ошибочной идентификации, который составляет 17,3%.

Рисунок 2. Изменение адекватности информационной модели в зависимости от итерации

Измерение внешней валидности.

Теперь можно применить полученную модель для прогнозирования будущей кредитной истории заемщиков не входящих в обучающую выборку на основе, которой производился синтез модели. Для этого сформируем распознаваемую выборку, состоящую из данных 50 заемщиков. Для того, чтобы определить качество будущего прогноза распознаваемая выборка будет состоять из заемщиков получивших кредит в Сбербанке России в 2003 г. и имеющих сложившуюся кредитную историю. Из 50 заемщиков попавших в выборку положительную кредитную историю имеют 37 человек, у 13 - отрицательная кредитная история. В процентном соотношении только 74% заемщиков получивших кредит и вошедших в распознаваемую выборку имеют положительную кредитную историю.

Для того чтобы начать работу с выборкой зашифруем исходные данные согласно справочникам классов и признаков, после чего проведем пакетное распознавание. Результаты распознавания выводятся в виде карточек. Одну из таких карточек можно видеть на рисунке 3.

Рисунок 3. Результат идентификации информационного источника с классами распознавания

Карточка состоит 3-х столбцов. В первом столбце перечислены все 37 классов имеющиеся в нашей модели. Во втором столбце, напротив каждого класса, указан процент сходства/различия заемщика с данным классом, и, наконец, в третьем столбце можно видеть графическое отображение сходства/различия заемщика с представленными классами. Специальным значком (галочкой) отмечен класс, к которому нами заемщик был отнесен.

Как вы помните, в ходе оптимизации модели мы разделили имеющиеся 2 класса на 37, отличающихся друг от друга по признакам, характеризующим заемщиков представленных в данных классах, но по своему смыслу являющихся подклассами класса "положительная" и "отрицательная" кредитная история. Так как подкласс заемщиков входящих в распознаваемую выборку нам не известен, респонденты были отнесены к первоначальным классам. Анализируя представленную карточку можно интерпретировать полученный результат, как удачный прогноз, так как наибольший процент сходства с данным заемщиком имеет 37 класс "Обязательства исполняются (14 итерация)" который в свою очередь по своему смыслу является подклассом класса 1 "обязательства исполняются".

Полученный результат прогнозирования кредитной истории у респондентов входящих в распознаваемую выборку выглядит следующим образом: из 50 заемщиков верный прогноз получен по 38, что составляет 76% идентификации выборки; из 37 заемщиков имеющих положительную кредитную историю, верно идентифицировано 32, что составляет 86,5% идентификации; из 13 заемщиков имеющих отрицательную кредитную историю верно идентифицировано 6, что составляет 46,2% идентификации.

Попытаемся сравнить полученный результат с тем, прогнозом кредитной истории который дал кредитный комитет банка, принимая решение о выдаче кредита. В данном случае можно расценивать выдачу кредитов, которые вошли в распознаваемую выборку как прогноз о принадлежности заемщиков к классу "обязательства исполняются". Тогда выходит, что кредитный комитет дал правильный прогноз по 37 заемщикам из 50, что соответствует 74% верной идентификации. Это меньше чем прогноз, полученный с помощью скоринговой модели (86,5% верной идентификации).

Для того, чтобы определить точность прогноза скоринговой модели по заемщикам относящимся к классу "Обязательства не исполняются" проанализируем еще одну распознаваемую выборку из 50 человек в состав которой войдут клиенты, получившие отказ со стороны банка в выдаче кредита. Данных респондентов кредитный комитет своим решением отнес к классу "Обязательства не исполняют".

Распознавание выборки с помощью скоринговой модели показало, что из 50 респондентов только 19 относятся к классу "Обязательства не исполняются", оставшиеся 31 - не относится к данному классу. Достоверность данного прогноза трудно проверить, так как клиенты, попавшие в выборку, не имеют кредитной истории. Однако, учитывая результаты прогноза, полученный по предыдущей выборке, с помощью модели, по нашему мнению, имеет смысл применить полученный результат к данной выборке.

Учитывая, что к классу "Обязательства не исполняются" с помощью модели можно верно отнести 46,2% заемщиков, предположим, что процент идентификации клиентов относящихся к данному классу в анализируемой выборке будет примерно таким же. Из этого следует, что из 50 клиентов к данному классу в действительности относится 41 клиент.

Результаты прогнозирования кредитной истории заемщиков вошедших в выборки выданных и отказных дел представлены в таблице 3.

Из таблицы можно сделать вывод о том, что прогноз, полученный с помощью модели адекватен изменениям в распознаваемой выборке. Так в выборке большинство в которой составляют заемщики с положительной кредитной историей с помощью модели мы смогли верно спрогнозировать 32 заемщика с положительной и 6 с отрицательной. В выборке из 50 заемщиков, состоящей в основном из отказных дел (для которых кредитным комитетом прогнозировалась отрицательная кредитная история) с помощью модели мы смогли спрогнозировать увеличение на 3 (до 9 заемщиков) клиентов с отрицательной кредитной историей и уменьшение на 1 (31 заемщик) с положительной кредитной истории по сравнению с выборкой по выданным кредитам.

Таблица 3 - Достоверность прогнозирования с помощью оптимизированной скоринговой модели

Из представленной таблицы видно, что для выборки, состоящей из отказных дел, в соответствии с созданной моделью прогнозируется более чем в 3 раза высокий уровень отрицательных кредитных историй, чем для выборки, включающей данные о выданных кредитах, а также меньшее количество положительных кредитных историй. Эти параметры разумны и ожидаемы нами и, на наш взгляд, подтверждают адекватность работы как кредитного комитета, так и созданной нами модели. Необходимо отметить, по выборке из выданных кредитов применение созданной модели на 12.5% повышает достоверность прогнозирования положительной кредитной истории по сравнению с традиционным подходом. По выборке из отказных дел согласно модели прогнозируется довольно значительное количество положительных кредитных историй (31), а мы знаем, что достоверность подобных прогнозов составляет 86.5%.

Итак, на основе обучающей выборки из 400 заемщиков, которым были выданы кредиты, модель выявила зависимости между анкетными данными этих заемщиков и их кредитной историей, и эти зависимости имеют силу в более широкой генеральной совокупности, по отношению к которой обучающая выборка репрезентативна. Для проверки адекватности модели и измерения ее достоверности были использованы две выборки, содержащие данные по 50 заемщикам, которым были выданы кредиты, и по 50 заемщикам, которым было оказано в этом. Данные этих заемщиков не были использованы при синтезе модели. По результатам прогнозирования кредитных историй по этим двум тестирующим выборкам получены результаты, позволяющие сделать следующие выводы:

1. С достоверностью 95% можно утверждать, что созданная модель позволяет отличать выборки из выданных кредитов и отказных дел.

2. Применение модели обеспечивает общую средневзвешенную достоверность прогнозирования кредитной истории заемщиков, данные которых не использовались при синтезе модели, на уровне 76,5%, а положительной кредитной истории 86,5%, что на 12,5% выше, чем при традиционном подходе.

3. Представленная скоринговая модель может применяться в банковской работе на этапе рассмотрения кредитной заявки в качестве консультационной программы, что позволит улучшить качество кредитного портфеля и одновременно сократить издержки банка связанные с проверкой заемщика.

Необходимо также отметить, что при эксплуатации модели в адаптивном режиме, когда кредитные истории заемщиков, которым выданы кредиты, будут использоваться для дополнения обучающей выборки и пересинтеза модели, достоверность и экономическая эффективность модели будет повышаться.

Литература