· Средними значениями соответствующих столбцов

· Нулями

· Средними или нулями, в зависимости от предполагаемого экономического смысла пропуска

Замена пропусков на нули и средние была произведена исходя из экономического смысла переменных. Так пропуски в переменной MonthlyIncome могут быть заменены на среднее значение из предположения, что доход заёмщиков, с большей вероятностью, не равен нулю. Пропуски в переменной NumberOfDependents были заменены нулями из предположения, что для заемщиков, не имеющих иждивенцев, данный признак мог быть не заполнен.

Графики ROC-кривых и коэффициенты в полученных моделях приводятся в приложении (Рисунок 21, Рисунок 22, Рисунок 23, Таблица 22, Таблица 23, Таблица 24).

В таблице ниже (Таблица 11) приводятся значения метрик качества построенных моделей:

Таблица 11. Метрики качества моделей без использования WoE

Использование WoE

С учётом характеристик рассматриваемого набора данных существует три возможных сценария использования WoE:

· Заменить на WoE только те переменные, где есть пропуски

· Заменить на WoE все те переменные, где возможно найти значимое разбиение, и использовать только их

· Заменить на WoE все те переменные, где возможно найти значимое разбиение, и использовать в исходном виде те переменные, где разбиение не было найдено

Замена на WoE-факторы только тех переменных, где есть пропуски, является способом устранения пропусков в данных. Путём применения предлагаемого подхода, было получено следующее разбиение (Рисунок 7, Рисунок 8):

Рисунок 7. WoE-разбиение для переменной MonthltyIncome

Рисунок 8. WoE-разбиение для переменной NumberOfDependents

По представленным выше графикам полученных разбиений видна обнаруженная монотонная зависимость среднего уровня значений целевой переменной от бакета.

В результате отбора переменных и построения логистической регрессии были получены следующие оценки коэффициентов в модели (Таблица 12):

Таблица 12. Коэффициенты модели с заменой на WoE переменных с пропусками

Полученная регрессионная модель показывает разделяющую способность с Gini = 0.4020. На рисунке ниже (Рисунок 9) приводится график ROC-кривой полученной модели:

Рисунок 9 - ROC-кривая модели с заменой на WoE переменных с пропусками

Однако, помимо устранения проблемы пропусков в данных замена на WoE-факторы может позволить учесть нелинейные зависимости и снизить влияние шума. С этой целью была произведена на WoE-факторы всех тех переменных, где удаётся найти значимое разбиение. Данная процедура так же позволяет на ранних стадиях исключить из анализа незначимые переменные. Ниже приводятся найденные WoE-разбиения по тем переменным, которые не были обработаны на предыдущем этапе (Рисунок 10 - Рисунок 14). Разбиение переменных MonthlyIncome и NumberOfDependents такое же, как на предыдущем этапе.

Рисунок 10. WoE-разбиение для переменной age

Рисунок 11. WoE-разбиение для переменной DebtRatio

Рисунок 12. WoE-разбиение для переменной NumberOfTime30_59DaysPastDueNotWorse

Рисунок 13. WoE-разбиение для переменной NumberOfOpenCreditLinesAndLoans

Рисунок 14. WoE-разбиение для переменной RevolvingUtilizationOfUnsecuredLines

банковский кредитный риск управление

На полученных WoE-разбиениях была построена модель логистической регрессии, оценки коэффициентов которой представлены в таблице ниже (Таблица 13):

Таблица 13. Коэффициенты модели с заменой на WoE всех переменных

Полученная регрессионная модель обладает разделяющей способностью с Gini = 0.6535, и сильно превосходит по предсказательной силе модель, где на WoE были заменены только переменные с пропусками. На рисунке ниже (Рисунок 9) приводится график ROC-кривой полученной модели:

Рисунок 15 - ROC-кривая модели с заменой на WoE всех переменных

Замена на WoE-факторы всех тех переменных, где удаётся найти значимое разбиение, и дополнительное использование переменных, для которых разбиение найдено не было, позволяет уменьшить потери информации, и, если переменные без WoE-разбиения оказываются значимы (как в рассматриваемом наборе данных), учесть даже малое влияние экзогенных факторов. Была построена модель с использованием найденных разбиений и переменных, для которых значимое разбиение значимо не было.

В таблице ниже (Таблица 14) приводятся полученные оценки коэффициентов модели:

Таблица 14. Коэффициенты расширенной модели с заменой на WoE всех переменных

Полученная регрессионная модель обладает разделяющей способностью с Gini = 0.6569. Таким образом добавление переменных, для которых не было найдено значимого разбиения, оказывает положительное, но не сильное влияние на ранжирующую силу модели. На рисунке ниже (Рисунок 16) приводится график ROC-кривой полученной модели:

Рисунок 16 - ROC-кривая расширенной модели с заменой на WoE всех переменных

Характеристики моделей с использованием WoE приводятся в таблице ниже (Таблица 15):

Таблица 15. Метрики качества моделей с использованием WoE

Сравнение полученных моделей

В таблице ниже (Таблица 16) приводятся метрики качества построенных с использованием различных подходов моделей:

Таблица 16. Первый набор данных. Метрики качества всех моделей.

Можно заметить, что использование WoE преобразования только там, где были пропуски дало несильный прирост ранжирующей силы модели. Однако, применение предлагаемого подхода на всех переменных дало существенный прирост как ранжирующей силы, так и средней точности оценок. Из этого можно сделать вывод, что применение предлагаемого подхода позволило учесть нелинейные зависимости целевой переменной от объясняющих.

3.3 Второй набор данных. Поведенческий скоринг

Второй шаг однофакторного анализа - оценка дискриминирующей силы и статистической значимости переменных. Под дискриминирующей силой фактора понимается его способность дифференцировать дефолтные и не дефолтные сделки. Для оценки дискриминирующей способности переменной использовались значение статистики GINI. Чем выше значение GINI, тем большей дискриминирующей силой обладает данный фактор. В таблице ниже (Таблица 18) представлены пороговые значения GINI для определения категории эффективности фактора. На этапе однофакторного анализа должны исключаться факторы с низкой эффективностью ранжирования.

Таблица 18. Эффективности дискриминации фактора

Статистическая значимость характеризует степень достоверности связи между независимой переменной и зависимой переменной. Для оценки степени статистической значимости вычислялось значение статистики Chi-Square или значение p-value при тестировании гипотезы равенства 0 весового коэффициента при независимом факторе. В таблице ниже (Таблица 19) приведены пороговые значения p-value и соответствующие им категории статистической значимости. На этапе однофакторного анализа следует исключать факторы с низкой статистической значимостью.

Таблица 19. Статистическая значимость фактора

Третий шаг однофакторного анализа - оценка бизнес-логики/бизнес-смысла факторов риска. Анализ бизнес-логики факторов состоял в проверке корректности взаимосвязи между значениями переменных (или трансформированных переменных) и уровнями дефолтов. Существует два типа такой взаимосвязи - прямая связь и обратная связь. Связь между значениями независимого фактора и уровнем дефолта называется прямой, если с увеличением значения фактора уровень дефолтов уменьшается. В противном случае связь является обратной. Данный тест заключается в сравнении ожидаемого и фактически-наблюдаемого направления связи. Если ожидаемое и фактическое направление связи совпадают - тест считается пройденным, в противном случае тест считается не пройденным и фактор должен быть исключен из дальнейшего анализа.

Четвертым шагом однофакторного анализа являлся анализ парных корреляций. Анализ парных корреляций используется для выявления коллинеарных (билинейных) зависимостей между переменными. Наличие корреляций между факторами повышает стандартные отклонения весов, что снижает их устойчивость и надежность в многофакторном анализе. Для корреляционного анализа была рассчитана матрица корреляций - таблица со значениями коэффициентов парных корреляций преобразованных WOE-факторов. Анализ данной таблицы позволил определить переменные, имеющие высокие линейные связи с другими факторами. Пороговое значение, начиная с которого коэффициенты корреляции признавались высоким, составляет 50%. Из каждой пары коррелирующих факторов для дальнейшего анализа был оставлен только один на основании либо более высокой индивидуальной предиктивной способности, либо большей важности фактора с точки зрения бизнес-логики.

После исключения коррелирующих переменных оставшиеся факторы были проверены на мультиколлинеарность. Для оценки мультиколлинеарности использовался фактор инфляции дисперсии (variance inflation factor - VIF). Переменные, для которых параметр VIF принимает значение 5 и более, считаются мультиколинеарными остальным факторам и были исключены из дальнейшего анализа.

Принятие решения по отбору факторов в короткий список было комплексным и учитывало не только количественные критерии, такие как дискриминирующая способность, статистическая значимость, корректные знаки при весовых коэффициентах, допустимый уровень корреляций и мультиколлинеарности, но также экспертное мнение разработчиков.

Многофакторный анализ

Объектом многофакторного анализа являлся короткий список факторов. Целью многофакторного анализа был отбор из короткого списка совокупности переменных с максимальной дискриминирующей способностью, а также оценка весов для полученной группы факторов, для расчета балла каждой переменной. Статистический алгоритм для реализации многофакторного анализа - бинарная множественная логистическая регрессия. Зависимой переменной является признак дефолта, независимыми переменными - набор WOE-факторов из короткого списка.

Для выбора итоговой модели в процедуре бинарной множественной логистической регрессии использовался пошаговый метод отбора переменных - stepwise selection. Данный метод заключается в последовательном включении факторов в модель, при этом, как только новый фактор входит в модель, процедура может удалить часть переменных, уже находящихся в модели, если они становятся статистически незначимыми при добавлении этого фактора. Уровни значимости для включения и исключения переменных - 5%.

На выборке для обучения итоговая модель продемонстрировала ранжирующую силу с Gini = 0.565. График ROC-кривой на обучающей выборке представлен на рисунке ниже (Рисунок 17).

Рисунок 17. ROC кривая PD модели на выборке для обучения

Тестирование модели

Тестирование модели заключалось в проверке дискриминирующей способности итогового скорингового балла и всех входящих в нее факторов. Проверка моделей проводилась на тестовом наборе данных. На тестовой выборке модель продемонстрировала уровень ранжирования с Gini= 0.579. График ROC кривой модели на тестовой выборке представлен на рисунке ниже (Рисунок 18).

Рисунок 18. ROC кривая PD модели на выборке для тестирования

Для проверки устойчивости модели с течением времени проводилась оценка эффективности ранжирования на выборке «Out of time». Выборка формировалась на данных за 3 месяца (01.09.15-01.12.15). Эффективность ранжирования показала значение GINI равное 0.521. ROC-кривая представлена на рисунке ниже (Рисунок 19).

Рисунок 19. ROC кривая PD модели на выборке OOT

В таблице ниже (Таблица 20) приведены метрики качества итоговой модели.

Таблица 20. Второй набор данных. Метрики качества модели.

Высокая ранжирующая сила модели, построенной на трансформированных данных, показывает, что в условиях высокой доли пропущенных значений, не позволяющей строить модели на исходных данных, предлагаемый подход позволяет получить хорошие результаты.

Заключение