Размещено на http://www.allbest.ru/

Оценка вероятности отзыва лицензий у банков

Аннотация

банкротство банк финансовый

Рассмотрение исследовательской проблемы оценки вероятности отзыва лицензий банков актуально не только для аппарата Центрального Банка РФ как для регулятора банковской системы, но для всех субъектов банковского сектора ввиду сильной взаимосвязи всех участников банковского сектора. Цель настоящей работы - поиск и разработка модели для оценки вероятности отзыва лицензий у банков. Исследование посвящено проверке обозначенных гипотез на основании выборки по месячным финансовым данным 1152 коммерческих банков за 2008-2017 гг. Предварительно был проведен анализ исторических аспектов банкроства банков в России и обзор существующих исследований на тему прознозирования отзыва банковских лицензий. Результатом работы стало построение качественной модели логит-регресии со статистически значимыми предикторами и оценка ее классификационных качеств.

Введение

В условиях продолжающегося финансово-экономического кризиса вопрос стабильности банковской системы РФ на сегодняшний день требует особого внимания. Наряду с валютными «скачками» и общей экономической рецессией, стремительно сокращается число банковских учреждений: так за 2015-2016 гг. в среднем лицензии лишались более 90 банков в год, а по истечении первого квартала 2017 года были отозваны лицензии у 18 банков (на 05.04.2017 г) [По данным информационного портала banki.ru. Режим доступа: www.banki.ru]. С одной стороны, новая политика ЦБ предполагает чистку» «раздутого» (с 1990х годов) банковского сектора от недобросовестных игроков, с другой стороны - чрезвычайно важным становится вопрос «Кто следующий?» - причем не столько для простых вкладчиков, сколько для юридических лиц, которые при банкротстве своего банка, скорее всего, потеряют все свои средства.

Снижение доверия населения и бизнеса к банковской системе, в свою очередь, ведет к сокращению частных сбережений и ухудшению эффективности распределения средств в экономике. Совокупность этих явлений ведет к негативному состоянию экономики в целом, и может спровоцировать или катализировать кризисные процессы в экономике страны.

Банковский сектор играет ключевую роль в экономической системе страны, поэтому это направление строго регулируется и в законодательной сфере. Аппарат Центрального Банка РФ наделен широким кругом полномочий по «оздоровлению» банковской системы: это не просто снижение числа банков, это выведение с рынка слабых игроков для увеличения устойчивости банковского сектора. Оздоровление банковской сферы заключается не только в закрытии разорившихся кредитных организаций, но и в раннем предупреждении возможных финансовых проблем коммерческих банков. Для этого применяются различные методики раннего выявления потенциальных банков-банкротов с целью их санации, консолидации, реорганизации либо отзыва лицензии, в конечном счете.

Разработке методик раннего прогнозирования отзыва лицензий посвящено большое количество научных работ и исследований, данная исследовательская работа будет посвящена анализу существующей теоретической и методологической базы, на основе которых будет построена и протестирована собственная модель для выявления факторов, влияющих на финансовую стабильность коммерческих банков российского банковского сектора. Отличительной особенностью работы является использование месячных финансовых данных коммерческих банков РФ за длительный временной период (2008-2017 гг.), все существующие модели отечественных авторов построены на квартальных финансовых данных банков с более коротким временным горизонтом исследования. Панельные данные, собранные в ходе исследования, включают наблюдения по 1152 банкам.

Объектом исследования будут являться российские коммерческие банки (действующие и банки-дефолты), предметом - те факторы, которые влияют на финансовую устойчивость этих банковских учреждений.

В настоящей работе термины «отзыв лицензии банка» и «банкротство банка» употребляются в одном значении. Под термином «банкротство» в настоящей работе будет пониматься финансовая несостоятельность, неспособность банка в полной мере исполнить свои денежные обязательства, повлекшая за собой отзыв лицензии. Федеральный закон «О банкротстве» № 127 дает подробное определение термина, и в отношении банков в частности. Четвертый параграф 127 ФЗ устанавливает, что «кредитная организация считается банкротом если соответствующие денежные обязательства не исполнены ею в течение четырнадцати дней после наступления даты их исполнения и (или) стоимость имущества (активов) кредитной организации недостаточна для исполнения ее обязательств перед кредиторами и (или) обязанности по уплате обязательных платежей» (Федеральный закон от 26.10.2002 N 127-ФЗ (ред. от 02.06.2016) "О несостоятельности (банкротстве)").

Цель настоящей работы - поиск и разработка модели для оценки вероятности отзыва лицензий у банков. Для достижения поставленной цели необходимо решить ряд задач:

· рассмотреть теоретические основы оценки вероятности банкротства банков;

· проанализировать существующие модели оценки вероятности банкротства банков, выявить их особенности;

· выявить факторы, которые могут оказывать влияние на финансовую устойчивость банковских учреждений;

· разработать собственную модель и протестировать ее точность прогноза на контрольной выборке.

Структура работы соответствует поставленным задачам. Первая глава содержит теоретическое обоснование заявленной проблемы: обзор иностранных и российских статей и научных работ, посвященных данной тематике - от первых исследований данного направления, до более поздних работ, учитывающих специфику выбранного объекта изучения. Затем следует описание используемых данных и выбранных факторов для анализа.

Вторая глава включает в себя методологическую часть и посвящена непосредственно построению оптимальной модели прогнозирования банкротства в банковском секторе, ее интерпретации и проверке ее использования на реальных исторических данных для оценки прогнозных качеств.

Заключение работы содержит основные выводы о перспективности построенной модели в области прогнозирования вероятности банкротства банков, целесообразность её применения на практике.

Теоретическая и практическая значимость исследовательской работы заключается в обобщении теоретических знаний по проблеме прогнозирования банковских банкротств, а также в новом подходе к построению модели - в отличие от предыдущих научных работ, основой для анализа стали месячные финансовые данные банков, кроме того, был охвачен значительно большой промежуток времени (2008-2017 гг.).

Рассмотрение исследовательской проблемы оценки вероятности банкротства банков актуально не только для аппарата Центрального Банка РФ, но для всех субъектов банковского сектора: для физических и юридических лиц в контексте надежного размещения свободных средств, для иных финансовых организаций, тесно сотрудничающих с кредитными-организациями, например участников фондового рынка - это вопрос выбора финансово стабильного актива (акции, облигации коммерческих банков). Ввиду сильной взаимосвязи всех участников банковской сферы показатель ее стабильности чрезвычайно важен для детального изучения, особенно в период посткризисного состояния экономики.

1. Теоретические основы прогнозирования банкротства банков

1.1 Постановка исследовательской проблемы и ее актуальность

В сегодняшних условиях продолжающегося кризиса резко ускорились темпы отзыва лицензий у банков. За три последних года, были отозваны лицензии почти у 300 банков, то есть почти каждый третий банк подвергся дефолту. При этом среди даже довольно крупных банков, занимающих позиции с 51-го по 200-ое по размеру активов в российском рейтинге, за этот период лицензии лишился каждый седьмой банк. На практике это может означать то, что величина банка теперь не является индикатором его надежности. За 2008-2016 гг. банковский сектор в целом сократился почти вдвое в количественном выражении [По данным информационного портала banki.ru. Режим доступа: banki.ru].

По предварительной оценке агентства страхования вкладов клиенты разорившихся банков потеряли около 1 трлн собственных средств. Для российской экономики сумма в 1 трлн рублей не критична, примерно 1/70 доля ВВП, однако для финансового сектора масштаб проблемы значителен - при общей капитализации банковской системы в размере порядка 9 трлн рублей (на начало 2016 года). Прежде всего, это означает утрату финансовых мощностей, ограничение потенциального объема кредитования в текущем и будущем временных периодах. По расчетам центра макроэкономического анализа и краткосрочного прогнозирования, потеря 1 трлн собственных средств исходя из мультипликатора «кредиты/капитал» ограничит потенциальный размер кредитов банковской системы в 2017 году на 4,5-5 трлн рублей, что составляет примерно 12-14% текущего размера кредитного портфеля банков. При этом объем кредитования сокращается постепенно, эффект от нехватки капитала в экономике проявляется в полной мере за 2 года. Российская экономика только частично ощутила на себе последствия банковского кризиса, и теперь обратный переход к фазе экономического роста осложнен множеством факторов [Выпуск новостей от 21.12.2016 пресс-центра Российского союза промышленников и предпринимателей. «Отзывы лицензий обойдутся банковской системе в 1 трлн рублей». Режим доступа: rspp.ru/news/view/8624] .Прежде чем перейти к описанию этапов исследования, следует выделить основные тенденции текущей политики ЦБ в отношении коммерческих банков и в целом дать оценку сложившейся ситуации в отечественном банковском секторе.

С исторической точки зрения, банковская система страны пережила три крупных «волны» массового закрытия банков:

· Финансовый кризис 1998 г.

Начало 1990-х годов связано с бурным ростом числа банковских учреждений, при этом многие банки создавались для спекулятивных или криминальных целей. В 1998 г. с наступлением финансового кризиса обозначилась общая тенденция сокращения количества банков. В конце 1990-х годов Центральный Банк ужесточил обязательные банковские нормативы, усложнил процедуру получения лицензии и провел существенное реформирование законодательной базы по регулированию банковской деятельности для «зачистки» рынка от неэффективных игроков, тех банков, которые не могли отвечать быстроменяющимся условиям экономической ситуации в стране. Период с 1999 по 2008 гг. можно назвать становлением банковской системы РФ: она стала более кредитно-ориентированной (для реального сектора и населения) благодаря активной политике привлечения пассивов, сформировалась система страхования вкладов, снизились кредитные ставки, ведущие банки начали выход на международный рынок (IPO) [Глухова О.С., Щесняк К.Е. (2015) .Деятельность российских коммерческих банков в условиях мирового финансовго кризиса. Режим доступа: cyberleninka.ru/article/n/deyatelnost-rossiyskih-kommercheskih-bankov-v-usloviyah-mirovogo-finansovogo-krizisa].

· Финансовый кризис 2008 г.

Помимо положительных тенденций, отмеченных выше, стоит учитывать ряд особенностей банковского сектора РФ, сформировавшегося к 2008 г., которые, в свою очередь, могли стать катализаторами кризиса в банковской сфере в 2008-2009 гг.. Во-первых, это высокая зависимость от цен на сырье, так как ЦБ в своей политике в основном ориентировался на поддержку экспорта, что непосредственно связано с общим курсом экономики страны. Во-вторых, это монополизация банковского сектора: сформировался ряд банков, занимающих доминирующее положение на кредитно-финансовом рынке, и эта структура сохраняется до сих пор - 5 крупнейших банков на 01.01.2017 аккумулируют 56% активов всей банковской системы РФ, а первые 50 банков - 89% [Сайт ЦБ РФ. Обзор банковского сектора на 01.01.2017. Экспресс-выпуск: Режим доступа: cbr.ru/analytics/bank_system/obs_1702.pdf].

К 2008 г. были накоплены проблемы, которые способствовали ухудшению начавшегося финансового кризиса: в частности, банковская система испытывала серьезный недостаток в «длинных» деньгах, при этом имея существенный внешний долг при низком уровне ликвидности активов, что ухудшалось резким падением цен на нефть. Остановился рынок межбанковского кредитования, недоверие населения к банковской системе спровоцировало массовый отток средств и в результате, большое количество банков столкнулись с шоком ликвидности на фоне роста просроченной задолженности по кредитам и общего сокращения объемов кредитных портфелей. [Сайт ЦБ РФ. Обзор банковского сектора на 01.01.2017. Экспресс-выпуск: Режим доступа: cbr.ru/analytics/bank_system/obs_1702.pdf]

· Новая политика Центрального банка РФ (с 2013 г.)

С приходом в 2013 г. новой главы Эльвиры Набиуллиной ЦБ начал новый этап активной «расчистки» банковского сектора. Так за период с 2013 по 2017 гг. лицензии были отозваны более чем у 300 коммерческих банков [Cписок закрывшихся банков, статистика инфомрационного портала Banki.ru. Режим доступа: banki.ru/banks/memory]. Правительство ЦБ наделено широким кругом полномочий по «оздоровлению» банковской системы: это не просто снижение числа банков, это выведение с рынка слабых игроков для увеличения устойчивости банковского сектора. Оздоровление банковской сферы заключается не только в закрытии разорившихся кредитных организаций, но и в раннем предупреждении возможных финансовых проблем коммерческих банков. Для этого применяются различные методики раннего выявления потенциальных банков-банкротов с целью их санации, консолидации, реорганизации либо отзыва лицензии, в конечном счете.

Разработке методик раннего прогнозирования банкротства посвящено большое количество научных работ и исследований, данная исследовательская работа посвящена анализу существующей научной базы, на основе которой будет построена и протестирована собственная модель для выявления факторов, влияющих на финансовую стабильность коммерческих банков российского банковского сектора.

1.2 Обзор моделей оценки вероятности банкротства

Проблема прогнозирования банкротства достаточно давно обсуждается в научной литературе: описания первых моделей стали появляться в статьях, посвященных корпоративным финансам в первой половине двадцатого века.

Сделать вывод о финансовой устойчивости компании возможно с помощью анализа ее относительных финансовых показателей. Основной принцип такого анализа заключается в том, что организации с определенной финансовой структурой более склонны к банкротству в будущем периоде, по сравнению с компаниями, обладающими противоположными характеристиками. Опыт исследований посвященных прогнозированию банкротства показывает, что наиболее значимыми факторами являются показатели доходности, ликвидности и платежеспособности организаций. При этом оценивая каждый из показателей в отдельности, существует риск получения некорректных выводов о потенциальной склонности к банкротству. Для получения модели высокого качества необходимо оценивать комплекс показателей, придав им разный вес в общей оценке вероятности дефолта.

Так, Эдвард Альтман использовал метод множественного дискриминантного анализа на основе пяти ключевых финансовых показателей. Используя исторические данные об американских компаниях, Альтман рассчитал показатель вероятности банкротства Z (Altman, 1968). Этот коэффициент позволяет отнести компанию к потенциальным банкротам или финансово здоровым организациям. У каждого из статистически значимых показателей есть свой вес в общей оценке. Множественный дискриминантный анализ - статистический метод, используемый для классификации наблюдений по двум или нескольким группам (в нашем случае признаку «банкрот-небанкрот») в зависимости от отдельных характеристик наблюдения. Цель такого анализа - получение набора параметров, которые наилучшим образом разделяют наблюдения по выделенному признаку. То есть, множественный дискриминантный анализ выявляет и использует те факторы, которые больше всего различаются между группами наблюдений и похожи внутри группы. Модель Альтмана описана в нескольких вариациях (2х, 5ти и 7ми-факторная модель): наиболее распространена в научной литературе пятифакторная модель, в основе которой лежат финансовые показатели рентабельности, доходности и оборачиваемости активов, размера чистого оборотного капитала, соотношения собственных и заемных средств (Altman, Rijken, 2005). Преимуществом использования метода дискриминантного анализа является возможность одновременной оценки целого набора переменных.

Помимо модели множественного дискриминантного анализа в вопросах бинарного выбора широко применяется регрессионная логит-модель. Для оценки вероятности отзыва лицензии строится специальная функция, область значений которой лежит в интервале [0,1] и аргументом которой является линейная форма вX, то есть P(y=1| X) = F(вX). Подобранная функция вероятностного распределения должна обладать следующими характеристиками (Айвазян, 2001):

1. 0 ? F(w) ? 1.

2. F(w) монотонно возрастает по w.

3. F(w) > 0 при w> 0.

4. F(w) > 1 при w> ?.

Вероятность банкротства может быть выражена из следующей спецификации:

Z_i = ln (P_i/(1-P_i)) = в₀+в₁X₁+...+в_kX_k

Тогда P_i = e^Zi/(1+e^Zi) , где

P_i - вероятность того, что в следующем периоде i-ый банк станет банкротом;

X_j - j-ая независимая переменная;

в_j - коэффициент перед j-ой объясняющей переменной.

Зависимая переменная принимает значение равное 1 для банков-дефолтов и 0 -- для банков-недефолтов. Положительные коэффициенты увеличивают вероятность отзыва лицензии банка, отрицательные коэффициенты наоборот оказывают противоположное влияние.

Работу Даниэля Мартина (Martin, 1977) можно назвать первой исследовательской работой, посвященной прогнозированию именно дефолтов банков. Автор проводил исследование более 5600 американских банков за 1975-1976 г. В работе были использованы модели логистической регрессии и дискриминантного анализа. Построенные модели оценивали вероятное банкротство американских коммерческих банков в будущем периоде с достаточно высокой точностью - в среднем 90%. Согласно результатам, на вероятность дефолта оказывают влияние предикторы практически из всех групп, рассмотренных в исследовании (достаточность капитала банка, качество активов, доходность), кроме показателей ликвидности. Дальнейшие исследования, проведенные на больших выборках банков, подтвердили полученные Мартином результаты.

Применение метода дискриминатного анализа при построении моделей прогнозирования банкротств не всегда допустимо, т.к. данный вид анализа предполагает наличие более жестких ограничений по сравнению с логит- и пробит-моделями. Дискриминантный анализ предполагает отсутствие значимых различий между ковариационными матрицами для исследуемых групп. Для прогнозирования бинарной величины («банкрот» - «не банкрот») логит-модель в случае данного исследования является оптимальным методом, т.к. пробит модель корректно применять только в случае стандартного нормального распределения значений анализируемых показателей. Эконометрические модели в отличие от методов дискриминантного анализа, что немаловажно, позволяют сделать вывод об оценке вероятности банкротства, а не просто получить бинарный ответ (банкрот/не банкрот, вероятность низкая/вероятность высокая) (Пасечник А. А., Пасечник Д. А., Лукаш Е. Н, 2011).

Рассмотренные модели прогнозирования банкротства относятся к параметрическим. Применение этих моделей ограничено зависимостью от вида распределения независимых переменных. Избежать этих ограничений, позволяет использование непараметрических моделей.

В основе непараметрических методов лежит выделение характерных признаков, присущим банкам-банкротам и банкам-небанкротам. Чаще других в научных работах используется непараметрический метод распознавания признаков (trait recognition). При использовании этой модели для оценки будущего банкротства банков каждому финансовому показателю присваиваются критические значения, которые характеризуют только банки-банкроты и банки-небанкроты соответственно.

В конце 1980-х годов ученые начали работать с модели отличными от регрессионных и моделей дискриминантного анализа - модель Кокса, нейронные сети, оболоченный анализ данных и др.

Регрессия Кокса или модель пропорциональных рисков оценивает риск наступления события (дефолт) для наблюдаемого объекта и влияние заранее определенных предикторов на этот риск. Риск в данном случае рассматривается как функция зависимая от времени, главное отличие от предыдущих моделей, риск - это не вероятность, и он может принимать значения больше единицы. Модель была предложена в 1972 г. и до сих пор активно используется в самых различных областях науки. Вильям Р. Лэйн (Lane, 1986) сравнил эффективность регрессии Кокса, в основе которой лежит моделирование величины времени до дефолта банка, и метода дискриминантного анализа. Согласно полученным результатам, оба вида моделей обладают примерно одинаковым уровнем прогнозирования.

В основе метода нейронных сетей лежит принцип работы головного мозга: способность извлечения знаний из накопленного опыта и обобщений их в виде закономерностей - правильно спроектированные и хорошо обученные нейросетевые модели способны прогнозировать и выявлять закономерности практически во всех предметных областях (Плещицер, 2010).

К непараметрическим моделям также относится оболочечный анализ данных (Data Envelopment Analysis). Модель была разработана А. Чарнсом, В. Купером и Е. Родсом в 1978 году (Charnes, Cooper, Rhodes, 1978). В основе DEA лежат методы линейного программирования, позволяющие сравнивать объекты по уровню их эффективности. В общем виде модели есть входящие и исходящие параметры: входящие характеризуют те ресурсы, которые имеет объект анализа «на входе», исходящие - те результаты, которые объект получает с помощью входящих ресурсов. Далее строится граница эффективности путем оптимизации выпуска на основе входящих и исходящих показателей. В рассмотренных нами исследованиях примерами входящих параметров для банков является величина собственного капитала банка, привлеченных средств физических и юридических лиц, исходящих параметров - объем работающих активов, полученная банком прибыль (за последний отчетный период) и т.д.

В работах, посвященных оценке банкротства банков с помощью оболоченного анализа данных, используется понятие обратной эффективности и строится граница банкротства. Банки-банкроты лежат на границе, а небанкроты - под ней. Преимуществом использования метода оболоченных данных является возможность предоставления конкретных рекомендаций по изменению входящих и исходящих параметров для финансового «оздоровления» банка. (Premachandra, Bhabra, Sueyoshi, 2007).

Говоря о российских исследованиях, посвященных банковским дефолтам, нельзя не выделить группу российских ученых в составе Карминского А.М, Головань С.В., Пересецкого А.А., Евдокимова М.А., Копылова А.В., которые на протяжении последних десяти лет активно публикуют работы по данной теме. Эти авторы первыми разделили российские банки на кластеры и построили для каждого из них отдельную модель прогнозирования вероятности дефолта (Головань, 2003). Деление банков на кластеры позволило проверить структурную неоднородность выборки, выявить воздействие одних и тех же факторов на разные кластеры. В качестве критериев разбиения были выбраны следующие показатели:

· Размер банка по величине активов;

· Доля вложений в государственные ценные бумаги к валюте баланса;

· Доля общей суммы кредитов реальному сектору (население, юридические лица) к валюте баланса;

· Отношение собственного капитала банка к валюте баланса, показывающее способность банка покрыть возможные убытки (Пересецкий, 2013);

Кластерное деление банков позволяет более детально рассмотреть факторы, характерные для определенных видов кредитных организаций. С другой стороны, результаты исследования также выявили общие для всех кластеров признаки, в частности к ним можно отнести долю ликвидных активов, величину собственного капитала и резервов. Авторы делают вывод о том, что данные признаки можно считать фундаментальными характеристиками банка вне зависимости от его кластера (Пересецкий, 2013);. В основе исследований этой группы авторов лежит модель логит-регрессии. Определение вероятности отзыва лицензий у банков с помощью моделей logit, probit и подобных им не позволяет с абсолютной точностью утверждать о будущем банкротстве банка, однако, по мнению А.А. Пересецкого, дает потенциальную возможность выявить банки, которые находятся в группе риска. Соответственно, именно эти банки подлежат проверке со стороны ЦБ РФ в первую очередь.

Проведенные недавно исследования подтверждают выводы, описанные выше. Стефан Ван дер Плоег (VanderPloeg, 2010) протестировал разные виды моделей на выборке из 1064 американских банков, в том числе из них 64 оказались в состоянии дефолта с 1987 по 2008 г. Набор показателей-предикторов включал 29 факторов, которые были объединены в 5 групп: достаточность капитала, качество активов, доходность, ликвидность и качество управления. Ученый оценивал следующие типы моделей: логит-регрессия, дискриминантный анализ, регрессию Кокса и нейросетевую модель. В результате, все типы моделей продемонстрировали практически одинаковую предсказательную силу, что подтверждает гипотезу о том, что тип модели не влияет на ее прогнозные качества. В итоге, финансовые показатели всех 5 групп подтвердили свою значимость.

Кроме теоретических работ, имеющих без сомнения возможность практического применения, стоит также обратить внимание на системы, которые уже внедрены в банковский сектор для выполнения надзорных функций. Примером такой системы является CAMELS - рейтинговая система оценки кредитных организаций США, созданная в 1978 году. CAMELS активно используется со времен мирового финансового кризиса, отбирая банки для государственной программы поддержки финансовой системы. Данный рейтинг используется исключительно для внутренних государственных целей и не публикуется в открытом доступе, чтобы не спровоцировать отток капитала из банков с худшими оценками за пределы страны. Показатель представляет себе анализ финансовой стабильности банка по пятибалльной шкале, которая строится на основе оценок по следующим показателям:

Таблица 1. Модель CAMELS и ее составляющие

Фактор	Название	Какие показатели входят	Вес в общей оценке
С	Capital adequacy (достаточность капитала банка)	· размер банка (активы); · доля проблемных активов; · показатель нераспределенной прибыли; · качество капитала; (заемный/собственный, адекватность оценки активов).	25%
А	Asset quality (качество активов)	· доля кредитов в активах; · просроченная и реструктурированная задолженность в портфеле;	20%
М	Management (качество управления)	· уровень квалификации персонала банка · компетентность топ-менеджмента и руководства · соблюдение правовых норм · реакция на изменение внешней среды	25%
Е	Earnings (доходность)	· Доходность активов · Достаточность резервов на возможные потери по кредитам	10%
L	Liquidity (ликвидность)	· Доля ликвидных ресурсов · Уровень постоянства депозитов · Доступ к денежным рынкам	10%
S	Sensitivity to risk (чувствительность к риску)	· Чувствительность к валютным курсам · Чувствительность чистых доходов к изменению ставок	10%

Система сравнивает показатели банков с некоторыми нормативными значениями, заданными в модели и идентифицирует те банки, которые требуют немедленного вмешательства или финансовой проверки. Стоит подчеркнуть, что система отражает состояние банков на текущий момент и не предусматривает возможность прогнозирования.

Совокупность индикаторов для CAMELS была рекомендована группой американских ученых, затем показатели оценивались статистически и в итоговую модель попали только статистически значимые факторы. Похожая рейтинговая система банков имеется и в Великобритании и носит название RATE. Каждый банк по итогам оценки попадает в одну из групп: проблемные или финансово стабильные (Пасечник А. А., Пасечник Д. А., Лукаш Е. Н., 2011). Использование эконометрических моделей бинарного выбора для оценки вероятности банкротства российских банков.

Глобальному введению эконометрических моделей для оценки состояния финансового сектора мешает отсутствие достаточного количества данных о дефолтах во многих странах, а в некоторых странах Европы и Канаде, к примеру, недостаточно кредитных учреждений для оценки внедряемой модели.

В данной исследовательской работе в качестве метода исследования была выбрана модель логистической регрессии, в связи с тем, что многократно была доказана возможность ее успешного применения для оценки вероятности банковских дефолтов. Как было сказано ранее, техническое усложнение модели не улучшает ее прогнозной силы. Построение традиционной логит-модели позволит более корректно сопоставить результаты данного исследования с полученными ранее.

1.3 Факторы, определяющие финансовую устойчивость банков

Помимо выбора модели прогнозирования важным вопросом в нашей проблематике является выбор факторов, способных помочь в прогнозировании банкротства кредитной организации. В ходе анализа литературы, посвященной банкротству банков, были выделены основные группы индикаторов:

1) Наиболее традиционным является использование данных официальной бухгалтерской отчетности - она находится в открытом доступе, с помощью анализа различных финансовых индикаторов можно дать объективную (количественную) оценку результатам деятельности банка (в сравнении с другими банками/по одному банку в динамике по годам). В научной литературе получили название «микрофакторов». Чаще всего анализируются квартальные данные финансовой отчетности коммерческих банков.

На основе исходных финансовых показателей деятельности банка могут быть рассчитаны относительные и производные показатели - например, размер кредитного портфеля, доля высоколиквидных активов, оборачиваемость собственного капитала банка или его активов и др.

К базовым «микрофакторам» можно отнести размер банка (по величине активов), она фигурирует в большинстве исследований по данной теме.

Показателем, характеризующим прибыльность банка, является рентабельность активов (ROA) и собственного капитала (ROE). Высокий показатель рентабельности отличает устойчивые банки с потенциально низкой вероятностью банкротства. Предполагаемое влияние на вероятность дефолта - отрицательное. Согласно выводам предыдущих исследований, с повышением уровня рентабельности активов вероятность дефолта банка снижается.(ссылка на статьи)

Для оценка риска ликвидности в модели обычно включается показатель доли ликвидных активов в общей стоимости активов и доля ценных бумаг. (Шеметев, 2011). Государственные ценные бумаги могут быть легко реализованы в случае потери нужного уровня ликвидности банком, но при этом их традиционно не учитывают в составе ликвидных активов коммерческого банка. Предполагаемое влияние на вероятность дефолта отрицательное, т.к. с ростом доли ликвидных активов возрастает способность погашения текущих и возникающих обязательств банка.

Кредитный риск банка может быть оценен по объему и качеству кредитного портфеля, уровню резервов на возможные потери по ссудам, доле просроченной задолженности в целом по портфелю.

Показатель достаточности капитала банка представляет собой отношение собственного капитала к общему объему активов. С увеличением доли собственного капитала, вероятно, снижается вероятность банкротства, в связи с ростом ресурсов, по которым банк не несет обязательств. (ссылка на авторов статьи)

2) К «макрофакторам» относят внешние условия, характеризующие общее состояние экономики страны: уровень безработицы, инфляции, темп прироста ВВП и индекса потребительских цен. Использование в моделях макро-индикаторов основано на предположении, что финансовая устойчивость банка также зависит от циклически изменяющихся внешних факторов. Согласно результатам исследования группы отечественных авторов (Головань и др., 2003) включение в список индикаторов банкротства макропоказателей улучшает статистические показатели модели. При этом, использование двух и более макроэкономических показателей также улучшает предсказательные характеристики модели, однако наблюдаемый эффект уже не настолько значителен. Исследователи вводили в базовую модель индикатор валютного курса рубля и соотношение российского экспорта/импорта и сочли эти показатели наиболее удачными для включения. Анализируемая выборка состояла из банков, действовавших в период 1996 - 2002 гг.

С.М. Дробышевский и А.В. Зубарев посвятили свое исследование особенностям дефолтов банков в кризисный период, анализируя ретроданные и последствия кризиса 2008-2009 годов. В выборку вошли банки, осуществлявшие деятельность в указанный период. Авторы делают предположение о прямой связи макроэкономических условий и снижением финансовой устойчивости банков. В связи с этим исследователи акцентируют свое внимание на факторах, характеризующих финансовую деятельность банка и его политику управления, дополняя их макроэкономическими показателями. Авторы прогнозировали банкротство кредитных организаций в период финансового кризиса 2008-2009 гг. за 1 год до реального наступления дефолта. В базовую модель были включены показатели доли кредитов физическим лицам и нерезидентам к общей доле активов банка, отношение резервов под возможные потери к кредитам небанковскому сектору, отношение рыночного долга к обязательствам банка, доля просроченных кредитов и размер банка (по величине активов). Исследователи пришли к выводу, что вероятность банкротства обратно зависима от величины портфеля кредитов физическим лицам, но что самое интересное - также и от доли просроченных кредитов. Данный факт авторы объясняют тем, что реальные данные о просроченной задолженности открыто публикуют только крупные и успешные банки, тогда как небольшие игроки рынка склонны занижать статистику. Значимыми «макрофакторами» по итогам исследования стали соотношение объема экспорта и импорта, средневзвешенная ставка по рублевым депозитам до года и изменение курса рубля к доллару за указанный период. Прогнозная сила построенной модели при добавлении макро-показателей возросла, что подтверждает гипотезу авторов о влиянии на банкротство коммерческих банков изменений макроэкономических факторов (Дробышевский, 2011).

С другой стороны, исследователи, как правило, тестируют модели на выборках банков одной страны, и это означает, что все рассматриваемые банки ведут свою деятельность в одних и тех же макро-условиях. Использование данных об общих экономических условий оправдано при анализе дофолтов банков из разных стран и за разные временные периоды.

3) Авторы исследования «Расчет вероятности банкротства банковского сектора Норвегии» А. Клэр и Р. Пристли также уходят от привычного анализа бухгалтерской отчетности банков и предлагают заменить финансовые индикаторы на рыночные цены акций банков. В основе использованной модели лежит предположение о том, что в среднем рынок справедливо оценивает банк и что модифицированная модель САРМ может выразить реальное соотношение риска и доходности. В результате использования метода, можно вычислить и отследить колебания стоимости активов банка и его обязательств, в следующем временном периоде этот показатель влияет на вероятность банкротства банка (Clare, Priestley, 2002).

Б. Паола, Л. Лавин, Г. Маджони провели сравнение трех видов индикаторов, информация о которых располагается в свободном доступе: официальная отчетность банка, его кредитный рейтинг (экспертная оценка) и цена акции на фондовом рынке. Выборка включала в себя азиатские банки за период 1996-1998 годов. Важный вывод исследования заключается в том, что биржевые показатели в среднем быстрее отражают новую информацию об устойчивости банка, однако использование только одного (любого) из трех индикаторов не обеспечивает достаточную прогнозную силу модели, поэтому необходимо использовать совокупность различных показателей (Paola, Laeven, Majnoni, 2002).

5) ЦБ РФ использует специальные нормативы для оценки возможных рисков, связанных с потерей финансовой устойчивости банка (Инструкция Банка России от 3 декабря 2012 г. N 139-И "Об обязательных нормативах банков").

Норматив достаточности собственных средств банка (Н1.0), регулирует риск финансовой несостоятельности банка и определяет требования по минимальной величине собственных средств (капитала) банка, необходимых для покрытия кредитного, операционного и рыночного рисков. Норматив Н1.0 определяется как отношение размера собственных средств (капитала) банка и суммы его активов, взвешенных по уровню риска. Минимально допустимое значение норматива H1 устанавливается в размере 10%.

В целях контроля за уровнем ликвидности банка, то есть его способности обеспечить своевременное и полное выполнение своих обязательств, устанавливаются нормативы мгновенной, текущей, долгосрочной ликвидности, ограничивающие риски потери банком ликвидности и определяются как отношение между активами и пассивами с учетом сроков, сумм и типов активов и пассивов, других факторов:

· Н2 - Норматив мгновенной ликвидности банка;

· Н3 - Норматив текущей ликвидности банка;

· Н4 - Норматив долгосрочной ликвидности банка;

Норматив Н2 это норматив мгновенной ликвидности банка, который ограничивает риск потери ликвидности банком в течение одного операционного дня. Норматив Н3 определяет показатель текущей ликвидности, регулирующий риск банка по потере ликвидности в течение ближайших тридцати календарных дней. Норматив долгосрочной ликвидности контролирует риск потери банком ликвидности в результате размещения средств в долгосрочные активы (Н4).

Ряд нормативов ЦБ касается кредитных рисков. Так, норматив максимального размера риска на одного заемщика или группу связанных заемщиков (Н6) призван контролировать кредитный риск банка в отношении одного заемщика или группы связанных заемщиков и определяет максимальное отношение совокупной суммы ссудной задолженности заемщика или группы связанным заемщиков к собственному капиталу банка. В тексте Инструкции Банка России от 3 декабря 2012 г. N 139-И "Об обязательных нормативах банков" содержится информация об остальных нормативах, регулирующих банковскую деятельность в РФ и приведены подробные формулы расчета показателей с пояснениями.

Согласно девятой главе Инструкции коммерческие банки обязаны соблюдать установленные нормативы ежедневно и ежемесячно по состоянию на первое число каждого месяца предоставлять сведения о значениях обязательных нормативов ликвидности в территориальные подразделения Банка России, кроме того по требованию данных учреждений обязаны предоставлять данные и на внутримесячные даты.

Банкиры, тем не менее, часто подвергают критике обязательные нормативы для банков, т.к. эти показатели не учитывают географические, отраслевые особенности банковских учреждений, оценку высшего менеджмента банка, его стратегию и другие особенности деятельности.

6) Основой успешной деятельности любого коммерческого банка является соблюдение баланса между прибыльностью и рискованностью активов. Большая доля низколиквидных активов, выдача высокорискованных ссуд и работа с большим финансовым рычагом увеличивают величину ожидаемой прибыли, однако одновременно с этим растет и риск, который принимает на себя банк. Г. Ланин и Р. Веннет в 2006 г. построили модель прогнозирования дефолта банков, опираясь на показатели прибыльности и рискованности политики банка (Lanine, Vennet, 2006).).

Например, большая доля кредитов реальному сектору экономики в активах банка может быть сигналом надежности банка, означает, что банк не принимает участие в спекулятивных операциях. Также ключевой характеристикой финансово устойчивого банка может быть его высокая вовлеченность в работу с физическими лицами, о чем может свидетельствовать высокая доля вкладов и депозитов частных лиц в валюте баланса. Влияние этого показателя на вероятность дефолта банка спорное и требует дополнительного исследования. Размер банка (по величине активов) также является одним из факторов. Можно обоснованно предположить, что крупные банки более финансово устойчивы и вероятность отзыва лицензий у них меньше.

Перечисленные выше индикаторы характеризуют деятельность банков с разных сторон. При этом, описанные выше методики учитывают только определенный набор факторов, в данном исследовании предложено подойти к вопросу комплексно и прогнозировать банкротство кредитной организации на основе совокупности различных показателей, более подробно они будут описаны в следующей главе работы.

2. Оценка вероятности банкротства российских банков

2.1 Методология исследования и описание данных

Динамика отзыва лицензий у банков по годам приведена в следующей таблице и на графике:

Таблица 2 Количество отзывов банковских лицензий по годам за 2008-2017 гг. Сост. по источнику:

Данные информационного портала Banki.ru. Прекратившие существование кредитные организации. Режим доступа: banki.ru/banks/memory/?utm_source=google&utm_medium=cpc&utm_campaign=Spisok_Problemnih_Bankov&source=google_cpc_spisok_problemnih_bankov

Год	Количество отозванных лицензий
2008	28
2009	43
2010	27
2011	18
2012	22
2013	32
2014	86
2015	93
2016	97
2017 (по 05.04.2017)	18
Всего:	464

Рис. 1. Динамика отзыва лицензий у российских банков (2008-2016 гг) Сост. по источнику:

Данные информационного портала Banki.ru. Прекратившие существование кредитные организации. Режим доступа: banki.ru/banks/memory/?utm_source=google&utm_medium=cpc&utm_campaign=Spisok_Problemnih_Bankov&source=google_cpc_spisok_problemnih_bankov

Количество банков Российской Федерации (по годам):

Таблица 3 Статистика количества банков в РФ Сост. по источнику:

Сайт Центрального Банка РФ. Сведения о количестве действующих кредитных организаций и их филиалов в территориальном разрезе. Режим доступа: cbr.ru/statistics/?PrtId=lic

Дата	Количество банков в России на выбранную дату
01.01.2008 г.	1136
01.01.2009 г.	1108
01.01.2010 г.	1058
01.01.2011 г.	1012
01.01.2012 г.	978
01.01.2013 г.	956
01.01.2014 г.	923
01.01.2015 г.	834
01.01.2016 г.	733
01.01.2017 г.	623

После финансового кризиса 2008 года наблюдается относительная стабилизация банковского сектора вплоть до конца 2013 г., однако в 2014 г. количество закрытых банков утроилось по сравнению со среднегодовым значением за предыдущий период, и эта тенденция сохраняется на сегодняшний день, продолжается.

Для исследования была собрана база данных по 1152 коммерческим банкам, 437 из которых стали банкротами. Под банкротством в данной исследовательской работе понимается отзыв лицензии у коммерческого банка со стороны ЦБ, процедура ликвидации/реорганизации банка при этом не относится к банкротству. База данных охватывает временной период с 01.07.2008 г. по 01.02.2017 г.

Цель работы: построение предсказательной модели, которая могла бы с высокой точностью оценить возможную вероятность банкротства банка.

Исследование включало в себя несколько этапов:

1) отбор переменных для анализа;

2) предварительный анализ данных, включающий описательные характеристики переменных для выборок банков-банкротов и небанкротов;

3) проверка переменных на наличие парной корреляции;

4) построение логит-модели, оценка значимости и предельных эффектов коэффициентов;

5) тестирование качества модели с помощью различных методик (roc, классификационная таблица)

Выборка включает в себя все банки, которые вели деятельность в указанный временной период и предоставляли свои бухгалтерские данные для публикации ЦБ. Таким образом, итоговый процент банкротов в базе данных составил почти 38%. В роли зависимой переменной была выбрана бинарная, которая принимает значение «0», если банк продолжает деятельность на протяжении временного периода и «1», если ЦБ отозвал/аннулировал лицензию у данного банка.

Источниками данных стали сайт Центрального банка РФ и тематический информационный портал Banki.ru. Данный интернет-сайт консолидирует официальную отчетность всех российских банков на основе данных ЦБ. Для анализа были собраны бухгалтерские данные по форме 101, которые банки обязаны предоставлять ЦБ РФ ежемесячно, 123 формы отчетности (расчет собственных средств (капитала)) и формы 135 (информация об обязательных нормативах) (Положение №1270-У «О публикуемой отчетности кредитных организаций и банковских/консолидированных групп», Письмо №72-Т «О раскрытии информации кредитными организациями по формам 0409134 и 0409135»).

Методика расчета показателей, использованных в исследовании приведена в приложении 1 к настоящей работе.

Российская отчетность коммерческих банков, публикуемая на сайте banki.ru содержит порядка 80 показателей, однако не все индикаторы на протяжении выбранного временного интервала были представлены на репрезентативном уровне, часть показателей были укрупнены.

Стоит отметить, что для построения качественной модели лучше применять не сами финансовые показатели, а производные от них (Пересецкий, 2010). Для этого были рассчитаны относительные переменные, оцененные на основе абсолютных значений (доли к активам/валюте баланса), а также логарифмы чистой прибыли и активов коммерческого банка, последний показатель использовался в качестве индикатора размера банка.

Выбор факторов для анализа был основан, прежде всего, на анализе теоретических и эмпирических работ по данной тематике.

Переменные, включенные в базу данных можно разделить на 3 основные группы:

1) Основные показатели: логарифм чистой прибыли (ln_net_prof), доля собственного капитала банка (capital) в активах, уровень просроченной задолженности (overdue_deb), размер кредитного портфеля относительно активов банка (credit_portf), доля вкладов физических лиц (depoz_fiz), доля вложений в ценные бумаги к валюте баланса (securities), размер банка (логарифм активов) (ln_assets);

2) Показатели деятельности банка: рентабельность активов (roa) и собственного капитала банка (roe), уровень резервирования по кредитному портфелю (reserv), уровень обеспеченности кредитного портфеля залогом имущества (credit_zalog), уровень просроченной задолженности физических лиц в кредитном портфеле (overdue_fiz), показатели официальных нормативов ликвидности ЦБ (N1, N2, N3);

3) Балансовые показатели: доля высоколиквидных активов (liq_assets), отношение привлеченных (mbk_privl) и выданных межбанковских кредитов (mbk_vyd) к кредитному портфелю, доля кредитов физическим лицам в портфеле (credit_fiz), доля выпущенных облигаций и векселей к валюте баланса (bonds), доля основных средств и нематериальных активов в общем объеме активов-нетто банка (os_nemater).

Основные предположения о влиянии факторов на вероятность дефолта представлены в таблице:

Таблица 4. Исходные показатели для построения модели

Показатель	Описание	Что характеризует	Ожидаемое влияние на вероятность дефолта
Размер банка	Логарифм активов банка	Чувствительность к риску	Отрицательное
Чистая прибыль	Логарифм чистой прибыли банка	Доходность	Отрицательное
Собственный капитал (СК)	Доля СК к активам банка	Достаточность капитала	Отрицательное
Просроченная задолженность	Доля просроченных ссуд в общем кредитном портфеле	Качество активов	Положительное
Кредитный портфель	Отношение кредитного портфеля к величине активов банка	Кредитный риск	Положительное
Вклады физ. лиц	Отношение вкладов и депозитов частных лиц к валюте баланса	Доходность (с точки зрения ресурсов для кредитования)	Отрицательное
Вложения в ценные бумаги	Доля вложений в ЦБ к активам	Риск ликвидности	Отрицательное
ROA	Эффективность использования банком совокупности имеющихся активов	Доходность	Отрицательное
ROE	Эффективность использования банком собственного капитала	Доходность	Отрицательное
Уровень резервирования по возможные потери по ссудам	Отношение величины резервов и кредитного портфеля	Качество активов	Положительное
Обеспеченность кредитов	Доля обеспеченных залогом имущества кредитов в общем портфеле	Качество активов	Отрицательное
Просроченная задолженность ФЛ	Уровень просроченной задолженности физических лиц в общем кредитном портфеле	Качество активов	Положительное
Н1.0	Соотношение размера собственных средств банка и суммы его активов, взвешенных по уровню риска.	Достаточность капитала	Отрицательное
Н2	Соотношение активов, которые банк может реализовать в течение одного календарного дня, и обязательств банка, которые он должен исполнить или у него могут потребовать исполнить в течение календарного дня.	Риск ликвидности	Отрицательное
Н3	Соотношение активов, которые банк может реализовать в течение ближайших 30 дней, и обязательств банка, которые он должен исполнить или у него могут потребовать исполнить в течение ближайших 30 дней.	Риск ликвидности	Отрицательное
Высоколиквидные активы	Доля высоколиквидных активов (наличность и средства на счетах) в общей величине активов банка	Риск ликвидности	Отрицательное
Привлеченные межбанковские кредиты	Объем привлеченных МБК по отношению к валюте баланса	Риск ликвидности	Положительное
Выданные межбанковские кредиты	Объем выданных МБК по отношению к валюте баланса	Доходность	Отрицательное
Кредиты ФЛ	Доля кредитов населению в общем кредитном портфеле	Качество активов	Положительное
Выпущенные облигации и векселя	Соотношение выпущенных долговых ценных бумаг к сумме активов	Доходность (с точки зрения ресурсов для кредитования)	Отрицательное
Основные средства и нематериальные активы	Доля основных средств и нематериальных активов в общем объеме активов	Качество активов	Отрицательное

2.2 Интерпретация полученных результатов исследования

Обработка панельных данных осуществлялась с помощью статистического пакета Stata/SE 12 и SPSS Statistics 22.

Для построения качественной логит-модели необходимо провести предварительных анализ панельных данных и проверить их на соответствие ограничениям, накладываемым используемой методологией. Описательные статистики переменных по выборкам банкротов и небанкротов представлены в таблице 5.

Стоит заметить, что в среднем банки банкроты уступают небанкротам по показателям оборачиваемости активов и собственного капитала, уровню обеспеченности кредитов залогом имущества, совокупному показателю объема активов. Размер банка всё же можно отнести к индикаторам его финансовой надежности, результаты данного исследования это в очередной раз подтверждают.

Таблица 5. Описательные характеристики исходных переменных

Переменная	Мат. ожидание	Станд. отклонение

Подобные документы

• Оценка вероятности банкротства

  Теоретические аспекты вероятности банкротства организации. Уровень угрозы банкротства в модели Альтмана. Оценка вероятности на примере ОАО "Уралкалий". Анализ состава и структуры активов, финансовой устойчивости. Расчет показателей ликвидности баланса.
  
  контрольная работа [36,9 K], добавлен 23.09.2014
  

• Анализ вероятности банкротства предприятия ОАО "Север"

  Теоретические аспекты банкротства, его основные виды и процедуры. Методы прогнозирования угрозы банкротства на примере предприятия ООО "Север". Анализ финансовых результатов деятельности, ликвидности баланса. Оценка вероятности банкротства предприятия.
  
  курсовая работа [82,4 K], добавлен 14.12.2014
  

• Прогнозирование вероятности банкротства с использованием различных методик на примере ОАО "Автодорремстрой"

  Теоретические основы и законодательно-нормативное регулирование отношений несостоятельности и банкротства. Сущность, виды и причины, методы оценки и прогнозирования вероятности банкротства, план финансового оздоровления и укрепления платежеспособности.
  
  дипломная работа [527,4 K], добавлен 22.08.2011
  

• Оценка потенциального банкротства организации

  Причины банкротства, эффективные методы устранения его угрозы. Анализ состава финансовой отчетности ОАО "Газпром". Методики прогнозирования банкротства. Оценка финансовых результатов деятельности, анализ вероятности банкротства по модели Альтмана.
  
  курсовая работа [109,5 K], добавлен 20.05.2014
  

• Анализ финансового состояния и диагностика вероятности банкротства ОАО "Новосибирский металлургический завод им. Кузьмина"

  Сущность, признаки и виды банкротства, исследование существующих методик прогнозирования его вероятности. Диагностика финансового состояния и оценка вероятности банкротства заданного предприятия, разработка рекомендаций по его финансовому оздоровлению.
  
  дипломная работа [591,1 K], добавлен 27.03.2013
  

• Диагностика вероятности банкротства организаций

  Изучение видов банкротства и причин, приводящих предприятие к несостоятельности. Характеристика российских методик диагностики вероятности банкротства. Прогнозирование показателей платежеспособности. Рейтинговая оценка финансового состояния организации.
  
  курсовая работа [80,4 K], добавлен 02.02.2016
  

• Оценка финансового состояния (банкротства) предприятия и обоснование мероприятий по финансовому оздоровлению

  Правовые основы банкротства. Признаки и факторы, влияющие на него. Критерии несостоятельности кредитных организаций. Методика анализа финансового состояния предприятия и оценки вероятности банкротства. Оценка финансовой устойчивости компании ЗАО "ВТБ24".
  
  дипломная работа [140,9 K], добавлен 18.01.2012
  

• Прогнозирование риска банкротства

  Теоретические аспекты прогнозирования банкротства. Анализ финансового состояния компаний с целью оценки вероятности их возможного банкротства. Построение моделей и эмпирических исследований, способных предсказать банкротство крупных российских компаний.
  
  курсовая работа [112,7 K], добавлен 23.07.2016
  

• Диагностика банкротства предприятия

  Теоретические аспекты прогнозирования банкротства предприятий: понятие, виды, причины, нормативное регулирование процесса. Методы диагностики вероятности банкротства. Анализ имущественного состояния и финансовых результатов деятельности организации.
  
  курсовая работа [108,0 K], добавлен 27.07.2011
  

• Финансовые методы предотвращения банкротства

  Виды банкротства предприятий и причины его возникновения. Мероприятия по восстановлению платежеспособности предприятия и предотвращению банкротства. Оценка вероятности банкротства с использованием пятифакторной модели Альтмана предприятия ОАО "КАМАЗ".
  
  курсовая работа [600,8 K], добавлен 28.05.2016
  

• главная
• рубрики
• по алфавиту
• вернуться в начало страницы
• вернуться к началу текста
• вернуться к подобным работам