Моделирование вероятности банкротства

Определение и анализ экономической сущности банкротства. Ознакомление с основными нефинансовыми факторами, влияющими на вероятность банкротства. Рассмотрение и характеристика главных этапов процесса построения модели с помощью логистической регрессии.

Рубрика Экономико-математическое моделирование
Вид дипломная работа
Язык русский
Дата добавления 26.08.2017
Размер файла 229,0 K

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Размещено на http://www.allbest.ru/

1

Оглавление

Введение

1. Теоретические аспекты моделирования вероятности банкротства

1.1 Экономическая сущность банкротства

1.2 Выбор модели и переменных для прогнозирования банкротства

1.2.1 Методы прогнозирования банкротств

1.2.2 Нефинансовые факторы, влияющие на вероятность банкротства

2. Методология исследования

2.1 Постановка гипотез

2.2 Описание используемых методов

2.3 Описание данных

2.4 Выбор переменных

3. Моделирование вероятности банкротства российских нефинансовых компаний

3.1 Построение модели с помощью логистической регрессии

3.2 Построение модели с помощью метода деревьев решений

Заключение

Список используемой литературы

Приложения

Введение

В настоящее время в условиях экономической стагнации и ухудшения финансового состояния бизнеса тема кредитоспособности и оценки устойчивости предприятий выходит на первый план. Опасения относительно перспектив существования предприятий парализуют инвестиционную активность в стране, поэтому требуется достоверная оценка финансовой устойчивости бизнеса.

Каждый участник экономического сообщества должен быть уверен в надежности и финансовой состоятельности своих партнеров. В связи с этим руководители предприятий, банки и многочисленные кредиторы должны уметь своевременно определять неудовлетворительное финансовое состояние предприятий-контрагентов на основе результатов проведенного финансового анализа. Идентификация факторов, приводящих к банкротству, и своевременное прогнозирование ухудшения состояния предприятий могут позволить руководству выявить причины и своевременно принять необходимые меры, кредиторам - принять решение о предоставлении или не предоставлении кредитов, а инвесторам - о вложении инвестиций в данный бизнес.

Тем не менее единой системы оценки финансового состояния компаний не существует. Более того, существует мнение, что модели, используемые за рубежом, нельзя применять для оценки российских компаний, так как условия, в которых функционируют предприятия и от которых зависит устойчивость бизнеса, сильно различаются.

Всё это делает проблему прогнозирования возможного банкротства российских компаний актуальной ввиду того, что в этом заинтересованы и внутренние, и внешние контрагенты предприятий.

Целью данной работы является построение модели прогнозирования банкротства российских нефинансовых компаний на основе выявленных наиболее значимых финансовых и нефинансовых показателей, которая с надежностью не менее 80% предскажет банкротство компании за год до его наступления.

Для достижения обозначенной цели в исследовании были поставлены и решены следующие задачи:

· выявить юридические и экономические подходы к определению банкротства;

· систематизировать результаты существующих исследований для выбора оптимального метода построения модели прогнозирования банкротства российских компаний и выявления факторов, определяющих данную модель;

· определить необходимую информацию о финансовых и нефинансовых показателях деятельности российских компаний для прогнозирования банкротства;

· смоделировать вероятность банкротства компаний на основе выбранных методов и выявить значимые финансовые и нефинансовые переменные, оказывающие влияние на вероятность банкротства фирмы;

· проинтерпретировать полученные результаты и предложить собственную модель прогнозирования банкротства на основе полученных результатов исследования.

Объектом исследования являются нефинансовые и финансовые показатели фирмы, рассчитанные на основе информации, представленной в финансовой отчетности. Предметом исследования является выявление влияния финансовых показателей деятельности компании на вероятность банкротства компании.

Данная работа состоит из введения, 3 глав и заключения. В первой главе проведен анализ существующих российских и зарубежных исследований, посвященной проблеме банкротства компаний, для выбора оптимальной модели и набора переменных. Вторая глава посвящена описанию методологии исследования, сбору необходимых данных и их характеристик. В третьей главе представлены результаты построения моделей вероятности банкротства российских компаний, а также их интерпретация. В заключении представлены выводы на основании проведенного исследования.

1. Теоретические аспекты моделирования вероятности банкротства

1.1 Экономическая сущность банкротства

На сегодняшний день не сложилось единой точки зрения на то, что понимается под банкротством компании. Существует несколько подходов к определению этого понятия, одного из которых придерживаются:

· Законодательные акты

Согласно российскому законодательству, а именно 2 статье 127-ФЗ «О несостоятельности» 2002 года, «несостоятельность (банкротство) - это признанная арбитражным судом неспособность должника в полном объеме удовлетворить требования кредиторов...». Для того, чтобы в отношении компании можно было начать процедуру банкротства, она должна иметь непогашенные обязательства перед контрагентами в размере не менее 300 тыс. рублей в течение 3 месяцев.

Процедура банкротства в России состоит из нескольких этапов:

1) В арбитражный суд подается заявление о признании компании банкротом.

2) Если суд посчитал заявление обоснованным, начинается процедура наблюдения для определения уровня платежеспособности фирмы-должника. В это же время по требованию кредиторов фирме могут назначить внешнего управляющего.

3) Наступает стадия финансового оздоровления: проводится реструктуризация долгов фирмы и разрабатывается график их погашений.

4) Если фирме не удалось восстановить платежеспособность, наступает последняя стадия процедуры банкротства - конкурсное производство, когда имущество предприятия продается в ходе открытых торгов для расчетов с кредиторами.

В США процедура банкротства компании регулируется кодексом законов о банкротстве ("Bankruptcy Code"). Банкротом признается фирма, которая попадает под критерии и проходит через процедуры, описанные в 7 и 11 Главах кодекса.

Глава 7 посвящена процедуре ликвидации предприятия, схожей с процедурой банкротства в России: осуществляется продажа активов предприятия внешним управляющим для погашения задолженности перед кредиторами. Глава 11 описывает процедуру, при которой компания продолжает вести любую деятельность и владеть своим имуществом, но предоставляет кредиторам план реорганизации, утвержденный судом. Иными словами, компания, находясь под присмотром суда, пытается восстановить свою платежеспособность. В период проведения реорганизации кредиторы не имеют права требовать уплаты фирмой своих обязательств. Отличительной особенностью такой процедуры является то, что она направлена на защиту интересов должника в целях сохранения бизнеса даже за счет средств кредиторов. В России же при процедуре банкротства первостепенными считаются требования кредиторов.

· Экономисты-исследователи

Чаще всего исследователи считают фирму банкротом, если она находится на любой из стадий процедуры банкротства: начиная с подачи заявления в суд до окончательного юридического признания фирмы банкротом (Mella-Barral, Perraudin, 1997; Демешев, Тихонова, 2014; Shumway, 2001; Chava, Jarrow, 2004; Луговская, 2010; Федорова Е., Гиленко Е., Довженко С., 2013)

Интересно заметить, что согласно 127-ФЗ понятие «банкротство» идентично понятию «несостоятельность». Однако некоторые экономисты (Tinoco, Wilson, 2013) склонны считать, что банкротство является одним, но не единственным из возможных последствий несостоятельности компании. Из недостатков юридического определения банкротства исследователи (Theodossiou, 1993) часто называют временной лаг, существующий между экономическим банкротством и легальным его наступлением. В США такой промежуток составляет примерно 14 месяцев, а предоставлять финансовую отчетность компания прекращает за два года до официального признания её банкротом. Именно поэтому некоторые исследователи определяют банкротство как финансовую несостоятельность.

Согласно наиболее популярным подходам компания признается финансово несостоятельной, если:

· Денежный поток компании не позволяет покрыть её финансовые обязательства (Wruck, 1990). Однако данный метод подвергается критике из-за того, что он не учитывает нефинансовые характеристики фирмы: менеджмент, управляющий денежными потоками, рыночные условия и состояние экономики в целом.

· В течение 2-х лет одновременно выполняются два условия: падает рыночная стоимость фирмы, и показатель EBITDA составляет меньше 80% от суммы процентных расходов по долгу (Tinoco, Wilson, 2013; Pindado, 2008).

С точки зрения автора, представляется интересным систематизировать существующие подходы к определению банкротства и представить информацию в таблице (табл. 1):

Таблица 1. Подходы к определению банкротства

Определение

Преимущества

Недостатки

Юридическое банкротство

Не требует дополнительных предпосылок и позволяет легко разделить фирмы на банкротов и не-банкротов

Фирма начинает испытывать серьезные финансовые проблемы задолго до наступления юридического банкротства

Финансовая несостоятельность

Учитывает временной лаг между экономическим и юридическим наступлением банкротства

Необходимые данные (величина денежного потока, рыночные показатели и т.д.) о российских компаниях-банкротах труднодоступны

Таким образом, проанализировав возможные подходы к определению банкротства, с точки зрения автора, представляется наиболее приемлемым использовать самый распространённый и наиболее доступный метод определения банкротства: банкротами в данной работе будут признаваться действующие и недействующие компании, которые находятся на любой из стадий юридического банкротства согласно российскому законодательству.

1.2 Выбор модели и переменных для прогнозирования банкротства

Проблема прогнозирования вероятности банкротства существует уже несколько десятков лет - все началось с работ Ramser, Foster (1931), Fitzpatrick (1932) и Winakor (1935). Исследователи пришли к выводу, что финансовые показатели фирмы тем хуже, чем ближе она к банкротству. Несмотря на то, что все компании-банкроты отличаются друг от друга в той или иной степени, все они характеризуются плохим финансовым состоянием.

Все последующие исследователи, работавшие над моделированием вероятности банкротства, по-разному подходили к решению этой проблемы: одни предлагали новые методы построения моделей, другие фокусировались на выборе переменных - как финансовых, так и нефинансовых. Несмотря на большое количество существующих работ, посвященных банкротству, оптимальная модель, которая предоставляла бы наиболее точную и достоверную оценку состоянию фирмы, всё еще не найдена.

Для того, чтобы выбрать необходимые переменные и метод построения модели для данной работы, был проведен обзор существующей литературы.

1.2.1 Методы прогнозирования банкротств

В ранних работах, посвященных прогнозированию банкротства компаний, использовался однофакторный анализ - т.е. каждый из финансовых показателей фирм-банкротов изучался по отдельности и сравнивался с показателями «здоровых» фирм. Beaver (1966) в своей работе применил однофакторный дискриминантный анализ, основанный на данных 158 американских компаний. В результате он отобрал 6 финансовых показателей с наибольшей предсказательной способностью, а также указал, что лучшим из них является отношение денежного потока от операционной деятельности к общему объёму долга. Beaver предположил, что для более точных результатов прогнозирования можно применять совокупность финансовых показателей компании.

Впоследствии Edmister (1972) и Deakin (1972) в своих работах показали, что отдельно взятые финансовые показатели имеют меньшую предсказательную силу, чем несколько независимых финансовых показателей, используемых одновременно. Таким образом, множественный анализ позволяет лучше понять состояние, в котором находится компания в определенный момент. банкротство экономический регрессия нефинансовый

Одной из самых известных работ, посвященных построению модели банкротства фирмы, является статья E. Altman под названием «Financial Ratios, Discriminant Analysis and the Prediction of Corporate Bankruptcy» 1968 года. Автор применил множественный линейный дискриминантный анализ (DA) на данных 66 американских компаний за период с 1954 по 1964 годы. Он изучил 22 финансовых показателя, из которых в окончательную модель вошли только 5: отношение оборотного капитала к совокупным активам, отношение нераспределенной прибыли к совокупным активам, отношение операционной прибыли (EBIT) к совокупным активам, отношение рыночной стоимости собственного капитала к балансовой стоимости совокупного долга и отношение выручки к совокупным активам. Altman вывел так называемый Z-score, рассчитывающийся отдельно для каждой компании. Если показатель Z принимал значение выше 2,99, то вероятность банкротства фирмы была низкой, а если ниже 1,81 - очень высокая. Промежуток от 1,81 до 2,99 назывался «серой зоной»: если показатель Z попадал в эту зону, то сделать точный прогноз о том, что произойдет с фирмой, было невозможно. Эта «серая зона» является одним из главных минусов в модели Altman. Тем не менее, Z-score обладал большой предсказательной силой за год до банкротства фирмы (95%), но уменьшающейся с увеличением временного горизонта (точность 72% за 2 года до банкротства и 48% за 3 года банкротства).

Вслед за Альтманом свои модели, основанные на дискриминантном анализе (DA), предложили Срингейт (1978), Фулмер (1984), Таффлер (1983) и многие другие. В каждой работе использовался свой набор факторов, рассчитанных на основе финансовой отчетности компании. Модели этих исследователей и в настоящее время являются одними из самых популярных классических статистических методов предсказания банкротства.

В России модели банкротства стали создаваться только в середине 90-х годов. Изначально исследователи пытались анализировать российские компании с помощью уже существующих моделей: например, Давыдов и Беликов (1998) в своей работе использовали Z-score Альтмана для анализа российских компаний, но эти попытки не увенчались успехом. Одной из причин может являться то, что Z-score был построен на основе данных американских компаний середины 20-го века, поэтому использование такой модели для анализа отечественных компаний, существующих в российских экономических реалиях 90-х годов, некорректно - фирмы могли отличаться как внутренними, так и внешними характеристиками.

Федорова Е., Гиленко Е., Довженко С. (2013) провели сравнительный анализ надежности моделей, построенных на российских данных, и моделей, построенных на данных зарубежных фирм. Они использовали информацию о средних и крупных российских предприятиях обрабатывающей промышленности за период с 2007 по 2011 годы. Первоначально в модель входили 104 финансовых показателя, из которых были отобраны только 26, относящихся к таким категориям показателей, как денежный поток, прибыльность, оборачиваемость, ликвидность, структура баланса, а также показатели, рекомендованные к использованию 367-ФЗ и приказом Министерства экономики РФ № 118. В результате исследования исследователи приходят к выводу, что классические западные модели обладают большей прогнозной силой по сравнению с моделями отечественных авторов - например, модель Фулмера обладает надежностью 82%, а модель Давыдовой-Беликова - 75,7%. Несмотря на построение качественной модели в работе Федоровой Е., Гиленко Е., Довженко С., экономическая обстановка в России за период с 2012 по 2016 годы изменилась, поэтому существует необходимость построения модели на новых данных.

Позже российские исследователи стали строить собственные модели предсказания банкротства предприятий на основе дискриминантного анализа. Наиболее известные из них принадлежат Зайцевой (1998) и Жданову, Афанасьеву (2011). Предсказательная сила их моделей колебалась в рамках 70-80%, однако на практике их модели редко применяют, так как, например, модели Altman или Ohlson показывают лучшие результаты (Федорова Е., Гиленко Е., Довженко С. (2013)).

У моделей, основанных на дискриминантном анализе, есть очевидные достоинства, а именно: они не требуют сложных вычислений, информацию можно свободно получить из отчетности компании, а результаты легко интерпретируются. Однако есть и существенные недостатки, например, MDA требует обязательного выполнения двух предпосылок: независимые переменные должны иметь нормальное распределение, и групповые ковариационные матрицы для фирм-банкротов и фирм-небанкротов должны совпадать. Более того, коэффициенты в таких моделях не могут быть интерпретированы так, как это возможно в регрессионных моделях, а значит не могут показать значимости каждой отдельно взятой переменной. Поэтому исследователи искали другие способы для анализа данных компаний.

С развитием науки и математического аппарата на смену дискриминантному анализу для предсказания банкротства пришли более сложные методы: логит- и пробит-модели (logit/probit models).

Одной из основополагающих работ, посвященных использованию логит-модели для моделирования банкротства компаний, является «Financial Ratios and the Probabilistic Prediction of Bankruptcy» (1980) J. Ohlson. Он утверждал, что использование логит-анализа поможет избежать проблем множественного дискриминантного анализа. Работа была построена на основе 7 финансовых показателей и 2 дамми-переменных, наиболее часто встречающихся в других исследованиях. Ohlson рассчитал O-Score для 105 обанкротившихся компаний и 2 058 финансово здоровых публичных компаний США, используя данные за период с 1970 по 1976 годы, а затем использовал логистическую регрессию для нахождения вероятности банкротства. Если полученный результат превышает 0,5, то компания с высокой долей вероятности станет банкротом. Прогнозная сила модели составила 96,12% за год до банкротства. Одним из недостатков модели Ohlson можно назвать использование данных для построения модели за 7-летний период, т.е. предполагалось, что набор финансовых переменных, предсказывающих банкротство, не зависит от экономической ситуации в стране (Mensah, 1984).

В последующие годы модели, основанные на логистических регрессиях, приобрели большую популярность среди исследователей, так как доказали своё превосходство в предсказательной силе по сравнению с моделями дискриминантного анализа. Например, в работе Ni, Kwak (2014) исследовали китайские компании - данные включали в себя информацию по 521 обанкротившимся фирмам и по 950 здоровым предприятиям за период с 1999 по 2007 год. Исследователи использовали показатели, относящиеся к категориям ликвидности, прибыльности, рентабельности и таким характеристикам фирмы, как её размер и возраст. Они сравнили результаты, полученные с помощью дискриминантного анализа и логит-регрессии, и оказалось, что прогнозная сила модели при логит-анализе выше (74, 64%), чем при дискриминантном (72,26%). Стоит отметить, что предсказательная сила в логит-модели получилась ниже, чем в среднем в работах других авторов (Du Jardin, 2017).

К такому же выводу пришла и Луговская (2010): она использовала дискриминантный анализ и логит-регрессию для анализа российских малых и средних предприятий. Автор включила в анализ финансовые показатели рентабельности, прибыльности, платежеспособности, ликвидности и такие нефинансовые показатели, как размер компании и её возраст. Наиболее значимыми из них для предсказания банкротства оказались ликвидность и прибыльность. Выборка включала в себя данные 260 компаний-банкротов и 260 не-банкротов. Предсказательная сила DA-модели составила 68%, а логит-модели - 79%. Возможно, увеличения прогнозной силы модели можно достичь, если включить не только финансовые, но и рыночные переменные.

Альтернативой логит-анализу выступает пробит-анализ, основное отличие которого заключается в нормальном распределении случайных величин. Изначально логит-регрессия была предложена как альтернатива пробит-анализу, для которого вручную произвести необходимые вычисления было затруднительно (Bellovary, 2007). Хотя в настоящее время такой проблемы перед исследователями не стоит, логит-модель остается намного более популярной, чем пробит - к 2007 году было написано 36 англоязычных работ с использованием логит-анализа и всего 7 работ с использованием пробит-анализа (Bellovary, 2007).

Zmijewski (1984) в своей работе одним из первых применил пробит-анализ для предсказания банкротства компаний. Выборка состояла из 40 фирм-банкротов и 800 не-банкротов, котирующихся на Американской и Нью-Йоркской биржах с 1972 по 1978 годы (за исключением финансовых и государственных компаний, а также компаний индустрии сервиса). Модель строилась на основе трех финансовых коэффициентов - Чистая Прибыль / Совокупные Активы, Совокупный Долг/ Совокупные активы, Текущие активы / Текущие обязательства. Прогнозная сила модели за год до банкротства составила 76%. Одним из главных недостатков модели Zmijewski является игнорирование нефинансовых характеристик фирмы - например, отрасли и размера.

Lennox (1999) в своей работе сравнил дискриминантный анализ и пробит-анализ, используя данные 949 британских фирм за период с 1987 по 1994 годы. Из финансовых показателей в модель вошли показатели рентабельности, левереджа и денежного потока. Предсказательная сила пробит-модели оказалась выше, чем при использовании дискриминантного анализа - 75,76% против 69,7%. Тем не менее результат, полученный исследователем, уступает в прогнозной силе другим моделям, построенным на основе логистического анализа (Du Jardin, 2017).

Таким образом, пробит модели, также, как и логит-модели, предпочтительнее дискриминантного анализа, так как, во-первых, позволяют присвоить значение вероятности банкротства компании в интервале от 0 до 1, а значит легче интерпретируются. Во-вторых, они не требуют соблюдения предпосылок дискриминантного анализа. В-третьих, они позволяют оценивать значимость каждой переменной. Тем не менее, у таких моделей есть свои недостатки - они могут использоваться только на полных данных без пропусков, чувствительны к выбросам в данных, а независимые переменные должны быть линейно независимы, так как анализ основан на связанных между собой финансовых показателях компании.

В 90-е годы прошлого столетия стали использоваться методы, основанные на так называемом машинном обучении, то есть на обучаемых системах. Они выявляют зависимости между первоначальными данными и полученными результатами, а затем используют накопленный опыт для решения задач на новых данных.

Одними из самых популярных методов машинного обучения являются нейронные сети, которые в своей работе копируют поведение человеческих нейронных сетей. Такие методы активно используются как в зарубежных работах, например, у Dong (2014) и Du Jardin (2017), так и у российских исследователей, например, у Макеевой (2012). Предсказательная сила моделей, основанных на нейронных сетях, довольно высока - в среднем 90-100%.

Другим популярным методом построения моделей являются деревья решений (decision tree). На основе стратегии «если-тогда» массив данных разделяется на мелкие однородные группы в зависимости от значения целевой переменной. В частности, существует бинарный алгоритм CART (Classification And Regression Tree), впервые использованный Breiman (1984). CART относительно прост в интерпретации, а также определяет важность каждой переменной для задачи классификации (Maione, 2016).

Этот метод применялся Федоровой Е., Гиленко Е., Довженко С. (2013), которые смогли получить модель, обладающую надежностью 88,8% за год до наступления банкротства.

Mu-Yen Chen (2011), наряду с другими методами машинного обучения, использовали CART для анализа 100 залистованных тайваньских компаний за период с 200 по 2007 год. Предсказательная сила модели составила 95,83% за год до банкротства. К недостаткам модели можно отнести недостаточное внимание к выбору финансовых переменных и фокусу только на технической части решения проблемы прогнозирования банкротства.

Brezigar-Masten, Masten (2012) исследовали словенские фирмы, используя 64 финансовых коэффициента, рассчитанных на основе бухгалтерской отчетности. Моделирование с помощью алгоритма CART позволило добиться высокой предсказательной силы - 94,6%. Однако, как и в модели Mu-Yen Chen (2011), авторы недостаточно внимания уделили теоретическому выбору переменных. Более того, использование такого большого числа коэффициентов могло привести к переобучению модели (Tinoco, Wilson, 2013).

Популярностью среди исследователей также пользуются метод опорных векторов, case-based reasoning, soft computing и многие другие.

Основные плюсы использования методов машинного обучения заключаются, во-первых, в большой предсказательной силе таких моделей, а во-вторых, они позволяют работать с неполными данными и не имеют ограничений DA и логит/пробит-анализа. Но, несмотря на все эти плюсы, использование таких методов сложно с технической точки зрения, а результат не выводит уравнения в чистом виде, поэтому возникают сложности с интерпретацией таких моделей.

Все это приводит к тому, что в настоящее время исследователи не фокусируются на одном методе, а используют сразу несколько - например, как в работе Mselmi, Lahiani (2017). Авторы использовали логит-регрессию, деревья решений, нейронные сети и другие методы машинного обучения на данных французских фирм, 106 из которых - здоровые фирмы, а 106 - банкроты, за период с 2010 по 2013 год. Авторы изучили 41 показатель, относящийся к категориям ликвидности, менеджмента, прибыльности, платежеспособности, структуры баланса, денежного потока, а также такие нефинансовые показатели, как размер компании и уровень её роста. Предсказательная сила логит-модели составила 85,71%, а моделей, построенных с помощью машинного обучения, от 85,7% до 88,5%. Для улучшения результата, полученного Mselmi, Lahiani, представляется возможным использовать не только финансовые характеристики фирмы, но и рыночные и макроэкономические показатели.

Среди работ российских авторов можно выделить работу Демешева и Тихоновой (2014). Они использовали логит- и пробит-модели, дискриминантный анализ и методы машинного обучения на данных российских фирм 4 различных отраслей. Переменные, используемые в исследовании, делятся на финансовые (показатели рентабельности, ликвидности, левереджа, обслуживания долга и деловой активности) и нефинансовые (организационная форма, возраст, федеральный округ, размер и другие). Для оценивания качества модели применялась так называемая площадь под ROC-кривой: для логит-регрессии она составила 0,55-0,65, а для методов машинного обучения - 0,65-0,75. Т.е., несмотря на применение сложных математических методов, авторам не удалось достичь высокой предсказательной силы своих моделей, что и является главным недостатком модели.

С точки зрения автора, представляется возможным систематизировать методы построения модели банкротства компании и представить информацию в табличном формате. (табл. 2)

Таблица 2. Описание существующих методов построения моделей предсказания банкротства компаний

Метод

Достоинства

Недостатки

Дискриминантный анализ (DA)

1) Легко интерпретируется

2) Прост в исполнении

1) Большое количество ограничений

2) Предсказательная сила ниже, чем при использовании других методов

Логит-, пробит-анализ (logit/probit)

1) Легко интерпретируется - вероятность банкротства компании лежит в пределах от 0 до 1

2) Нет ограничений, как у DA

3) Оценивается значение каждой переменной

1) Чувствителен к пропускам в данных

2) Необходима линейная независимость предикторов

Методы машинного обучения (ML)

1) Большая предсказательная способность моделей (>80%)

2) Нет ограничений на данные

1) Сложно интерпретировать

2) Трудность в построении с технической точки зрения

Таким образом, проанализировав модели определения банкротства компаний, можно сделать вывод, что логит-анализ и деревья решений являются наиболее подходящими методами для построения модели в данной работе, дополняющими друг друга. Логит-анализ не требует соблюдения строгих предпосылок, как при дискриминантном анализе, и он легче интерпретируется по сравнению с методами машинного обучения. В свою очередь деревья решений относительно просты в интерпретации по сравнению с другими методами машинного обучения и не обладают ограничениями статистических методов.

1.2.2 Нефинансовые факторы, влияющие на вероятность банкротства

Как было отмечено выше, важность финансовых показателей для определения вероятности банкротства фирмы была замечена в самых ранних работах. Однако модели, содержащие только показатели, основанные на данных из финансовой отчетности компании, часто подвергаются критике из-за того, что они не учитывают внутренние и внешние характеристики фирмы, которые также оказывают влияние на вероятность её банкротства. Поэтому исследователи стали включать в свои модели нефинансовые переменные - рыночные показатели, макро-переменные или другие показатели, не отраженные напрямую в финансовой отчетности.

В 2001 году вышла статья Shumway (2001), критиковавшая традиционный подход с использованием переменных из отчетности для предсказания банкротства компании за его статичность. Он утверждал, что в таких моделях не учитывается развитие фирмы и её изменение в течение времени. Исследователь предложил новый подход - так называемую hazard model, основанную на анализе выживаемости. Зависимая переменная представляла собой количество времени, которое фирма будет существовать как не-банкрот. В своей модели он использовал как показатели из отчетности, так и рыночные переменные, а также возраст компании.

Некоторые из исследователей делали попытки доказать превосходство моделей, основанных на рыночных показателях, над моделями, основанными на показателях из отчетности компании. Например, Vassalou и Xing (2004), Reisz и Perlich (2007), Bharath и Shumway (2008) использовали теорию опционов. Одной из первых моделей в этой области считается модель, созданная Merton (1974), которая впоследствии не раз подвергалась доработкам и адаптациям последующих авторов.

Тем не менее сравнение этих двух типов моделей часто даёт противоречивые результаты. Например, Hillegeist (2004) утверждает, что рыночные модели имеют предсказательную силу выше, чем модели, основанные на переменных из отчетности компании. Он использовал модели Altman, Ohlson и Black-Scholes-Merton на данных 14 303 американских фирм промышленной индустрии за период с 1980 по 2000 годы. Hillegeist указывает, что достаточно использовать рыночные переменные в модели, и не использовать отчетность, для того, чтобы надежно предсказывать вероятность банкротства фирмы.

В то же время Agarwal и Taffler (2008) утверждали, что различия в предсказательной способности таких моделей минимальны. Они использовали данные 2006 здоровых британских фирм и данные 103 фирм-банкротов нефинансовых отраслей за период с 1985 по 2001 годы. Исследователи подчеркивают, что и данные из отчетности, и рыночные показатели содержат уникальную информацию о состоянии фирмы, поэтому дополняют друг друга в модели для получения лучшего результата.

Несмотря на популярность моделей, основанных на рыночных показателях, автор данного исследования предполагает, что финансовая отчетность может многое сказать о положении фирмы. Внезапное банкротство прибыльной компании с устойчивым финансовым положением - это довольно редкое явление. Как правило, ухудшение финансового состояния заметно при анализе отчетности, как минимум, за год до наступления банкротства.

Среди нефинансовых показателей исследователи часто выделяют такие характеристики компании, как её отрасль и размер.

О важности отраслевой специфики при построении модели говорили, например, Berkovitch и Israel (1998), в работе которых количество банкротов в новых отраслях оказалось намного больше, чем в уже давно существующих.

Chava и Jarrow (2004) также утверждают, что при построении модели необходимо учитывать отрасль, к которой относится компания: фирмы из разных индустрий сталкиваются с разным уровнем конкуренции, поэтому вероятность их банкротства может отличаться, несмотря на одинаковые показатели в балансе. Они анализировали данные американских публичных компаний за период с 1962 по 1999 годы, разделенных на 4 группы согласно отраслевой принадлежности. К слабым сторонам модели можно отнести использование только двух финансовых показателей (Чистая Прибыль / Совокупные Активы, Совокупные обязательства / Совокупные Активы), т.е. невозможно понять, какие из показателей наиболее значимы для каждой из отраслей.

Одними из немногих авторов, исследовавших отраслевую специфику российских компаний, являются Демешев и Тихонова (2014). Они проанализировали компании из 4 различных отраслей (обрабатывающая, недвижимость, оптовая и розничная торговля и строительство) и пришли к выводу, что нефинансовые различия мешают построению единой модели, поэтому строили модель на основе данных фирм только одной отрасли. Примечательно, что Демешев и Тихонова обнаружили значимость в модели для переменного возраста компании.

Тем не менее, несмотря на достаточное количество исследователей, показавших необходимость отраслевой специфики, в большинстве работ используются либо данные компаний смежных отраслей, либо отраслевые различия не учитываются вовсе.

Что касается размера компании при прогнозировании банкротства, то самой цитируемой работой в этой области является статья Altman, Sabato (2007). Проанализировав данные 2010 американских компаний за период с 1994 по 2002 годы, исследователи пришли к выводу, что модели банкротства для средних и малых компаний необходимо строить отдельно от крупных компаний, так как они быстрее реагируют на экономические изменения и подстраиваются под предпочтения потребителей. Их вывод подтвердили Демешев, Тихонова (2014) и Луговская (2010), в моделях которых размер компании также оказался значимой переменной.

Еще одним типом переменных, не отраженных в финансовой отчетности фирмы, являются макроэкономические показатели. В работах они встречаются относительно редко, хотя связь между экономическими изменениями в стране и уровнем банкротства подтверждается многими экономистами (Mare, 2015). Большинство исследователей для анализа влияния макроэкономических факторов на вероятность дефолта используют модели риска (hazard model), модели выживаемости (Survival model) и т.д.

Одними из экономистов, использовавших макро-переменные для моделирования дефолта фирм, были Tinoco и Wilson (2013). Они анализировали данные 3 020 нефинансовых залистованных компаний Великобритании за период с 1980 по 2011 год с помощью логистической регрессии. Помимо финансовых коэффициентов и рыночных показателей в модель вошли такие макроэкономические переменные, как индекс потребительских цен Великобритании и реальная процентная ставка по трехмесячным казначейским облигациям в Соединённом Королевстве. Оба вида переменных оказались значимыми в моделях, предсказывающих банкротство компании за один и за два года до его наступления. Тем не менее сами исследователи отмечают, что добавление макро-переменных в модель с финансовыми показателями дало незначительный эффект для общей надежности модели.

По итогам анализа факторов, используемых в исследованной литературе, автор данного исследования пришел к выводу, что в модель войдут переменные, рассчитанные с помощью финансовой отчетности фирмы (детали описаны во 2 главе), дамми-переменные для различных отраслей, показатели размера и возраста компании. В работе не будут использоваться рыночные переменные (цена акции, волатильность и т.д.), так как для российских фирм-банкротов выявить такие данные в достаточном количестве не представляется возможным, а также не представляется возможным использовать макро-переменные ввиду их неоднозначного влияния на значимость модели.

2. Методология исследования

2.1 Постановка гипотез

Целью данного исследования является построение модели вероятности банкротства, которая будет обладать надежностью не менее 80%. По итогам анализа существующей литературы можно сделать вывод, что такого уровня надежности помогут достичь использование логистической регрессии и метод деревьев решений, поэтому была выдвинута следующая гипотеза:

: Методы логистической регрессии и деревья решений позволяют построить модели, обладающие общей прогнозной силой не менее 80%.

В качестве независимых переменных будут использоваться финансовые и нефинансовые показатели фирмы, которые, исходя из экономической теории и здравого смысла, должны оказывать влияние на вероятность банкротства фирмы следующим образом:

: Высокие показатели эффективности, прибыльности, ликвидности, оборачиваемости, обслуживания долга и низкий уровень показателей финансового рычага в компании негативно влияют на вероятность банкротства.

: Размер компании негативно влияет на вероятность банкротства.

: Возраст компании негативно влияет на вероятность банкротства.

: Отраслевая принадлежность компании оказывает влияние на вероятность её банкротства.

2.2 Описание используемых методов

В данной работе было принято решение использовать логистический анализ с помощью пакета STATA, а также алгоритм CART с помощью SPSS Modeler.

Бинарная логистическая модель (logit model) используется для предсказания вероятности возникновения события по значениям множества признаков путем подгонки данных к логистической кривой. Для этого используется зависимая переменная, которая принимает значение 0, если событие не произошло, или значение 1, если событие произошло. Логистическая функция выглядит следующим образом:

,

где e - основание натурального логарифма, y - стандартное уравнение регрессии.

Логистическое преобразование для задачи прогнозирования банкротства компании необходимо для того, чтобы значение вероятности не выходило за рамки промежутка (0;1).

В данном исследовании вводится зависимая переменная status, равная 1, если фирма является банкротом, и 0, если фирма не является банкротом. Вероятность наступления банкротства для каждой фирмы рассчитывается по формуле:

,

Фирма признается банкротом, если P принимает значение больше 0,5.

Логистическая модель также может быть записана следующим образом:

,

где представляет собой отношение шансов (odds ratio), - независимые переменные и - коэффициенты регрессии, рассчитываемые с помощью метода максимального правдоподобия (maximum likelihood).

Сложность для исследователя представляет интерпретация регрессионных коэффициентов в логистической модели. В обычной множественной регрессии коэффициенты объясняются как изменение независимой переменной, вызванное увеличением на 1 пункт зависимой переменной. В случае с логистической моделью, для того, чтобы понять степень влияния показателей, вместо коэффициентов используют отношение шансов (odds ratio) - , т.е. отношение вероятности наступления события на вероятность другого исхода.

Если odds ratio:

· > 1, то шанс того, что событие произойдет (фирма станет банкротом), увеличивается с увеличением независимой переменной (положительная взаимосвязь)

· < 1, то шанс наступления события уменьшается с увеличением независимой переменной (обратная взаимосвязь)

· = 1, то связи между зависимой и независимой переменной не существует

Для создания окончательного набора показателей, которые войдут в модель, будет проведена проверка на мультиколлинеарность между переменными (показатель VIF), а затем использована функция пошагового отбора (stepwise selection).

Для оценки качества модели будут использованы соотношение верно и неверно классифицированных компаний, а также площадь под ROC-кривой (показатель AUC). Каждая модель будет оценена как на обучающей подвыборке, так и на контрольной.

Алгоритм CART (Classification And Regression Tree) предназначен для решения задач классификации и регрессии. В процессе построения он строит бинарные деревья решений, содержащие два потомка (child branch) в каждом узле. Правило, которое формулируется в узле, делит данные (parent branch) на две части - часть, в которой правило выполняется, и на часть, в которой правило не исполняется. Для оценки качества разбиения используется индекс Gini:

,

где T - текущий узел, а - вероятность (относительная частота) класса i в T. Индекс базируется на интуитивной идее уменьшения неопределенности в узле.

Затем алгоритм вновь осуществляет ветвление на две части, добавляя к дереву новые развилки. При этом падение индекса Gini должно быть максимальным. Процесс ветвления повторяется до тех пор, пока не перестанут выполняться условия выращивания дерева.

В данной работе в качестве правила остановки построения дерева использовалось минимальное число компаний в parent branch равное 3, а в child branch - 2. Затем построенная модель будет оценена на обучающей и контрольной подвыборках.

2.3 Описание данных

Данные для исследования были взяты из базы Ruslana (Bureau van Dijk), содержащей финансовую и некоторую нефинансовую информацию об организациях из России, Украины и Казахстана. Эта база данных удобна также тем, что содержит информацию о банкротствах, поэтому нет необходимости использовать дополнительные источники информации для определения статуса фирмы.

Интерес для исследования представляли только данные российских организаций за период с 2013 по 2016 годы.

Для создания выборки компаний в базе Ruslana применялось несколько критериев:

· Выборка была ограничена малыми, средними и микро-предприятиями, так как они считаются менее устойчивыми по сравнению с крупными компаниями и при этом составляют большую часть предприятий в России в 2016 году. Для ограничения использовался размер выручки компаний. Согласно Постановлению Правительства РФ от 09.02.2013 № 101 «О предельных значениях выручки от реализации товаров (работ, услуг) для каждой категории субъектов малого и среднего предпринимательства» выручка от реализации товаров, работ или услуг без учета НДС для таких компаний не должна превышать 1 миллиарда рублей. Автор данного исследования не использовал ограничение по количеству работников из-за отсутствия такой информации у большинства компаний.

· Выборка была ограничена только частными компаниями, то есть незалистоваными на биржах.

· Отраслями, рассматриваемыми в данной работе, являлись производство, строительство, а также оптовая и розничная торговля (коды по классификатору промышленности NACE Rev. 2 - C, F, и G, соответственно). В исследовании не рассматривались компании, занимающиеся финансовой и страховой деятельностью (кредитные организации, пенсионные фонды, инвестиционные и страховые компании), так как эта отрасль имеет свою специфику учета и функционирования. Такие отрасли как здравоохранение, образование, коммунальные услуги, общественное управление и защита также были исключены из рассмотрения из-за специфичности их рисков и банкротства. В итоге было решено остановиться на трёх отраслях, которые отличаются в достаточной степени, чтобы была возможность подтвердить или опровергнуть предположение о значимости отраслевой специфики при моделировании вероятности банкротства.

Как уже обсуждалось выше, банкротами в данной работе будут объявляться все компании, которые находятся на любой из стадий процедуры легального банкротства. Поэтому из базы были отобраны как действующие фирмы, проходящие через процедуру банкротства, так и недействующие компании - ликвидированные, либо находящиеся в стадии ликвидации. Компании, находящиеся в состоянии ликвидации из-за слияния или поглощения, исключались из рассмотрения, так как причины этих явлений находятся за рамками обсуждаемой проблемы.

Поиск финансово «здоровых» компаний в работах предыдущих исследователей выполнялся с помощью двух методов: либо подбирались фирмы-аналоги для банкротов с учетом их отрасли, размера, возраста и прочих характеристик, либо фирмы выбирались случайным образом. Автор данного исследования воспользовался первым методом и отобрал только действующие средние и малые предприятия из трёх отраслей, у которых была доступна годовая отчетность с 2013 по 2015 годы.

Все данные по компаниям из Ruslana были поделены на 3 подвыборки - статус которых определялся в 2016 году (обучаемая выборка, на основе которой будет строиться модель) и статус которых определялся в 2015 и 2014 годах (контрольные подвыборки, с помощью которых будет проверяться надежность полученной модели). Каждая подвыборка состояла из своей группы компаний, не входящих в другую подвыборку.

Таким образом, можно будет избежать как межвременной ошибки, так и ошибки «out-of-sample», когда модель, хорошо предсказывающая банкротство компаний на обучающей выборке, показывает плохие результаты на данных других компаний или другого периода (Stein, 2007).

Таблица 3. Описание подвыборок

Подвыборка

Год определения статуса (банкрот/небанкрот)

Число компаний

Год используемой отчетности

небанкротов

банкротов

обучаемая

2016

86

86

2015

контрольная

2015

174

174

2014

контрольная

2014

114

114

2013

В исследовании модель строилась на данных финансовой отчетности за один год до наступления/не наступления банкротства компании.

Количественное соотношение фирм-банкротов и здоровых фирм в данной работе составляет 50%-50%, так как это наиболее популярный подход в работах предыдущих исследователей (Altman (1968), Deakin (1972), Nam, Jinn(2000), Mselmi, lahiani (2017)).

Распределение отраслевой принадлежности компаний для каждой из подвыборок представлено в Таблице 4:

Таблица 4. Отраслевая принадлежность компаний в подвыборках

Подвыборка

Год определения статуса

Число компаний: производство

Число компаний: строительство

Число компаний: оптовая и розничная торговля

небанкроты

банкроты

небанкроты

банкроты

небанкроты

банкроты

обучаемая

2016

16

16

15

15

55

15

контрольная

2015

60

60

29

29

85

29

контрольная

2014

49

49

21

21

44

21

2.4 Выбор переменных

Как уже было отмечено выше, единого набора финансовых и нефинансовых показателей, которые необходимо включать в модели, не существует, поэтому было решено выбирать переменные, основываясь на работах предыдущих авторов.

Для начала в модель были отобраны все значимые финансовые показатели, используемые в работах Altman (1968) и Ohlson (1980), так как они доказали свою предсказательную способность во многих работах. Автор также использовал модели Altman, Sabato (2007), Tinoco, Wilson (2013) и Mselmi, Lahiani (2017). Из российских авторов принимались во внимание работы Федоровой Е., Гиленко Е., Довженко С. (2013) и Демешева, Тихоновой (2014).

Итого в первоначальный набор вошло 14 коэффициентов, отражающих такие характеристики фирмы, как эффективность, прибыльность, устойчивость, ликвидность, оборачиваемость и финансовый рычаг (представлены в Таблице 3). Автор предпринял попытку использовать показатели, которые как можно объемнее описывали бы фирму и её процессы. Как заметили в своей работе Tinoco, Wilson (2013), нет необходимости включать в модель большое количество показателей для достижения высокой предсказательной силы модели, поэтому 14 коэффициентов кажутся автору достаточным количеством для первоначального рассмотрения.

Из нефинансовых показателей в модель было решено включить размер компании, рассчитанный как натуральный логарифм от совокупных активов компании, и возраст компании, для которого также применялось логарифмирование. Также в работе использовались дамми-переменные для трёх отраслей (C, F, G по классификатору NACE Rev. 2).

Описательная характеристика всех переменных представлена в Таблице 5.

Таблица 5. Описание первоначального набора независимых переменных

Категория

Коэффициент

Количество работ, в которых использовался коэффициент (Bellovari, 2007)

Пример работ

Эффективность

ebit/ta

EBIT / Совокупные активы

35

Du Jardin (2017), Altman (1968), Altman, Sabato (2007), Ni (2014)

Прибыльность

roa

Чистая прибыль / Совокупные активы

54

Mselmi (2017), Zmijewski (1984), Ohlson (1980), Луговская (2010), Ni (2014)

ret/ta

Нераспределенной прибыли / Совокупные активы

42

Altman (1968), Altman, Sabato (2007), Ni (2014)

ebitsales

EBIT / Выручка

-

Du Jardin (2017)

Ликвидность

cash/cl

Денежные средства / Текущие обязательства

7

Луговская (2010)

cash/ta

Денежные средства / Совокупные активы

18

Du Jardin (2017), Altman, Sabato (2007), Луговская (2010)

ca/cl

Текущие активы / Текущие обязательства

51

Zmijewski (1984), Ohlson (1980), Луговская (2010), Ni (2014)

quick

(Текущие активы - Запасы) / Текущие обязательства

30

Du Jardin (2017), Altman, Sabato (2007)

Оборачиваемость

cogs/inv

Себестоимость проданной продукции / Запасы

-

Mselmi (2017)

sales/ta

Выручка / Совокупные активы

32

Du Jardin (2017), Altman (1968), Ni (2014)

Финансовый рычаг

tl/eq

Совокупные обязательства / Собственный капитал

16

Mselmi (2017), Altman (1968), Ni (2014)

ta/tl

Совокупные активы/ Совокупные обязательства

19

Mselmi (2017), Zmijewski (1984), Ohlson (1980), Tinoco, Wilson (2013), Ni (2014)

Размер

lnta

Логарифм совокупных активов

6

Mselmi (2017), Ni (2014), Федорова Е., Гиленко Е., Довженко С.(2013)

Возраст

lnage

Логарифм возраста компании, выраженного в годах

-

Демешев, Тихонова (2014)

3. Моделирование вероятности банкротства российских нефинансовых компаний

3.1 Построение модели с помощью логистической регрессии

Прежде чем строить логистическую регрессию, необходимо выбрать конечный набор финансовых и нефинансовых показателей, которые будут использоваться для построения модели. Включение в модель слишком большого количества переменных может привести к её переобучению (overfitting), то есть предсказательная сила вне обучаемой выборки будет значительно ниже.

Прежде всего, был проведен тест на мультиколлинеарность, которая возникает, если две и более независимые переменные в модели являются линейной комбинацией другой независимой переменной в модели. При этом стандартная ошибка увеличивается, поэтому полученные в логистической регрессии коэффициенты могут быть ненадежными.

Для проверки на наличие мультиколлинеарность были использованы показатели VIF (Variance Inflation Factor):

Таблица 6. VIF для первоначального набора переменных

Variable

VIF

SQRT VIF

Tolerance

R-Squared

ind

1.33

1.15

0.7497

0.2503

lnta

1.46

1.21

0.6856

0.3144

lnage

1.20

1.10

0.8310

0.1690

ROA

22.22

4.71

0.0450

0.9550

ebitta

22.24

4.72

0.0450

0.9550

ebitsales

1.08

1.04

0.9233

0.0767

retta

4.43

2.10

0.2259

0.7741

ebitint

1.10

1.05

0.9110

0.0890

wcta

2.20

1.48

0.4539

0.5461

cashcl

1.92

1.39

0.5208

0.4792

cashta

1.74

1.32

0.5742

0.4258

cacl

2.20

1.48

0.4554

0.5446

quick

5.58

2.36

0.1792

0.8208

cogsinv

1.10

2.36

0.9061

0.0939

salesta

1.57

1.25

0.6379

0.3621

tleq

1.29

1.14

0.7736

0.2264

tatl

2.84

1.69

0.3519


Подобные документы

  • Анализ возможности применения нейронных сетей в оценке вероятности наступления банкротства предприятия в современных условиях хозяйствования. Проблема рисков в экономике. Финансовые коэффициенты, применяемые в российских методиках оценки банкротства.

    курсовая работа [451,6 K], добавлен 14.08.2013

  • Исследование особенностей разработки и построения модели социально-экономической системы. Характеристика основных этапов процесса имитации. Экспериментирование с использованием имитационной модели. Организационные аспекты имитационного моделирования.

    реферат [192,1 K], добавлен 15.06.2015

  • Ознакомление с основами модели простой регрессии. Рассмотрение основных элементов эконометрической модели. Характеристика оценок коэффициентов уравнения регрессии. Построение доверительных интервалов. Автокорреляция и гетероскедастичность остатков.

    лекция [347,3 K], добавлен 23.12.2014

  • Анализ происшествия с помощью построения дерева отказов и дерева событий. Определение последовательностей и последствий, выбор моделей и показателей надежности для базисных событий. Оценка вероятности возникновения происшествий с помощью системы Hazard.

    курсовая работа [6,2 M], добавлен 16.01.2015

  • Расчет коэффициента устойчивого экономического роста и рентабельности инвестиций. Факторный анализ политики предприятия. Оценка использования материальных, трудовых и финансовых ресурсов предприятия. Прогнозирование банкротства с помощью модели Альтмана.

    контрольная работа [195,2 K], добавлен 20.05.2011

  • Расчет матрицы парных коэффициентов корреляции и статистической значимости коэффициентов регрессии. Оценка статистической значимости параметров регрессионной модели с помощью t-критерия. Уравнение множественной регрессии со статистически факторами.

    лабораторная работа [30,9 K], добавлен 05.12.2010

  • Знакомство с основными видами кривых безразличия и функций предложения. Общая характеристика производственной функции Кобба-Дугласа. Рассмотрение особенностей моделирования покупательского спроса и поведения производителя. Рассмотрение модели Стоуна.

    презентация [1,3 M], добавлен 31.10.2016

  • Расчет параметров уравнения линейной регрессии, оценка тесноты связи с помощью показателей корреляции и детерминации. Определение средней ошибки аппроксимации. Статистическая надежность моделирования с помощью F-критерия Фишера и t-критерия Стьюдента.

    контрольная работа [58,3 K], добавлен 17.10.2009

  • Основы построения и тестирования адекватности экономических моделей множественной регрессии, проблема их спецификации и последствия ошибок. Методическое и информационное обеспечение множественной регрессии. Числовой пример модели множественной регрессии.

    курсовая работа [3,4 M], добавлен 10.02.2014

  • Построение поля рассеяния, его визуальный анализ. Определение точечных оценок параметров методом наименьших квадратов. Расчет относительной ошибки аппроксимации. Построение доверительных полос для уравнения регрессии при доверительной вероятности У.

    контрольная работа [304,0 K], добавлен 21.12.2013

Работы в архивах красиво оформлены согласно требованиям ВУЗов и содержат рисунки, диаграммы, формулы и т.д.
PPT, PPTX и PDF-файлы представлены только в архивах.
Рекомендуем скачать работу.