Дискриминантный анализ

Размещено на http://www.allbest.ru/

Введение

Дискриминантный анализ -- это раздел математической статистики, содержанием которого является разработка методов решения задач различения (дискриминации) объектов наблюдения по определенным признакам. Например, разбиение совокупности предприятий на несколько однородных групп по значениям каких-либо показателей производственно-хозяйственной деятельности.

Методы дискриминантного анализа находят применение в различных областях: медицине, социологии, психологии, экономике и т.д. При наблюдении больших статистических совокупностей часто появляется необходимость разделить неоднородную совокупность на однородные группы (классы). Такое расчленение в дальнейшем при проведении статистического анализа дает лучшие результаты моделирования зависимостей между отдельными признаками.

Дискриминантный анализ оказывается очень удобным и при обработке результатов тестирования отдельных лиц. Например, при выборе кандидатов на определенную должность можно всех опрашиваемых претендентов разделить на две группы: «подходит» и «не подходит».

Можно привести еще один пример применения дискриминантного анализа в экономике. Для оценки финансового состояния своих клиентов при выдаче им кредита банк классифицирует их на надежных и не надежных по ряду признаков.

Таким образом, в тех случаях, когда возникает необходимость отнесения того или иного объекта к одному из реально существующих или выделенных определенным способом классов, можно воспользоваться дискриминантным анализом.

Аппарат дискриминантного анализа разрабатывался многими учеными-специалистами, начиная с конца 50-х годов ХХ в. Дискриминантным анализом, как и другими методами многомерной статистики, занимались П.Ч. Махаланобис, Р. Фишер, Г. Хотеллинг и другие видные ученые [1].

издательский дискриминантный экспоненциальный сглаживание

1. Метод дискриминантного анализа

Обширную группу задач анализа данных, основывающихся на применении статистических методов, составляют так называемые задачи классификации. В близких смыслах (в зависимости от предметной области) используются также термины: «группировка», «систематизация», «таксономия», «диагностика», «прогноз», «принятие решений», «распознавание образов». Можно выделить три подобласти теории классификации: дискриминация (дискриминантный анализ), кластеризация (кластерный анализ) и группировка [2].

В дискриминантном анализе классы предполагаются заданными (например, обучающими выборками, для элементов которых известно, каким классам они принадлежат: больной-здоровый, легкая степень заболевания - средняя - тяжелая и т.д.). Задача заключается как раз в том, чтобы вновь появляющийся объект отнести к одному из этих классов [2].

У термина «дискриминация» имеется множество синонимов: диагностика (требуется поставить диагноз из конечного списка возможных диагнозов, если известны определенные характеристики пациента и известно, какие диагнозы ставились пациентам, вошедшим в обучающую выборку), распознавание образов с учителем, автоматическая (или статистическая) классификация с учителем и т.д. [2].

Методы дискриминантного анализа находят применение в различных областях: медицине, социологии, психологии, экономике и т. д. При наблюдении больших статических совокупностей часто появляется необходимость разделить неоднородную совокупность на однородные группы (классы). Такое расчленение в дальнейшем при проведении статического анализа дает лучшие результаты моделирования зависимостей между отдельными признаками [3].

Дискриминантный анализ оказывается очень удобным и при обработке результатов тестирования отдельных лиц. Например, при выборе кандидатов на определенную должность можно всех опрашиваемых разделить на две группы: «подходит», «не подходит» [3].

Применения дискриминантного анализа многочисленны. Впервые им воспользовался Фишер, занимающийся проблемами антропологии и биологии. В социальных науках одно из первых приложений относится к психологическим и общеобразовательным тестам. Ученые, проводящие исследования в области политики, применяли дискриминантный анализ при изучении поведения жителей городов во время выборов, законодательных фракций и предрасположений судов к тем или иным истцам и ответчикам. Психологи широко используют дискриминантный анализ в области персональных тестов и тестов по специальным дисциплинам. Особенно полезна данная техника при анализе экспериментальных данных, когда предположение и принадлежность к определенной «испытуемой» группе влекут за собой изменение нескольких исследуемых переменных. Примером такого рода является изучение половых стереотипов в поведении детей [4].

Все процедуры дискриминантного анализы можно разбить на две группы и рассматривать из как совершенно самостоятельные методы. Первая группа процедур позволяет интерпретировать различия между существующими классами, вторая -- проводить классификацию новых объектов в тех случаях, когда неизвестно заранее, к какому из новых существующих классов он принадлежит [3].

Пусть имеется множество единиц наблюдения -- генеральная совокупность. Каждая единица наблюдения характеризуется несколькими признаками (переменными) x_ij -- значение j-й переменной у i-го объекта i = 1, …, p [3].

Предположим, что все множество объектов разбито на несколько подмножеств (два и более). Из каждого подмножества взята выборка объемов n_k, где k -- номер подмножества (класса), k = 1, …, q [3].

Признаки, которые используются для того, чтобы отличать один класс (подмножество) от другого, называются дискриминантными переменными. Каждая из таких переменных должна измеряться либо по интервальной шкале, либо по шкале отношений. Интервальная шкала позволяет количественно описать различия между свойствами объектов. Для задания шкалы устанавливаются произвольная точка отсчета и единица измерения. Примерами таких шкал являются календарное время, шкалы температур и т. д. В качестве оценки положения центра используется средняя величина, мода и медиана [3].

Шкала отношений -- частный случай интервальной шкалы. Она позволяет соотнести количественные характеристики какого-либо свойства у разных объектов, например, стаж работы, заработная плата, величина налога [3].

Теоретически число дискриминантных переменных не ограничено, но на практике их выбор должен осуществляться на основании логического анализа исходной информации и одного из критериев, о котором речь пойдет немного ниже. Число объективных наблюдений должно повышать число дискриминантных переменных, как минимум, в два, т. е p < N. Дискриминантные переменные должны быть линейно независимыми [3].

Еще одним предположением при дискриминантном анализе является нормальность закона распределения многомерной величины, т. е. каждая из дискриминантных переменных внутри каждого из рассматриваемых классов должна быть подчинена нормальному закону распределения. В случае, когда реальная картина в выборочных совокупностях отличается от выдвинутых предпосылок, следует решить вопрос о целесообразности использования процедур дискриминантного анализа для квалификации новых наблюдений, так как в этом случае затрудняются расчеты каждого критерия классификации [3].

Упомянутые выше допущения для дискриминантного анализа фундаментальны. Если экспериментальные данные для некоторой конкретной задачи не вполне удовлетворяют этим предположениям, то статистические выводы не будут точным отражением реальности [4].

Из всего сказанного ясно, что дискриминантный анализ используется для изучения различий между несколькими группами по определенному набору дискриминантных переменных (рисунок 1.1). Рассматривая классы как значения некоторой классифицирующей переменной, измеренной по шкале наименований (когда каждому классу присваивается свое обозначение), дискриминантный анализ представляется в качестве метода сопоставления нескольких интервальных переменных одной номинальной переменной [4].

Теперь необходимо просуммировать математические допущения, которые принимаются в дискриминантном анализе. Сначала вводятся следующие обозначения:

g -- число классов;

р -- число дискриминантных переменных;

n_i -- число объектов (наблюдений) класса i;

n. -- общее число объектов всех классов.

В модели дискриминантного анализа должно быть:

1) два или более классов: g ? 2;

2) по крайней мере два объекта в каждом классе: n_i ? 2,

3) любое число дискриминантных переменных при условии, что оно не превосходит общее число объектов за вычетом двух: 0 < p < (n. -- 2);

4) измерение дискриминантных переменных по интервальной шкале;

5) линейная независимость дискриминантных переменных;

6) приблизительное равенство между ковариационными матрицами для каждого класса (если не используются специальные формулы);

7) многомерная нормальность закона распределения дискриминантных переменных для каждого класса [4]:

Прежде чем приступить к обсуждению вопроса классификации необходимо проанализировать природу различий между классами. Это принципы, лежащие в основе вычисления канонических дискриминантных функций, и методы определения их числа. Каноническая дискриминантная функция является линейной комбинацией дискриминантных переменных и удовлетворяет определенным условиям. Она имеет следующее математическое представление [4]:

где -- значение канонической дискриминантной функции для m-го объекта в группе k;

X_ikm -- значение дискриминантной переменной X_i, для m-го объекта в группе k;

u_i -- коэффициенты, обеспечивающие полное выполнение требуемых условий.

Коэффициенты u_i для первой функции выбираются таким образом, чтобы ее средние значения для различных классов как можно больше отличались друг от друга. Коэффициенты второй функции выбираются так же, т.е. соответствующие средние значения должны максимально отличаться по классам, при этом налагается дополнительное условие, чтобы значения второй функции были некоррелированы со значениями первой [4].

Аналогично третья функция должна быть некоррелирована с первыми двумя и т. д. Максимальное число дискриминантных функций, которое можно получить описанным способом, равно числу классов без единицы или числу дискриминантных переменных, в зависимости от того, какая из этих величин меньшая. В примере с голосованием в сенате число переменных равно шести, а классов -- только четырем, поэтому максимальное число функций составит три [4].

1.1 Геометрическая интерпретация

Пусть дискриминантные переменные -- оси p-мерного евклидова пространства. Каждый объект (наблюдение) является точкой этого пространства с координатами, представляющими собой наблюдаемые значения каждой переменной. Если классы отличаются друг от друга по наблюдаемым переменным, их можно представить как скопления точек в некоторых областях рассматриваемого пространства. Поскольку классы могут частично перекрываться, соответствующие им «территории» не совпадают. Для определения положения класса можно вычислить его «центроид». Центроид класса является воображаемой точкой, координаты которой есть средние значения переменных в данном классе [4].

Центроид можно использовать для изучения различий между классами, так как он занимает положение типичных наблюдений соответствующего класса. Рассмотрение отдельных переменных не позволяет проводить многомерный анализ -- число переменных может быть велико, и совокупную информацию поэтому трудно систематизировать. Оказывается, для того чтобы различать относительное положение центроидов, не нужна слишком большая размерность. Как правило, достаточно ограничиться размерностью, на единицу меньшей числа классов [4].

Каждый объект характеризуется в данном случае двумя переменными x₁ и x₂. Если рассматривать проекции объектов (точек) на каждую ось, то эти множества пересекаются, т. е. по каждой переменной отдельно некоторые объекты обоих множеств имеют сходные характеристики [3].

Чтобы наилучшим образом разделить два рассматриваемые множества, нужно построить соответствующую линейную комбинацию переменных x₁ и x₂. Для двумерного пространства эта задача сводится к определению новой системы координат. Причем новые оси L и C должны быть расположены таким образом, чтобы проекции объектов, принадлежащих таким множествам на ось L, были максимально разделены. Ось C перпендикулярна оси L и разделяет два «облака» точек наилучшим образом, т. е. чтобы множества оказались по разные стороны от этой прямой. При этом вероятность ошибки классификации должно быть минимальной. Сформулированные условия должны быть учтены при определении коэффициентов a₁ и x₁ следующей функции:

.

Функция f(x) называется канонической дискриминантной функцией, а величины x₁ и x₂ -- дискриминантными переменными [3].

1.2 Число канонических дискриминантных функций

Роль числа классов становится понятной, если обратиться к геометрическим аналогам. Для любых пространств, где применимы аксиомы евклидовой геометрии, две точки определяют положение прямой линии, три точки -- плоскость, четыре -- трехмерную поверхность и т. д. Принцип сводится к тому, что точки определяют пространство (линию, плоскость и так далее), имеющее размерность, на единицу меньшую, чем число точек [4].

Поскольку центроиды задают пространство, то соответственно имеется неограниченное число точек, где мы можем поместить систему координат. Наиболее удобна точка, в которой каждая ось имеет нулевое значение, -- это «главный центроид». Главный центроид занимает положение, определяемое средними значениями совокупности объектов по каждой из осей. Относительно этого центра существует бесконечное множество ориентации осей при условии, что они принадлежат пространству, «натянутому на центроиды». Теперь, если направить из этих осей под углом, для которого средние значения классов разделяются в большей степени, чем для любого другого направления, то можно получить ось, которая, как нам кажется, должна быть особенно важной [4].

Предполагая, что есть два и более класса, можно ориентировать вторую ось таким образом, чтобы было обеспечено максимальное разделение классов, но при дополнительном ограничении -- вторая ось ортогональна первой (и принадлежит рассматриваемому пространству). Аналогично проводятся другие оси. Расположение осей по такому принципу приводит к критерию для канонических дискриминантных функций. Формула 1.1 задает математическое преобразование р-мерного пространства дискриминантных переменных q-мерное пространство канонических дискриминантных функций (где q -- максимальное число функций). Каждой оси соответствует формула 1.1. Для данного наблюдения значение f_km интерпретируется как координата объекта в пространстве канонических дискриминантных функций [4].

Исключения из приведенного правила составляют случаи, когда один или несколько центроидов не определяют новое направление. Примером являются три точки, попадающие на одну прямую, либо четыре точки, лежащие в одной плоскости, т. е. может оказаться, что данная точка принадлежит пространству, которое задается другими точками. Можно пойти дальше и допустить ситуацию, когда четыре точки лежат на одной прямой. В дискриминантном анализе это случается. В исследовательских задачах возможно появление лишних размерностей из-за ошибок выборки и измерений. Тем не менее каждую размерность можно проверить на статистическую значимость [4].

Если статистическая значимость невелика, ее можно отбросить, так как маловероятно, что она имеет какое-то теоретическое или практическое значение. В случае, когда число дискриминантных переменных р меньше числа классов, максимальное число функций q равно р. При этом уже не происходит преобразование из пространства с большей размерностью в пространство с меньшей размерностью. Делается только замена координат, удовлетворяющая некоторому критерию [4].



1.3 Получение коэффициентов канонической дискриминантной функции

Следует рассмотреть основные принципы получения коэффициентов u_t канонической дискриминантной функции. Необходим некий статистический метод для измерения степени различий между объектами (наблюдениями). Таблица групповых средних и стандартных отклонений недостаточна, так как не учитывает зависимости между переменными. Однако можно воспользоваться матрицей сумм квадратов и попарных произведений Т, являющейся квадратной симметричной матрицей. Для пояснения происхождения матрицы Т следует вести следующие обозначения:

g -- число классов;

n_k -- число наблюдений в k-м классе;

n. -- общее число наблюдений по всем классам;

X_ikm -- величина переменной i для m-го наблюдения в k-м классе;

X_ik. -- средняя величина переменной i в k-м классе;

X_i.. -- среднее значение переменной i по всем классам (общее среднее).

Тогда элементы матрицы Т задаются соотношением:

Выражения в скобках являются отклонениями значений переменных от общего среднего. Если i = j, то сомножители равны, и по- получается средне-квадратичное отклонение. Таким образом, диагональные элементы представляют собой сумму квадратов отклонений от общего среднего. Они показывают, как ведут себя на- наблюдения по отдельной переменной. При i ? j получаем сумму произведений отклонения по одной переменной на отклонение по другой. В этом состоит один из способов измерения корреляций (ковариаций) между двумя переменными, так как он показывает, насколько хорошо большое отклонение по одной переменной согласуется с большим отклонением по другой. Рассматривая целиком всю матрицу, можно получить полную информацию о распределении точек по пространству, определяемому переменными [4].

Если разделить каждый элемент Т на (n. - 1), можно получить ковариационную матрицу. В дискриминантном анализе чаще используется непосредственно матрица Т, тем не менее в статистической литературе более распространена ковариационная матрица. Основываясь на наблюдениях, принадлежащих одному классу, можно вычислить ковариационные матрицы для него [4].

Степень зависимости двух переменных можно выяснить, исследуя их корреляцию. Для этого воспользуемся коэффициентом корреляции, поскольку он нормирован и принимает значения от - 1 до +1. Можно легко преобразовать матрицу Т в матрицу коэффициентов корреляции, деля каждый элемент на квадратный корень произведения двух соответствующих диагональных элементов [4].

Значение наблюдения по одной переменной может быть предсказано по значению, соответствующему другой переменной.

Если расположения классов действительно различаются (т. е. их центроиды не совпадают), то степень разброса наблюдений внутри классов будет меньше общего разброса. Для измерения разброса внутри классов служит матрица W, которая отличается от Т только тем, что ее элементы определяются средними значениями переменных для отдельных классов, а не общими средними:



Если элементы матрицы W разделить на (n. - g), получится внутригрупповая ковариационная матрица, она является взвешенным средним ковариационных матриц отдельных классов [4].

Матрицу W или внутригрупповую ковариационную матрицу легко преобразовать во внутригрупповую корреляционную матрицу, как это уже сказано по отношению общей корреляционной матрице. Каждый коэффициент корреляции является оценкой степени зависимости между соответствующей парой переменных внутри групп. Он обычно не совпадает с общей корреляцией, на величину которой сказываются межгрупповые различия. Если предположить, что наблюдения относятся к одной генеральной совокупности или к разным генеральным совокупностям, имеющим одинаковые статистические свойства, то в качестве оценок зависимостей между переменными предпочтительнее внутригрупповые корреляции, а не общие корреляции [4].

Когда центроиды различных классов совпадают, элементы матриц W и T также будут равны (поскольку, тогда X_ik. = X_i..). Если же центроиды у классов разные, элементы W будут меньше соответствующих элементов матрицы Т. Эта разница обозначается как матрица В (В = T -- W, т. е. b_ij = b_ij - W_ij) [4].

Матрица В называется межгрупповой суммой квадратов отклонений и попарных произведений. Величины элементов В по отношению к величинам элементов W дают меру различия между группами, как это будет выяснено позже [4].

Матрицы W и В содержат всю основную информацию о зависимости внутри групп и между группами. С помощью некоторых вычислений можно получить функцию, удовлетворяющую требуемым свойствам. Во-первых, необходимо решить систему уравнений [4]:



где -- собственное число, a -- последовательность р коэффициентов.

Как уже говорилось, b_ji и w_ji-- элементы матриц В и W соответственно, которые получаются при обработке экспериментальных данных. Построение дискриминантной функции сводится к решению уравнений (1.5) относительно и . Для получения единственно правильного решения дополнительно следует наложить условие, что сумма квадратов должна быть равна 1 [4].

Максимально существует q нетривиальных решений этих уравнений. Каждое решение, которое имеет свое собственное значение и свою последовательность , соответствует одной канонической дискриминантной функции. Коэффициенты могут использоваться как коэффициенты требуемой дискриминантной функции:

Эти коэффициенты и требовалось определить в формуле (1.1). Применение из формулы (1.6) приводит величины f_km (значения дискриминантной функции) к стандартной форме. Это означает, что соответствующие дискриминантные значения по совокупности наблюдений (объектов) будут иметь нулевое среднее и единичное внутригрупповое стандартное отклонение. Значение дискриминантной функции для данного объекта представляет положение этого наблюдения на оси, определяемой данной функцией [4].

Коэффициенты v_i. Решение системы уравнений (1.5) дает последовательность коэффициентов v_i для каждой функции. Эти коэффициенты могли бы быть непосредственно использованы при классификации. Однако их трудно интерпретировать, соответствующие им значения дискриминантной функции не имеют определенного смысла. Причина заключается в том, что данное решение не имеет ограничения по метрике дискриминантного пространства. Хотя это пространство вводится для обеспечения максимального разделения классов, последние могут располагаться в любой его области [4].

Приведенная ситуация аналогична ситуации, когда игроки в бейсбол могут находиться в любой точке поля, лишь бы их взаимное расположение не противоречило правилам игры [4].

В некоторых компьютерных программах коэффициенты v_i распечатываются и могут использоваться при классификации. Однако более целесообразна их нормировка, задаваемая соотношением (1.6) [4].

1.4 Классифицирующие функции

При решении задачи классификации -- отнесении неизвестных объектов в одну из известных групп -- применяются классифицирующие функции. Они представляют собой уравнения, составленные для каждой группы. Неизвестный объект относится к классу, у которого в результате решения каждого из уравнений значение классифицирующей функции оказывается наибольшим [5].

Выбор информативного комплекса признаков. Понятие «информативный комплекс» предполагает, что в анализ будут вовлечены не все признаки, а их некоторая часть, содержащая максимум информации о различии между сравниваемыми группами объектов [5].

Изначально исследователь руководствуется вполне обоснованным принципом: больше признаков -- больше информации об объекте. Однако первоначально избыточный комплекс переменных рационально сократить. Оснований к этому как минимум два [5]:

- исключить малозначимые в разделении групп признаки, составляющие так называемый статистический шум;

- сократить объем последующих измерительных операций с объектом за счёт сокращения первоначального списка признаков [5].

Арсенал методов дискриминантного анализа содержит два подхода к выбору информативного комплекса признаков, которые мы назвали: алгоритмический и субъективный.

В рамках алгоритмического подхода список информативных переменных формируется автоматически в соответствии с тем или иным алгоритмом пошагового дискриминантного анализа. Предусмотрены два его варианта: «Forward stepwise», «Backward stepwise» -- метод последовательного пополнения и метод последовательного исключения списка информативных признаков. В первом случае выбирается переменная, вносящая наибольший вклад в межгрупповые различия, и далее к ней на каждом шаге анализа присоединятся другие информативные переменные. Метод исключения основан на альтернативной процедуре: из полного списка признаков на каждом шаге анализа последовательно исключаются малозначимые переменные [5].

Х. Аренс и Ю. Лейтер ввели критерий качества разделения групп -- многомерный дистант. По их мнению, окончание процесса формирования информативного списка признаков завершается при достижении компромисса числа признаков и значения дистанта [5].

Субъективный подход основан исключительно на мнении исследователя о роли конкретного признака, формируемого по результатам сопоставления абсолютных значений стандартизованных коэффициентов в значимые дискриминантные функции. Термин «субъективный» означает, что именно исследователь принимает решение, какой стандартизованный коэффициент можно считать большим, а какой -- малым.

Результаты исследований, проведённых на основе данных по сопоставлению популяций рыб свидетельствуют об ожидаемом и важном обстоятельстве. Список признаков, входящий в такой комплекс, отнюдь не является универсальным и изменяется не только от вида к виду, но и в пределах одного вида в зависимости от возраста рыб, условий их выращивания и состава сопоставляемых групп. По первому, но ошибочному впечатлению это может породить сомнения в пользе определения такого списка. Несомненно, что состав информативного комплекса однозначно связан со спецификой объектов и условиями их выращивания. Другими словами, список информативен только в рамках конкретного сравнительного эксперимента. Однако этим не умаляется целесообразность его определения [5].

Этот вывод становится очевидным с позиций традиционного в дискриминантном анализе понятия «обучающая выборка». Выполненные на такой выборке детальные морфометрические исследования, в итоге которых и определяется состав сокращённого комплекса, позволяют многократно снизить затраты труда на морфометрическую характеристику остальных особей и целых групп, вовлечённых в данный конкретный эксперимент. Следует подчеркнуть, что время, затраченное на производство измерений, отражает основные трудозатраты проведения сравнительного эксперимента. Время, потраченное на подготовку электронных файлов данных и последующие статистические процедуры, настолько мало, что им можно пренебречь [5].

Естественно считать неинформативными те переменные, у которых не отличаются групповые средние (например, в дисперсионном анализе), т.е. представление об информативности можно составить, исходя из одномерного распределения. Однако в случае многомерных данных это неверно. Включение или, наоборот, исключение переменных из числа информативных может быть существенно скорректировано исходя из информации об их взаимной скоррелированности [6].

Стоит подчеркнуть, что в силу своего внутреннего устройства дискриминантный анализ всегда, в большей или меньшей степени, искажает реальную информацию. Возможно, именно поэтому дискриминантные оси труднее интерпретировать через вклады признаков, чем главные компоненты, и дело обычно сводится к констатации достоверности различий, чему очень способствует умножение «шумов». Кроме того, при возврате в исходное пространство признаков дискриминантные оси становятся неортогональными, а это очень неудобно для интерпретации [7].

Ошибки в исходных данных могут влиять на статистические процедуры. Можно изучать влияние погрешностей измерений на значения дискриминантной функции f_mk, например, в той точке, куда попадает вновь поступающий объект m. Очевидно, случайная величина f_mk имеет некоторое распределение, определяемое распределениями обучающих выборок. Реальные данные, как правило, не подчиняются нормальному распределению. Тем не менее линейный статистический анализ имеет смысл и для распределений, не являющихся нормальными (при этом вместо свойств многомерного нормального распределения приходится опираться на многомерную центральную предельную теорему и теорему о наследовании сходимости). В частности, приравняв метрологическую ошибку, вызванную погрешностями исходных данных, и статистическую ошибку, можно получить условие, определяющее рациональность объемов выборок [8].

1.5 Дискриминантный анализ в издательском деле

В издательском деле дискриминантный анализ может применяться для повышения качества учебной литературы. Для достижения этой цели в работе на первом этапе проводятся эксперименты с использованием различных методик для получения объективных критериев относительно трудности текстов. На втором этапе выделяются и вычисляются значения 49 параметров учебных текстов. Снижение признакового пространства осуществляется методами многомерного статистического анализа (кластерный анализ, многомерное шкалирование и др.). Для разработки решающего правила используется дискриминантный анализ. Для автоматизации оценки трудности учебных текстов для студентов вузов используется программа Readability analysis [9].

При анализе дискриминантных функций в учет принимается только функции, у которых процент точности классификации максимальный, а количество переменных при этом минимальное. К примеру, в текстах по философии чаще других фигурируют следующие признаки (в порядке убывания): 3 (длина текста в буквах), 24 (средняя длина слов в печатных знаках), 9 (средняя длина предложения в словах), 40 (средняя частота повторения слова), 1 (длина текста в абзацах), 43 (процент конкретных существительных), 48 (процент простых предложений); в текстах по экономической теории: 39 (процент неповторяющихся слов), 47 (процент сложных предложений), 48 (процент простых предложений), 15 (средняя длина самостоятельного предложения в слогах), 42 (процент повторяющихся существительных), 41 (процент неповторяющихся существительных). Выделенные признаки позволяют сделать важный вывод относительно факторов трудности текста. Они связаны, прежде всего, с объемом текста (признак 3), длиной слов и предложений (признаки 9, 15, 24), со сложностью организации текста (признаки 1, 47, 48), богатством словаря и абстрактностью изложения материала (признаки 39, 40-43) [9].

На основе дискриминантного анализа было разработано решающее правило для отнесения учебных текстов по философии и экономической теории к группе легких или трудных [9].

Таким образом, дискриминантный анализ может применяться в издательском деле для определения влияния тех или иных факторов на качество текста. Также можно выявить значимость различных параметров для выпуска тиража, либо для реализации изданий.



2. Прогнозирование с использованием временных рядов

Временной ряд -- это множество наблюдений х_t, получаемых последовательно во времени t. Если время изменяется дискретно, то ряд называется дискретным. Различают детерминированные и случайные временные ряды. Детерминированный ряд -- ряд значение членов которого определены какой-либо математической функцией. Случайный ряд -- это ряд, значения членов которого могут быть описаны с помощью распределения вероятностей.

Явление, развивающееся во времени согласно законам теории вероятности, называется стохастическим процессом. Стохастические процессы могут быть стационарными или динамическими. Стационарным процессом называется процесс, свойства которого не изменяются во времени. Он имеет постоянное математическое ожидание (т.е. постоянное среднее значение, вокруг которого варьируется), постоянную дисперсию, определяющую разброс членов ряда относительно их математического ожидания, и постоянный коэффициент автокорреляции.

При графическом построении временного ряда, полученные результаты наблюдения наносятся в виде точек и соединяются последовательно ломаной линией, образуя при этом линию фактических изменений. Для определения общих тенденций роста или снижения показателей временного ряда, выравниванию или сглаживанию общей картины происходящих процессов и приближению ее к математической зависимости используют ряд методов, основными из которых являются:

- метод экспоненциального сглаживания;

- метод скользящего среднего;

- метод Брауна;

- метод среднего темпа.

Цель моделирования временных рядов состоит в прогнозировании результата в будущий период. Основная идея прогнозирования заключается в предположении о сохранении закономерности изменения прогнозируемой величины, выявленной на определенном участке, и переносе этой закономерности на другой участок.

2.1 Метод экспоненциального сглаживания

Метод экспоненциального сглаживания является одним из простейших и распространенных способов выравнивания ряда. Выравнивание осуществляется по следующей формуле (2.1):

,

где S_t -- значение экспоненциальной средней в момент времениt;

б -- параметр сглаживания, принимает значение из промежутка [0;1];

в -- параметр сглаживания, в = 1 - б.

Экспоненциальное выравнивание всегда требует предыдущего значения экспоненциальной средней. Когда процесс только начинается, должна быть некоторая величина S₀, которая может быть использована в качестве значения предшествующего S₁. В качестве S₀ может быть использована арифметическая средняя первых пяти значений, либо можно воспользоваться данными, предшествующими рассматриваемому периоду, если они имеются:

Прогноз результата на будущий период рассчитывается по формуле:



В ячейку В17 введем коэффициент сглаживанияб равный 0,85, тогда коэффициент в будет равным 0,15 (ячейка В18). Осталось воспользоваться формулами (2.1), (2.2), (2.3) для реализации данного метода и построить график зависимости реальной и сглаженной прямой.

После проведения расчетов получили прогноз на выпуск справочных изданий на 2011 г.: прогнозируемое количество наименований книг и брошюр -- 2663, прогнозируемый тираж -- 14604 экз.

2.2 Метод скользящего среднего

Метод скользящего среднего основан на выравнивании ряда с использованием формулы (2.4):

,

где М_t -- значение скользящего среднего в момент времени t;

N -- количество измерений или объем ряда;

М₀ -- начальное значение скользящего среднего при t = 1.

Прогноз деятельности на будущий период рассчитывается по формуле (2.5):



Принципиально этот метод отличается только тем, что используется другая математическая зависимость для сглаживания ряда и вычисления прогнозного значения.

После проведения расчетов получили прогноз на выпуск справочных изданий на 2011 г.: прогнозируемое количество наименований книг и брошюр -- 2481, прогнозируемый тираж -- 14360 экз.

2.3 Метод Брауна

Данный метод использует адаптивные полиномиальные модели различных порядков. Для простоты расчета будем полагать, что S₀ = S₀¹ = х₁, тогда сглаживание ряда производится по формулам:

где S_t, S_t¹-- расчетное значение в момент времени t;

-- параметр сглаживания или параметр адаптации (выбирается произвольно в диапазоне значений от 0 до 1);

в = 1 - .

Прогноз деятельности на будущий период производится по формуле

где ф -- временной шаг (ф = 1).

Рассмотрим использование этого метода на основании данных, представленных в таблице 2.4. Как и в предыдущем случае, этот метод отличается только тем, что используется другая математическая зависимость для сглаживания ряда и вычисления прогнозного значения. Коэффициент сглаживаниябравен 0,85, тогда коэффициент в будет равным 0,15.

После проведения расчетов получили прогноз на выпуск справочных изданий на 2011 г.: прогнозируемое количество наименований книг и брошюр -- 2393, прогнозируемый тираж -- 12097 экз.

2.4 Метод среднего темпа

При использовании метода среднего темпа в расчете учитывается вся информация ряда. Расчет базируется на предпосылке о том, что сумма фактических уравнений динамического ряда (суммарный рост за период) должна быть равна сумме уровней, полученных расчетным путем исходя из начального уровня ряда и среднего темпа роста согласно формуле:

,

где ф_R-- средний темп роста.

Преобразовав данную формулу, получим:

Расчет проводится методом подбора значений темпа роста по условию:



Найденное значение среднего темпа роста выступает в качестве коэффициента для составления прогноза на будущий срок согласно формуле:

При реализации этого метода в программе Excel воспользуемся надстройкой Подбор параметра. В ячейку Е4 вводится формула (2.10), Е5 -- формула (2.11), Е6 -- формула (2.12), а в Е7 -- формула (2.13) Те же формулы вводятся в соответствующие строки колонки G.

Для реализации этого метода воспользуемся надстройкой Подбор параметра. Цель заключается в следующем: необходимо подобрать такие (значения, записанные в ячейках Е3 и G3), чтобы значение ячеек Е6и G6 были как можно ближе к нулю.

После проведения расчетов получили прогноз на выпуск справочных изданий на 2011 г.: прогнозируемое количество наименований книг и брошюр -- 2867, прогнозируемый тираж -- 14348 экз.

Выбор того или иного метода выравнивания, сглаживания и прогнозирования осуществляется за счет математической оценки полученных результатов. Для каждого метода определяется среднеквадратичное отклонение расчетных данных и данных, заложенных в ряд как начальные условия. Выбирается тот прогноз, по которому среднеквадратичное отклонение минимально.



Заключение

В ходе курсовой работы был изучен метод дискриминантного анализа как метода для об ра ботки экспериментальных данных в сфере издательского дела и по ли гра фии. Дискриминантный анализ можно использовать как метод прогнозирования (предсказания) поведения наблюдаемых единиц статистической совокупности на основе имеющихся стереотипов поведения аналогичных объектов, входящих в состав объективно существующих или сформированных по определенному принципу множеств (обучающих выборок).

Также в практическом разделе был проведен статистический анализ и прогноз результатов деятельности по тематическому разделу выпуску книжных изданий и брошюр за период 2001-2010 гг. с использованием пакета Excel. Были осуществлены расчеты по количеству наименований, тиражу и количеству номеров. Для этого использовались такие методы, как метод экспонциального сглаживания, метод скользящего среднего, метод Брауна и метод среднего темпа.

Список использованных источников

1. Метод дискриминантного анализа / Библиотека рефератов // BestReferat [Электронный ресурс]. -- 2016. -- Режим доступа: http://www.bestreferat.ru/referat-111040.html. -- Дата доступа: 10.03.2016.

2. Новиков, Д.А. Статистические методы в медико-биологическом эксперименте (типовые случаи) / Д. А. Новиков, В. В. Новочадов. -- Волгоград: ВолГМУ, 2005. -- 84 c

3. Сошникова, Л. А. Многомерный статистический анализ в экономике / Л. А. Сошникова, В. Н. Томашевич. -- М.: ЮНИТИ-ДАНА, 1999. -- 598 с.

4. Ким, Дж. О. Факторный, дискриминантный и кластерный анализ / Дж. О. Ким, Ч. У. Мьюллер, пер. с англ. Хотинского. -- М.: Финансы и статистика, 1989. -- 215 с.: ил.

5. Тюрин, В. В. Дискриминантный анализ в биологии: монография / В. В. Тюрин, С. Н. Щеглов. -- Краснодар: Кубанский гос. ун-т, 2015. -- 123 с.

6. Айвазян, С.А. Прикладная статистика: Классификация и снижение размерности: справ. изд. / под ред. С.А. Айвазяна. -- М.: Финансы и статистика, 1989. -- 607 с.

7. Ефимов, В. М. Многомерный анализ биологических данных: учеб. пособие / В. М. Ефимов, В. Ю. Ковалева. -- С.П.: Институт систематики и экологии животных СОРАН, 2008. -- 87 с.

8. Орлов, А. И. Эконометрика / А. И. Орлов. -- М.: Экзамен, 2004 (3-е изд.). -- 576 с.

9. Зильберглейт, И. А. Повышение качества учебной литературы / И. А. Зильберглейт, Ю. Ф. Шпаковсткий, М. М. Невдах // Труды БГТУ. -- Минск: БГТУ, 2012. -- № 9 (156). -- С. 89-92.

Размещено на Allbest.ru