Построение регрессионных моделей

Статистические расчеты -- пакет Statistics

Учитывая ограниченный объем книги и приведенные выше обстоятельства, данный раздел не содержит исчерпывающего описания всех сотен функций расширения Statiatics, а лишь дает обзор этого пакета с описанием наиболее часто используемых средств статистики, относящихся к обработке данных. Это не слишком снижает ценность описания, поскольку функции статистики по большей части просты и имеют вполне очевидные (для специалистов) имена.

Состав пакета Statistics

Пакет расширения Statistics содержит следующие подпакеты:

· Confidencelntervals -- функции доверительных интервалов;

· ContinuousDistributions -- функции непрерывных распределений;

· DataManipulation -- манипуляции с данными;

· DataSmoothing -- сглаживание данных;

· DescriptiveStatistics -- статистика распределений;

· DiscreteDistributions -- функции дискретных распределений;

· HypothesisTests -- проверка статистических гипотез;

· LinearRegression -- линейная регрессия;

· MultiDescriptiveStatistics -- статистика многомерных распределений;

· MultinormalDistribution -- функции многомерных нормальных распределений;

· NonlinearFit -- нелинейная регрессия;

· NormalDistribution -- функции нормального распределения;

· Common -- данные общего характера.

Как и ранее, для работы каждого из подпакетов требуется его загрузка в память компьютера с помощью команды

<<Statistics`Имя_подпакета`

Имена подпакетов расширения статистики приведены выше.

Построение регрессионных моделей

Модуль Polynomial Regression (полиномиальная регрессия), вызываемый из меню Relate, позволяет строить модели полиномов любого порядка для двух переменных X и Y, такие как:

Y= a+b*x - полином 1 -го порядка;

Y= a+b*x+c*x² - полином 2-го порядка;

Y= a+b*x+c*x² +d*x³ - полином 3-го порядка и т.д.

Максимально возможный порядок полинома - 8.

Изменить порядок полинома можно с помощью опции Analysis Option.

Данный модуль включает в себя аналогичные табличные опции, что и модуль Simple Regression.

Модуль Multiple Regression (множественная регрессия), вызываемый из меню Relate, предназначен для построения линейной регрессии между одной зависимой переменной и несколькими независимыми переменными. Отличительными особенностями данного модуля по сравнению с модулем Простая регрессия являются:

модуль множественной регрессии - позволяет строить только линейный вид модели;

модуль множественной регрессии - позволяет строить модель по нескольким независимым переменным сразу;

модуль множественной регрессии - позволяет исключать факторы из модели (включая свободный член), а также легко добавлять новые факторы.

Основные параметры меню:

All Variables - алгоритм единовременного включения всех задаваемых факторов в модель;

Forward Selection - алгоритм последовательного увеличения группы переменных, т.е. построение модели осуществляется в несколько этапов, на каждом этапе в модель включается по одному новому фактору, на каждом этапе модель оценивается и алгоритм прекращает свою работу как только будет получена оптимальная модель;

Backward Selection - алгоритм последовательного уменьшения группы переменных, т.е. происходит процесс, обратный предыдущему;

Constant in model - опция, позволяющая включить или исключить свободный член из модели в зависимости от его значимости или незначимости.

Надо отметить, что в отличие от модуля «Простая регрессия» - резюме модуля «Множественная регрессия» содержит дополнительные статистики, такие как:

Adjusted R-Squared statistic - скорректированный коэффициент детерминации (R2), который представляет собой скорректированный относительно числа коэффициентов в модели стандартный коэффициент детерминации;

Standard error of estimation - стандартная ошибка оценки. Представляет собой оцененное стандартное отклонение остатков вокруг эмпирической линии;

Durbin-Watson statistic - коэффициент Дарбина Уотсона, позволяющий судить о наличии в остатках автокорреляции 1-го порядка;

модуль Множественная регрессия помимо стандартного анализа - резюме содержит множество табличных.

В ходе проведения работ очень полезными для исследователя являются функции модуля Regression Model Selection (выбор регрессионной модели), вызываемый из пункта меню Special- Advanced regression - Regression Model Selection. Он производит оценку всех возможных моделей регрессии, которые можно построить между задаваемой одной зависимой переменной Y и множеством независимых переменных X.

Табличные опции

Analysis Summary (анализ - резюме). Данная опция позволяет сравнить различные модели множественной регрессии, построенные по одной зависимой переменной и нескольким возможным множествам независимых переменных. В данном анализе для удобства каждой независимой переменной присваивается свое имя (А, В и т.д.). Далее для каждого подмножества независимых переменных (А, В, АВ и т.д.) строится модель множественной регрессии и пользователю представляются уже лишь конечные характеристики этой модели, а именно - средняя квадратичная ошибка (MSE), коэффициент детерминации R², скорректированный коэффициент детерминации R² и ста-

Статистика Маллоу (Ср) (показатель смещенности в модели, основанный на сравнении общей средней квадратичной ошибки модели с реальной ошибкой дисперсии).

Модуль Nonlinear Regression (нелинейная регрессия), вызываемый из пункта меню Special - Advanced regression - Nonlinear Regression, позволяет пользователю самому определить вид функции, которую программа будет использовать для построения модели. Вы можете выбрать итеративный (циклический) поисковый алгоритм для определения оценок минимальных квадратов отклонений фактических значений от модельных. Программа предлагает 3 таких метода: метод Марквардта (Marquardt), метод Гаусса - Ньютона (Gauss-Newton) и метод наискорейшего спуска (Steepest Descend). Эти три метода требуют для своего применения задания неких начальных значений ряда параметров. Дадим перечень некоторых:

п -- число наблюдений;

MSE (Mean Square Error) - средняя квадратичная ошибка модели;

МАЕ (Mean Absolute Error) -- среднее абсолютное значение остатков;

МАРЕ (Mean Absolute Percentage Error) - средняя абсолютная процентная ошибка;

ME (Mean Error) -- среднее значение остатков;

(Mean Percentage Error) -- средняя процентная ошибка;

Stopping Criterion 1-1-й останавливающий критерий (допустимая сумма квадратов остатков). По умолчанию устанавливается значение 1Е-5;

Stopping Criterion 2 - 2-ой останавливающий критерий. Алгоритм прекращает работать как только оценки для всех параметров модели будут больше значения заданного критерия. По умолчанию устанавливается значение 1Е-4;

Maximum Iterations - максимально выполнимое алгоритмом число итераций. По умолчанию максимальное число итераций равно 30^

-Maximum Function Calls - максимальное число обращений к функции, при котором получается положительный результат. По умолчанию устанавли вается значение 200.

Для метода Марквардта устанавливаются также дополнительные параметры:

Initial Value - начальное значение, которое программа будет использовать в качестве начального значения параметра Марквардта. По умолчанию устанавливается значение 1Е-2;

Scaling Factor - масштабирующий фактор, число, которое программа будет использовать для увеличения или уменьшения параметра Марквардта. По умолчанию устанавливается значение 20;

Maximum Value - максимальное значение параметра Марквардта, которое будет использоваться в качестве критерия для окончания работы алгоритма. По умолчанию устанавливается значение 120.

Следует отметить, что рассмотренные выше функции могут быть выполнены практически любым другим пакетом анализа данных, обладающим развитыми средствами интерактивной графики. Фактически, изучив принципы работы STATGRAPHICS, не составляет особого труда перенести полученные навыки на другие пакеты.