(3)

Согласно методу максимального правдоподобия параметры модели а и b в уравнении (2) следует выбирать так, чтобы при данных Y_i максимизировать произведение-функцию

, (4)

именуемую функцией правдоподобия.

Чтобы получить максимум L, необходимо минимизировать абсолютную величину

_. (5)

Таким образом, в случае нормального распределения отклика задача максимизации функции правдоподобия (4) сводится к минимизации суммы квадратов (5). Решение данной задачи составляет сущность метода наименьших квадратов.

2. Общий случай построения уравнения регрессии с помощью МНК

С учетом принятой модели регрессии (2) представим функцию минимизации (5) в следующем виде

_. (6)

Из структуры соотношения (6) видно, что минимум по переменным a и b определяется решением системы уравнений:

;

Данные уравнения можно записать в более компактном виде:

;

. (7)

В системе уравнений (7) все суммы берутся по i в пределах от 1 до n.

Неоднородная, линейная относительно неизвестных a, b система уравнений (7) называется системой нормальных уравнений. В этой системе число уравнений равно числу неизвестных параметров и в общем случае ее неизвестные находятся из решения уравнений

;

,

где обозначено

Выражение для определения коэффициента b может быть представлено и в таком виде

. (8)

Из первого уравнения (7) следует, что при известном значении b, число a находится из решения уравнения

. (9)

В связи с тем, что для решения задач по исследованию уравнений регрессии широко используются результаты, получаемые с помощью программы Microsoft Excel, в дальнейшем будем приводить терминологию и обозначения, принятые в этом программном продукте. В частности, запись формулы (8) будет иметь вид:

где SS обозначает сумму квадратов (sum of squares).

Пример 1. Для исследования линейной системы (см. рис.1) и определения параметров ее передаточной характеристики на вход системы подаются калиброванные по уровню дискретные сигналы X_i, i = 1,…,5. Преобразованные сигналы Y_i, измеряются на выходе системы. Результаты экспериментальных исследований системы приведены в табл.1 (столбцы 2 и 3). По данным эксперимента необходимо подобрать уравнение прямой, которая наиболее правдоподобно описывает зависимость между входом и выходом линейной системы.

Таблица 1

Решение. Результаты, необходимые для расчета элементов системы нормальных уравнений, приведены в табл. 1. Подставив полученные значения в уравнения (7), получим:

;

.

Отсюда находим коэффициенты уравнения регрессии:

;

.

Таким образом, передаточная характеристика линейной системы может быть описана следующим уравнением регрессии:

.

Построенное по экспериментальным точкам табл. 1 уравнение регрессии показано на рис. 2, а результаты регрессионного анализа, выполненные с помощью программы Microsoft Excel, представлены в табл. 2.

Если связь между признаками X и Y нелинейная, например, описывается уравнением параболы второго порядка

то для определения неизвестных параметров b₀, b₁ и b₂ также используется метод наименьших квадратов, который приводит к решению 3-х нормальных уравнений вида:

В общем случае по методу наименьших квадратов может быть построена регрессионная модель и более высоких порядков, однако анализ подобных моделей и их практическая значимость с позиций критерия качества, как правило, лишены смысла.

Рис. 2. Уравнение регрессии

Таблица 2 Регрессионный анализ

Таблица 3

3. Матричный подход в регрессионном анализе

Обычно регрессионный анализ и МНК излагаются в матричной форме.

Напомним, что матрица - это массив данных, объединенных в прямоугольную форму, размер которой определяется числом строк и числом столбцов. Для идентификации каждой ячейки матрицы используется двойная индексация, указывающая сперва номер строки, а затем - номер столбца. Матрицы с одной строкой или с одним столбцом называются векторами. При определенных условиях с матрицами можно выполнять арифметические действия: сложение, вычитание, умножение. Делить матрицы нельзя. Часто для получения желаемого результата (деления) используются обратные матрицы. Однако только некоторые из квадратных матриц имеют обратные матрицы. Обратная матрица это такая, произведение которой на исходную матрицу равно единичной матрице.

Пусть дана система линейных преобразований с матрицей

:

(10)

В матричной форме такая система уравнений записывается как

Если матрица B является невырожденной, т.е. определитель системы (10) не равен нулю , то, воспользовавшись формулами Крамера, можно выполнить обратное линейное преобразование переменных

(11)

где через обозначены алгебраические дополнения элементов 1-го столбца определителя матрицы B.

В матричной форме уравнение регрессии (1) принимает вид

(12)

где введены следующие матрицы:

1) матрица-столбец (вектор) значений отклика в i-х точках эксперимента

.

Здесь индекс «Т» означает операцию транспонирования матрицы - перевод столбца в строку матрицы;

2) матрица планирования эксперимента, которая задает координаты всех опытных точек

,

где введена фиктивная переменная , тождественно равная единице при всех значениях плана;

3) матрица-столбец (вектор) искомых коэффициентов регрессии

.

Здесь постоянная регрессии, которая в уравнении (1) обозначена через а;

4) матрица-строка (вектор) флюктуаций или помех

.

С учетом матричных обозначений сумму квадратов остатков можно представить в виде

. (13)

Дифференцируя по В и приравнивая полученную производную нулю, получим систему нормальных уравнений в матричной форме:

или (14)

Матричная форма нормальных уравнений (14) для линейного уравнения регрессии равносильна системе алгебраических уравнений

В уравнении (14) матрица называется информационной матрицей, или матрицей системы нормальных уравнений.

Матрица-столбец b - коэффициентов определяется из уравнения (14) путем умножения слева обеих его частей на матрицу , которая называется дисперсионной, так как с ее помощью устанавливаются оценки дисперсий b - коэффициентов. В результате имеем

(15)

Пример 2. Для исходных данных, приведенных в табл. 3 определите параметры уравнения регрессии, решая задачу в матричной форме.

Таблица 3

Решение. Выполним матричные вычисления, необходимые для решения уравнения (15):

;

.

Откуда с учетом (15), имеем

.

Таким образом, уравнение регрессии выражается формулой

.

При этом следует отметить, что даже незначительные погрешности, допускаемые при вычислении дисперсионной матрицы , приводят к существенным изменениям величины коэффициентов и . Так, если повысить точность вычисления элементов дисперсионной матрицы до пяти знаков после десятичной запятой, то результат изменится следующим образом

;

,

что соответствует результату

.

Если же при вычисле6нии дисперсионной матрицы, ее элемент будет увеличен до величины 0,012, то в результате вычислений получим

,

т.е. уравнение регрессии примет вид

.

4. Решение задачи регрессионного анализа в случае ортогонального плана

Методика построения моделей на основе ортогональных планов состоит в переходе к кодированной переменной U обладающей свойствами симметрии относительно нового начала координат, совпадающего со средним значением физической переменной X . Связь между физической переменной X и кодированной переменной U устанавливается с помощью уравнения кодирования

, (16)

где d--шаг квантования переменной X.

При этом предполагается, что отклик Y измеряется при равноотстоящих значениях фактора X . Кодирование переменной по формуле (16) приводит к тому, что кодированная переменная принимает симметричные относительно нуля значения такие, что имеет место условие

.

Кроме того, ортогональность кодированных переменных u_i означает, что сумма смешанных произведений элементов столбцов матрицы U равна нулю, т.е.

.

Ортогональность плана приводит к диагональной информационной матрице

.(17)

Например, соответственно для пяти и семи опытных точек плана получим следующие информационные матрицы:

;

.

Таким образом, в случае ортогонального плана информационная матрица является диагональной. Из нее легко получается обратная (дисперсионная) матрица

. (18)

Задача ортогонализации состоит в том, чтобы получить диагональную форму матрицы М. Ортогональность обеспечивается выбором симметричных относительно центра опытных точек плана и кодированием фактора Х по формуле (16).

Например, для пяти и семи опытных точек плана дисперсионные матрицы соответственно равны:

;

В общем случае при ортогонализации и кодировании факторов значения элементов дисперсионной матрицы не зависит от реальных значений фактора X, а зависит только от числа опытных точек плана n.

Зная матрицу С, нетрудно найти b - коэффициенты. Так как для кодированных переменных u_i

, (19)

то из формулы (15) после подстановки соотношений (18) и (19) получим

 (20)

Отсюда находим выражения для b - коэффициентов:

;.(21)

Выражения для расчета b - коэффициентов можно обобщить и на случай многофакторного эксперимента. Для k-го фактора в случае ортогональных планов и линейных моделей имеем

Пример 3. Для исходных данных, приведенных в табл. 4 определите параметры уравнения регрессии, приведя исходные данные к ортогональному плану.

Таблица 4

Решение. Выполним необходимые расчеты (см. табл. 4) для решения уравнений (21). В результате получим:

; .

С учетом формулы (16) кодирования фактора

перейдем к физической переменной X и получим уравнение регрессии в том же виде, который ранее был найден без допущений об ортогональности плана

.

5. Оценка вариации уравнения регрессии

Хотя метод наименьших квадратов дает нам линию регрессии, которая обеспечивает минимум вариации, регрессионное уравнение не является идеальным в смысле предсказания, поскольку не все значения зависимого признака Y_i удовлетворяют уравнению регрессии. Нам необходима статистическая мера вариации фактических значений Y_i от предсказанных значений . Изменчивость фактических значений признака Y относительно линии регрессии показана на рис. 3.

Рассмотрим способ оценки изменчивости значений Y_i вокруг среднего значения , основанный на использовании общей суммы квадратов (total sum of squares -- SST). В регрессионном анализе полная вариация, представляющая собой полную сумму квадратов, разделяется на объяснимую вариацию, или сумму квадратов регрессии (regression sum of squares -- SSR, or explained variation), и необъяснимую вариацию (unexplained variation), или сумму квадратов ошибок (error sum of squares -- SSE). Объяснимая вариация характеризует взаимосвязь между переменными X и Y, а необъяснимая зависит от других факторов.

Сумма квадратов регрессии (SSR) представляет собой сумму квадратов разностей между (предсказанным значением переменной Y) и (средним значением переменной Y). Сумма квадратов ошибок (SSE) является частью вариации переменной Y, которую невозможно описать с помощью регрессионной модели. Эта величина зависит от разностей между наблюдаемыми и предсказанными значениями.

Полная сумма квадратов (SST) равна сумме квадратов разностей между наблюдаемыми значениями переменной Y и ее средним значением:

. (22)

Сумма квадратов регрессии (SSR) равна сумме квадратов разностей между предсказанными значениями переменной Y и ее средним значением:

(23)

Сумма квадратов ошибок (SSE) равна сумме квадратов разностей между наблюдаемыми и предсказанными значениями переменной

(24)

Размещено на http://www.allbest.ru/

1

Рис. 3. Оценка изменчивости в модели регрессии

Полная сумма квадратов (SST) равна сумме квадратов регрессии плюс сумма квадратов ошибок:

SST = SSR + SSE (25)

Величины SSR, SSE и SST не имеют очевидной интерпретации. Однако отношение суммы квадратов регрессии (SSR) к полной сумме квадратов (SST) представляет собой оценку полезности регрессионного уравнения. Это отношение называется коэффициентом смешанной корреляции (R-квадрат). Иногда используют термин «коэффициент детерминации».

Коэффициент смешанной корреляции равен результату деления суммы квадратов регрессии на полную сумму квадратов:

(26)

Коэффициент смешанной корреляции оценивает долю вариации переменной Y, которая объясняется независимой переменной X в регрессионной модели.

Хотя метод наименьших квадратов позволяет вычислить линию, минимизирующую отклонение от наблюдаемых значений, наличие суммы квадратов ошибок (SSE) свидетельствует о том, что линейная регрессия не дает абсолютной точности прогноза, если, конечно, точки наблюдения не лежат на регрессионной прямой. Однако ожидать этого так же неестественно, как предполагать, что все выборочные значения точно равны их среднему арифметическому. Следовательно, необходима статистика, которая позволила бы оценить отклонение предсказанных значений переменной Y от ее реальных значений, аналогично тому, как стандартное отклонение позволяет оценить колебание данных вокруг их средней величины. Стандартное отклонение наблюдаемых значений переменной Y от ее регрессионной прямой называется среднеквадратичной ошибкой оценки. Она вычисляется по формуле:

, (27)

где Y_i -- фактическое значение переменной Y при заданном значении X_i;

-- предсказанное значение переменной Y при заданном значении X_i;

SSE -- сумма квадратов ошибок.

Величина измеряется в тех же единицах, что и переменная Y. По смыслу среднеквадратичная ошибка очень похожа на стандартное отклонение. В то время как стандартное отклонение характеризует разброс данных вокруг их среднего значения, среднеквадратичная ошибка позволяет оценить колебание точек наблюдения вдоль регрессионной прямой. Среднеквадратичная ошибка оценки позволяет обнаружить статистически значимую зависимость, существующую между двумя переменными, и предсказать значения переменной Y.

6. Условия применения регрессионного анализа

Применяя методы регрессионного анализа, следует подчеркнуть важность условий, которые должны обеспечивать корректность сделанных выводов.

1. Ошибка должна иметь нормальное распределение.

2. Вариация данных вдоль линии регрессии должна быть постоянной (свойство гомоскедастичности).

3. Ошибки должны быть независимыми.

Первое предположение, о нормальном распределении ошибок (normality), требует, чтобы при каждом значении переменной X ошибки линейной регрессии имели нормальное распределение. Наряду с этим, регрессионный анализ довольно устойчив к нарушениям этого условия. Если распределение ошибок относительно линии регрессии при каждом значении X не слишком сильно отличается от нормального, выводы относительно линии регрессии и коэффициентов регрессии изменяются незначительно.

Второе условие, гомоскедастичность, заключается в том, что вариация данных вокруг линии регрессии должна быть постоянной при любом значении переменной X. Это означает, что величина ошибки, как при малых, так и при больших значениях переменной X должна изменяться в одном и том же интервале. Свойство гомоскедастичности очень важно для метода наименьших квадратов, с помощью которого определяются коэффициенты регрессии. Если это условие нарушается, следует применять либо преобразование данных, либо метод наименьших квадратов с весами.

Третье предположение, о независимости ошибок, заключается в том, что ошибки регрессии не должны зависеть от значения переменной X. Это условие особенно важно, если данные собираются на протяжении определенного отрезка времени. В этих ситуациях ошибки, присущие конкретному отрезку времени, часто коррелируют с ошибками, характерными для предыдущего периода.

Обнаружить потенциальные нарушения условий применения регрессионного анализа можно с помощью графика остатков.

Остаток, или оценка ошибки е_i, представляет собой разность между наблюдаемым (Y_i) и предсказанным () значениями зависимой переменной при заданном значении X_i:

Для оценки пригодности эмпирической модели регрессии остатки откладываются по вертикальной оси, а значения X_i -- по горизонтальной. Если эмпирическая модель пригодна, график не должен иметь ярко выраженной закономерности. Если же модель регрессии не пригодна, на рисунке проявится зависимость между значениями X_i и остатками е_i. В частности, график остатков позволяет оценить гомоскедастичность ошибок. Если на графике нет особых различий между ошибками, соответствующими разным значениям X_i, то вариации ошибок при разных значениях X_i приблизительно одинаковы.

Предположение о независимости ошибок также проверяется с помощью графика остатков. Данные, собранные на протяжении некоторого периода времени, иногда демонстрируют эффект автокорреляции между последовательными наблюдениями. В таких ситуациях остатки зависят от значений предыдущих остатков. Подобная связь между остатками нарушает предположение о независимости ошибок Эффект автокорреляции хорошо выявляется на графике. Кроме того, его можно измерить с помощью процедуры Дурбина-Уотсона.

Чтобы проверить предположение о нормальном распределении ошибок, обычно строят гистограмму распределения, т.к. без построения гистограммы, блочной диаграммы или графика проверить предположение о нормальном распределении ошибок бывает очень трудно.

7. Проверка гипотез о наклоне и коэффициенте корреляции

Если анализ остатков подтверждает, что условия применимости метода наименьших квадратов не нарушаются, и модель простой линейной регрессии является адекватной, на основе выборочных данных можно утверждать, что между переменными в генеральной совокупности существует линейная зависимость.

Наряду с этим, проверяя, равен ли наклон генеральной совокупности нулю, можно определить, существует ли статистически значимая зависимость между переменными X и Y. Если эта гипотеза отклоняется, можно утверждать, что между переменными X и Y существует линейная зависимость. Нулевая и альтернативная гипотезы формулируются следующим образом:

Но: = 0 (нет линейной зависимости),

Н₁: не равно 0 (есть линейная зависимость).

Тестовая статистика для проверки гипотезы о наклоне генеральной совокупности b₁ вычисляется по формуле (30) с помощью t-критерия.

По определению t-статистика равна разности между выборочным наклоном и гипотетическим значением наклона генеральной совокупности, деленной на среднеквадратичную ошибку оценки наклона:

, где ;

,

а тестовая статистика t имеет t-распределение с n-2 степенями свободы.

Иными словами, на изменения параметров X и Y оказывают влияние не только случайные факторы, а имеется устойчивая функциональная связь.

Применение F-критерия для проверки наличия наклона уравнения регрессии

Альтернативным подходом к проверке гипотез о наклоне линейной регрессии является использование F-критерия. Напомним, что F-критерий применяется для проверки отношения между двумя дисперсиями. При проверке гипотезы о наклоне мерой случайных ошибок является дисперсия ошибки (сумма квадратов ошибок, деленная на количество степеней свободы), поэтому F-критерий использует отношение дисперсии, объясняемой регрессией (т.е. величины SSR, деленной на количество независимых переменных k), к дисперсии ошибок (MSE = ).

(29)

Где

k -- количество независимых переменных в регрессионной модели (k=1).

Тестовая статистика F имеет F распределение с k и (n - k - 1) степенями свободы в числителе и знаменателе соответственно.

При заданном уровне значимости ? решающее правило формулируется так если F > F_кр, нулевая гипотеза отклоняется; в противном случае она не отклоняется.

Доверительный интервал, содержащий наклон

Для проверки гипотезы о существовании линейной зависимости между переменными можно построить доверительный интервал, содержащий наклон и убедиться, что гипотетическое значение не принадлежит этому интервалу.

Центром доверительного интервала, содержащего наклон , является выборочный наклон b₁, а его границами -- величины,

(32)

Если границы интервала для внутри себя не содержат нуль, то можно утверждать, что параметрами X и Y существует статистически значимая линейная зависимость. Если бы доверительный интервал содержал нуль, между переменными не было бы зависимости.

8. Оценка математического ожидания и предсказания индивидуальных значений отклика

В этом разделе рассматриваются методы оценки математического ожидания отклика и предсказания индивидуальных значений Y_i при заданных значениях переменной X_i.