Уравнения множественной регрессии

Размещено на http://www.allbest.ru/

Содержание

1. Множественная регрессия

2. Матричная запись множественной линейной модели регрессионного анализа

3. Задачи регрессивного анализа

4. Пример решения нахождения модели множественной регрессии

5.Проверка статистической значимости коэффициентов уравнения множественной регрессии

6. Проверка общего качества уравнения множественной регрессии

7. Проверка выполнимости предпосылок МНК множественной регрессии. Статистика Дарбина-Уотсона для множественной регрессии

8. Проверка общего качества уравнения множественной регрессии

9. Список использованной литературы

1. Множественная регрессия

Суть регрессионного анализа: построение математической модели и определение ее статистической надежности.

Вид множественной линейной модели регрессионного анализа:

Y = b₀ + b₁x_i1 + ... + b_jx_ij + ... + b_kx_ik + e_i

где e_i - случайные ошибки наблюдения, независимые между собой, имеют нулевую среднюю и дисперсию s.

Назначение множественной регрессии: анализ связи между несколькими независимыми переменными и зависимой переменной.

Экономический смысл параметров множественной регрессии 

Коэффициент множественной регрессии b_j показывает, на какую величину в среднем изменится результативный признак Y, если переменную X_j увеличить на единицу измерения, т. е. является нормативным коэффициентом.

2. Матричная запись множественной линейной модели регрессионного анализа

Y = Xb + e

где Y - случайный вектор - столбец размерности (n x 1) наблюдаемых значений результативного признака (y₁, y₂,..., y_n); 

X - матрица размерности [n x (k+1)] наблюдаемых значений аргументов; 

b - вектор - столбец размерности [(k+1) x 1] неизвестных, подлежащих оценке параметров (коэффициентов регрессии) модели; 

e - случайный вектор - столбец размерности (n x 1) ошибок наблюдений (остатков).

На практике рекомендуется, чтобы n превышало k не менее, чем в три раза.

3. Задачи регрессионного анализа

Основная задача регрессионного анализа заключается в нахождении по выборке объемом n оценки неизвестных коэффициентов регрессии b₀, b₁,..., b_k. Задачи регрессионного анализа состоят в том, чтобы по имеющимся статистическим данным для переменных X_i и Y:

· получить наилучшие оценки неизвестных параметров b₀, b₁,..., b_k;

· проверить статистические гипотезы о параметрах модели;

· проверить, достаточно ли хорошо модель согласуется со статистическими данными (адекватность модели данным наблюдений).

Построение моделей множественной регрессии состоит из следующих этапов:

1. выбор формы связи (уравнения регрессии);

2. определение параметров выбранного уравнения;

3. анализ качества уравнения и поверка адекватности уравнения эмпирическим данным, совершенствование уравнения.

Множественная регрессия:

· Множественная регрессия с одной переменной

· Множественная регрессия с двумя переменными

· Множественная регрессия с тремя переменными

4. Пример решения нахождения модели множественной регрессии

Множественная регрессия с двумя переменными

Модель множественной регрессии вида Y = b₀ +b₁X₁ + b₂X₂; 

1) Найти неизвестные b₀, b₁,b₂ можно, решим систему трехлинейных уравнений с тремя неизвестными b₀,b₁,b₂:

Для решения системы можете воспользоваться

2) Или использовав формулы:

Для этого строим таблицу вида:

Выборочные дисперсии эмпирических коэффициентов множественной регрессии можно определить следующим образом:

Здесь z'_jj - j-тый диагональный элемент матрицы Z^-1 =(X^TX)^-1.

При этом:

где m - количество объясняющих переменных модели.

В частности, для уравнения множественной регрессии

Y = b₀ + b₁X₁ + b₂X₂

с двумя объясняющими переменными используются следующие формулы:

,,. 

Здесьr₁₂ - выборочный коэффициент корреляции между объясняющими переменными X₁ и X₂; Sb_j - стандартная ошибка коэффициента регрессии; S - стандартная ошибка множественной регрессии (несмещенная оценка).

По аналогии с парной регрессией после определения точечных оценок b_j коэффициентов вj (j=1,2,…,m) теоретического уравнения множественной регрессии могут быть рассчитаны интервальные оценки указанных коэффициентов. Доверительный интервал, накрывающий с надежностью (1-б) неизвестное значение параметра вj, определяется как

Под регрессией понимается функциональная зависимость между объясняющими переменными и условным математическим ожиданием (средним значением) зависимой переменной, которая строится с целью предсказания (прогнозирования) этого среднего значения при фиксированных значениях первых.

5. Проверка статистической значимости коэффициентов уравнения множественной регрессии

Как и в случае множественной регрессии, статистическая значимость коэффициентов множественной регрессии с m объясняющими переменными проверяется на основе t-статистики:

имеющей в данном случае распределение Стьюдента с числом степеней свободы v = n- m-1. При требуемом уровне значимости, наблюдаемое значение t-статистики сравнивается с критической точной распределения Стьюдента.

В случае, если , то статистическая значимость соответствующего коэффициента множественной регрессии подтверждается. Это означает, что фактор Xj линейно связан с зависимой переменной Y. Если же установлен факт незначимости коэффициента b_j, то рекомендуется исключить из уравнения переменную Xj. Это не приведет к существенной потере качества модели, но сделает ее более конкретной.

6. Проверка общего качества уравнения множественной регрессии

Для этой цели, как и в случае множественной регрессии, используется коэффициент детерминации R²:

Справедливо соотношение 0<=R2<=1. Чем ближе этот коэффициент к единице, тем больше уравнение множественной регрессии объясняет поведение Y. 

Для множественной регрессии коэффициент детерминации является неубывающей функцией числа объясняющих переменных. Добавление новой объясняющей переменной никогда не уменьшает значение R², так как каждая последующая переменная может лишь дополнить, но никак не сократить информацию, объясняющую поведение зависимой переменной. 

Иногда при расчете коэффициента детерминации для получения несмещенных оценок в числителе и знаменателе вычитаемой из единицы дроби делается поправка на число степеней свободы, т.е. вводится так называемый скорректированный (исправленный) коэффициент детерминации: 

Соотношение может быть представлено в следующем виде:

 для m>1. С ростом значения m скорректированный коэффициент детерминации растет медленнее, чем обычный. Очевидно, что только при R² = 1.  может принимать отрицательные значения. 

Доказано, что  увеличивается при добавлении новой объясняющей переменной тогда и только тогда, когда t-статистика для этой переменной по модулю больше единицы. Поэтому добавление в модель новых объясняющих переменных осуществляется до тех пор, пока растет скорректированный коэффициент детерминации. 

Рекомендуется после проверки общего качества уравнения регрессии провести анализ его статистической значимости. Для этого используется F-статистика:

Показатели F и R2 равны или не равен нулю одновременно. Если F=0, то R²=0, следовательно, величина Y линейно не зависит от X1,X2,…,Xm..Расчетное значение F сравнивается с критическим Fкр. Fкр, исходя из требуемого уровня значимости б и чисел степеней свободы v1 = m и v2 = n - m - 1, определяется на основе распределения Фишера. Если F>Fкр, то R² статистически значим.

7. Проверка выполнимости предпосылок МНК множественной регрессии. Статистика Дарбина-Уотсона для множественной регрессии

Статистическая значимость коэффициентов множественной регрессии и близкое к единице значение коэффициента детерминации R² не гарантируют высокое качество уравнения множественной регрессии. Поэтому следующим этапом проверки качества уравнения множественной регрессии является проверка выполнимости предпосылок МНК. Причины и последствия невыполнимости этих предпосылок, методы корректировки регрессионных моделей будут рассмотрены в последующих главах. В данном параграфе рассмотрим популярную в регрессионном анализе статистику Дарбина-Уотсона.

При статистическом анализе уравнения регрессии на начальном этапе часто проверяют выполнимость одной предпосылки: условия статистической независимости отклонений между собой.

При этом проверяется некоррелированность соседних величин e_i,i=1,2,…n.. 

Для анализа коррелированности отклонений используют статистику Дарбина-Уотсона: 

Критические значения d₁ и d₂ определяются на основе специальных таблиц для требуемого уровня значимости б, числа наблюдений n и количества объясняющих переменных m.

Частные коэффициенты корреляции при множественной регрессии

Частные коэффициенты (или индексы) корреляции, измеряющие влияние на у фактора х_i при неизменном уровне других факторов определяются по стандартной формуле линейного коэффициента корреляции, т.е. последовательно берутся пары yx₁,yx₂,... , x₁x₂, x₁x₃ и так далее и для каждой пары находится коэффициент корреляции

Вычисления в MS Excel. Матрицу парных коэффициентов корреляции переменных можно рассчитать, используя инструмент анализа данных Корреляция. Для этого:

1) Выполнить команду Сервис / Анализ данных / Корреляция.

2) Указать диапозон данных;

8. Проверка общего качества уравнения множественной регрессии

Для этой цели, как и в случае множественной регрессии, используется коэффициент детерминации R²:

Справедливо соотношение 0 < =R² < = 1. Чем ближе этот коэффициент к единице, тем больше уравнение множественной регрессии объясняет поведение Y.

Для множественной регрессии коэффициент детерминации является неубывающей функцией числа объясняющих переменных. Добавление новой объясняющей переменной никогда не уменьшает значение R², так как каждая последующая переменная может лишь дополнить, но никак не сократить информацию, объясняющую поведение зависимой переменной.

Иногда при расчете коэффициента детерминации для получения несмещенных оценок в числителе и знаменателе вычитаемой из единицы дроби делается поправка на число степеней свободы, т.е. вводится так называемый скорректированный (исправленный) коэффициент детерминации:

Соотношение может быть представлено в следующем виде:

 для m>1. С ростом значения m скорректированный коэффициент детерминации растет медленнее, чем обычный. Очевидно, что только при R² = 1.  может принимать отрицательные значения. 

Доказано, что  увеличивается при добавлении новой объясняющей переменной тогда и только тогда, когда t-статистика для этой переменной по модулю больше единицы. Поэтому добавление в модель новых объясняющих переменных осуществляется до тех пор, пока растет скорректированный коэффициент детерминации.

Рекомендуется после проверки общего качества уравнения регрессии провести анализ его статистической значимости. Для этого используется F-статистика:

Показатели F и R² равны или не равен нулю одновременно. Если F=0, то R²=0, следовательно, величина Y линейно не зависит от X₁,X₂,…,X_m. Расчетное значение F сравнивается с критическим Fкр. Fкр, исходя из требуемого уровня значимости б и чисел степеней свободы v₁ = m и v₂ = n - m - 1, определяется на основе распределения Фишера. Если F > Fкр, то R² статистически значим.

9. Список использованной литературы

1. Орлов А.И., Эконометрика. Учебник. М.: Издательство "Экзамен", 2002. 

2. Статистика. Учебник для ВУЗов под редакцией Елисеевой И.И.М.: Проспект2006. - 443 с. 

3. Эконометрика. Учебник для ВУЗов под редакцией Елисеевой И.И. М.: Финансы и статистика 2004.- 344 с. 

4. В.Ф.Комиссарчик. Эконометрика: Учебное пособие. Тверь: ТГТУ 2003 

5. Математика для экономистов. Под редакцией Н.Ш. Кремера. М: Высшее образование - 2007. - 645 с. 

6. О.А.Баклушина. Краткий курс по эконометрике. М.- 2007. - 126 с. 

7. Практикум по эконометрике. Под ред. Елисеевой И.И. М.: Финансы и статистика, 2001. 

8. http://belstat.gov.by/homep/ru/indicators/main1.php 

9. http://research.by/rus/data/source/ 

10.http://crow.academy.ru/econometrics/lectures_/lect_11_/demo_11_/sld021.htm

Размещено на Allbest.ru