Множественный линейный регрессионный анализ

МОСКОВСКАЯ ВЫСШАЯ ШКОЛА БИЗНЕСА

Контрольная работа

на тему

«Множественный линейный регрессионный анализ»

(вариант № 10)

Работу выполнила:_______________

Работу проверил_________________

Москва 2009

Постановка задачи

Изучается линейная (в среднем) зависимость результативного признака Y от пяти факторных признаков -- регрессоров x(1), x(2), x(3), x(4), x(5) по числовым данным, собранным на n = 52 объектах. Варианты результативного признака, регрессоров и их числовые значения приведены для варианта №10 в табл. 1.

Таблица 1

Здесь Y -- ожидаемая продолжительность жизни женщины (в годах), х⁽¹⁾ -- численность населения (в тыс.чел.), х⁽²⁾ -- рождаемость (на 1000 чел.),

х⁽³⁾ -- смертность (на 1000 чел.), х⁽⁴⁾ -- младенческая смертность - число детей, умерших в возрасте до 1г. (на 1000 чел.), х⁽⁵⁾ -- ВВП на душу населения (в долл. США по покупательной способности валют).

Решение

1. Модель множественного линейного регрессионного анализа признака Y записывается следующим образом:

; i=1,2,…,52.

где все случайные величины _i (случайные эффекты влияния на результативный признак неконтролируемых факторов) независимы и имеют одинаковое нормальное распределение , или, иначе, все наблюдения Y_i независимы и имеют нормальное распределение

Функция

называется линейной функцией множественной регрессии.

2. Для расчета матрицы парных коэффициентов корреляции воспользуемся программой «Корреляция» меню надстройки «Анализ данных» Microsoft Excel. Результаты представлены на рис. 1.

Рис.1 Матрица парных коэффициентов корреляции.

В результате работы программы «Корреляция» рассчитана матрица парных коэффициентов корреляции [ввиду симметричности этой матрицы (г_ij.) в результатах работы программы «Корреляция» приводится только часть матрицы -- не выше главной диагонали]. Жирным шрифтом выделены коэффициенты корреляции, по модулю большие 0,7.

На основе анализа матрицы парных коэффициентов корреляции можно сделать следующие выводы. Наиболее сильна линейная связь результативного признака Y (ожидаемой продолжительности жизни женщины) с факторными признаками: X⁽²⁾ -- рождаемость (на 1000 чел.), X⁽⁴⁾ -- младенческая смертность - число детей, умерших в возрасте до 1г. (на 1000 чел.), поскольку оценки соответствующих парных коэффициентов корреляции г(Y;Х⁽²⁾) = -0,868, г(Y;Х⁽⁴⁾) = -0,962 достаточно велики. Связь Y с Х⁽⁵⁾ также достаточно сильна: г(Y;Х⁽⁵⁾) = -0,682. Связь Y с Х⁽¹⁾ и Х⁽³⁾ признаками выражена слабее. Достаточно сильна линейная связь между регрессорами X⁽⁴⁾ и X⁽²⁾ (соответственно младенческая смертность и рождаемость), так как велика оценка парных коэффициентов корреляции г(Х⁽⁴⁾;Х⁽²⁾)=0,872. Связь X⁽⁴⁾ и X⁽⁵⁾ также достаточно сильна: г(Х⁽⁴⁾;Х⁽⁵⁾) = 0,7. Малые значения оценок коэффициентов корреляции между остальными регрессорами говорят об относительно слабой линейной связи между ними. Коллинеарными следует признать пары регрессоров X⁽⁴⁾ и X⁽²⁾ .

3. Рассчитаем оценки ,,,,, и параметров модели линейной регрессии. Для этого воспользуемся программой «Регрессия» меню надстройки «Анализ данных» Microsoft Excel.

Результаты представлены в таблице 2. Оценки , , , , , параметров ,,,,, содержатся в табл.2 в столбце «Коэффициенты» под заголовками «Y-пересечение», «х(1)», «х(2)», «х(3)», «х(4)», «х(5)» соответственно. Таким образом, оценка линейной функции регрессии такова:

Продолжение таблицы 2

Продолжение таблицы 3

Стандартная ошибка модели линейной регрессии (т. е. оценка параметра ) приводится в табл.2 под заголовком «Регрессионная статистика»: =2,03.

В таблице 2 под заголовком «Вывод остатка», содержится предсказанное Y -- это , рассчитанные по построенному уравнению регрессии, и остатки -- это разности . Зная эти остатки, можно рассчитать среднюю относительную ошибку предсказаний (в процентах):

.

4. а) В таблице 2 под заголовком «Дисперсионный анализ» в столбце «df» приводятся количества степеней свободы m=5, n-m=46, n-1=51 соответственно; в столбце «SS»:

,

,

В столбце «MS»:

,

В таблице 2 под заголовком «Регрессионная статистика» приведены:

*оценка коэффициента линейной детерминации

(R-квадрат) -- судя по наблюдениям, 96% вариации ожидаемой продолжительности жизни женщины связано с линейным влиянием численности населения, рождаемостью, смертностью, младенческой смертностью и ВВП на душу населения.

*модуль оценки множественного коэффициента корреляции

(множественный R) -- такова, судя по наблюдениям, степень линейной зависимости Y от ;

*оценка нормированного коэффициента линейной детерминации

(нормированный R-квадрат) -- в отличие от коэффициента , который при увеличении числа m регрессоров увеличивается, нормированный коэффициент детерминации при этом может и уменьшаться; чем больше его значение, тем качественнее уравнение регрессии,

*стандартная ошибка

Проверка гипотезы H₀: а₁ = а₂ = … = а_m = 0 производится на основе анализа статистики имеющей (в предположении справедливости H₀) распределение Фишера -- Сне декора с m и (n-m-1) степенями свободы. В данном случае наблюдаемое значение статистики равно 207,035, что больше критической точки f_0,05;5;46 = 2,4, поэтому гипотеза Н₀ отвергается на 5%-ном уровне значимости.

Гипотезу H₀ можно проверить и так: если значимость F (рассчитанный уровень значимости гипотезы H₀) оказывается больше принятого уровня значимости (в данном случае = 0,05), то гипотезу Н₀ принимают (и говорят, что уравнение регрессии статистически незначимо), а если значимость F оказывается меньше , гипотезу H₀ отвергают (уравнение значимо). Для данной модели значимость F равна 2,5*10^-30-- уравнение значимо.

Наблюдаемое значение статистики F_;m;n-m-1 и рассчитанный уровень значимости гипотезы H₀ приводятся в таблице 2 под заголовком «Дисперсионный анализ» (столбцы «F» и «Значимость F»).

б) Проверим теперь гипотезы H₀^(j): а_j =0 при альтернативах Н₁: а_j ?0, j= 1,2, 3,4,5.

В нижней таблице 2 в столбце «t-статистика» приводятся наблюдаемые значения статистики , которая при выполнении гипотезы H₀^(j) имеет распределение Стьюдента с (n-m-1) степенью свободы.

Наблюдаемое значение статистики равно 1,22; наблюдаемое значение статистики равно 3,67; наблюдаемое значение статистики равно 5,49; наблюдаемое значение статистики равно 5,89; наблюдаемое значение статистики равно 2,08; критическая точка t_005;46 = 2,0, поэтому гипотезы H₀⁽²⁾: а₂ =0, H₀⁽³⁾: а₃ =0, H₀⁽⁴⁾: а₄ =0, H₀⁽⁵⁾: а₅ =0 отвергаются и оценка коэффициентов а₂, а₃, а₄, а₅ признается значимой, а гипотеза H₀⁽¹⁾: а₁ =0 отвергается и оценка коэффициента а₁ признается незначимой.

В той же таблице в столбце «Р-значение» приводятся рассчитанные уровни значимости гипотез H₀^(j), т.е. вероятности (гипотезу H₀^(j) отвергают при альтернативе H₁^(j), если р_j < ).

Так как р₁ = 0,23, р₂ = 0,0006, р₃ = 1,7*10^-6, р₄ =4,2 *10^-7, р₅ = 0,04, гипотезы H₀⁽²⁾: а₂ =0, H₀⁽³⁾: а₃ =0, H₀⁽⁴⁾: а₄ =0, H₀⁽⁵⁾: а₅ =0 отвергаются, а гипотеза H₀⁽¹⁾: а₁ =0, не отвергается.

5. Таким образом, в построенной модели регрессии большинство коэффициентов оказались значимы, и такую модель можно считать приемлемой.

Исключим из модели регрессор х⁽¹⁾, при котором коэффициент незначим, соответствующая этому коэффициенту абсолютная величина наблюдаемого значения статистики является наименьшей, а рассчитанный уровень значимости р₁ = 0,23 является наибольшим.

При этом оценка новой линейной функции регрессии будет такой (Таблица 3):

стандартная ошибка , средняя относительная ошибка , модуль оценки множественного коэффициента корреляции равен 0,98, оценка коэффициента линейной детерминации равна 0,96, оценка нормированного коэффициента линейной детерминации равна 0,95.

Гипотеза Н₀ о том, что все коэффициенты при регрессорах одновременно равны нулю, отвергается на 5%-ном уровне значимости, поскольку значимость F (равная 3*10^-31) оказалась меньше принятого уровня значимости = 0,05.

Так как р₂ = 0,001, р₃ = 2,6*10^-6, р₄ =4,8 *10^-9, р₅ = 0,042 гипотезы H₀⁽²⁾: а₂ =0, H₀⁽³⁾: а₃ =0, H₀⁽⁴⁾: а₄ =0, H₀⁽⁵⁾: а₅ =0 отвергаются.

7. Результаты пошаговой регрессии систематизированы в табл. 2-3.

8. Наилучшим уравнением является полученное на втором шаге, поскольку и само уравнение, и все его коэффициенты значимы. Судя потому уравнению:

а) более 90% дисперсии ожидаемой продолжительности жизни женщины Y связано с линейным влиянием х⁽²⁾ -- рождаемость (на 1000 чел.), х⁽³⁾ -- смертность (на 1000 чел.), х⁽⁴⁾ -- младенческая смертность - число детей, умерших в возрасте до 1г. (на 1000 чел.), х⁽⁵⁾ -- ВВП на душу населения (в долл. США по покупательной способности валют). (так как , );

б) рассчитанное по уравнению число -- это средняя продолжительность жизни женщины при условии, что значения факторных признаков (х⁽²⁾ -- рождаемость, х⁽³⁾ -- смертность, х⁽⁴⁾ -- младенческая смертность и х⁽⁵⁾ -- ВВП на душу населения) зафиксированы на каких-то уровнях, а именно x⁽²⁾=x⁽²⁾_(j), x⁽³⁾=x⁽³⁾_(j), x⁽⁴⁾=x⁽⁴⁾_(j), x⁽⁵⁾=x⁽⁵⁾_(j); точечная оценка генерального среднего значения признака Y при значениях регрессоров на первом объекте равна 80,55, а реальное значение Y на первом объекте (в Австралии) равно 80,28, остаток =-0,28; в тех странах, в которых остатки положительны, продолжительность жизни женщины выше среднего уровня, а в тех странах, где остатки отрицательны -- ниже среднего уровня. Так, например, в Австралии =-0,28, а в Аргентине =1,23;

в) увеличение рождаемости х⁽²⁾ на единицу (при неизменном значении х⁽³⁾, х⁽⁴⁾, х⁽⁵⁾) ведет к наибольшему изменению ожидаемой продолжительности жизни (к ее уменьшению на 0,21 год); наибольшие максимально возможные с 95%-ной вероятностью значения результативного признака:

(-0,340716669<a₂<-0,090242077)

(-0,843930005<a₃<-0,382317248)

(-0,222592396<a₄<-0,124852227)

(4,47398E-06<a₄<0,000238742)

г)анализ коэффициентов эластичности показывает, что увеличение х⁽²⁾ -- рождаемости на 1% (при неизменном значении других факторов ведет к уменьшению на 6,3% ожидаемой продолжительности жизни с 95% вероятностью; аналогично увеличение х⁽³⁾ -- смертность, на 1% ведет к уменьшению на 7,4%; увеличение х⁽⁴⁾ -- младенческая смертность и х⁽⁵⁾ -- ВВП на душу населения ведет соответственно к уменьшению на 5,1% и увеличению на 1,5*10^-3% ожидаемой продолжительности жизни.

9. Анализ графиков остатка и графиков подбора, полученных для последней модели с помощью программы «Регрессия» позволяет предположить, что предположение об однородности остатков (гомоскедастичности) не выполняется (графики остатков по х⁽²⁾ , х⁽³⁾, х⁽⁴⁾ и х(2) приведены на рис. 2).