Линейная модель парной регрессии и корреляции

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Федеральное агентство по образованию Российской Федерации

Пермский государственный технический университет

Гуманитарный факультет

Контрольная работа

По предмету «Эконометрика»

Линейная модель парной регрессии и корреляции

Выполнила: студентка

2 курса гр. ФК-07С

Соколова Е.В.

Принял: Куликов Я.В.

Пермь 2008



Содержание

Введение

1. Линейная регрессия и корреляция: смысл и оценка параметров

2. Оценка значимости параметров линейной регрессии и корреляции

Пример

Библиографический список



Введение

В эконометрике широко используются методы статистики. Ставя цель дать количественное описание взаимосвязей между экономическими переменными, эконометрика, прежде всего, связана с методами регрессии и корреляции.

В зависимости от количества факторов, включенных в уравнение регрессии, принято различать простую (парную) и множественную регрессии.

Простая регрессия представляет собой модель, где среднее значение зависимой (объясняемой) переменной у рассматривается как функция одной независимой (объясняющей) переменной х, т.е. это модель вида

у = ѓ (х).

Множественная регрессия представляет собой модель, где среднее значение зависимой (объясняемой) переменной у рассматривается как функция нескольких независимых (объясняющих) переменных х₁, х₂,..., т.е. это модель вида

У = ѓ (х₁, х₂ …, х_k).

Методам простой или парной регрессии и корреляции, возможностям их применения в эконометрике посвящена данная работа.



1. Линейная регрессия и корреляция: смысл и оценка параметров

Линейная регрессия находит широкое применение в эконометрике ввиду четкой экономической интерпретации ее параметров. Линейная регрессия сводится к нахождению уравнения вида

y_x = a + b * x или y = a + b * x + е. (1)

Уравнение вида y_x = a + b * x позволяет по заданным значениям фактора x иметь теоретические значения результативного признака подстановкой в него фактических значений фактора x (рис 1)

Рис. 1

Построение линейной регрессии сводится к оценке ее параметров - a и b. Оценки параметров линейной регрессии могут быть найдены разными методами. Можно обратиться к полю корреляции и, выбрав на графике две точки, провести через них прямую линию (см. рис.1), затем по графику найти значения параметров. Параметр a определим, как точку пересечения линии регрессии с осью oy а параметр b оценим исходя из угла наклона линии регрессии как dy/dx, где dy - приращение результата y, а dx - приращение фактора x т. е.

y_x = a + b * x



Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК).

Метод наименьших квадратов позволяет получить такие оценки параметров а и b, при которых сумма квадратов отклонений фактических значений результативного признака у от расчетных (теоретических) у_х минимальна:

У(yi - yx_i)² > min (2)

Иными словами, из всего множества линий линия регрессии на графике выбирается так, чтобы сумма квадратов расстояний по вертикали между точками и этой линией была бы минимальной (рис. 2.):

е_{i =} y_i - y_x ,

следовательно,

У е_i² > min

(рис.2)

Для того чтобы найти минимум функции (2), надо вычислить частные производные по каждому из параметров a и b и приравнять их к нулю.

Обозначим У е_i² через S, тогда:

S = У(y_i - y_x)2 = У(y - a - b *x)2 ;

dS / da = - 2Уy + 2 * n*a + 2 *bУx= 0; (3)

dS / da = - 2Уy * x + 2 *a Уx + 2 * b Уx² = 0.

Преобразовывая формулу (3), получим следующую систему нормальных уравнений для оценки параметров a и b:

N *a + bУx = Уy,

aУx + b Уx^{2 =} Уy * x. (4)

Решая систему нормальных уравнений (4) либо методом последовательного исключения переменных, либо методом определителей, найдем искомые оценки параметров а и Ь. Можно воспользоваться следующими формулами для a и b:

a = y - b * x (5)

Формула (5) получена из первого уравнения системы (4), если всего его члены разделить на n:

b = cov(x,y) / у²_x

где cov(x,y) - ковариация признаков; у²_x - дисперсия признака х.

Поскольку cov(x,y) = yx - y * x , а у²_x = x² - x^-2 , получим следующую формулу расчета оценки параметра b:

b = yx - y * x / x² - x² (6)

Формула (6) получается также при решении системы (4) методом определителей, если все элементы расчета разделить на n².

Параметр b называется коэффициентом регрессии. Его величина показывает среднее изменение результата с изменением фактора на одну единицу. Так, если функция издержек (y, тыс. руб.) выражается как y_x = 3000 + 2 * x , (x - количество единиц продукции), то, следовательно, с увеличением объема продукции x на одну единицу издержки производства возрастают в среднем на 2 тыс. руб., т. е. дополнительный прирост продукции на одну единицу потребует увеличения затрат в среднем на 2 тыс. руб.

Знак при коэффициенте регрессии b показывает направление связи: при b > 0 - связь прямая, а при b < 0 - связь обратная.

Возможность четкой экономической интерпретации коэффициента регрессии сделала линейное уравнение регрессии достаточно распространенным в эконометрических исследованиях.

Формально a - значение y при x = 0. Если признак-фактор x не имеет и не может иметь нулевого значения, то трактовка свободного члена a не имеет смысла. Параметр a может не иметь экономического содержания. Попытки экономически интерпретировать параметр a могут привести к абсурду, особенно при a < 0.

Интерпретировать можно лишь знак при параметре a. Если a < 0, то относительное изменение результата происходит медленнее, чем изменение фактора. Иными словами, вариация результата меньше вариации фактора - коэффициент вариации по фактору x выше коэффициента вариации для результата y: Vx > Vy. Для доказательства данного положения сравнимо относительные изменения фактора x и результата y:

Уравнение регрессии всегда дополняется показателем тесноты связи. При использовании линейной регрессии в качестве такого показателя выступает линейный коэффициент корреляции r_xy. Имеются разные модификации формулы линейного коэффициента корреляции, например:

к_чн = и * у_ч . у_н = сщм(чбн) . у_ч * у_н = нч - н * ч . у_ч * у_н (7)

Как известно, линейный коэффициент корреляции находиться в границах - 1 ? r_xy ? 0.

Если коэффициент регрессии b > 0, то 0 ? r_xy ? 1, и , наоборот, при b < 0 - 1 ? r_xy ? 0.

Следует иметь в виду, что величина линейного коэффициента корреляции оценивает тесноту связи рассматриваемых признаков в ее линейной форме. Поэтому близость абсолютной величины линейного коэффициента корреляции к нулю еще не означает отсутствия связи между признаками. При иной спецификации модели связь между признаками может оказаться достаточно тесной.

Для оценки качества подбора линейной функции рассчитывается квадрат линейного коэффициента корреляции r²_xy, называемый коэффициентом детерминации. Коэффициент детерминации характеризует долю дисперсии результативного признака у, объясняемую регрессией, в общей дисперсии результативного признака:

r²_xy = у²_{y объясн.} / у²_{y общ} (8)

Соответственно величина 1 - r² характеризует долю дисперсии у, вызванную влиянием остальных, не учтенных в модели факторов.

Величина коэффициента детерминации является одним из критериев оценки качества линейной модели. Чем больше доля объясненной вариации, тем соответственно меньше роль прочих факторов и, следовательно, линейная модель хорошо аппроксимирует исходные данные, и ею можно воспользоваться для прогноза значений результативного признака. Линейный коэффициент корреляции по содержанию отличается от коэффициента регрессии. Выступая показателем силы связи, коэффициент регрессии b на первый взгляд может быть использован как измеритель ее тесноты. Величина коэффициента регрессии зависит от единиц измерения переменных, от размерности признаков. Кроме того, коэффициенты регрессии - величины именованные, и потому несравнимы для разных признаков.

Сделать коэффициенты регрессии сопоставимыми по разным признакам позволяет определение аналогичного показателя в стандартизованной системе единиц, где в качестве единицы измерения признака используется его среднее квадратическое отклонение (у). Поскольку коэффициент регрессии b имеет единицы измерения дробные (результат/фактор), то умножив, его на среднее квадратическое отклонение фактора х (у_x) и разделив на среднее квадратическое отклонение результата (у_y), получим показатель, пригодный для сравнения интенсивности изменения результата под влиянием разных факторов. Иными словами, мы придем к формуле линейного коэффициента корреляции:

r_xy = b_y/x * у_x / у_y

Его величина выступает в качестве стандартизованного коэффициента регрессии и характеризует среднее в сигмах (у_y) изменение результата с изменением фактора на одну у_x.

Линейный коэффициент корреляции как измеритель тесноты линейной связи признаков логически связан не только с коэффициентом регрессии b, но и с коэффициентом эластичности, который является показателем силы связи, выраженным в процентах. При линейной связи признаков х и у средний коэффициент эластичности в целом по совокупности определяется как

Э _y/x = b_y/x * x / y,

т.е. его формула по построению близка к формуле линейного коэффициента корреляции

r_xy = b_y/x * у_x / у_y,

Как и линейный коэффициент корреляции, коэффициент эластичности сравним по разным признакам.

Если Э _y/x = 0,8 %, а Э _y/z = 0,2 % , то можно заключить, что фактор х в большей мере влияет на результат у, чем фактор z, ибо с ростом х на 1% у возрастает на 0,8 %, а с ростом z на 1 % - только на 0,2 %.

Несмотря на схожесть этих показателей, измерителем тесноты связи выступает линейный коэффициент корреляции (r_xy), а коэффициент регрессии (b_y/x) и коэффициент эластичности (Э _y/x) - показатели силы связи: коэффициент регрессии является абсолютной мерой, ибо имеет единицы измерения, присущие изучаемым признакам у и х, а коэффициент эластичности - относительным показателем силы связи, потому что выражает в процентах.

Для пояснения тесноты связи рассмотрим рисунок 3. Несмотря на всю важность измерения тесноты связи, в эконометрике больший практический интерес приобретает коэффициент детерминации r²_xy , ибо он дает относительную меру влияния фактора на результат, фиксируя одновременно и роль ошибок, т.е. случайных составляющих в формировании моделируемой переменной. Чем ближе коэффициент детерминации к 1 , тем в большей степени уравнение регрессии пригодно для прогнозирования.

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

а б в

Рис. 3 Типы корреляции

а - полная корреляция: r_xy = 1; б - сильная корреляция: r_xy ? 0,8: 0,9;

в - слабая корреляция: r_xy ? 0,2

корреляция линейный нелинейный регрессия 

2. Оценка значимости параметров линейной регрессии и корреляции

После того как уравнение линейной регрессии найдено, проводится оценка значимости как уравнения в целом, так и отдельных его параметров.

Оценка значимости уравнения регрессии в целом дается с помощью F-критерия Фишера. При этом выдвигается нулевая гипотеза, что коэффициент регрессии равен нулю, т. е. b = 0, и, следовательно, фактор х не оказывает влияния на результат у.

Непосредственному расчету F-критерия предшествует анализ дисперсии. Центральное место в нем занимает разложение общей суммы квадратов отклонений переменной у от среднего значения y на две части -- «объясненную» и «остаточную» («необъясненную»):

У ( н - н )² = У ( н_ч - н )² + У ( н - н_ч )² (9)

Общая сумма Сумма квадратов Остаточная сумма квадратов =

отклонений, + квадратов отклонений объясненная регрессией

отклонений

Общая сумма квадратов отклонений индивидуальных значений результативного признака у от среднего значения у вызвана влиянием множества причин. Условно разделим всю совокупность причин на две группы: изучаемый фактор х и прочие факторы. Если фактор не оказывает влияния на результат, то линия регрессии на графике параллельна оси ох и у = у. Тогда вся дисперсия результативного признака обусловлена воздействием прочих факторов и общая сумма квадратов отклонений совпадет с остаточной. Если же прочие факторы не влияют на результат, то у связан с х функционально и остаточная сумма квадратов равна нулю. В этом случае сумма квадратов отклонений, объясненная регрессией, совпадает с общей суммой квадратов.

Поскольку не все точки поля корреляции лежат на линии регрессии, то всегда имеет место их разброс, как обусловленный влиянием фактора х, т. е. регрессией у по х, так и вызванный действием прочих причин (необъясненная вариация). Пригодность линии регрессии для прогноза зависит от того, какая часть общей вариации признака у приходится на объясненную вариацию. Очевидно, что если сумма квадратов отклонений, обусловленная регрессией, будет больше остаточной суммы квадратов, то уравнение регрессии статистически значимо и фактор х оказывает существенное влияние на результат у. Это равносильно тому, что коэффициент детерминации r²_xy, будет приближаться к единице.

Любая сумма квадратов отклонений связана с числом степеней свободы dѓ(degrees of freedom), т.е. с числом свободы независимого варьирования признака. Число степеней свободы связано с числом единиц совокупности n и с числом определяемых по ней констант. Применительно к исследуемой проблеме число степеней свободы должно показать, сколько независимых отклонений из n возможных [(y₁ - y), (y₂ - y),...,(y_n - y)] требуется для образования данной суммы квадратов. Так, для общей суммы квадратов У(y - y)² необходимо (n -1) независимых отклонений, ибо по совокупности из n единиц после расчета среднего уровня свободно варьируют лишь (n - 1) число отклонений. Например, имеем ряд значений у: 1, 2, 3, 4, 5. Среднее из них равно 3, и тогда n отклонений от среднего составят: -- 2; -- 1; 0; 1; 2. Поскольку У(y - y)² = 0, то свободно варьируют лишь четыре отклонения, а пятое отклонение может быть определено, если четыре предыдущие известны.

При расчете объясненной, или факторной, суммы квадратов У(y - y)² используются теоретические (расчетные) значения результативного признака у_х, найденные по линии регрессии: у_х = a + b * x. В линейной регрессии У(y - y)² = b² * У(x - x)² .

В это м не трудно убедиться, обратившись к формуле линейного коэффициента корреляции:

r_xy = b * у_x / у_y (10)

Из формулы 10 видно, что

r²_xy = b² * у²_x / у²_y (11)

где b² * у²_x - дисперсия признака у, обусловленная фактором х;

у²_y - общая дисперсия признака у.

Соответственно сумма квадратов отклонений, обусловленных линейной регрессии, составит:

У(y - y)² = b² * У(x - x)²

Поскольку при заданном объеме наблюдений по х и у факторная сумма квадратов при линейной регрессии зависит только от одной константы коэффициента регрессии b, то данная сумма квадратов имеет одну степень свободы. К этому же выводу придем, если рассмотрим содержательную сторону расчетного значения признака у, т. е. ух. Величина ух определяется по уравнению линейной регрессии:

y_x = a+ b * x

Параметр а можно найти как a = y - b * x. Подставив выражение параметра а в линейную модель, получим:

н_ч = н - и * ч + и * ч = н - и * ( ч - ч )ю

Отсюда видно, что при заданном наборе переменных у и х расчетное значение у_х является функцией лишь одного параметра - коэффициента регрессии. Соответственно и факторная сумма квадратов отклонений имеет число степеней свободы, равное 1.

Существует равенство между числом степеней свободы общей, факторной и остаточной суммами квадратов. Число степеней свободы остаточной суммы квадратов при линейной регрессии составляет n - 2. Число степеней свободы для общей суммы квадратов определяется числом единиц, и поскольку мы используем среднюю вычисленную по данным выборки, то теряем одну степень свободы, т. е. dѓ_общ = n - 1. Итак, имеем два равенства:

1) У(y - y)² = У ( у_х - у )² + У ( у - у_х)²; (12)

2) n - 1 = 1 + ( n - 2).

Разделив каждую сумму квадратов на соответствующее ей число степеней свободы, получим средний квадрат отклонений или дисперсию на одну степень свободы D.

D_общ = У ( у - у)² / n - 1;

D_факт = У ( у_х - у)² / 1;

D_ост = У ( у - у_х)² / n - 2;

Определение дисперсии на одну степень свободы приводит дисперсии к сравнимому виду. Сопоставляя факторную и остаточную дисперсию в расчете на одну степень свободы, получим величину F-отношения, т.е. критерия F:

F = D_факт / D_ост (13)

F - статистика используется для проверки нулевой гипотезы H₀ справедлива, то факторная и остаточная дисперсии не отличается друг от друга. Если H₀ несправедлива, то факторная дисперсия превышает остаточную в несколько раз. Английским статистиком Снедекором разработаны таблицы критических значений F-отношений при разных уровнях зависимости нулевой гипотезы и различном числе степеней свободы. Табличное значение F-критерия - это максимальная величина отношения дисперсий, которая может иметь место при случайном расхождении их для данного уровня вероятности наличия нулевой гипотезы. Вычисленное значение F-отношения признается достоверным (отличным от единицы), если оно больше табличного. В этом случае нулевая гипотеза об отсутствии связи признаков отклоняется и делается вывод о существенности этой связи:

F_факт > F_табл , H₀ отклоняется.

Если же F окажется меньше табличной, то вероятность нулевой гипотезы выше заданного уровня (например, 0,05) и она не может быть отклонена без риска сделать неправильный вывод о наличие связи. В этом случае уравнение регрессии считается статистически незначимым: F_факт > F_табл , H₀ отклоняется.

Величина F-критерия связана с коэффициентом детерминации r² . Факторную сумму квадратов отклонений можно представить как

У ( у_х - у)² = r² * у²_у * n,

а остаточную сумму квадратов - как

У ( у - у_х)² = ( 1 - r²) * у²_у * n.

Тогда значение F-критерия можно выразить следующим образом:

F = r² / 1 - r² *(n - 2) (14)



В линейной регрессии обычно оценивается значимость не только уравнения в целом, но и отдельных его параметров. С этой целью по каждому из параметров определяется его стандартная ошибка: m _a и m _b .

Стандартная ошибка коэффициента регрессии параметра m _b рассчитывается по формуле

m _b = vУ( у - у_х )² / ( n - 2 ) / У ( х - х )² = v S² / У ( х - х )² (15)

где S² - остаточная дисперсия на одну степень свободы.

Поскольку коэффициент регрессии в эконометрических исследованиях имеет четкую экономическую интерпретацию, доверительные границы интервала для коэффициента регрессии не должны содержать противоречивых результатов, например, - 10 ? b ? 40. Такого рода запись показывает, что истинное значение коэффициента регрессии одновременно содержит положительные и отрицательные величины и даже нуль, чего не может быть.

Стандартная ошибка параметра а определяется по формуле

m_a = v У(y-y_x)² / n-2 * Уx² / n*У(x-x)² = vS² * Уx² / n*У(x-x)² (16)

Процедура оценивания значимости данного параметра не отличается от рассмотренной выше для коэффициента регрессии: вычисляется t - критерий:

t_a = a / m_a ,

его величина сравнивается с табличным значением при dѓ = n - 2 степенях свободы.

Значимость линейного коэффициента корреляции проверяется на основе величины ошибки коэффициента корреляции m_r :



m_r = v 1 - r² / n - 2 (17)

Фактическое значение t-критерия Стьюдента определяется как

t_r = r / v 1- r² * v n-2 (18)

Данная формула свидетельствует, что в парной линейной регрессии t_r² = F, ибо, как уже указывалось,

F = r² / 1-r² * (n-2).

Кроме того, t_r² = F, следовательно, t_r² = t_b²,

Таким образом, проверка гипотез о значимости коэффициента регрессии и корреляции равносильна проверке гипотезы о значимости линейного уравнения регрессии.

Пример

По территориям региона приводятся данные за 199Хг (табл. 1).

Таблица 1

Номер региона	Среднедушевой прожиточный минимум в день на одного трудоспособного, руб., х	Среднедневная заработная плата, руб., у
1	78	133
2	82	148
3	87	134
4	79	154
5	89	162
6	106	195
7	67	139
8	88	158
9	73	152
10	87	162
11	76	159
12	115	173

Требуется:

1. Построить линейное уравнение парной регрессии у от х.

2. Рассчитать линейный коэффициент парной корреляции и среднюю ошибку аппроксимации.

Решение:

1. Для расчета параметров уравнения линейной регрессии строим расчетную таблицу (табл.2)

b = у*х - у*х / Ух²-(х)² = 13484-85,6*155,8 / 7492,3-85,6² =

151,8/164,94=0,92;

a = у- b*х = 155,8-0,92*85,6 = 77,00

Получено уравнение регрессии:

у = 77,0+0,92*х.

С увеличением среднедушевого прожиточного минимума на 1 руб. среднедневная заработная плата возрастает в среднем на 0,92руб.

2. Тесноту линейной связи оценит коэффициент корреляции:

r_ху = b* у_х / у_у = 0,92 * 12,95/16,53 = 0,721; r²_ху = 0,52.

Это означает, что 52% вариаций заработной платы (у) объясняется вариацией фактора х - среднедушевого прожиточного минимума.

Качество модели определяет средняя ошибка аппроксимации:

А = 1/n У Аi = 68,9/12 = 5,7%

Качество построенной модели оценивается как хорошее, так как А не превышает 8-10%.

Таблица 2

	х	у	ух	х2	у2	ух	у-ух	Аi
1	78	133	10374	6084	17689	149	-16	12,0
2	82	148	12136	6724	21904	152	-4	2,7
3	87	134	11658	7569	17956	157	-23	17,2
4	79	154	12166	6241	23716	150	4	2,6
5	89	162	14418	7921	26244	159	3	1,9
6	106	195	20670	11236	38025	174	21	10,8
7	67	139	9313	4489	19321	139	0	0,0
8	88	158	13904	7744	24964	158	0	0,0
9	73	152	11096	5329	23104	144	8	5,3
10	87	162	14094	7569	26244	157	5	3,1
11	76	159	12084	5776	25281	147	12	7,5
12	115	173	19895	13225	29929	183	-10	5,8
Итого	1027	1869	161808	89907	294377	18669	0	68,8
Среднее значение	85,6	155,8	13484,0	7492,3	24531,4	х	х	5,7
у	12,95	16,53	х	х	х	х	х	х
у 2	167,7	273,4	х	х	х	х	х	х



Список использованной литературы:

1. Айвазян С.А., Мхитарян В.С. Прикладная статистика и основы эконометрики: Учебник. - М.: ЮНИТИ, 1998.

2. Доугерти К. Введение в эконометрику. - М.: Финансы и статистика, 1999.

3. Практикум по эконометрике: Учеб.пособие / И.И. Елисеева, С.В. Курышева, Н.М. Гордеенко и др.; Под ред. И.И. Елисеенко. - М.: Финансы и статистика, 2005.

4. Эконометрика: Учебник/ И.И. Елисеева, С.В. Курышева, Т.В. Костеева и др.; Под ред. И.И. Елисеевой. - 2-е изд., перераб. И доп. - М.: Финансы и статистика, 2005.

Размещено на Allbest.ru