Метод наименьших квадратов

Рассмотрим общую схему процедуру оценки параметров линейной эконометрической модели на основе МНК более подробно. Такая модель в общем виде представлена уравнением (1):

y_t=₀+₁ х_1t +...+_nх_nt +_t. (1)

Исходными данными при оценке параметров ₀, ₁,..., _n являются измеренные (наблюдаемые) значения зависимой переменной, которые можно представить в виде вектора-столбца,

Наблюдаемые значения независимых переменных объединим в матрицу следующего вида:

Х =

Cвое название МНК получил, исходя из смыслового содержания критерия, которому должны удовлетворять полученные на его основе оценки параметров эконометрической модели: сумма квадратов значений фактической ошибки модели должна быть минимальной.

Иными словами, найденные с помощью МНК оценки a₀, a₁,..., a_n, обеспечивают минимум следующей квадратичной формы на множестве всех других комбинаций значений таких оценок:

где e_t - значение фактической ошибки модели в момент t=1,2,..., Т, полученное после подстановки в выражение (1) вместо неизвестных истинных значений параметров ₀, ₁,..., _n их оценок a₀, a₁,..., a_n.

Оптимальные по данному критерию значения оценок в этом случае могут быть найдены путем решения следующей системы так называемых “нормальных” уравнений, вытекающей из условия равенства нулю частных производных функции s² (₀, ₁,..., _n) по своим параметрам в точке минимума:

В системе (2.3) неизвестными являются оценки параметров a₀, a₁,..., a_n, а ее известные коэффициенты сформированы на основе исходных данных и представлены в виде следующих сумм:

i,j=1,2,..., п.

Решения, получаемые на основе развернутой формы системы (2.3), достаточно громоздки, и поэтому в дальнейшем в математических выкладках общего характера будем использовать векторно-матричную форму представления ее составляющих.

Векторно-матричная форма записи линейной эконометрической модели (1) имеет следующий вид:

у=Х+, (2.4)

где у - вектор-столбец, состоящий из Т компонент; Х - матрица размера Т(п+1) (если в модели присутствует “свободный” коэффициент ₀); =(₀, ₁,..., _n)- вектор-столбец параметров, состоящий из п+1-й компоненты; - вектор-стобец ошибки модели, состоящий, как и вектор у, из Т компонент.

Соответственно векторно-матричный вариант модели, в котором вместо неизвестных истинных коэффициентов и ошибок используются их оценки, т. е. вектора а и е, запишем в следующем виде:

у=Ха+е, (2.5)

где а=(а₀, а₁,..., а_n), е=(е₁, е₂,..., е_Т)- вектора значений оценок коэффициентов линейной эконометрической модели и значений ее фактической ошибки соответственно [4, с.175].

Сумму квадратов значений ошибки s² можем представить в виде скалярного произведения вектора-строки е на вектор-столбец е. Проводя несложные преобразования с учетом правил произведения векторов и матриц, получим следующий результат:

s² =(е, е)=(у-Хa)(у-Хa)= уу-aХу-уХa+aХХa=уу-2aХу+aХХa. (2.6)

При проведении преобразований учитывалось правило транспонирования векторно-матричного произведения (zW)=(Wz).

Условие (2.3) в векторной форме записи приобретает следующий вид:

s²/a=0. (2.7)

Заметим, что в выражении (2.7) операция дифференцирования осуществляется по вектору.

С учетом выражения (2.6) уравнение (2.7) приводится к следующему виду:

s²/a=(уу-2aХу+aХХa)/a=-2Ху+2ХХa=0

или ХХa=Ху.

Откуда следует, что “оптимальный” вектор оценок параметров a определяется на основе следующего векторно-матричного выражения:

a=(ХХ)-¹Ху. (2.8)

Все переменные в правой части выражения (2.8) являются известными - это исходные данные, сведенные в матрицу Х и вектор у.

Рассмотрим применение МНК на конкретном примере. Имеются данные о цене на нефть x (долларов за баррель) и индексе акций нефтяной компании y (в процентных пунктах). Требуется найти эмпирическую формулу, отражающую связь между ценой на нефть и индексом акций нефтяной компании исходя из предположения, что связь между указанными переменными линейна и описывается функцией вида yi=в0+в1xi. Зависимой переменной (y) в данной регрессионной модели будет являться индекс акций нефтяной компании, а независимой (x) -- цена на нефть.

Для нахождения коэффициентов в0 и в1 построим вспомогательную таблицу 1.

Таблица 1

Таблица для нахождения коэффициентов в0 и в1

Запишем систему нормальных уравнений исходя из данных таблицы:

1988,52в + 110,13в = 59847,06,

110,13в + 6в = 3288.

Решением данной системы нормальных уравнений будут следующие числа: в1=15,317; в0=266,86. Таким образом, уравнение регрессии, описывающее зависимость между ценой на нефть и индексом акций нефтяной компании, можно записать как: y = 15,317x + 266,86.

На основании полученного уравнения регрессии можно сделать вывод о том, что с изменением цены на нефть на 1 денежную единицу за баррель индекс акций нефтяной компании изменяется примерно на 15,317 процентных пункта.

2. Свойства оценок МНК

Рассмотрим основные условия, при которых оценки коэффициентов линейной эконометрической модели, во-первых, могут быть в принципе найдены, а, во-вторых, их “качество” будет “достаточно высоким”, что является определенным свидетельством и достаточного качества построенной модели.

“Качество” оценок, их свойства тесно связаны со “статистической” трактовкой исходных данных и, в первую очередь, независимых переменных. Рассмотрим сначала случай, когда измеренные (наблюдаемые) значения независимых факторов трактуются как детерминированные (неслучайные) величины.

В этом случае матрица Х представляет собой матрицу, состоящую из констант, и элементы матриц (ХХ) и (ХХ)-¹ также рассматриваются как константы.

Прежде всего заметим, что выражение (2.3) и аналогичное ему выражение (2.7) представляют собой систему (n+1) уравнений с (n+1) неизвестными. Вследствие этого решение, т. е. вектор a, на основе выражения (2.8) теоретически можно получить почти всегда, кроме тех случаев, когда матрица ХХ является вырожденной и, следовательно, обратная ей матрица (ХХ)-¹ не существует.

Вырожденная матрица ХХ будет иметь место в том случае, если хотя бы один из столбцов матрицы Х представим в виде линейной комбинацией нескольких других ее столбцов. От свойства вырожденности матрицы ХХ следует отличать ее плохую обратимость. Это свойство может быть обусловлено существованием почти линейной зависимости между столбцами матрицы Х. В этом случае определитель матрицы ХХ близок к нулю и при расчете элементов обратной ей матрицы могут возникнуть проблемы вычислительного характера, когда неизбежные в расчетах на ЭВМ ошибки округления будут значительно искажать конечный результат. Это, в свою очередь, может повлечь существенные искажения оценок параметров модели, т. е. элементов вектора a.

Другое достаточно естественное ограничение для получения решения состоит в том, что количество измерений факторов Т должно быть больше их числа n+1 (Тn+1). В противном случае получить однозначную оценку параметров модели невозможно, так как количество неизвестных в системе (2.3) превысит число ее уравнений [5, с.367].

Наряду с отмеченными трудностями “вычислительного характера” проблема получения “хороших” оценок параметров эконометрических моделей усложняется еще из-за ряда обстоятельств. Дело в том, что найденные с помощью выражения (2.8) оценки a_i, i=0,1,..., n являются случайными величинами. Их можно представить как сумму истинного значения _i и некоторой случайной ошибки a_i .

Для доказательства справедливости этого утверждения подставим в выражение (2.8) вместо вектора у его выражение Х+, где - вектор истинных значений параметров _i, i=0,1,..., n. После подстановки получим:

a=(ХХ)-¹Х(Х+)=(ХХ)-¹ХХ+(ХХ)-¹Х=

=+(ХХ)-¹Х, (2.9)

где (ХХ)-¹Х=a - вектор ошибки оценок параметров a_i .

При случайном характере оценок коэффициентов модели a_i, i=0,1,..., n; их “высокое качество” подтверждается наличием у них свойств несмещенности и эффективности.

Рассмотрим сначала условие несмещенности этих оценок. Оно означает, что математическое ожидание оценки a_i, i=0,1,..., n; равно истинному значению параметра _i, т. е. M[a_i]=_i.

При условии, что матрица (ХХ) обратима, возьмем математическое ожидание от правой и левой частей выражения (2.9). Получим

М[a]=+М[(ХХ)-¹Х]. (2.10)

Из выражения (2.10) непосредственно вытекает, что для того, чтобы значения a_i, i=0,1,..., n; полученные из выражения (2.8), были несмещенными оценками параметров эконометрической модели _i необходимо выполнение следующего условия:

М[(ХХ)-¹Х] = 0. (2.11)

Поскольку матрица Х является ненулевой, то для выполнения условия (2.11) необходимо, чтобы

а) М[]=0; (2.12)

б) факторы х_it и ошибка _t были независимыми между собой, i=0,1,..., n.

В этом случае математическое ожидание произведения (ХХ)-¹Х можно представить как произведение математических ожиданий двух величин (постоянной матрицы (ХХ)-¹Х на случайный вектор ошибки , т. е. М[(ХХ)-¹Х]=М[(ХХ)-¹Х]М[], откуда следует, что при справедливости (2.12) условие (2.11) выполняется.

Оценка a_i параметра модели _i считается эффективной, если ее дисперсия является минимальной среди дисперсий всех других возможных оценок данного параметра.

Дисперсии оценок a_i, i=0,1,..., n; можно найти как диагональные элементы их ковариационной матрицы. Напомним, что ковариационная матрица вектора оценок a (в общем случае) определяется следующим выражением:

Сov(a)= , (2.13)

где _i²=D(a_i) - дисперсия i-ой оценки; cov(a_i, a_j) - ковариация оценок i-го и j-го параметров.

Ковариационная матрица вектора оценок а может быть представлена как математическое ожидание произведения вектора-столбца ошибки на ее вектор-строку, т. е. Сov(a)=М[aa]. С учетом (2.9) получим:

Сov(a)=М[(ХХ)-¹ХХ(ХХ )-¹]. (2.14)

Поскольку матрица Х образована постоянными величинами, то выражение (2.14) можно переписать в следующем виде:

Сov(a)=(ХХ)-¹ХМ[]Х(ХХ)-¹=

=(ХХ)-¹ХСov()Х(ХХ)-¹, (2.15)

где Сov() является ковариационной матрицей вектора “идеальной” ошибки модели, определяемой следующим выражением:

Сov()= , (2.16)

где, напомним, cov(_i, _j) определяются как ковариация рядов ошибки _t и _t-(i-j).

C учетом выражения (2.15) несложно увидеть, что ₀², ₁²,..., _n² - дисперсии оценок a_i, i=0,1,..., n будут минимальными в том случае, если ковариационная матрица вектора ошибки Сov() имеет следующий вид:

М[]=²Е, (2.17)

где ² - дисперсия истинной ошибки модели, Е - единичная матрица.

В этом случае выражение ковариационной матрицы оценок a значительно упрощается:

Сov(a)=(ХХ)-¹ХСov()Х(ХХ )-¹=

=(ХХ)-¹Х²ЕХ(ХХ)-¹=²(ХХ)-¹. (2.18)

Таким образом, если М[]=²Е, то оценки коэффициентов линейного эконометрического уравнения являются эффективными. На практике дисперсии и ковариации оценок a_i, i=0, 1,..., n; могут быть оценены как элементы матрицы _е²(ХХ)-¹, в которой значение дисперсии ошибки может быть оценено на основе фактических (“выборочных”) значений ошибки e_t, согласно следующей формулы (см. выражение (1.32)):

Таким образом, из полученных результатов вытекает, что использование метода наименьших квадратов позволяет получить несмещенные и эффективные оценки параметров линейной эконометрической модели при детерминированных значениях независимых переменных в случае конечной выборки, если выполняются следующие положения:

1. Математическое ожидание значений ошибки модели для всех моментов времени t равно нулю, т. е. для t=1,2,...,Т

М[_t]=0, М[]=0. (2.20)

2. Значение дисперсии ошибки является постоянной величиной для всех моментов t=1,2,...,Т

² =const. (2.21)

3. Значения ошибки, взятые в различные моменты времени, независимы между собой, т. е. ковариация ошибок _t, _t+s, где s=1,2,... равна 0.

cov (_t , _t+s) = 0. (2.22)

4. Значения независимых факторов модели и ошибки, рассматриваемые в одни и те же моменты времени, являются независимыми, т. е. их ковариации равны нулю.

cov (х_it , _t+s) = 0, (2.23)

для i=1, 2, ... , n.

5. Матрица (ХХ) является невырожденной. На практике это означает, что факторы х_it, i=1, 2, ... , n независимы между собой, в том смысле, что их выборочные парные коэффициенты корреляции не превосходят некоторого порога

r_ij, (2.24)

где r_ij - выборочный коэффициент корреляции между факторами х_i и х_j, i j[1, с.267].

При выполнении условий (2.20)-(2.23) оценки МНК можно считать несмещенными и эффективными.

При вырожденной матрице (ХХ) формально МНК вообще не позволяет определить значения этих оценок, поскольку определитель этой матрицы становится равным нулю и сформировать обратную матрицу (ХХ)-¹ без каких-либо дополнительных “ухищрений” не представляется возможным.

Покажем также, что оценки параметров эконометрической модели, полученные с использованием МНК при детерминированных независимых переменных и справедливости условий (2.12) и (2.17), являются асимптотически несмещенными и состоятельными.

Напомним, что эти свойства в эконометрике рассматриваются как “желательные”, в том смысле, что при прочих равных условиях оценки параметров эконометрической модели, полученные при большем объеме выборки исходных данных из однородной их совокупности, характеризуются меньшим смещением по сравнению с оценками, полученными на основе выборок меньшего объема.

Предположим, что при Т соблюдается условие однородности исходных данных и для матрицы (ХХ) существует следующий предел:

где Q - положительно определенная матрица.

Заметим также, что с учетом (2.25) выражение (2.9) можно представить в следующем виде:

a=+). (2.26)

“Предел по вероятности” вектора оценок а с учетом (2.25) может быть записан следующим образом:

plima=+Q-¹plim). (2.27)

Поскольку Х - матрица с детерминированными компонентами, то при выполнении условий (2.12) и (2.17) получим следующие выражения, определяющие математическое ожидание и дисперсию вектора w= соответственно:

M[w]=M[]=M[]=0, (2.28)

Cov(w)= M[w, w]= M[,]= (2.29)

Из выражения (2.29) непосредственно следует, что при Т дисперсии оценок параметров стремятся к нулю, поскольку

0. (2.30)

Иными словами, оценки параметров эконометрической модели оказались асимптотически несмещенными, а, следовательно, и состоятельными** Напомним, что асимптотическая несмещенность оценок является достаточным условием их состоятельности., т. е.

plim)=0

и с учетом (2.22) имеем:

plima=+Q^-10=. (2.31)

Можно также показать, что при Т и конечных по абсолютной величине элементах матрицы Х закон распределения вектора является асимптотически нормальным с нулевым математическим ожиданием и ковариационной матрицей ²Q. Это свойство записывается следующим образом:

N(0, ²Q). (2.32)

С учетом выражения (2.32) закон распределения вектора (a-)==Q^-1, также является асимптотически нормальным (см. выражение (1.56)):

Q^-1N(Q^-10, Q^-1(²Q) Q^-1] N(0, ²Q^-1], (2.33)

где Q-¹(²Q)Q-¹ - ковариационная матрица вектора Q^-1.

Из выражения (2.33) следует, что вектор оценок параметров а имеет асимптотически нормальное распределение с математическим ожиданием и ковариационной матрицей т. е.

a N[,]. (2.34)

Напомним, что на практике при конечных значениях Т ковариационная матрица этого вектора формируется с использованием следующих замен:

.

Заметим также, что выражение (2.34) является теоретическим обоснованием возможности использования критерия Стьюдента при определении значимости влияния независимых факторов на зависимую переменную модели у.

В эконометрических исследованиях в качестве значений независимых переменных часто приходится использовать исходные данные, которые нельзя интерпретировать как детерминированные величины, поскольку сами они являются результатами, например, выборочных обследований. Примерами таких переменных являются среднедушевой доход, среднедушевое потребление и т. п. Их значения определяются по некоторой выборке индивидуумов из генеральной совокупности жителей.

Аналогично, такая ситуация может иметь место, когда в качестве исходных данных модели используется информация, характеризующая случайно выбранные элементы генеральной совокупности. Например, из совокупности мелких предприятий розничной торговли формируется выборка и характеристики отобранных предприятий (доход, заработная плата, объем реализации и т. п.) рассматриваются как значения независимых переменных модели.

В этих случаях значения независимых переменных можно интерпретировать как случайные величины, подчиняющиеся определенному закону распределения (имеется в виду многомерное распределение совокупности этих величин).

Тогда вектор оценок параметров эконометрической модели, определенный на основе МНК (см. выражение (2.9)), можно интерпретировать как условную оценку, полученную при стохастической матрице наблюдаемых значений независимых факторов Х. С учетом такой трактовки выражение (2.9) может быть представлено в следующем виде [6,с.241]:

M[а|Х]=+(ХХ)-¹ХM[|Х]. (2.35)

Безусловная оценка вектора параметров модели может быть определена как математическое ожидание условных оценок по всем возможным вариантам матрицы Х. Этот результат обычно записывается следующим образом:

M[а]=M_Х[а|Х]=+M_Х[(ХХ)-¹ХM(|Х)], (2.36)

где M_Х - математическое ожидание по всем наборам переменных х_it.

Из выражения (2.36) вытекает, что при “стохастических” независимых переменных оценки параметров эконометрической модели, полученные на основе МНК, могут обладать только свойствами асимптотической несмещенности и эффективности. Иначе говоря, при конечных объемах выборки свойства несмещенности и эффективности для этих оценок не гарантированы.

Существование асимптотических свойств определяется тем обстоятельством, что при увеличении числа исходных данных, выбираемых из однородной совокупности, выборочное среднее должно стремиться к средней по генеральной совокупности, а дисперсия выборочного среднего - к нулю.

С учетом вида выражения (2.36) асимптотическая несмещенность оценок МНК означает, что

(a-)=M_Х[(ХХ)-¹ХM(|Х)]0. (2.37)

Для выполнения условия (2.37) необходимо, чтобы ошибка модели _t и значения элементов х_it матрицы Х, i=0, 1,..., п; t=1, 2,..., Т обладали при Т определенными свойствами, аналогичными (2.12) и (2.17). Из (2.36) непосредственно следует, что выражение (2.37) будет иметь место, если

M[|Х]=M[]=0, M_Х[ХM(|Х)]=0, (2.38)

а также справедливым является предположение (2.25) относительно существования предела матрицы при Т.

Выражение (2.38) означает, что каждый столбец матрицы Х, представляющий собой вектор значений стохастической переменной х_i=[х_i1,..., х_iT], и вектор ошибки независимы между собой, и, кроме того, математическое ожидание ошибки модели равно нулю при всех вариантах выборочных данных.

Асимптотическая матрица ковариаций вектора оценок параметров эконометрической модели со стохастическими независимыми переменными согласно выражению (1.56) может быть определена следующим образом:

asy.var(a)= (a-)(a-)], (2.39)

поскольку M[а|Х]=.

Несложно заметить, что если справедливо следующее условие:

[()|Х]=² E. (2.40)

и выполняются условия (2.38) и (2.25), то выражение (2.39) может быть представлено в следующем виде (см. также (2.18)):

asy.var(a)=

где матрица Q определена выражением (2.25).

Обобщая полученные результаты, отметим, что оценки коэффициентов эконометрической модели со стохастическими независимыми переменными, полученные на основе МНК, являются асимптотически состоятельными и эффективными, если выполняются следующие условия:

[|Х]=M[]=0;

[()|Х]=² E;

)]=0; (2.42)

Q.

Заметим, что условия (2.42) являются “предельными” аналогами предположений (2.20)-(2.24), имевших место в случае конечной выборки.

Таким образом, выражение (2.8), являющееся результатом МНК, позволяет получить значения оценок коэффициентов линейной эконометрической модели “хорошего качества” и при детерминированных, и при стохастических значениях независимых переменных, если выполняются определенные предпосылки относительно соответствующих свойств ошибки этой модели и наблюдаемых исходных данных.

Однако априорно проверить справедливость этих предпосылок, как правило, не представляется возможным. Обычно это можно сделать, лишь получив информацию о фактической ошибке модели, после того как она была построена. Фактическая ошибка модели е_t в данном случае может быть рассмотрена как оценка ее истинной ошибки _t. Тогда совпадение свойств фактической ошибки с предположениями, выдвигаемыми относительно свойств истинной ошибки, может являться достаточно “веской гарантией” обоснованности использования “классического” МНК в качестве метода оценки параметров модели.