Отрасль в системе межотраслевых связей: возможности анализа и прогнозирования

3.5 Статистики для каждой из независимых переменных

К настоящему моменту мы рассмотрели все характеристики уравнения регрессии, которые обычно выдает пакет G - компьютерная программа, сопровождающая данную книгу. Вы можете быстро заглянуть в следующие главы, чтобы увидеть, как выглядят эти выдачи.

Там же вы можете заметить, что для каждой переменной пакет выдает шесть различных характеристик: Reg-Coef, Mexval, T-Stat, Elas, Beta и Mean. Показатели “Reg-Coef” это, конечно же коэффициенты регрессии, то есть значения b для каждой из переменных, расчет которых мы только что рассмотрели, Показатель “Mean” - это средние значения переменных за тот же самый отрезок времени. “Beta” - это коэффициенты регрессии, которые мы получили бы в случае, если бы нормализировали все переменные и сделали их стандартное отклонение равным 1 до построения уравнения.

Показатель “Elas” - это среднее значение эластичности. Эластичность - процент, на который изменилось бы значение зависимой переменной при изменении независимой переменной на один процент - часто оказывается полезной для анализа экономического содержания коэффициентов регрессии. В общем случае эластичность переменной y относительно x равна

elas = (dy/y)/(dx/x) = (dy/dx)(x/y),

где d означает “изменение”. В линейном уравнении, таком как

y = a + bx,

(dy/dx) = b, поэтому величина elas = b(x/y) зависит от значений x и y, для которых она рассчитывается. Обычно рассчитывается и среднее ее значение. В разбираемом нами численном примере эластичность y относительно x₂ равна 0.61*5/15 = 0.203. Какова эластичность y относительно x₃?

Показатель Mexval - предельная объясняющая ценность каждой переменной, - рассчитывается как процент изменения SEE в случае, если бы мы исключили данную переменную из уравнения, а коэффициенты при всех оставшихся переменных были бы рассчитаны так, чтобы получить наилучшую оценку. Этот показатель позволяет нам судить о важности каждой переменной для уравнения в целом.

Показатель T-Stat - t-статистика Стьюдента - отношение коэффициента регрессии к оценке его стандартного отклонения. Он также позволяет судить о важности или “значимости” независимой переменной для уравнения. Однако, оценка стандартного отклонения для коэффициентов регрессии основывается на нескольких очень сомнительных предпосылках, а применение t-теста Стьюдента требует выполнения даже еще более спорных предпосылок. Для обычного повседневного использования простой показатель Mexval представляется гораздо более предпочтительным, чем T-Stat, значение которого зависит от такого числа предпосылок.

3.6 Матричное обозначение для регрессий

Для проведенных в предыдущем разделе расчетов может быть предложено очень удобное сокращенное обозначение с помощью матричного инструментария. Без его введения некоторые вещи просто нельзя будет объяснить. Поскольку изучение самого инструментария матриц не представляет трудностей и он облегчит наши рассуждения в последней части этой главы, мы прямо сейчас уделим несколько страниц на его рассмотрение. Возможно, вы уже знакомы с ним; тогда просто взгляните на уравнение (3.11) и сразу переходите к последнему абзацу раздела.

Для введения матриц давайте еще раз посмотрим на только что решенные нами уравнения:

5b₁ + 25b₂ + 25b₃ = 75

25b₁ + 225b₂ + 85b₃ = 380

25b₁ + 85b₂ + 171b₃ = 415

Мы можем просто сэкономить на коэффициентах b и знаках “+”, если перепишем эти уравнения в следующем виде:

Такой записью мы ничего не изменили в уравнениях - просто мы ввели сокращение. Теперь давайте взглянем на массив чисел слева как на нечто целое и обозначим его через А. Это А и есть матрица. На самом деле, любой прямоугольный массив чисел называется матрицей. Колонка чисел в правой части - тоже матрица, но поскольку она включает только одну колонку, она также называется “вектором”. Для вектора мы будем использовать маленькие буквы и обозначим его через “с”. Колонка неизвестных величин b тоже является вектором, который мы можем назвать “b”. В итоге все уравнение может быть записано в виде

Ab = c.

Можно сказать, что в этом уравнении матрица A “умножена на” вектор b. Смысл этого выражения полностью объясняется взглядом на исходный набор уравнений. Ниже мы приводим пару примеров для того, чтобы вы проверили свое понимание операции умножения матрицы на вектор:

;

Заметим, что согласно правилу умножения матрицы A на вектор b, b должен иметь столько же строк, сколько A - столбцов. В результате мы получим столбец с таким же числом строк, как и у A. Число строк и столбцов в матрице называется ее размерностью. О матрице слева в первом примере говорят, что она имеет размерность “3 на 2”, то есть в ней 3 строки и 2 столбца. Обычно мы пишем “A - матрица (m,n)”, что означает, что в матрице А содержится m строк и n столбцов.

Предположим теперь, что у нас имеется две матрицы: A и B. Если эти матрицы одинаковой размерности, мы можем определить их сумму A + B как матрицу, состоящую из сумм соответствующих (то есть одинаково расположенных) элементов обеих матриц. Например:

Однако, когда дело дойдет до произведения двух матриц AB, мы не станем определять его как матрицу, состоящую из произведений соответствующих элементов. Наоборот, мы определим его как матрицу, первый столбец которой является произведением A на первый столбец из матрицы B, второй столбец - произведением A на второй столбец B и так далее. Вот пример умножения матрицы на матрицу:

.

Для того чтобы произведение AB было определено, матрица B должна иметь столько же строк, сколько A - столбцов. Само произведение будет иметь столько же строк, сколько и А, и столько же столбцов, сколько B. В общем случае AB не равно BA, хотя имеются важные случаи, когда они оказываются равными.

Легко проверить, что не важен порядок, в котором мы выполняем операцию сложения матриц: (A + B) + C = A + (B + C). То же самое верно и для операции умножения: (AB)C = A(BC). Кроме того, как и для обычных чисел, операция умножения для матриц дистрибутивна относительно операции сложения: A(B + C) = AB + AC.

Для представления метода наименьших квадратов в матричном виде нам необходимо ввести еще одно понятие - операцию транспонирования матриц. Транспонированная матрица А, обычно обозначаемая через А^T, это матрица, первый столбец которой равен первой строке матрицы А, второй столбец равен второй строке матрицы А и так далее. Например, если матрица А имеет вид:

A =,

то транспонированная матрица А равна

A^T =

Если выполняется равенство A = A^T, то такая матрица должна быть квадратной и называется симметричной. Приложив немного усилий, вы можете убедиться, что (AB)^T = B^T A^T.

Обозначим теперь для разбиравшегося выше примера построения регрессии матрицу наблюдений независимых переменных через X, а вектор наблюдений зависимой переменной - через y, то есть:

X = y = .

Наконец, обозначим через b вектор коэффициентов уравнения регрессии. Мы ставим задачу найти такие значения b, которые минимизируют сумму квадратов отклонений S. В матричном обозначении она имеет вид:

S = (y - Xb)^T (y - Xb). (3.9m)

Это уравнение обозначено (3.9m) потому что это матричная запись уравнения 3.9.

Вектор b, минимизирующий величину S, определяется уравнением:

(X^T X)b = X^Ty. (3.10m)

Не потребуется много времени для того чтобы убедиться, что это уравнение эквивалентно предыдущему уравнению (3.10). Необходимо лишь выписать матрицы X ^T и X и начать рассчитывать их произведение X^TX, как мы сразу же увидим, что получаем матрицу A, с которой мы начали этот раздел. Заметим параллельно, что матрица X ^TX симметрична.

Как мы теперь можем отобразить процесс решения линейных уравнений с помощью матриц? Для этого нам сначала потребуется ввести специальное обозначение для квадратной матрицы, в которой на диагонали из верхнего левого угла в нижний правый угол содержатся единицы, а остальные элементы - нули. Такая матрица называется “единичной” и обозначается как I. Заметим, что для любой матрицы M выполняются равенства IM = M и MI = I, где I - единичная матрица соответствующей размерности. Предположим теперь, что у нас имеется матричное уравнение Ax = c, где А - квадратная матрица, а x и c - векторы. Тогда, если бы мы нашли такую матрицу B, которая обеспечивала бы выполнение равенства AB = I, то, поскольку A(Bc) = (AB)c = Ic, значение x = Bc стало бы решением уравнений Ax = c.

Но как нам найти матрицу В? Поскольку AB₁ = I₁, AB₂ = I₂ и AB₃ = I₃, где индекс внизу обозначает номер столбца матриц B или I, мы можем просто решить эти уравнения одно за другим для того, чтобы получить столбцы B. Однако, существует более простой способ, позволяющий нам решить все эти уравнения сразу. В Таблице 3.3 показано, как это сделать. В первых трех строках и четырех столбцах этой таблицы вы узнаете соответствующее место Таблицы 3.1. В пятом столбце мы выписали правую часть уравнения AB₁ = I₁.

Теперь, если мы проделаем для этого столбца те же операции, которые в Таблице 3.2 мы проделали для первых четырех, внизу мы получим решение уравнения AB₁ = I₁. Заметим, что введение дополнительного столбца абсолютно никак не сказалось на предыдущих четырех. Точно так же и четвертый столбец не оказал никакого воздействия на то, что происходило с пятым. В итоге мы можем добавить оставшиеся столбцы матрицы I в верхнюю часть Таблицы 3.3, выполнять с ними те же самые операции и получить в трех нижних строках матрицу B. Мы получили решение трех систем уравнений, затратив чуть больше времени, необходимого для решения одной из них.

Таблица 3.3

Регрессия с обращением матрицы

5.	25.	25.	75.	1.	0.	0.
25.	225.	85.	380.	0.	1.	0.
25.	85.	171.	415.	0.	0.	1.
75.	380.	415.	1189.	0.	0.	0.
1.	5.	5.	15.	0.2	0.	0.
0.	100.	-40.	5.	-5.	1.	0.
0.	-40.	46.	40	-5.	0.	1.
0.	5.	40.	64.	-15.	0.	0.
1.	0.	7.	14.75	0.45	-0.05	0.
0.	1.	-0.4	0.05	-0.05	0.01	0.
0.	0.	30.	42.	-7.0	0.4	1.
0.	0.	42.	63.75	-14.75	-0.05	0.
1.	0.	0.	4.95	2.083	-0.143	-0.233
0.	1.	0.	0.61	-0.143	0.015	0.013
0.	0.	1.	1.4	-0.233	0.013	0.033
0.	0.	0.	4.95	-4.950	-0.610	-1.400

Матрица B, найденная нами таким способом, называется “обратной” к матрице A и обозначается как A^-1. Из процесса ее построения мы знаем, что AA^-1 = I. Но верно так же, что A^-1A = I, поскольку

A A^-1 = I,

умножение обеих частей на A^-1 слева дает

A^-1 A A^-1 = A^-1,

а умножение справа на матрицу, обратную к A^-1, (A^-1)^-1 дает

A^-1 AA^-1 (A^-1 )^-1 = A^-1 (A^-1)^-1 = I,

Откуда

A^-1 A = I

Поэтому всякая матрица, обратная исходной справа, является также обратной ей и слева.

Мы часто будем использовать и тот факт, что матрица, обратная к симметричной матрице, сама является симметричной. Если A = A', то

I = (AA^-1) ^T = (A^-1)^T A^T = (A^-1) ^TA,

и домножение справа обеих частей уравнения на A^-1 дает равенство

A^-1 = (A^-1 ) ^T,

которое говорит нам, что А^-1 - симметричная матрица.

Теперь мы можем выразить все наши предыдущие рассуждения с помощью одного уравнения: коэффициенты регрессии определяются уравнением

b = (X ^TX)^-1 X ^Ty. (3.12)

В дальнейшем нам потребуется еще одно понятие - понятие следа квадратной матрицы. Следом называется сумма диагональных элементов матрицы. Таким образом, если С - матрица размерности (m,m), то след матрицы C или tr C равен

tr C = .

Если A - матрица (m,n), а B - (n,m), то определены матрицы AB и BA, которые в общем случае не равны друг другу и даже могут иметь разную размерность. Но обе они являются квадратными матрицами, для которых определены tr(AB) и tr(BA). Теперь сформулируем замечательную и полезную теорему о том, что tr(AB) = tr(BA). Для того чтобы увидеть, почему это верно, заметим, что любой элемент матрицы A - например, a_1,3 - входит в сумму, формирующую tr(AB) ровно один раз, когда он умножается на симметричный элемент матрицы B b_3,1. Теперь заметим, что этот элемент входит в tr(BA) также один раз и тоже умноженным на тот же элемент из B. В итоге суммы, формирующие tr(AB) и tr(BA), состоят из абсолютно одинаковых элементов и, как следствие, должны быть равны.

3.7 Матричное обозначение для суммы квадратов отклонений

Последняя строка каждого этапа расчетов в Таблице 3.3 предоставляет информацию для расчета суммы квадратов отклонений S. До сих пор мы не объяснили содержание этой строки. На первом этапе в ней содержится вектор-строка (y^TX, y^Ty), которая является транспонированным четвертым столбцом, так что первые четыре строки и столбца формируют симметричную матрицу. На последующих этапах мы выполняем для четвертой строки операции, аналогичные тем, что мы производили для первых трех.

Теперь давайте отметим поразительное “совпадение”. На четвертом этапе расчетов в Таблице 3.3 в позиции, где исходно находилось значение y^Ty, находится число 4.95. Оно совпадает со значением S, полученным нами в результате совершенно других операций. Можем ли мы находить сумму квадратов отклонений с помощью работы с матрицей вместо расчета всех отклонений, их квадратов и суммы? Да, это так. И это может оказаться полезным во многих отношениях. Давайте рассмотрим, почему.

К последнему этапу расчетов в Таблице 3.3 мы отняли от исходной последней строки некоторую комбинацию верхних строк и получили нули в первых трех позициях. Какую комбинацию верхних строк мы отняли? Поскольку вначале мы имели в этой строке y^TX, а в итоге получили 0, мы должны были вычесть комбинацию, задаваемую вектором-строкой с, для которого выполняется c(X^TX) = y^TX. На самом деле этот вектор c равен транспонированному вектору коэффициентов регрессии b^T, поскольку

(X^TX)b = X^Ty,

поэтому

b^T(X^TX)^T = y^TX,

и, поскольку (X^TX)^T = X^TX, то верно:

b^T(X^TX) = y^TX.

Поэтому то, что было отнято из последней строки, равно b^TX^Ty. Исходно в этой строке находилось значение y^Ty, в итоге мы там получили y^Ty - b^T(X^Ty). В случае прямого подхода к расчету S сначала вычисляются отклонения:

r = y - Xb = y - X(X^TX)^-1X^Ty,

из которых затем формируется:

S = r ^Tr

= y^Ty - y^TX(X^TX)^-1X^Ty - y^TX(X^TX)^-1X^Ty +

y^TX(X^TX)^-1X^TX(X^TX)^-1X^Ty

= y^Ty - y^TX(X^TX)^-1X^Ty = y^Ty - b^TX^Ty,

что в точности равно тому, что мы получили в результате рассмотренной процедуры.

Теперь предположим на минуту, что мы решили построить регрессию x₂ на x₁. Для этого мы сформируем в точности такую же матрицу 2х2, которую мы видим в верхнем левом углу первого этапа расчетов в Таблице 3.3, а конечным результатом стала бы матрица 2х2 из верхнего левого угла второго этапа. Значение S для этой задачи было бы равным 100, а коэффициент регрессии равен 5. Точно также, если строить регрессию x₃ на x₁, значение S было бы равным 46 с коэффициентом регрессии 5. (Поскольку x₁ - это константа, равная 1, коэффициенты регрессии являются средними значениями, а величина S - это сумма квадратов отклонений от этой средней.) В общем случае на i+ 1-ом этапе после i -той операции расчетов мы наблюдаем коэффициенты регрессии и значения S для регрессии i-той переменной на предыдущие переменные. Таким образом, таблица расчетов позволяет нам судить о взаимосвязи между переменными. Можете ли вы предложить интерпретацию для элемента, находящегося в третьей строке и четвертом столбце на третьем этапе расчетов (его значение равно 42)?

Для расчета показателя нормализованной суммы квадратов отклонений NorRes (Normalized sum of squared Residuals), выдаваемого пакетом G при построении регрессии , необходимо просто на каждом этапе извлекать значение S - число в нижнем правом углу массива. Эти числа затем нужно разделить на последнее из них для получения величин NorRes.

Заметим теперь, что диагональный элемент на каждой итерации равняется величине S для регрессии вводимой независимой переменной на предыдущие. Если этот элемент равен нулю, то расчеты не могут продолжаться. Но нулевое значение здесь может появиться лишь в случае, если вводимая переменная полностью объясняется значениями предыдущих переменных. Если такое случается, скажем, для третьей переменной, то пакет G выдает сообщение: “Переменная 3 является линейной комбинацией предыдущих переменных” и прекращает расчеты данной регрессии.

Анализ Таблицы 3.3 показывает, что на каждом этапе расчетов имеются три столбца, которые формируют единичную матрицу. При работе на компьютере эти столбцы просто занимают оперативную память, поэтому в память обычно помещаются лишь неединичные столбцы матрицы, как это показано в Таблице 3.4. Далее мы будем называть подобную таблицу регрессией с компактным обращением.

Таблица 3.4.

Регрессия с компактным обращением

5.	25.	25.	75.
25.	225.	85.	380.
25.	85.	171.	415.
75.	380.	415.	1189.
0.2	5.	5.	15.
-5.0	100.	-40.	5.
-5.0	-40.	46.	40
-15.0	5.	40.	64.
0.45	-0.05	7.	14.75
-0.05	0.01	-0.4	0.05
-7.0	0.4	30.	42.
-14.75	-0.05	42.	63.75
2.083	-1.143	-0.233	4.95
-0.143	0.015	0.013	0.61
-0.233	0.013	0.033	1.4
-4.950	-0.610	-1.400	4.95

3.8 Показатели предельной объясняющей ценности и производные - характеристики степени важности каждой из переменных

Однако, мы до сих пор не разработали какого-либо подхода, позволяющего нам судить о важности каждой отдельной переменной для уравнения в целом. Показателем, помогающим получить ответ на поставленный вопрос, может служить предельная объясняющая ценность переменной Mexval (Marginal Explanatory Value). Его значение определяется как процент прироста SEE в случае, если данная переменная будет исключена из регрессии и не заменена какой-либо другой, а коэффиценты при оставшихся переменных будут оценены наилучшим образом.

Значения Mexval легко получаются в процессе оценки регрессии с компактным обращением. В случае n независимых переменных на конечном этапе эта форма расчетов приводит к следующей матрице:

a_1,1 ... a_1,n a_1,m

a_n,1 ... a_n,n a_n,m

a_m,1 ... a_m,n a_m,m,

где m = n + 1. Вспомним, что нижний элемент справа равен сумме квадратов отклонений. Отметим также, что значения a_ii не зависят от порядка, в котором проводились вычисления, то есть, в терминах регрессии, они не зависят от порядка представления переменных. Давайте теперь предположим, что последней была введена i-тая переменная, и обозначим элементы массива до ее введения через a^T. Как следствие, мы будем иметь следующие соотношения между а и a^T:

a_ii = 1 / a^T_ii и a^T_ii = 1/a_ii;

a_im = a^T _im /a ^T_ii и a ^T_im = a_im/a_ii;

a_mm = a ^T _mm - a ^T_ima ^T _im/a ^T_ii и a ^T _mm = a_mm + a_ima_im/a_ii.

Таким образом, снижение суммы квадратов отклонений с введением i-той переменной (или рост в случае ее исключения) составляет a_im²/a_ii.

В итоге среднее квадратическое отклонение возрастет c уровня

SEE = sqrt(a_mm/T)

до

SEE' = sqrt((a_mm + a_im²/a_ii)/T),

где T - число наблюдений. Функция sqrt в этой и последующих формулах означает операцию извлечения квадратного корня - (прим.пер.) Поэтому

mexval_i = 100*((SEE ^T/SEE) - 1) =

= 100*(sqrt(1 + (a²_im/a_ii a_mm)) - 1).

Для разбираемого примера мы можем найти:

mexval₁ = 100*(sqrt(1 + (4.95² /(2.083*4.95))) - 1) = 83.74;

mexval₂ = 100*(sqrt(1 + (0.61² /(0.015*4.95))) - 1) = 143.0;

mexval₃ = 100*(sqrt(1 + (1.40² /(0.033*4.95))) - 1) = 258.9.

(Числа справа были получены в результате более точных расчетов, чем те, что приводятся в тексте.)

Результаты этого раздела могут использоваться также для расчета производных значений коэффициентов уравнения относительно друг друга. Предположим, что мы решили не доверять полученному в результате построения регрессии значению коэффициента при некоторой переменной и зафиксировать его на некотором уровне. Какой эффект окажет эта операция на значении других коэффициентов? Или, если быть более точным, каковы производные оставшихся коэффициентов относительно выбранного нами в случае, если их значения определяются минимизацией суммы квадратов отклонений при заданном значении зафиксированного коэффициента? Предположим, что исходное уравнение имеет вид y = Xb + Zc + r, где Z - вектор длины T, c - константа. Какова производная значений b, найденных методом наименьших квадратов, относительно c? Оценка значений b при заданном c равна b = (X^TX)^-1 (X^Ty - X^TZc) , откуда можно легко найти производные вектора b относительно c:

db/dc = -(X^TX)^-1 (XZ),

что просто равно отрицательным значениям коэффициентов регрессии Z на все оставшиеся переменные. Если Z - последняя независимая переменная, то это отрицательные значения столбца Z на предпоследнем шаге приведения матрицы. В обозначениях, используемых в этом разделе, если Z представляет i-тый столбец, нас интересует значение a^T_ji. Из операции приведения мы имеем: a_ji = 0 - a ^T_ji//a ^T_ii и a_ii = 1/a ^T _ii. Отсюда можно вывести -a ^T_ji = a_ji/a_ii. Другими словами, для получения производных всех коэффициентов регрессии относительно i-того коэффициента нам необходимо разделить i-тый столбец матрицы (X^TX)^-1 на ее диагональный элемент. Эти производные позволяют судить нам о чувствительности коэффициентов относительно друг друга. Достаточно часто случаются ситуации, когда значения коэффициентов при нескольких переменных оказывались неинтерпретируемыми, но после фиксации одного из них на ожидаемом значении величина всех остальных становилась приемлемой. Производные могут оказаться очень полезными для выявления подобных ситуаций.

3.9 Показатель воздействия отдельных наблюдений

При построении уравнения регрессии “на глаз” как одно из достоинств этого метода мы отметили то, что он позволяет легко выявить резко выделяющиеся наблюдения - то есть наблюдения, которые в случае их учета оказывают сильное воздействие на коэффициенты регрессии. Выявление выделяющихся наблюдений может оказаться полезным, поскольку данные в таких точках могут оказаться ошибочными. Одним из простых индикаторов выделяющихся наблюдений является переменная “levarage”, которая для наблюдения t определяется как производная предсказываемого значения в момент t y_t относительно реального значения y_t. Если эта производная имеет высокое значение для некоторого наблюдения, данное наблюдение должно оказывать сильное воздействие на коэффициенты регрессии. Выявленное наблюдение необходимо исследовать на верность данных; если же наблюдение является верным, его не следует исключать из банка данных, поскольку именно оно в итоге определяет вид уравнения.

Показатель levarage рассчитывается достаточно просто. Вектор предсказываемых значений равен

y = Xb = X(X^TX)^-1X^Ty,

поэтому производная предсказываемого значения y_t в момент t относительно наблюдавшегося значения y_t равна t-ому диагональному элементу матрицы X(X^TX)^-1X ^T. Очевидно, что для получения диагонали матрицы нам совсем необязательно рассчитывать всю матрицу. Наоборот, для получения первого элемента вектора leverage мы можем умножить первый столбец матрицы X^T на (X^TX)^-1, а затем умножить полученный столбец на первую строку матрицы X, и так далее. Заметим, что для получения показателя leverage используются только значения X, но не y, и при расчете этого показателя для первого наблюдения все остальные наблюдения участвуют только через матрицу (X^TX)^-1.

?????????? ? ????? 3

3.1. Рассчитайте уравнение регрессии для следующих данных:

x1	x2	x3	y
1	5	2	14
1	4	3	13
1	6	3	17
1	7	5	20
1	6	7	19
1	8	6	21

3.2. Для данных из упражнения 3.1 рассчитайте значения показателей SEE, RSQ, RBARSQ и MAPE.

3.3. Для данных из Упражнения 3.1 рассчитайте значения DW и RHO. Предположим, что вам известны значения независимых переменных на два следующих периода, а именно:

x1	x2	x3
1	9	7
1	10	9

Рассчитайте прогнозы на эти два периода с корректировкой на коэффициент автокорреляции и без нее.

3.4. С помощью данных из Упражнения 3.1 рассчитайте эластичность зависимой переменной относительно x2 и x3.

3.5. Для данных из Упражнения 3.1 рассчитайте (X ^TX)^-1, затем X^Ty и, с помощью умножения матриц, b = (X ^TX)^-1X ^Ty.

3.6. Продолжите ваши расчеты с помощью данных из Упражнения 3.1 и включите строку “зависимой переменной” для каждого этапа. Каково значение S, когда в качестве объясняющей переменной используется только x1? Когда используются только x1 и x2? Когда используются все три переменные? Каковы коэффициенты уравнения регрессии x3 на x1 и x2?

3.7. Рассчитайте значения mexval для переменных x1, x2 и x3 из Упражнения 3.1. Найдите производные для b₁ и b₃ относительно b₂.

4. ??????????? ??????????? ??? ?????????? ????????????? ?????????: ????? G

Метод наименьших квадратов для оценки уравнений был разработан одним из величайших математических гениев всех времен - Карлом Фридрихом Гауссом. Гаусс любил этот метод за простоту и легкость его применения. Начальная буква его фамилии - G - была выбрана в качестве названия эконометрического пакета с целью отметить величие вклада этого человека, а также чтобы служить постоянным напоминанием о необходимости поддержания сложности пакета и сложности пользования им на уровне простоты его названия.

Пакет G направлен прежде всего на построение регрессий на основе экономических временных рядов. Пакет написан на языке программирования C++ и может использоваться на персональных компьютерах фирмы IBM и совместимых с ними машинах.

В данной главе рассматривается базовая версия пакета G 5.30[38]; все, описанное в этой главе, действительно также для версии PDG (Public Domain version of G). Здесь вы узнаете о том, как:

- получать сообщения помощи;

- просматривать банк данных, находить в нем названия и описания

переменных;

- выводить переменные в виде чисел и графиков;

- строить уравнения регрессии на основе переменных из банка

данных, интерпретировать полученные результаты,

преобразовывать переменные;

- трансформировать данные для использования в других

программах, в частности, в таблицы для Lotus 1-2-3;

- строить свой банк данных, корректировать и продолжать ряды,

содержащиеся в банке данных;

- использовать командные файлы;

- строить прогноз с помощью одного уравнения;

- преобразовывать ряды данных множеством способов, такими как

взятие логарифма и возведение в степень. Преобразования в G

позволяют также интерполировать пропущенные наблюдения,

аккумулировать инвестиции для формирования показателя запасов

капитала, сглаживать ряды, исключать выделяющиеся

наблюдения, заменять отрицательные значения нулевыми,

формировать годичные ряды данных на основе квартальных или

интерполировать годичные ряды для получения квартальных.

- устанавливать стандартную конфигурацию G.

В Главе 4 объясняется, как из оцененных в G уравнений сформировать модель и как запустить эту модель.

Перед началом работы с этим введением вам следует знать элементы операционной системы DOS для вашего персонального компьютера. Необходимо уметь пользоваться командами dir, md, cd, rd, del, copy, type, path и format; необходимо знать о соглашениях в присвоении имен файлам и директориям, об использовании знака “*” при обращении к файлам, о пакетных файлах (.bat) и их аргументах. Вам также необходимо иметь какой-нибудь текстовый редактор и уметь им пользоваться. К сожалению, редактор edit, являющийся частью DOS 5.0, не работает в G. Для использования выбранного редактора в G, вам следует присвоить ему имя “ed.exe” (или “ed.com”, если это пакетный файл) и поместить его в любую директорию, упомянутую в команде “path” (о команде “path” смотрите в любом руководстве к DOS).

Об инсталляции программного обеспечения G можно прочесть в файле install.doc на полученной вами дискете.

Итак, приступим к выполнению предлагаемых упражнений. В двойных кавычках будут приводиться короткие команды, которые следует вводить. Вам следует печатать то, что находится внутри кавычек, но не сами кавычки. Одиночные кавычки будут использоваться для обозначения отдельных клавиш - таких, как `Esc' или `Enter'. Если не указано что-то другое, после каждой строки следует нажать клавишу `Enter', которая иногда обозначается как `Return' или в виде ниспадающей стрелки, направленной влево ().

Просим прощение за то, что в конце предложений, которые завершаются примером команды для G - таких как:

sma 1000 a1 a16 3

пропущена точка. В данном случае помещение знака “.” в конце примера делает пример неверным, а помещение “.” в начало следующей строки выглядит очень странным. (По этой же причине часто будут пропущены запятые и другие знаки препинания внутри предложения.) Многие команды имеют сокращения. При описании команды сначала всегда будет приводиться ее полная форма и сразу же - ее сокращенная форма.

Некоторые команды пакета G имеют аргументы. Какие-то аргументы являются обязательными, какие-то - нет. При описании общей формы команды мы будем следовать утвердившемуся правилу помещать обязательные аргументы в < >, а необязательные - в [ ]. Так, например, мы можем описать команду DOS “copy” в виде

copy <файл-источник> [целевой файл]

со следующими примерами:

copy c:\dos\ted.com a:\ed.com

copy a:*.*

Теперь приступим к пакету G. Если вы используете жесткий диск, сначала необходимо войти в директорию \ami, напечатав “cd \ami”. Для запуска демонстрационного файла PDG введите “pdg demo” или, если вы работаете с полной версией G, “g demo”. Демонстрация предоставляет быстрый обзор основных возможностей G. Это хорошее начало, но оно не дает достаточной практики для обучения.

Для запуска G или PDG обычным способом просто наберите на знак приглашения DOS “g” или “pdg”. На экране вы увидите развертывание пакета и знак приглашения к работе “=>“. Обычно на это вы будете отвечать `Enter', но позвольте сначала сделать несколько разъяснений.

В процессе своей работы пакет G создает переменные, которые он помещает в рабочую область, сохраняемую на диске под именем “ws”. В самом начале G предоставляет вам единственную во время запуска возможность сделать выбор между следующими возможностями: (a)задать некоторые характеристики этой рабочей области или (b)продолжить пользоваться областью из предыдущего запуска G. Для реализации этого выбора напечатайте после “=>“ как раз “a” или “b” или, для пропуска этой возможности и получения чистой рабочей области со стандартными характеристиками, нажмите клавишу `Enter'. Давайте предположим, что мы находимся в обычной ситуации и хотим обойти предлагаемый выбор. Нажмите на знак “=>“ клавишу `Enter'.

В начале работы G “по умолчанию” запускается банк данных со стандартными датами начала и конца для команд построения графиков, вывода данных, конструирования регрессий. Как задать эти характеристики “по умолчанию”, описано в разделе об установке конфигурации G.. Пакет G, инсталлированный с дистрибуционной дискеты, начнет работу с банком данных под стандартным именем “quip”

Затем вы увидите обычный знак приглашения пакета G - двоеточие в начале строки:

:и G готов к принятию любой из его команд. (Для того, чтобы выйти из G на знак “:” наберите “quit” или просто “q”, и вы выйдете из G в DOS.

Для выполнения какой-нибудь команды DOS (например, “dir”) , находясь в G, наберите

dos dir

После выполнения команды DOS вы снова получите знак приглашения “:”. (Однако эта команда может и не сработать, если у вашего компьютера недостаточный объем оперативной памяти.) Если у вас есть редактор, записанный под именем “ed” в директории, упомянутой в команде “path”, вы можете набрать

ed <имя файла>

внутри G и редактировать файлы. Однако, как уже было сказано, это возможно только для небольших редакторов типа SEE, TED и edlin.

Попрактикуйтесь, пожалуйста, во входе и выходе из G и редактировании файлов внутри G. Если вы предпочитаете другие цвета на дисплее во время работы, вы можете установить их с помощью команды

tcolor <фон> <текст>

где значение “фона” меняется от 0 до 7, а значение “текста” - от 0 до 15. Белые буквы на синем фоне можно получить, напечатав “tcolor 1 15”.

4.1 Просмотр банка данных

Естественным вопросом в начале работы будет: “Какие переменные содержатся в вызванном банке данных?” Для ответа просто введите команду “look”. На экране появятся первые 14 строк файла с именами переменных и их описаниями, по одной переменной в строке. Этот файл называется “stub” для используемого банка данных. Вы можете перемещаться по нему с помощью стрелок вверх и вниз или клавиш `Page Up' и `Page Down'. Клавиша `Home' выведет вас к началу файла. Если вы вошли в интересующую вас строку и хотите посмотреть значения находящейся там переменной, нажмите клавишу `p', и программа справа на экране (возможно, поверх каких-то других записей) выдаст четыре последних значения переменной. Такие данные выводятся в каждой строке для файлов, имя которых начинается со знака '&'.

Для вывода более длинных рядов данных поместите курсор в строку с интересующей вас переменной и введите `t' для распечатки ряда в нижней части экрана. Для того, чтобы посмотреть на график переменной, поместите курсор в строку с ее именем и введите `g'.

Если вы хотите найти какую-нибудь последовательность знаков в stub-файле, введите `f'. Программа вас спросит: “Find what?” (“Найти что?”). Введите искомую последовательность и нажмите `Enter'. Курсор будет помещен в первую строку, где имеется эта последовательность. Для того, чтобы найти эту последовательность, еще раз нажмите `a'. Данная последовательность будет храниться в памяти, пока вы используете другие команды просмотра. Заметим, что 'f' ищет заданную последовательность как среди имен переменных, так и в описаниях рядов или таблиц.

Для задания временных границ, внутри которых команды 'g' и 't' выводят данные, введите 'd'. Программа вас спросит, хотите ли вы задать границы для команд 'g' или 't' или для обеих. После сделанного выбора программа попросит вас задать начальную, а затем и конечную даты. В пакете G используется следующая схема датирования:

90 - в 1990 году (для годичных данных);

90.1 - в первом квартале 1990 года (для квартальных данных);

90.001 - в январе месяце 1990 года (для месячных данных).

Граница данных, выводимых командой `p', определяется датой в последней команде `t'.

Для выхода из команды “look” к знаку приглашения G введите `e'.

Нижняя строка экрана в процессе просмотра постоянно напоминает вам команды, среди которых возможен выбор:

Options: Type Graph Find Again Paste Date PgUp PgDn Home; e to exit

Вам нужно только помнить смысл самих команд.

4.2 Экраны помощи и нововведений

Много информации о работе G можно найти в файлах помощи. На самом деле, поскольку они обновляются и корректируются в каждой новой версии G. Для их использования введите на знак приглашения G “:” команду “help”. Перед вами развернется меню с названиями тем. Передвигаясь по этим темам с помощью стрелок, внизу экрана вы можете увидеть пояснения относительно выделенной темы. Для того, чтобы получить больше информации по выделенной теме, нажмите “Enter” или введите число или букву, обозначающие на экране данную тему. Многие файлы помощи имеют размер больше одной страницы. Используйте стрелки, клавиши `Page Up', `Page Down' и `Home' для передвижения по ним. Команда `f' позволяет найти введенную последовательность знаков в файлах помощи. Нажатие клавиши `Enter' (называемой также `Return') возвращает вас в меню помощи; нажатие `Esc' в файле помощи или в меню помощи возвращает вас к приглашению `:'.

Файлы помощи “help” представляют собой обычные текстовые файлы, и вы можете вызывать и корректировать их с помощью вашего редактора. Вы можете распечатать их, использовав команду DOS “print” или вызвав файл в текстовый редактор и распечатав его оттуда. Все эти файлы имеют имя “help” с расширениями , которые показываются в главном меню помощи.

4.3 Базовая регрессия

Теперь давайте приступим к делу и построим уравнение регрессии для объема личного потребления в постоянных ценах c$ в зависимости от инвестиций в постоянных ценах v$ и объема государственного потребления товаров и услуг в постоянных ценах g$. Для этого потребуется всего лишь две команды: в первой мы дадим название уравнению регрессии, во второй определим саму регрессию:

title Consumption Explained by Investment and Government

r c$ = v$, g$

Команду “title” можно сократить до “ti”. На мгновение появится слово “Calculating...” (“Идет расчет...”), а затем G очистит экран и выдаст на дисплей результаты, похожие на представленные в Таблице 4.1.

Не беспокойтесь, если ваш экран выглядит несколько иначе - возможно, вы работаете с пересмотренными данными на другом временном отрезке или с чуть измененной версией G. Вверху экрана выдается название, которое мы только что присвоили уравнению регрессии.

Результаты построения регрессии, выдаваемые G

: Consumption Explained by Investment and Government

SEE = 44.99 RSQ = 0.9874 RHO = 0.78 Obser = 74 from 1975.100

SEE+1 = 30.58 RBSQ = 0.9870 DW = 0.44 DoFree = 71 to 1993.200

MAPE = 1.25

Variable name Reg-Coef Mexval t-value Elas NorRes Mean

0 c$ - - - - - - - - - - - - - - - - - - - - 2757.50

1 intersept -326.83934 36.1 -7.778 -0.12 79.22 1.00

2 v$ 0.73406 51.5 9.585 0.18 29.85 665.14

3 g$ 3.28620 446.4 45.262 0.94 1.00 789.99

Tap: b beta, f F's, d derivatives, e Elas, m Mexvals, r NorRes, Enter = go on

Теперь вы можете вывести на график реальные и предсказываемые значения для построенной регрессии, напечатав

gr *

На этом графике квадраты представляют исторические значения, а плюсы - предсказанные значения.

Если после анализа графика вы снова захотите взглянуть на результаты в численном виде, нажмите `f'. Нажав 'f' еще раз, вы опять увидите график. Вы можете переходить таким образом от одного к другому столько раз, сколько вам захочется. Для продолжения работы нажмите любую другую клавишу кроме 'f' или 'Esc'.

Теперь, возможно, вы захотите рассчитать ту же самую регрессию на другом временном отрезке и испытать на данных, не использовавшихся для ее построения. Предположим, например, что вы хотите оценить регрессию на данных с первого квартала 1965 г. до четвертого квартала 1985 г., а затем испытать уравнение на отрезке с первого квартала 1986 г. до второго квартала 1993 г. Для этого вам нужно только напечатать команду:

limits 65.1 85.4 93.2

которую можно сократить до:

lim 65.1 85.4 93.2

и затем повторить построение регрессии. Вы, конечно, можете снова ввести:

r c$ = v$, g$

но проще найти эту команду, нажав несколько раз клавишу ``, пока нужная строка не появится на экране. Затем нажмите `End' и `Enter', и регрессия будет оценена в новых границах. (Когда вы с помощью `` вызвали какую-то предыдущую команду, ее можно отредактировать точно также, как и в текстовом редакторе. Но в данном случае в этом не было необходимости.) Вы заметите, что к обычному набору статистик добавились два показателя:

SEE-Test - SEE на испытательном отрезке;

MAPE-Test - MAPE на испытательном отрезке.

Все остальные показатели относятся только к периоду оценки. Если теперь вы напечатаете

gr *

для построения графика, вы заметите, что на графике вертикальная линия разделяет период оценки и испытательный период

Заметим, что G вставил в уравнение свободный член (или постоянную), хотя мы прямо об этом его не просили. В случае, когда вы не хотите включать в уравнение постоянный член, вам следует напечатать знак “!” сразу после знака равенства “=“ в команде r, например:

r c$ = ! v$, g$

Если вы хотите сохранить выданное на экран уравнение регрессии в файле, который в дальнейшем можно будет распечатать или вызвать в текстовый редактор, введите команду

catch <имя файла>

Например:

catch results

Все ваши команды в G и получаемые численные результаты будут сохранены в файле “results”. Графики не сохраняются в этом файле; о том, как распечатать или сохранить графики, вы узнаете чуть позже. Для того, чтобы закрыть этот файл и прекратить сохранение, введите команду “catch off”.

4.4 Простые преобразования переменных и кое-что еще о регрессии

Предположим, что мы хотим построить уравнение регрессии для показателя потребления на душу населения в зависимости от доходов на душу населения. Но ни одной из этих переменных нет в нашем банке данных Quip, хотя показатели совокупных располагаемых доходов pidis$, совокупного объема потребления c$ и численности населения pop имеются там. (Как вы уже заметили, переменные в постоянных ценах в банке данных Quip носят имена с окончанием “$”; мы будем придерживаться этого соглашения и дальше.) Из них вы можете сформировать показатели на душу населения с помощью команд:

f ypc$ = pidis$/pop

f cpc$ = c$/pop

Новые переменные ypc$ и cpc$, созданные этими командами, будут помещены в файлы рабочей области G. Теперь регрессия может быть построена следующим образом:

title PER CAPITA CONSUMPTION FUNCTION

r cpc$ = ypc$

Если переменная ypc$ больше нигде не понадобится, эти четыре строки могут быть заменены следующими тремя:

title PER CAPITA CONSUMPTION FUNCTION

f cpc$ = c$/pop

r cpc$ = pidis$/pop

поскольку команда “r” воспринимает простые выражения в правой части уравнения как отдельные переменные. В данном случае переменная ypc$ не создается и не сохраняется в памяти компьютера. Предположим, однако, что вы создали переменную ypc$ c помощью команды f. Формула в правой части команды f может быть любым арифметическим выражением, включающим знаки сложения (+), вычитания (-), умножения (*), деления (/), а также специальные функции (например, логарифм), которые будут описаны чуть позже. (Выражение со знаками “+” или “-” в правой части команды r следует заключить в скобки, если вы собираетесь использовать полученное уравнение для построения модели. Однако этого не требуется в случае использования команды f.)

Лаговое значение переменной x обозначается как x[1], а x с лагом, скажем, в шесть периодов -как x[6]. Для иллюстрации применения лагов давайте оценим зависимость валовых инвестиций в производственное оборудование (переменная vfnre$ - inVestment, Fixed, Non-Residential, Equipment) от лаговых значений валового производства в частном секторе и лаговых значений его первой разности. Показатель валового производства в частном секторе отсутствует в нашем банке данных, но он может быть рассчитан как Валовый Внутренний Продукт (gdp$) минус Валовое производство в государственном секторе (gdpg$). Поставленную задачу выполнит следующая последовательность команд:

ti VFNRE$ -- PRODUCED DURABLE EQUIPMENT

f gpp$ = gdp$ - gdpg$

f dif$ = gpp$ - gpp$[1]

r vfnre$ = gpp$[1], dif$[1], dif$[2], dif$[3], dif$[4], dif$[5], dif$[6],

dif$[7], dif$[8]

Этот пример показывает, что если строка с командой “r” кончается запятой, то следующая строка воспринимается как ее продолжение. На самом деле, знаки `+', `-', `*', `/',или `_' в конце также делают следующую строку продолжением команд “r” или “f”. Имена переменных, однако, не могут быть разделены.

Кроме вывода графика зависимой переменной после построения регрессии (“gr*”) полезным может стать вывод графика показателя воздействия отдельных наблюдений с помощью команды “gr lever” или графика остатков: “gr resid”. Для того, чтобы посмотреть, как эти показатели отражают различные аспекты оцененной регрессии, вы можете вывести их вместе на один график после возведения остатков в квадрат для избежания отрицательных величин. Последовательность команд будет:

f residsq = resid*resid

mrg lever residsq

В команде построения мультиграфика mrg каждая переменная выводится со своей шкалой.

Многие экономисты любят регрессии с лаговыми значениями зависимой переменной среди независимых переменных. Когда вы построите график по результатам такой регрессии с помощью gr *, на экране вы увидите три кривые. Третья кривая, обозначенная крестиками “x”, рассчитывается в своем начале с помощью реальных значений зависимой переменной на отрезке, предшествующем периоду оценки, а затем расчет предсказанных значений делается на основании предыдущих предсказанных значений. Такой “динамический предсказатель” уже довольно сильно отклоняется от реальных значений, хотя все предсказания на один период вперед на основе реальных лаговых данных были сделаны достаточно точно.

Использование лаговых значений зависимой переменной деформирует статистику Дарбина-Уотсона. Дарбин предложил альтернативный тест для такой ситуации, который известен как статистика Дарбина Н. Она автоматически замещает статистику DW на экране, как только G обнаруживает лаговую зависимую переменную среди независимых переменных. В случае отсутствия автокорреляции остатков распределение статистики Дарбина Н с ростом числа наблюдений приближается к нормальному с нулевым средним значением и единичной дисперсией. Использование лаговых значений зависимой переменной деформирует также t-статистики; для них, к сожалению, в данной ситуации нет готовой замены, поэтому G продолжает их расчет обычным способом.

Одним из законных вопросов к уравнению регрессии будет вопрос о том, насколько его параметры чувствительны к интервалу оценки. Можно, конечно, просто передвигать временные границы оценки уравнения и смотреть, как изменяются его параметры. Однако G позволяет автоматизировать эту процедуру с помощью команды “recur”, которая выполняет то, что называется “рекурсивной регрессией”. Для ее использования сначала следует задать три временные границы с помощью команды “limit”, а затем вместо команды “r” набрать “recur”:

lim <дата 1> <дата 2> <дата 3>

recur y = x2, x3, ... xn

После этого программа сначала оценит уравнение на отрезке “<датa 2> - <датa 3>“, затем на отрезке “один период до <даты 2> - <дата 3>“, затем “два периода до <даты 2> - <дата 3>“ и так далее до <даты 1>. Можно наблюдать изменение коэффициентов прямо на экране, однако для этого имеется и более удобный способ. Просмотрите содержание рабочей области (lis w) и вы увидите, что там появились переменные b1, b2, b3,... bn. Переменная b1 представляет временной ряд значений свободного члена, b2 - временной ряд коэффициентов для x1 и так далее. Значение b1 в некоторый период равно значению свободного члена в уравнении регрессии с началом интервала оценивания в данном периоде. Точно также определены b2, b3,...bn Выводя эти переменные на график, вы можете наблюдать, насколько параметры уравнения были чувствительны к интервалу оценивания. Команды в этом случае будут “gr b1”, “gr b2” и так далее. В рабочей области вы также найдете переменные s1, s2,... Эти переменные представляют стандартные отклонения коэффициентов регрессии, рассчитанные по их обычным формулам.

4.5 Команды add и ed

Предыдущий пример, хотя и простой, показал, что последовательность команд, необходимых для задания параметров и запуска регрессии, достаточно быстро становится очень длинной, и перспектива перепечатывать их каждый раз, когда вы захотите в них что-то изменить, не вдохновляет. К счастью, у этой проблемы имеется простое решение. Это решение заключается в использовании команд “ed” и “add”. Сначала вы набираете команду “ed”, которая вызывает установленный вами простой текстовый редактор, и создаете файл с необходимыми вам командами. Затем с помощью команды “add” вы запускаете этот файл, и программа выполняет все содержащиеся в нем команды. Например, вы можете набрать “ed vfnre$.reg”, записать все команды из предыдущего упражнения в файл vfnre$.reg, выйти из редактора к знаку приглашения “:” и напечатать “add vfnre$.reg”. Для упрощения этой процедуры нажмите клавишу `', которая вернет на экран запись “ed vfne$.reg”, отредактируйте эту команду в “ad vfne$.reg”, нажмите клавиши `End' и `Enter'. Для еще большей простоты команду “ed” можно подавать в виде “edd”, а “add” - в виде “ad”. Работая над уравнением, можно проходить через эту операцию много раз, изменяя вид уравнения и испытывая его.