Линейная модель парной регрессии и корреляции
Парная регрессия и корреляция. Типы кривых, используемые при количественной оценке связей между двумя переменными. Построенные модели по индексу детерминации и средней ошибке аппроксимации. Отбор факторов при построении уравнения множественной регрессии.
Рубрика | Экономико-математическое моделирование |
Вид | курс лекций |
Язык | русский |
Дата добавления | 10.04.2010 |
Размер файла | 1,2 M |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
МОДУЛЬ №1
Тема 1. Парная регрессия и корреляция
Парная регрессия представляет собой регрессию между двумя переменными - и , т. е. модель вида:
,
где - зависимая переменная (результативный признак); - независимая, или объясняющая, переменная (признак-фактор). Знак «^» означает, что между переменными и нет строгой функциональной зависимости, поэтому практически в каждом отдельном случае величина складывается из двух слагаемых:
,
где - фактическое значение результативного признака; - теоретическое значение результативного признака, найденное исходя из уравнения регрессии; - случайная величина, характеризующая отклонения реального значения результативного признака от теоретического, найденного по уравнению регрессии.
Случайная величина называется также возмущением. Она включает влияние не учтенных в модели факторов, случайных ошибок и особенностей измерения. Ее присутствие в модели порождено тремя источниками: спецификацией модели, выборочным характером исходных данных, особенностями измерения переменных.
От правильно выбранной спецификации модели зависит величина случайных ошибок: они тем меньше, чем в большей мере теоретические значения результативного признака , подходят к фактическим данным .
К ошибкам спецификации относятся неправильный выбор той или иной математической функции для и недоучет в уравнении регрессии какого-либо существенного фактора, т. е. использование парной регрессии вместо множественной.
Наряду с ошибками спецификации могут иметь место ошибки выборки, которые имеют место в силу неоднородности данных в исходной статистической совокупности, что, как правило, бывает при изучении экономических процессов. Если совокупность неоднородна, то уравнение регрессии не имеет практического смысла. Для получения хорошего результата обычно исключают из совокупности единицы с аномальными значениями исследуемых признаков. И в этом случае результаты регрессии представляют собой выборочные характеристики.
Использование временной информации также представляет собой выборку из всего множества хронологических дат. Изменив временной интервал, можно получить другие результаты регрессии.
Наибольшую опасность в практическом использовании методов регрессии представляют ошибки измерения. Если ошибки спецификации можно уменьшить, изменяя форму модели (вид математической формулы), а ошибки выборки - увеличивая объем исходных данных, то ошибки измерения практически сводят на нет все усилия по количественной оценке связи между признаками.
Особенно велика роль ошибок измерения при исследовании на макроуровне. Так, в исследованиях спроса и потребления в качестве объясняющей переменной широко используется «доход на душу населения». Вместе с тем, статистическое измерение величины дохода сопряжено с рядом трудностей и не лишено возможных ошибок, например, в результате наличия скрытых доходов.
Предполагая, что ошибки измерения сведены к минимуму, основное внимание в эконометрических исследованиях уделяется ошибкам спецификации модели.
В парной регрессии выбор вида математической функции может быть осуществлен тремя методами:
1) графическим;
2) аналитическим, т.е. исходя из теории изучаемой взаимосвязи;
3) экспериментальным.
При изучении зависимости между двумя признаками графический метод подбора вида уравнения регрессии достаточно нагляден. Он основан на поле корреляции. Основные типы кривых, используемые при количественной оценке связей, представлены на рис. 1.1:
Рис. 1.1. Основные типы кривых, используемые при количественной оценке связей между двумя переменными.
Значительный интерес представляет аналитический метод выбора типа уравнения регрессии. Он основан на изучении материальной природы связи исследуемых признаков.
При обработке информации на компьютере выбор вида уравнения регрессии обычно осуществляется экспериментальным методом, т. е. путем сравнения величины остаточной дисперсии , рассчитанной при разных моделях.
Если уравнение регрессии проходит через все точки корреляционного поля, что возможно только при функциональной связи, когда все точки лежат на линии регрессии , то фактические значения результативного признака совпадают с теоретическими , т.е. они полностью обусловлены влиянием фактора . В этом случае остаточная дисперсия .
В практических исследованиях, как правило, имеет место некоторое рассеяние точек относительно линии регрессии. Оно обусловлено влиянием прочих, не учитываемых в уравнении регрессии, факторов. Иными словами, имеют место отклонения фактических данных от теоретических . Величина этих отклонений и лежит в основе расчета остаточной дисперсии:
.
Чем меньше величина остаточной дисперсии, тем меньше влияние не учитываемых в уравнении регрессии факторов и тем лучше уравнение регрессии подходит к исходным данным.
Считается, что число наблюдений должно в 7-8 раз превышать число рассчитываемых параметров при переменной . Это означает, что искать линейную регрессию, имея менее 7 наблюдений, вообще не имеет смысла. Если вид функции усложняется, то требуется увеличение объема наблюдений, ибо каждый параметр при должен рассчитываться хотя бы по 7 наблюдениям. Значит, если мы выбираем параболу второй степени , то требуется объем информации уже не менее 14 наблюдений.
1.1 Линейная модель парной регрессии и корреляции
Рассмотрим простейшую модель парной регрессии - линейную регрессию. Линейная регрессия находит широкое применение в эконометрике ввиду четкой экономической интерпретации ее параметров.
Линейная регрессия сводится к нахождению уравнения вида
или . (1.1)
Уравнение вида позволяет по заданным значениям фактора находить теоретические значения результативного признака, подставляя в него фактические значения фактора .
Построение линейной регрессии сводится к оценке ее параметров - и . Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК). МНК позволяет получить такие оценки параметров и , при которых сумма квадратов отклонений фактических значений результативного признака от теоретических минимальна:
. (1.2)
Т.е. из всего множества линий линия регрессии на графике выбирается так, чтобы сумма квадратов расстояний по вертикали между точками и этой линией была бы минимальной (рис. 1.2):
Рис. 1.2. Линия регрессии с минимальной дисперсией остатков.
Как известно из курса математического анализа, чтобы найти минимум функции (1.2), надо вычислить частные производные по каждому из параметров и и приравнять их к нулю. Обозначим через , тогда:
.
(1.3)
После несложных преобразований, получим следующую систему линейных уравнений для оценки параметров и :
(1.4)
Решая систему уравнений (1.4), найдем искомые оценки параметров и . Можно воспользоваться следующими готовыми формулами, которые следуют непосредственно из решения системы (1.4):
, , (1.5)
где - ковариация признаков и , - дисперсия признака и
, , , .
Ковариация - числовая характеристика совместного распределения двух случайных величин, равная математическому ожиданию произведения отклонений этих случайных величин от их математических ожиданий. Дисперсия - характеристика случайной величины, определяемая как математическое ожидание квадрата отклонения случайной величины от ее математического ожидания. Математическое ожидание - сумма произведений значений случайной величины на соответствующие вероятности Более подробно смотри Приложение A..
Параметр называется коэффициентом регрессии. Его величина показывает среднее изменение результата с изменением фактора на одну единицу.
Возможность четкой экономической интерпретации коэффициента регрессии сделала линейное уравнение регрессии достаточно распространенным в эконометрических исследованиях.
Формально - значение при . Если признак-фактор не может иметь нулевого значения, то вышеуказанная трактовка свободного члена не имеет смысла, т.е. параметр может не иметь экономического содержания.
Уравнение регрессии всегда дополняется показателем тесноты связи. При использовании линейной регрессии в качестве такого показателя выступает линейный коэффициент корреляции , который можно рассчитать по следующим формулам:
. (1.6)
Линейный коэффициент корреляции находится в пределах: . Чем ближе абсолютное значение к единице, тем сильнее линейная связь между факторами (при имеем строгую функциональную зависимость). Но следует иметь в виду, что близость абсолютной величины линейного коэффициента корреляции к нулю еще не означает отсутствия связи между признаками. При другой (нелинейной) спецификации модели связь между признаками может оказаться достаточно тесной.
Для оценки качества подбора линейной функции рассчитывается квадрат линейного коэффициента корреляции , называемый коэффициентом детерминации. Коэффициент детерминации характеризует долю дисперсии результативного признака , объясняемую регрессией, в общей дисперсии результативного признака:
, (1.7)
где , .
Соответственно величина характеризует долю дисперсии , вызванную влиянием остальных, не учтенных в модели, факторов.
После того как найдено уравнение линейной регрессии, проводится оценка значимости как уравнения в целом, так и отдельных его параметров.
Проверить значимость уравнения регрессии - значит установить, соответствует ли математическая модель, выражающая зависимость между переменными, экспериментальным данным и достаточно ли включенных в уравнение объясняющих переменных (одной или нескольких) для описания зависимой переменной.
Чтобы иметь общее суждение о качестве модели из относительных отклонений по каждому наблюдению, определяют среднюю ошибку аппроксимации:
. (1.8)
Средняя ошибка аппроксимации не должна превышать 8-10%.
Оценка значимости уравнения регрессии в целом производится на основе -критерия Фишера, которому предшествует дисперсионный анализ. В математической статистике дисперсионный анализ рассматривается как самостоятельный инструмент статистического анализа. В эконометрике он применяется как вспомогательное средство для изучения качества регрессионной модели.
Согласно основной идее дисперсионного анализа, общая сумма квадратов отклонений переменной от среднего значения раскладывается на две части - «объясненную» и «необъясненную»:
,
где - общая сумма квадратов отклонений; - сумма квадратов отклонений, объясненная регрессией (или факторная сумма квадратов отклонений); - остаточная сумма квадратов отклонений, характеризующая влияние неучтенных в модели факторов.
Схема дисперсионного анализа имеет вид, представленный в таблице 1.1 ( - число наблюдений, - число параметров при переменной ).
Таблица 1.1
Компоненты дисперсии |
Сумма квадратов |
Число степеней свободы |
Дисперсия на одну степень свободы |
|
Общая |
||||
Факторная |
||||
Остаточная |
Определение дисперсии на одну степень свободы приводит дисперсии к сравнимому виду. Сопоставляя факторную и остаточную дисперсии в расчете на одну степень свободы, получим величину -критерия Фишера:
. (1.9)
Фактическое значение -критерия Фишера (1.9) сравнивается с табличным значением при уровне значимости и степенях свободы и . При этом, если фактическое значение -критерия больше табличного, то признается статистическая значимость уравнения в целом.
Для парной линейной регрессии , поэтому
. (1.10)
Величина -критерия связана с коэффициентом детерминации , и ее можно рассчитать по следующей формуле:
. (1.11)
В парной линейной регрессии оценивается значимость не только уравнения в целом, но и отдельных его параметров. С этой целью по каждому из параметров определяется его стандартная ошибка: и .
Стандартная ошибка коэффициента регрессии определяется по формуле:
, (1.12)
где - остаточная дисперсия на одну степень свободы.
Величина стандартной ошибки совместно с -распределением Стьюдента при степенях свободы применяется для проверки существенности коэффициента регрессии и для расчета его доверительного интервала.
Для оценки существенности коэффициента регрессии его величина сравнивается с его стандартной ошибкой, т.е. определяется фактическое значение -критерия Стьюдента: которое затем сравнивается с табличным значением при определенном уровне значимости и числе степеней свободы . Доверительный интервал для коэффициента регрессии определяется как . Поскольку знак коэффициента регрессии указывает на рост результативного признака при увеличении признака-фактора (), уменьшение результативного признака при увеличении признака-фактора () или его независимость от независимой переменной () (см. рис. 1.3), то границы доверительного интервала для коэффициента регрессии не должны содержать противоречивых результатов, например, . Такого рода запись указывает, что истинное значение коэффициента регрессии одновременно содержит положительные и отрицательные величины и даже ноль, чего не может быть.
Рис. 1.3. Наклон линии регрессии в зависимости от значения параметра .
Стандартная ошибка параметра определяется по формуле:
. (1.13)
Процедура оценивания существенности данного параметра не отличается от рассмотренной выше для коэффициента регрессии. Вычисляется -критерий: , его величина сравнивается с табличным значением при степенях свободы.
Значимость линейного коэффициента корреляции проверяется на основе величины ошибки коэффициента корреляции :
. (1.14)
Фактическое значение -критерия Стьюдента определяется как .
Существует связь между -критерием Стьюдента и -критерием Фишера:
. (1.15)
В прогнозных расчетах по уравнению регрессии определяется предсказываемое значение как точечный прогноз при , т.е. путем подстановки в уравнение регрессии соответствующего значения . Однако точечный прогноз явно не реален. Поэтому он дополняется расчетом стандартной ошибки , т.е. , и соответственно интервальной оценкой прогнозного значения :
,
где , а - средняя ошибка прогнозируемого индивидуального значения:
. (1.16)
Рассмотрим пример. По данным проведенного опроса восьми групп семей известны данные связи расходов населения на продукты питания с уровнем доходов семьи.
Таблица 1.2
Расходы на продукты питания, , тыс. руб. |
0,9 |
1,2 |
1,8 |
2,2 |
2,6 |
2,9 |
3,3 |
3,8 |
|
Доходы семьи, , тыс. руб. |
1,2 |
3,1 |
5,3 |
7,4 |
9,6 |
11,8 |
14,5 |
18,7 |
Предположим, что связь между доходами семьи и расходами на продукты питания линейная. Для подтверждения нашего предположения построим поле корреляции.
Рис. 1.4.
По графику видно, что точки выстраиваются в некоторую прямую линию.
Для удобства дальнейших вычислений составим таблицу.
Таблица 1.3
, % |
||||||||||
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
|
1 |
1,2 |
0,9 |
1,08 |
1,44 |
0,81 |
1,038 |
-0,138 |
0,0190 |
15,33 |
|
2 |
3,1 |
1,2 |
3,72 |
9,61 |
1,44 |
1,357 |
-0,157 |
0,0246 |
13,08 |
|
3 |
5,3 |
1,8 |
9,54 |
28,09 |
3,24 |
1,726 |
0,074 |
0,0055 |
4,11 |
|
4 |
7,4 |
2,2 |
16,28 |
54,76 |
4,84 |
2,079 |
0,121 |
0,0146 |
5,50 |
|
5 |
9,6 |
2,6 |
24,96 |
92,16 |
6,76 |
2,449 |
0,151 |
0,0228 |
5,81 |
|
6 |
11,8 |
2,9 |
34,22 |
139,24 |
8,41 |
2,818 |
0,082 |
0,0067 |
2,83 |
|
7 |
14,5 |
3,3 |
47,85 |
210,25 |
10,89 |
3,272 |
0,028 |
0,0008 |
0,85 |
|
8 |
18,7 |
3,8 |
71,06 |
349,69 |
14,44 |
3,978 |
-0,178 |
0,0317 |
4,68 |
|
Итого |
71,6 |
18,7 |
208,71 |
885,24 |
50,83 |
18,717 |
-0,017 |
0,1257 |
52,19 |
|
Среднее значение |
8,95 |
2,34 |
26,09 |
110,66 |
6,35 |
2,34 |
- |
0,0157 |
6,52 |
|
5,53 |
0,935 |
- |
- |
- |
- |
- |
- |
- |
||
30,56 |
0,874 |
- |
- |
- |
- |
- |
- |
- |
Рассчитаем параметры линейного уравнения парной регрессии . Для этого воспользуемся формулами (1.5):
;
.
Получили уравнение: . Т.е. с увеличением дохода семьи на 1000 руб. расходы на питание увеличиваются на 168 руб.
Как было указано выше, уравнение линейной регрессии всегда дополняется показателем тесноты связи - линейным коэффициентом корреляции :
.
Близость коэффициента корреляции к 1 указывает на тесную линейную связь между признаками.
Коэффициент детерминации (примерно тот же результат получим, если воспользуемся формулой (1.7)) показывает, что уравнением регрессии объясняется 98,7% дисперсии результативного признака, а на долю прочих факторов приходится лишь 1,3%.
Оценим качество уравнения регрессии в целом с помощью -критерия Фишера. Сосчитаем фактическое значение -критерия:
.
Табличное значение (, , ): . Так как , то признается статистическая значимость уравнения в целом.
Для оценки статистической значимости коэффициентов регрессии и корреляции рассчитаем -критерий Стьюдента и доверительные интервалы каждого из показателей. Рассчитаем случайные ошибки параметров линейной регрессии и коэффициента корреляции
:
,
,
.
Фактические значения -статистик: , , . Табличное значение -критерия Стьюдента при и числе степеней свободы есть . Так как , и , то признаем статистическую значимость параметров регрессии и показателя тесноты связи. Рассчитаем доверительные интервалы для параметров регрессии и : и . Получим, что и .
Средняя ошибка аппроксимации (находим с помощью столбца 10 таблицы 1.3; ) говорит о хорошем качестве уравнения регрессии, т.е. свидетельствует о хорошем подборе модели к исходным данным.
И, наконец, найдем прогнозное значение результативного фактора при значении признака-фактора, составляющем 110% от среднего уровня , т.е. найдем расходы на питание, если доходы семьи составят 9,85 тыс. руб.
(тыс. руб.)
Значит, если доходы семьи составят 9,845 тыс. руб., то расходы на питание будут 2,490 тыс. руб.
Найдем доверительный интервал прогноза. Ошибка прогноза
,
а доверительный интервал ():
.
Т.е. прогноз является статистически надежным.
Теперь на одном графике изобразим исходные данные и линию регрессии:
Рис. 1.5.
1.2 Нелинейные модели парной регрессии и корреляции
Если между экономическими явлениями существуют нелинейные соотношения, то они выражаются с помощью соответствующих нелинейных функций.
Различают два класса нелинейных регрессий:
1. Регрессии, нелинейные относительно включенных в анализ объясняющих переменных, но линейные по оцениваемым параметрам, например
- полиномы различных степеней - , ;
- равносторонняя гипербола - ;
- полулогарифмическая функция - .
2. Регрессии, нелинейные по оцениваемым параметрам, например
- степенная - ;
- показательная - ;
- экспоненциальная - .
Регрессии нелинейные по включенным переменным приводятся к линейному виду простой заменой переменных, а дальнейшая оценка параметров производится с помощью метода наименьших квадратов. Рассмотрим некоторые функции.
Парабола второй степени приводится к линейному виду с помощью замены: . В результате приходим к двухфакторному уравнению , оценка параметров которого при помощи МНК, как будет показано в параграфе 2.2 приводит к системе следующих нормальных уравнений:
А после обратной замены переменных получим
(1.17)
Парабола второй степени обычно применяется в случаях, когда для определенного интервала значений фактора меняется характер связи рассматриваемых признаков: прямая связь меняется на обратную или обратная на прямую.
Равносторонняя гипербола может быть использована для характеристики связи удельных расходов сырья, материалов, топлива от объема выпускаемой продукции, времени обращения товаров от величины товарооборота, процента прироста заработной платы от уровня безработицы (например, кривая А.В. Филлипса), расходов на непродовольственные товары от доходов или общей суммы расходов (например, кривые Э. Энгеля) и в других случаях. Гипербола приводится к линейному уравнению простой заменой: . Система линейных уравнений при применении МНК будет выглядеть следующим образом:
(1.18)
Аналогичным образом приводятся к линейному виду зависимости , и другие.
Несколько иначе обстоит дело с регрессиями нелинейными по оцениваемым параметрам, которые делятся на два типа: нелинейные модели внутренне линейные (приводятся к линейному виду с помощью соответствующих преобразований, например, логарифмированием) и нелинейные модели внутренне нелинейные (к линейному виду не приводятся).
К внутренне линейным моделям относятся, например, степенная функция - , показательная - , экспоненциальная - , логистическая - , обратная - .
К внутренне нелинейным моделям можно, например, отнести следующие модели: , .
Среди нелинейных моделей наиболее часто используется степенная функция , которая приводится к линейному виду логарифмированием:
;
;
,
где . Т.е. МНК мы применяем для преобразованных данных:
а затем потенцированием находим искомое уравнение.
Широкое использование степенной функции связано с тем, что параметр в ней имеет четкое экономическое истолкование - он является коэффициентом эластичности. (Коэффициент эластичности показывает, на сколько процентов измениться в среднем результат, если фактор изменится на 1%.) Формула для расчета коэффициента эластичности имеет вид:
. (1.19)
Так как для остальных функций коэффициент эластичности не является постоянной величиной, а зависит от соответствующего значения фактора , то обычно рассчитывается средний коэффициент эластичности:
. (1.20)
Приведем формулы для расчета средних коэффициентов эластичности для наиболее часто используемых типов уравнений регрессии:
Таблица 1.5
Вид функции, |
Первая производная, |
Средний коэффициент эластичности, |
|
1 |
2 |
3 |
|
Возможны случаи, когда расчет коэффициента эластичности не имеет смысла. Это происходит тогда, когда для рассматриваемых признаков бессмысленно определение изменения в процентах.
Уравнение нелинейной регрессии, так же, как и в случае линейной зависимости, дополняется показателем тесноты связи. В данном случае это индекс корреляции:
, (1.21)
где - общая дисперсия результативного признака , - остаточная дисперсия.
Величина данного показателя находится в пределах: . Чем ближе значение индекса корреляции к единице, тем теснее связь рассматриваемых признаков, тем более надежно уравнение регрессии.
Квадрат индекса корреляции носит название индекса детерминации и характеризует долю дисперсии результативного признака , объясняемую регрессией, в общей дисперсии результативного признака:
, (1.22)
т.е. имеет тот же смысл, что и в линейной регрессии; .
Индекс детерминации можно сравнивать с коэффициентом детерминации для обоснования возможности применения линейной функции. Чем больше кривизна линии регрессии, тем величина меньше . А близость этих показателей указывает на то, что нет необходимости усложнять форму уравнения регрессии и можно использовать линейную функцию.
Индекс детерминации используется для проверки существенности в целом уравнения регрессии по -критерию Фишера:
, (1.23)
где - индекс детерминации, - число наблюдений, - число параметров при переменной . Фактическое значение -критерия (1.23) сравнивается с табличным при уровне значимости и числе степеней свободы (для остаточной суммы квадратов) и (для факторной суммы квадратов).
О качестве нелинейного уравнения регрессии можно также судить и по средней ошибке аппроксимации, которая, так же как и в линейном случае, вычисляется по формуле (1.8).
Рассмотрим пример из параграфа 1.1, предположив, что связь между признаками носит нелинейный характер, и найдем параметры следующих нелинейных уравнений: , и .
Для нахождения параметров регрессии делаем замену и составляем вспомогательную таблицу ().
Таблица 1.5
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
11 |
|
1 |
1,2 |
0,182 |
0,9 |
0,164 |
0,033 |
0,81 |
0,499 |
0,401 |
0,1610 |
44,58 |
|
2 |
3,1 |
1,131 |
1,2 |
1,358 |
1,280 |
1,44 |
1,508 |
-0,308 |
0,0947 |
25,64 |
|
3 |
5,3 |
1,668 |
1,8 |
3,002 |
2,781 |
3,24 |
2,078 |
-0,278 |
0,0772 |
15,43 |
|
4 |
7,4 |
2,001 |
2,2 |
4,403 |
4,006 |
4,84 |
2,433 |
-0,233 |
0,0541 |
10,57 |
|
5 |
9,6 |
2,262 |
2,6 |
5,881 |
5,116 |
6,76 |
2,709 |
-0,109 |
0,0119 |
4,20 |
|
6 |
11,8 |
2,468 |
2,9 |
7,157 |
6,092 |
8,41 |
2,929 |
-0,029 |
0,0008 |
0,99 |
|
7 |
14,5 |
2,674 |
3,3 |
8,825 |
7,151 |
10,89 |
3,148 |
0,152 |
0,0232 |
4,62 |
|
8 |
18,7 |
2,929 |
3,8 |
11,128 |
8,576 |
14,44 |
3,418 |
0,382 |
0,1459 |
10,05 |
|
Итого |
71,6 |
15,315 |
18,7 |
41,918 |
35,035 |
50,83 |
18,720 |
-0,020 |
0,5688 |
116,08 |
|
Среднее значение |
8,95 |
1,914 |
2,34 |
5,240 |
4,379 |
6,35 |
- |
- |
0,0711 |
14,51 |
|
- |
0,846 |
0,935 |
- |
- |
- |
- |
- |
- |
- |
||
- |
0,716 |
0,874 |
- |
- |
- |
- |
- |
- |
- |
Найдем уравнение регрессии:
,
.
Т.е. получаем следующее уравнение регрессии: . Теперь заполняем столбцы 8-11 нашей таблицы.
Индекс корреляции находим по формуле (1.21):
,
а индекс детерминации , который показывает, что 91,8% вариации результативного признака объясняется вариацией признака-фактора, а 8,2% приходится на долю прочих факторов.
Средняя ошибка аппроксимации: , что недопустимо велико.
-критерий Фишера:
,
значительно превышает табличное .
Изобразим на графике исходные данные и линию регрессии:
Рис. 1.6.
Для нахождения параметров регрессии делаем замену и составляем вспомогательную таблицу ().
Таблица 1.6
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
11 |
|
1 |
1,2 |
1,10 |
0,9 |
0,99 |
1,2 |
0,81 |
0,734 |
0,166 |
0,0276 |
18,46 |
|
2 |
3,1 |
1,76 |
1,2 |
2,11 |
3,1 |
1,44 |
1,353 |
-0,153 |
0,0235 |
12,77 |
|
3 |
5,3 |
2,30 |
1,8 |
4,14 |
5,3 |
3,24 |
1,857 |
-0,057 |
0,0033 |
3,19 |
|
4 |
7,4 |
2,72 |
2,2 |
5,98 |
7,4 |
4,84 |
2,247 |
-0,047 |
0,0022 |
2,12 |
|
5 |
9,6 |
3,10 |
2,6 |
8,06 |
9,6 |
6,76 |
2,599 |
0,001 |
0,0000 |
0,05 |
|
6 |
11,8 |
3,44 |
2,9 |
9,96 |
11,8 |
8,41 |
2,912 |
-0,012 |
0,0001 |
0,42 |
|
7 |
14,5 |
3,81 |
3,3 |
12,57 |
14,5 |
10,89 |
3,259 |
0,041 |
0,0017 |
1,20 |
|
8 |
18,7 |
4,32 |
3,8 |
16,43 |
18,7 |
14,44 |
3,740 |
0,060 |
0,0036 |
1,58 |
|
Итого |
71,6 |
22,54 |
18,7 |
60,24 |
71,6 |
50,83 |
18,700 |
-0,001 |
0,0619 |
39,82 |
|
Среднее значение |
8,95 |
2,82 |
2,34 |
7,53 |
8,95 |
6,35 |
- |
- |
0,0077 |
4,98 |
|
- |
1,00 |
0,935 |
- |
- |
- |
- |
- |
- |
- |
||
- |
1,00 |
0,874 |
- |
- |
- |
- |
- |
- |
- |
Найдем уравнение регрессии:
,
.
Т.е. получаем следующее уравнение регрессии: . Теперь заполняем столбцы 8-11 нашей таблицы.
Индекс корреляции находим по формуле (1.21):
,
а индекс детерминации , который показывает, что 99,1% вариации результативного признака объясняется вариацией признака-фактора, а 0,9% приходится на долю прочих факторов.
Средняя ошибка аппроксимации: показывает, что линия регрессии хорошо приближает исходные данные.
-критерий Фишера:
,
значительно превышает табличное .
Изобразим на графике исходные данные и линию регрессии:
Рис. 1.7
Для нахождения параметров регрессии необходимо провести ее линеаризацию, как было показано выше:
,
где .
Составляем вспомогательную таблицу для преобразованных данных:
Таблица 1.7
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
|
1 |
0,182 |
-0,105 |
-0,019 |
0,033 |
0,011 |
0,8149 |
0,0851 |
0,0072 |
9,46 |
|
2 |
1,131 |
0,182 |
0,206 |
1,280 |
0,033 |
1,3747 |
-0,1747 |
0,0305 |
14,56 |
|
3 |
1,668 |
0,588 |
0,980 |
2,781 |
0,345 |
1,8473 |
-0,0473 |
0,0022 |
2,63 |
|
4 |
2,001 |
0,788 |
1,578 |
4,006 |
0,622 |
2,2203 |
-0,0203 |
0,0004 |
0,92 |
|
5 |
2,262 |
0,956 |
2,161 |
5,116 |
0,913 |
2,5627 |
0,0373 |
0,0014 |
1,43 |
|
6 |
2,468 |
1,065 |
2,628 |
6,092 |
1,134 |
2,8713 |
0,0287 |
0,0008 |
0,99 |
|
7 |
2,674 |
1,194 |
3,193 |
7,151 |
1,425 |
3,2165 |
0,0835 |
0,0070 |
2,53 |
|
8 |
2,929 |
1,335 |
3,910 |
8,576 |
1,782 |
3,7004 |
0,0996 |
0,0099 |
2,62 |
|
Итого |
15,315 |
6,002 |
14,637 |
35,035 |
6,266 |
18,608 |
0,0919 |
0,0595 |
35,14 |
|
Среднее значение |
1,914 |
0,750 |
1,830 |
4,379 |
0,783 |
- |
- |
0,0074 |
4,39 |
|
0,846 |
0,470 |
- |
- |
- |
- |
- |
- |
- |
||
0,716 |
0,221 |
- |
- |
- |
- |
- |
- |
- |
Найдем уравнение регрессии:
,
.
Т.е. получаем следующее уравнение регрессии: . После потенцирования находим искомое уравнение регрессии:
.
Теперь заполняем столбцы 7-10 нашей таблицы.
Индекс корреляции находим по формуле (1.21):
,
а индекс детерминации , который показывает, что 96,7% вариации результативного признака объясняется вариацией признака-фактора, а 3,3% приходится на долю прочих факторов.
Средняя ошибка аппроксимации: показывает, что линия регрессии хорошо приближает исходные данные.
-критерий Фишера:
,
значительно превышает табличное .
Изобразим на графике исходные данные и линию регрессии:
Рис. 1.8.
Сравним построенные модели по индексу детерминации и средней ошибке аппроксимации:
Таблица 1.8
Модель |
Индекс детерминации, (, ) |
Средняя ошибка аппроксимации, , % |
|
Линейная модель, |
0,987 |
6,52 |
|
Полулогарифмическая модель, |
0,918 |
14,51 |
|
Модель с квадратным корнем, |
0,991 |
4,98 |
|
Степенная модель, |
0,967 |
4,39 |
Наиболее хорошо исходные данные аппроксимирует модель с квадратным корнем. Но в данном случае, так как индексы детерминации линейной модели и модели с квадратным корнем отличаются всего на 0,004, то вполне можно обойтись более простой линейной функцией.
Модуль 2.
Множественная регрессия и корреляция
Парная регрессия может дать хороший результат при моделировании, если влиянием других факторов, воздействующих на объект исследования, можно пренебречь. Если же этим влиянием пренебречь нельзя, то в этом случае следует попытаться выявить влияние других факторов, введя их в модель, т.е. построить уравнение множественной регрессии
,
где - зависимая переменная (результативный признак), - независимые, или объясняющие, переменные (признаки-факторы).
Множественная регрессия широко используется в решении проблем спроса, доходности акций, при изучении функции издержек производства, в макроэкономических расчетах и целом ряде других вопросов эконометрики. В настоящее время множественная регрессия - один из наиболее распространенных методов в эконометрике. Основная цель множественной регрессии - построить модель с большим числом факторов, определив при этом влияние каждого из них в отдельности, а также совокупное их воздействие на моделируемый показатель.
2.1 Спецификация модели. Отбор факторов при построении уравнения множественной регрессии
Построение уравнения множественной регрессии начинается с решения вопроса о спецификации модели. Он включает в себя два круга вопросов: отбор факторов и выбор вида уравнения регрессии.
Включение в уравнение множественной регрессии того или иного набора факторов связано прежде всего с представлением исследователя о природе взаимосвязи моделируемого показателя с другими экономическими явлениями. Факторы, включаемые во множественную регрессию, должны отвечать следующим требованиям.
1. Они должны быть количественно измеримы. Если необходимо включить в модель качественный фактор, не имеющий количественного измерения, то ему нужно придать количественную определенность.
2. Факторы не должны быть интеркоррелированы и тем более находиться в точной функциональной связи.
Включение в модель факторов с высокой интеркорреляцией, может привести к нежелательным последствиям - система нормальных уравнений может оказаться плохо обусловленной и повлечь за собой неустойчивость и ненадежность оценок коэффициентов регрессии.
Если между факторами существует высокая корреляция, то нельзя определить их изолированное влияние на результативный показатель и параметры уравнения регрессии оказываются неинтерпретируемыми.
Включаемые во множественную регрессию факторы должны объяснить вариацию независимой переменной. Если строится модель с набором факторов, то для нее рассчитывается показатель детерминации , который фиксирует долю объясненной вариации результативного признака за счет рассматриваемых в регрессии факторов. Влияние других, не учтенных в модели факторов, оценивается как с соответствующей остаточной дисперсией .
При дополнительном включении в регрессию фактора коэффициент детерминации должен возрастать, а остаточная дисперсия уменьшаться:
и .
Если же этого не происходит и данные показатели практически не отличаются друг от друга, то включаемый в анализ фактор не улучшает модель и практически является лишним фактором.
Насыщение модели лишними факторами не только не снижает величину остаточной дисперсии и не увеличивает показатель детерминации, но и приводит к статистической незначимости параметров регрессии по критерию Стьюдента.
Таким образом, хотя теоретически регрессионная модель позволяет учесть любое число факторов, практически в этом нет необходимости. Отбор факторов производится на основе качественного теоретико-экономического анализа. Однако теоретический анализ часто не позволяет однозначно ответить на вопрос о количественной взаимосвязи рассматриваемых признаков и целесообразности включения фактора в модель. Поэтому отбор факторов обычно осуществляется в две стадии: на первой подбираются факторы исходя из сущности проблемы; на второй - на основе матрицы показателей корреляции определяют статистики для параметров регрессии.
Коэффициенты интеркорреляции (т.е. корреляции между объясняющими переменными) позволяют исключать из модели дублирующие факторы. Считается, что две переменные явно коллинеарны, т.е. находятся между собой в линейной зависимости, если . Если факторы явно коллинеарны, то они дублируют друг друга и один из них рекомендуется исключить из регрессии. Предпочтение при этом отдается не фактору, более тесно связанному с результатом, а тому фактору, который при достаточно тесной связи с результатом имеет наименьшую тесноту связи с другими факторами. В этом требовании проявляется специфика множественной регрессии как метода исследования комплексного воздействия факторов в условиях их независимости друг от друга.
Пусть, например, при изучении зависимости матрица парных коэффициентов корреляции оказалась следующей:
Таблица 2.1
1 |
0,8 |
0,7 |
0,6 |
||
0,8 |
1 |
0,8 |
0,5 |
||
0,7 |
0,8 |
1 |
0,2 |
||
0,6 |
0,5 |
0,2 |
1 |
Очевидно, что факторы и дублируют друг друга. В анализ целесообразно включить фактор , а не , хотя корреляция с результатом слабее, чем корреляция фактора с , но зато значительно слабее межфакторная корреляция . Поэтому в данном случае в уравнение множественной регрессии включаются факторы , .
По величине парных коэффициентов корреляции обнаруживается лишь явная коллинеарность факторов. Наибольшие трудности в использовании аппарата множественной регрессии возникают при наличии мультиколлинеарности факторов, когда более чем два фактора связаны между собой линейной зависимостью, т.е. имеет место совокупное воздействие факторов друг на друга. Наличие мультиколлинеарности факторов может означать, что некоторые факторы будут всегда действовать в унисон. В результате вариация в исходных данных перестает быть полностью независимой и нельзя оценить воздействие каждого фактора в отдельности.
Включение в модель мультиколлинеарных факторов нежелательно в силу следующих последствий:
1. Затрудняется интерпретация параметров множественной регрессии как характеристик действия факторов в «чистом» виде, ибо факторы коррелированы; параметры линейной регрессии теряют экономический смысл.
2. Оценки параметров ненадежны, обнаруживают большие стандартные ошибки и меняются с изменением объема наблюдений (не только по величине, но и по знаку), что делает модель непригодной для анализа и прогнозирования.
Для оценки мультиколлинеарности факторов может использоваться определитель матрицы парных коэффициентов корреляции между факторами.
Если бы факторы не коррелировали между собой, то матрица парных коэффициентов корреляции между факторами была бы единичной матрицей, поскольку все недиагональные элементы были бы равны нулю. Так, для уравнения, включающего три объясняющих переменных
матрица коэффициентов корреляции между факторами имела бы определитель, равный единице:
.
Если же, наоборот, между факторами существует полная линейная зависимость и все коэффициенты корреляции равны единице, то определитель такой матрицы равен нулю:
.
Чем ближе к нулю определитель матрицы межфакторной корреляции, тем сильнее мультиколлинеарность факторов и ненадежнее результаты множественной регрессии. И, наоборот, чем ближе к единице определитель матрицы межфакторной корреляции, тем меньше мультиколлинеарность факторов.
Существует ряд подходов преодоления сильной межфакторной корреляции. Самый простой путь устранения мультиколлинеарности состоит в исключении из модели одного или нескольких факторов. Другой подход связан с преобразованием факторов, при котором уменьшается корреляция между ними.
Одним из путей учета внутренней корреляции факторов является переход к совмещенным уравнениям регрессии, т.е. к уравнениям, которые отражают не только влияние факторов, но и их взаимодействие. Так, если , то возможно построение следующего совмещенного уравнения:
.
Рассматриваемое уравнение включает взаимодействие первого порядка (взаимодействие двух факторов). Возможно включение в модель и взаимодействий более высокого порядка, если будет доказана их статистическая значимость по -критерию Фишера, но, как правило, взаимодействия третьего и более высоких порядков оказываются статистически незначимыми.
Отбор факторов, включаемых в регрессию, является одним из важнейших этапов практического использования методов регрессии. Подходы к отбору факторов на основе показателей корреляции могут быть разные. Они приводят построение уравнения множественной регрессии соответственно к разным методикам. В зависимости от того, какая методика построения уравнения регрессии принята, меняется алгоритм ее решения на ЭВМ.
Наиболее широкое применение получили следующие методы построения уравнения множественной регрессии:
1. Метод исключения - отсев факторов из полного его набора.
2. Метод включения - дополнительное введение фактора.
3. Шаговый регрессионный анализ - исключение ранее введенного фактора.
При отборе факторов также рекомендуется пользоваться следующим правилом: число включаемых факторов обычно в 6-7 раз меньше объема совокупности, по которой строится регрессия. Если это соотношение нарушено, то число степеней свободы остаточной дисперсии очень мало. Это приводит к тому, что параметры уравнения регрессии оказываются статистически незначимыми, а -критерий меньше табличного значения.
2.2 Метод наименьших квадратов (МНК).Свойства оценок на основе МНК
Возможны разные виды уравнений множественной регрессии: линейные и нелинейные.
Ввиду четкой интерпретации параметров наиболее широко используется линейная функция. В линейной множественной регрессии параметры при называются коэффициентами «чистой» регрессии. Они характеризуют среднее изменение результата с изменением соответствующего фактора на единицу при неизмененном значении других факторов, закрепленных на среднем уровне.
Рассмотрим линейную модель множественной регрессии
. (2.1)
Классический подход к оцениванию параметров линейной модели множественной регрессии основан на методе наименьших квадратов (МНК). МНК позволяет получить такие оценки параметров, при которых сумма квадратов отклонений фактических значений результативного признака от расчетных минимальна:
. (2.2)
Как известно из курса математического анализа, для того чтобы найти экстремум функции нескольких переменных, надо вычислить частные производные первого порядка по каждому из параметров и приравнять их к нулю.
Итак. Имеем функцию аргумента:
.
Находим частные производные первого порядка:
После элементарных преобразований приходим к системе линейных нормальных уравнений для нахождения параметров линейного уравнения множественной регрессии (2.1):
(2.3)
Для двухфакторной модели данная система будет иметь вид:
Метод наименьших квадратов применим и к уравнению множественной регрессии в стандартизированном масштабе:
(2.4)
где - стандартизированные переменные: , , для которых среднее значение равно нулю: , а среднее квадратическое отклонение равно единице: ; - стандартизированные коэффициенты регрессии.
Стандартизованные коэффициенты регрессии показывают, на сколько единиц изменится в среднем результат, если соответствующий фактор изменится на одну единицу при неизменном среднем уровне других факторов. В силу того, что все переменные заданы как центрированные и нормированные, стандартизованные коэффициенты регрессии можно сравнивать между собой. Сравнивая их друг с другом, можно ранжировать факторы по силе их воздействия на результат. В этом основное достоинство стандартизованных коэффициентов регрессии в отличие от коэффициентов «чистой» регрессии, которые несравнимы между собой.
Применяя МНК к уравнению множественной регрессии в стандартизированном масштабе, получим систему нормальных уравнений вида
(2.5)
где и - коэффициенты парной и межфакторной корреляции.
Коэффициенты «чистой» регрессии связаны со стандартизованными коэффициентами регрессии следующим образом:
. (2.6)
Поэтому можно переходить от уравнения регрессии в стандартизованном масштабе (2.4) к уравнению регрессии в натуральном масштабе переменных (2.1), при этом параметр определяется как .
Рассмотренный смысл стандартизованных коэффициентов регрессии позволяет их использовать при отсеве факторов - из модели исключаются факторы с наименьшим значением .
На основе линейного уравнения множественной регрессии
(2.7)
могут быть найдены частные уравнения регрессии:
(2.8)
т.е. уравнения регрессии, которые связывают результативный признак с соответствующим фактором при закреплении остальных факторов на среднем уровне. В развернутом виде систему (2.8) можно переписать в виде:
При подстановке в эти уравнения средних значений соответствующих факторов они принимают вид парных уравнений линейной регрессии, т.е. имеем
(2.9)
Где
В отличие от парной регрессии частные уравнения регрессии характеризуют изолированное влияние фактора на результат, ибо другие факторы закреплены на неизменном уровне. Эффекты влияния других факторов присоединены в них к свободному члену уравнения множественной регрессии. Это позволяет на основе частных уравнений регрессии определять частные коэффициенты эластичности:
, (2.10)
где - коэффициент регрессии для фактора в уравнении множественной регрессии, - частное уравнение регрессии.
Наряду с частными коэффициентами эластичности могут быть найдены средние по совокупности показатели эластичности:
, (2.11)
которые показывают на сколько процентов в среднем изменится результат, при изменении соответствующего фактора на 1%. Средние показатели эластичности можно сравнивать друг с другом и соответственно ранжировать факторы по силе их воздействия на результат.
Рассмотрим пример Данные примера взяты из [5] (для сокращения объема вычислений ограничимся только десятью наблюдениями). Пусть имеются следующие данные (условные) о сменной добыче угля на одного рабочего (т), мощности пласта (м) и уровне механизации работ (%), характеризующие процесс добычи угля в 10 шахтах.
Таблица 2.2
№ |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
|
8 |
11 |
12 |
9 |
8 |
8 |
9 |
9 |
8 |
12 |
||
5 |
8 |
8 |
5 |
7 |
8 |
6 |
4 |
5 |
7 |
||
5 |
10 |
10 |
7 |
5 |
6 |
6 |
5 |
6 |
8 |
Предполагая, что между переменными , , существует линейная корреляционная зависимость, найдем уравнение регрессии по и .
Для удобства дальнейших вычислений составляем таблицу ():
Таблица 2.3
№ |
||||||||||||
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
11 |
12 |
|
1 |
8 |
5 |
5 |
64 |
25 |
25 |
40 |
40 |
25 |
5,13 |
0,016 |
|
2 |
11 |
8 |
10 |
121 |
64 |
100 |
88 |
110 |
80 |
8,79 |
1,464 |
|
3 |
12 |
8 |
10 |
144 |
64 |
100 |
96 |
120 |
80 |
9,64 |
0,127 |
|
4 |
9 |
5 |
7 |
81 |
25 |
49 |
45 |
63 |
35 |
5,98 |
1,038 |
|
5 |
8 |
7 |
5 |
64 |
49 |
25 |
56 |
40 |
35 |
5,86 |
0,741 |
|
6 |
8 |
8 |
6 |
64 |
64 |
36 |
64 |
48 |
48 |
6,23 |
0,052 |
|
7 |
9 |
6 |
6 |
81 |
36 |
36 |
54 |
54 |
36 |
6,35 |
0,121 |
|
8 |
9 |
4 |
5 |
81 |
16 |
25 |
36 |
45 |
20 |
5,61 |
0,377 |
|
9 |
8 |
5 |
6 |
64 |
25 |
36 |
40 |
48 |
30 |
5,13 |
0,762 |
|
10 |
12 |
7 |
8 |
144 |
49 |
64 |
84 |
96 |
56 |
9,28 |
1,631 |
|
Сумма |
94 |
63 |
68 |
908 |
417 |
496 |
603 |
664 |
445 |
68 |
6,329 |
|
Среднее значение |
9,4 |
6,3 |
6,8 |
90,8 |
41,7 |
49,6 |
60,3 |
66,4 |
44,5 |
- |
- |
|
2,44 |
2,01 |
3,36 |
- |
- |
- |
- |
- |
- |
- |
- |
||
1,56 |
1,42 |
1,83 |
- |
- |
- |
- |
- |
- |
- |
- |
Для нахождения параметров уравнения регрессии в данном случае необходимо решить следующую систему нормальных уравнений:
Откуда получаем, что , , . Т.е. получили следующее уравнение множественной регрессии:
.
Оно показывает, что при увеличении только мощности пласта (при неизменном ) на 1 м добыча угля на одного рабочего увеличится в среднем на 0,854 т, а при увеличении только уровня механизации работ (при неизменном ) на 1% - в среднем на 0,367 т.
Найдем уравнение множественной регрессии в стандартизованном масштабе:
при этом стандартизованные коэффициенты регрессии будут
,
.
Т.е. уравнение будет выглядеть следующим образом:
.
Так как стандартизованные коэффициенты регрессии можно сравнивать между собой, то можно сказать, что мощность пласта оказывает большее влияние на сменную добычу угля, чем уровень механизации работ.
Сравнивать влияние факторов на результат можно также при помощи средних коэффициентов эластичности (2.11):
.
Вычисляем:
, .
Т.е. увеличение только мощности пласта (от своего среднего значения) или только уровня механизации работ на 1% увеличивает в среднем сменную добычу угля на 1,18% или 0,34% соответственно. Таким образом, подтверждается большее влияние на результат фактора , чем фактора .
2.3 Проверка существенности факторов и показатели качества регрессии
Практическая значимость уравнения множественной регрессии оценивается с помощью показателя множественной корреляции и его квадрата - показателя детерминации.
Показатель множественной корреляции характеризует тесноту связи рассматриваемого набора факторов с исследуемым признаком или, иначе, оценивает тесноту совместного влияния факторов на результат.
Независимо от формы связи показатель множественной корреляции может быть найден как индекс множественной корреляции:
, (2.12)
где - общая дисперсия результативного признака; - остаточная дисперсия.
Границы изменения индекса множественной корреляции от 0 до 1. Чем ближе его значение к 1, тем теснее связь результативного признака со всем набором исследуемых факторов. Величина индекса множественной корреляции должна быть больше или равна максимальному парному индексу корреляции:
.
При правильном включении факторов в регрессионную модель величина индекса множественной корреляции будет существенно отличаться от индекса корреляции парной зависимости. Если же дополнительно включенные в уравнение множественной регрессии факторы третьестепенны, то индекс множественной корреляции может практически совпадать с индексом парной корреляции (различия в третьем, четвертом знаках). Отсюда ясно, что сравнивая индексы множественной и парной корреляции, можно сделать вывод о целесообразности включения в уравнение регрессии того или иного фактора.
Расчет индекса множественной корреляции предполагает определение уравнения множественной регрессии и на его основе остаточной дисперсии:
. (2.13)
Можно пользоваться следующей формулой индекса множественной детерминации:
. (2.14)
При линейной зависимости признаков формула индекса множественной корреляции может быть представлена следующим выражением:
, (2.15)
где - стандартизованные коэффициенты регрессии; - парные коэффициенты корреляции результата с каждым фактором.
Формула индекса множественной корреляции для линейной регрессии получила название линейного коэффициента множественной корреляции, или, что то же самое, совокупного коэффициента корреляции.
Возможно также при линейной зависимости определение совокупного коэффициента корреляции через матрицу парных коэффициентов корреляции:
, (2.16)
Где
- определитель матрицы парных коэффициентов корреляции;
- определитель матрицы межфакторной корреляции.
Как видим, величина множественного коэффициента корреляции зависит не только от корреляции результата с каждым из факторов, но и от межфакторной корреляции. Рассмотренная формула позволяет определять совокупный коэффициент корреляции, не обращаясь при этом к уравнению множественной регрессии, а используя лишь парные коэффициенты корреляции.
В рассмотренных показателях множественной корреляции (индекс и коэффициент) используется остаточная дисперсия, которая имеет систематическую ошибку в сторону преуменьшения, тем более значительную, чем больше параметров определяется в уравнении регрессии при заданном объеме наблюдений . Если число параметров при равно и приближается к объему наблюдений, то остаточная дисперсия будет близка к нулю и коэффициент (индекс) корреляции приблизится к единице даже при слабой связи факторов с результатом. Для того чтобы не допустить возможного преувеличения тесноты связи, используется скорректированный индекс (коэффициент) множественной корреляции.
Скорректированный индекс множественной корреляции содержит поправку на число степеней свободы, а именно остаточная сумма квадратов делится на число степеней свободы остаточной вариации , а общая сумма квадратов отклонений на число степеней свободы в целом по совокупности .
Формула скорректированного индекса множественной детерминации имеет вид:
, (2.17)
где - число параметров при переменных ; - число наблюдений.
Поскольку , то величину скорректированного индекса детерминации можно представить в виде:
. (2.17а)
Чем больше величина , тем сильнее различия и .
Как было показано выше, ранжирование факторов, участвующих во множественной линейной регрессии, может быть проведено через стандартизованные коэффициенты регрессии (-коэффициенты). Эта же цель может быть достигнута с помощью частных коэффициентов корреляции (для линейных связей). Кроме того, частные показатели корреляции широко используются при решении проблемы отбора факторов: целесообразность включения того или иного фактора в модель можно доказать величиной показателя частной корреляции.
Частные коэффициенты корреляции характеризуют тесноту связи между результатом и соответствующим фактором при элиминировании (устранении влияния) других факторов, включенных в уравнение регрессии.
Показатели частной корреляции представляют собой отношение сокращения остаточной дисперсии за счет дополнительного включения в анализ нового фактора к остаточной дисперсии, имевшей место до введения его в модель.
В общем виде при наличии факторов для уравнения
коэффициент частной корреляции, измеряющий влияние на фактора , при неизменном уровне других факторов, можно определить по формуле:
, (2.18)
где - множественный коэффициент детерминации всех факторов с результатом; - тот же показатель детерминации, но без введения в модель фактора .
При двух факторах формула (2.18) примет вид:
; . (2.18а)
Порядок частного коэффициента корреляции определяется количеством факторов, влияние которых исключается. Например, - коэффициент частной корреляции первого порядка. Соответственно коэффициенты парной корреляции называются коэффициентами нулевого порядка. Коэффициенты частной корреляции более высоких порядков можно определить через коэффициенты частной корреляции более низких порядков по рекуррентной формуле:
.(2.19)
При двух факторах данная формула примет вид:
; . (2.19а)
Для уравнения регрессии с тремя факторами частные коэффициенты корреляции второго порядка определяются на основе частных коэффициентов корреляции первого порядка. Так, по уравнению возможно исчисление трех частных коэффициентов корреляции второго порядка:
, , ,
каждый из которых определяется по рекуррентной формуле. Например, при имеем формулу для расчета :
. (2.20)
Рассчитанные по рекуррентной формуле частные коэффициенты корреляции изменяются в пределах от -1 до +1, а по формулам через множественные коэффициенты детерминации - от 0 до 1. Сравнение их друг с другом позволяет ранжировать факторы по тесноте их связи с результатом. Частные коэффициенты корреляции дают меру тесноты связи каждого фактора с результатом в чистом виде. Если из стандартизованного уравнения регрессии следует, что , т.е. no силе влияния на результат порядок факторов таков: , , , то этот же порядок факторов определяется и по соотношению частных коэффициентов корреляции, .
В эконометрике частные коэффициенты корреляции обычно не имеют самостоятельного значения. Их используют на стадии формирования модели. Так, строя многофакторную модель, на первом шаге определяется уравнение регрессии с полным набором факторов и рассчитывается матрица частных коэффициентов корреляции. На втором шаге отбирается фактор с наименьшей и несущественной по -критерию Стьюдента величиной показателя частной корреляции. Исключив его из модели, строится новое уравнение регрессии. Процедура продолжается до тех пор, пока не окажется, что все частные коэффициенты корреляции существенно отличаются от нуля. Если исключен несущественный фактор, то множественные коэффициенты детерминации на двух смежных шагах построения регрессионной модели почти не отличаются друг от друга, , где - число факторов.
Подобные документы
Расчет линейного коэффициента парной и частной корреляции. Статистическая значимость параметров регрессии и корреляции. Анализ корреляционного поля данных. Точность прогноза, расчет ошибки и доверительный интервал. Коэффициент множественной детерминации.
контрольная работа [155,8 K], добавлен 11.12.2010Основные методы анализа линейной модели парной регрессии. Оценки неизвестных параметров для записанных уравнений парной регрессии по методу наименьших квадратов. Проверка значимости всех параметров модели (уравнения регрессии) по критерию Стьюдента.
лабораторная работа [67,8 K], добавлен 26.12.2010Определение параметров линейной регрессии и корреляции с использованием формул и табличного процессора MS Excel. Методика расчета показателей парной нелинейной регрессии и корреляции. Вычисление значений линейных коэффициентов множественной детерминации.
контрольная работа [110,4 K], добавлен 28.07.2012Построение модели множественной линейной регрессии по заданным параметрам. Оценка качества модели по коэффициентам детерминации и множественной корреляции. Определение значимости уравнения регрессии на основе F-критерия Фишера и t-критерия Стьюдента.
контрольная работа [914,4 K], добавлен 01.12.2013Построение уравнения множественной регрессии в линейной форме, расчет интервальных оценок его коэффициентов. Создание поля корреляции, определение средней ошибки аппроксимации. Анализ статистической надежности показателей регрессионного моделирования.
контрольная работа [179,4 K], добавлен 25.03.2014Расчёт параметров линейного уравнения регрессии. Оценка регрессионного уравнения через среднюю ошибку аппроксимации, F-критерий Фишера, t-критерий Стьюдента. Анализ корреляционной матрицы. Расчёт коэффициентов множественной детерминации и корреляции.
контрольная работа [241,8 K], добавлен 29.08.2013Определение количественной зависимости массы пушного зверька от его возраста. Построение уравнения парной регрессии, расчет его параметров и проверка адекватности. Оценка статистической значимости параметров регрессии, расчет их доверительного интервала.
лабораторная работа [100,5 K], добавлен 02.06.2014Описание классической линейной модели множественной регрессии. Анализ матрицы парных коэффициентов корреляции на наличие мультиколлинеарности. Оценка модели парной регрессии с наиболее значимым фактором. Графическое построение интервала прогноза.
курсовая работа [243,1 K], добавлен 17.01.2016Построение линейного уравнения парной регрессии, расчет линейного коэффициента парной корреляции и средней ошибки аппроксимации. Определение коэффициентов корреляции и эластичности, индекса корреляции, суть применения критерия Фишера в эконометрике.
контрольная работа [141,3 K], добавлен 05.05.2010Выбор факторных признаков для двухфакторной модели с помощью корреляционного анализа. Расчет коэффициентов регрессии, корреляции и эластичности. Построение модели линейной регрессии производительности труда от факторов фондо- и энерговооруженности.
задача [142,0 K], добавлен 20.03.2010