Статистика, предмет и задачи

Применение определенного математического аппарата также накладывает дополнительные ограничения на допустимую длину динамических рядов, используемых для прогнозирования. Построение прогноза на основе уравнений множественной регрессии требует наличия таких временных рядов, длина которых в несколько раз превышает количество независимых (факторных) переменных.

Временные ряды не должны иметь пропущенных наблюдений (то есть неизвестных значений показателей за отдельные периоды). Такие пропуски могут возникать из-за недостатков в системе сбора информации, изменений в системе отчетности и т.д. Например, может измениться сам состав показателей, включаемых в ту или иную форму отчетности, но через некоторое время решение об исключении какого-то показателя может быть отменено в связи с осознанием его важности для аналитических исследований. В этом случае для использования данного временного ряда в дальнейшем необходимо восстановить пропущенные значения (например, с помощью, так называемой интерполяции). Если временной ряд содержит какие-то аномальные значения или так называемые «выбросы», которые часто возникают из-за ошибок в расчетах (например, из-за выбора разных единиц измерения для разных уровней), то такие значения необходимо исключить и заменить другими, рассчитанными тем же методом интерполяции.

Процесс прогнозирования с помощью статистических методов, как правило, включает следующие этапы:

1) Постановка задачи и сбор необходимой информации;

2) Первичная обработка исходных данных;

3) Определение круга возможных моделей прогнозирования;

4) Оценка параметров моделей;

5) Исследование качества построенных моделей и выбор наилучшей;

6) Построение прогноза:

7) Содержательный анализ и интерпретация полученных результатов.

В практике прогнозирования принято считать, что значения уровней временных рядов экономических показателей складываются из трех основных компонент:

- тренда;

- периодической (сезонной или циклической) составляющей;

- случайной составляющей.

Т.е. значения показателя можно представить в виде функции:

Y_t = F (u_t; v_t; е_t),

где u_t - тренд или трендовая составляющая; v_t - циклическая составляющая, а е_t - случайная составляющая.

Под трендом понимают изменение, определяющее общее направление развития, основную тенденцию временного ряда. Это систематическая составляющая долговременного воздействия. Наряду с долговременными тенденциями во временных рядах экономических показателей часто встречаются более или менее регулярные колебания - периодические составляющие. Если период колебаний не превышает 1 года, то их называют сезонными. Например, спрос или цены на большинство товаров массового спроса подвержены ярко выраженным сезонным колебаниям.

При большом периоде колебаний (длиной более 1 года до нескольких лет) считается, что во временном ряду имеет место циклическая составляющая. Примерами могут служить инвестиционные циклы, циклы деловой активности, демографические и т.д.

Если из временного ряда удалить тренд и периодическую компоненту, то останется нерегулярная, случайная компонента, которая обычно формируется под воздействием разных случайных факторов, не учтенных в построенной модели.

Модель временного ряда Y_t = F (u_t; v_t; е_t) может иметь вид суммы или произведения перечисленных компонент. В первом случае она называется аддитивной, во втором - мультипликативной. Иногда она может иметь смешанный характер, например:

Y_t = u_tЧ v_t + е_t

Решение любой задачи по анализу и прогнозированию временных рядов рекомендуется начинать с построения графика исследуемого показателя. При этом на графике не всегда можно обнаружить присутствие тренда, то есть четко выраженной тенденции, которую можно экстраполировать. В этом случае, прежде чем перейти к выделению тренда, нужно выяснить, существует ли вообще тенденция в исследуемом процессе.

Основные подходы к решению этой задачи основаны на проверке статистических гипотез, прежде всего гипотезы о случайном характере изменений уровней ряда в динамике. Наиболее часто на практике для этого используются:

1) Критерий восходящих и нисходящих серий;

2) Критерий серий, основанный на медиане выборки;

3) Метод Фостера-Стьюарта Более подробно эти методы изучаются в дисциплине «Эконометрика».

3. Основы многомерного статистического анализа

Методы многомерного статистического анализа представляют собой объективные количественные способы для исследования сходства, близости, группировки или классификации многомерных объектов (заданных некоторым набором различных признаков). Среди таких методов наиболее известны кластерный и дискриминантный анализ.

Кластерный анализ

Метод кластерного анализа позволяет строить классификацию n объектов посредством объединения их в группы, или кластеры, на основе критерия минимума расстояния между ними в пространстве m показателей, описывающих эти объекты. Вероятностное обоснование результатов кластеризации можно получить методом дискриминантного анализа.

Исходные данные для кластерного анализа представляются в виде матрицы размером , содержащей информацию трех типов, на практике чаще всего используется один тип - измерения значений t показателей для n объектов.

Стратегии кластеризации. Если исходные данные представляют собой значение показателей и переменных для некоего объекта, то необходимо выбрать стратегию объединения и метод вычисления расстояния между объектами в многомерном пространстве показателей - метрику.

Дивизионная стратегия динамических сгущений, возможности применения которой иллюстрирует приведенный ниже пример, - позволяет сгруппировать объекты в заданное число кластеров. В случае дивизионной стратегии кластеризации необходимо задать число кластеров, однако окончательное число кластеров может оказаться меньше.

Промежуточным результатом анализа средне внутрикластерное расстояние, по которому можно сравнивать различные варианты кластеризации, и кластеры с указанием включенных в них объектов. При этом можно получить проекции на плоскость каждой пары показателей центров кластеров и объектов каждого кластера, соединенных линиями с центрами.

Агломеративные стратегии позволяют строить дендрограмму классификации в ходе построения иерархии объединения кластеров. Часто используют следующие варианты этой стратегии.

1) стратегия ближайшего соседа очень сильно сжимает пространство исходных переменных и позволяет получить минимальное дерево групповой классификации; 2) стратегия дальнего соседа сильно растягивает пространство; 3) стратегия группового соседа сохраняет метрику пространства; 4) гибкая стратегия - универсальна и зависит от значения бета-параметра, который должен быть меньше 1,0; при бета < 0 - растягивается; 5)метод Уорда минимизирует внутрикластерный разброс объектов.

В результате получают матрицы расстояния между объектами, последовательности кластеров возрастающей общности с указаниями входящий в кластеры объектов и расстояния между ними, на уровне которых произошло объединение кластеров, и дендрограмму - дерево объединения кластеров.

Метрики. При выполнении анализ расстояние меду объектами оценивают с помощью следующих различных метрик:

1) евклидовой метрики; данная метрика применяется для переменных, измеренных в одних единицах;

2) нормализованной евклидовой метрики; эта метрика подходит для переменных, измеренных в различных единицах;

3) метрики суммы квадратов; может использоваться в случае, когда расстояние меду кластерами равно сумме расстояний между их компонентами;

4) взвешенных суммированных квадратов; этот вид метрики применяют, когда переменные имеют различную значимость, при этом матрица должна содержать веса показателей;

5) манхеттеновской метрики; применяется для ранговых переменных;

6) метрики Брея-Картиса; применяются для ранговых данных, имеющих значение от 1 до 0.

Дискриминантный анализ

Дискриминантный анализ позволяет проверить гипотезу о возможности классификаций заданного множества объектов n, характеризуемых некоторым числом t переменных показателей x,на некоторое число классов или кластеров k дать классификации вероятностную оценку.

При выполнении анализа ищется набор дискриминирующих функций , обеспечивающих классификацию объектов на заданное число классов:

Классы нумеруются натуральными числами i от 1 до k, где k - число классов.

i=1 ,…., k.

Исходные данные представляются в виде матрицы размером (t+1) n, причем n строк характеризуется n объектов. Первые t столбцов - это значение t переменных для n объектов, а (m+1) столбец для каждого объекта - это номер его класса. Классы нумеруются натуральными числами от 1 до k, где k - число классов. Если нужно классифицировать ряд новых объектов, то такие объекты также включаются в матрицу данных с номером класса 0.

Результаты анализа представляют собой следующие оценки:

1) суммарное межкластерное расстояние Махаланобиса D² с уровнем значимости P для нулевой гипотезы «D² = 0», т.е. гипотезы о невозможности разбиения совокупности объектов на заданное число классов;

2) коэффициенты дискриминирующей функции, обеспечивающие отнесение объектов к данному классу;

3) данные для каждого объекта j, в том числе номер его класса r, расстояние Махаланобиса D_j² от объекта до центра класса, уровень значимости P нулевой гипотезы «D_j²=0», т.е. гипотезы о том, что объект может быть отнесен к данному классу, а также вероятность P_jr отнесения объекта к этому классу.

Если P > 0,05, то соответственно нулевая гипотеза может быть принята; иначе - отвергнута.

Факторный анализ (метод главных компонент)

Переменные, значения которых представляют собой статистические данные или результаты социологических исследований, опросов потребителей и экспертов, нередко носят условный характер и не отражают сущность реальных факторов, влияющих на исследуемый процесс (потребительский выбор или величину спроса). К тому же нередко наблюдается линейная зависимость (мультиколлинеарность) между ними. Число независимых (реальных), часто первоначально скрытых, факторов, может быть существенно меньше, чем число исходных показателей. Возникает задача - сократить число переменных до нескольких, наиболее существенных факторов, позволяющих объяснить изменения результативного показателя. Чаще всего для этой цели используется метод главных компонент.

Суть вычислений по методу главных компонент заключается в следующем:

Строится матрица, элементами которой являются отклонение результатов наблюдений над n переменными от соответствующих средних

Определяется матрица дисперсий и ковариаций объясняющих переменных:

Матрица S_xx имеет размерность n x n.

Главные компоненты z_j (j=0,…,n) являются линейными комбинациями объясняющих переменных x_j^* (j=0,…, n) и могут быть записаны в общем виде как

.

Они удовлетворять упомянутому выше требованию: каждый раз выделенная главная компонента должна воспроизводить максимум дисперсий. На неизвестные векторы коэффициентов a_j накладываются дополнительные ограничения:

(т.е. они должны быть нормированы) и

(т.е. они должны быть некоррелированы).

Дисперсия главной компоненты z_j

должна принимать наибольшее значение при перечисленных соблюдении условий. Для решения проблемы максимизации функции, связанной дополнительными ограничениями, пользуются методом множителей Лагранжа. В конечно итоге задача сводится к определению собственных значений матрицы S_xx и соответствующих собственных векторов a_j.

Собственные значения матрицы S_xx определяются из уравнений, которые в общем виде записываются как

,

где - множители Лагранжа; I - единичная матрица.

Подставляя последовательно собственные значения, начиная с наибольшего, в уравнение

получим собственные векторы матрицы S_xx, соответствующие этим собственным значениям. Собственные векторы затем используются для построения искомых векторов коэффициента в формуле

Так как собственные векторы известны, по формуле можно определить главные компоненты. При этом обычно довольствуются меньшим, чем n, числом главных компонент, но достаточным, чтобы воспроизвести большую часть дисперсий. По мере выделения главных компонент прекращают в тот момент, когда собственные значения соответствующие каждый раз наибольшим дисперсиям, становятся пренебрежимо малыми. Количество выделенных главных компонент r в общем случае значительно меньше числа объясняющих переменных m. По r главным компонентам строится матрица Z. С помощью главных компонент оцениваются параметры регрессии

И вычисляются значения регрессии

При всех своих преимуществах (уменьшение высокой мультиколлинеарности объясняющих переменных) метод главных компонент обладает и недостатками.

Во-первых, главным компонентам, как правило, трудно подобрать экономические аналоги. Поэтому вызывает затруднения экономическая интерпретация оценок параметров регрессии, полученных по приведенным формулам. Во-вторых, оценки параметров регрессии получают не по исходным объясняющим переменным, а по главным компонентам. В итоге можно сказать, что метод главных компонент применяется в основном для оценки значений регрессии и для определения прогнозных значений зависимой переменной, что также является целью регрессионного анализа.