Методы и средства экспериментальной обработки информации

Размещено на http://www.allbest.ru/

Первое высшее техническое учебное заведение России

Министерство образования и науки Российской Федерации

Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования

«Национальный минерально-сырьевой университет «горный»

Кафедра информационных систем и вычислительной техники

Контрольная работа

по дисциплине «Методы и средства экспериментальной обработки информации»

Выполнила:

студентка 5-го курса

Специальности 230202.65

Мифоленкова Татьяна Сергеевна

Проверила:

преподаватель

Юшкова Ольга Викторовна

Санкт-Петербург 2015

Введение

В настоящее время, для изучения свойств сложных систем, в том числе и при экспериментальных исследованиях, широко используется подход, основанный на анализе сигналов, произведенных системой. Это очень актуально в тех случаях, когда математически описать изучаемый процесс практически невозможно, но в нашем распоряжении имеется некоторая характерная наблюдаемая величина. Поэтому анализ систем, особенно при экспериментальных исследованиях, часто реализуется посредством обработки регистрируемых сигналов. Например, в аритмологии в качестве такого сигнала используется электрокардиограмма, в сейсмологии запись колебаний земной коры, в метеорологии данные метеонаблюдений и т.п.

Обычно такой сигнал называется наблюдаемой, а метод исследования реконструкцией динамических систем. Методы анализа данных, представленных в виде временных рядов, т.е. в виде последовательностей измерений, упорядоченных в неслучайные моменты времени. В отличие от анализа случайных выборок, анализ временных рядов основывается на предположении, что последовательные значения в файле данных наблюдаются через равные промежутки времени (тогда как в других методах нам не важна и часто не интересна привязка наблюдений ко времени).

Существуют две основные цели анализа временных рядов: (1) определение природы ряда и (2) прогнозирование (предсказание будущих значений временного ряда по настоящим и прошлым значениям). Обе эти цели требуют, чтобы модель ряда была идентифицирована и, более или менее, формально описана. Как только модель определена, вы можете с ее помощью интерпретировать рассматриваемые данные (например, использовать в вашей теории для понимания сезонного изменения цен на товары, если занимаетесь экономикой). Не обращая внимания на глубину понимания и справедливость теории, вы можете экстраполировать затем ряд на основе найденной модели, т.е. предсказать его будущие значения.

Существует много программных средств позволяющих, как сгруппировать данные, построить и проанализировать сложные таблицы сопряженности, разбив пациентов на группы по полу, возрасту, симптомам болезни и исследовать зависимости в каждой группе; каким образом сравнить средние показатели пациентов в различных группах; как провести анализ выживаемости; избежать появления искусственных эффектов; подтвердить или опровергнуть гипотезы, провести сложную классификацию, используя дискриминантный анализ или деревья классификации. Следует заметить, что у каждого врача имеется собственный архив данных, отражающий многолетний опыт его работы - огромный массив знаний, имеющий большую познавательную ценность, начало которому положено, возможно, задолго до начала эры компьютеризации. Ценность этой информации может быть многократно увеличена, если воспользоваться статистическими методами: данные следует структурировать, визуализировать -- отобразить на графиках, а значимость результатов строго доказать. И в этот момент на помощь врачу приходит наука статистика и современные системы, делающие обработку данных, доступной практически всем. Применение статистических методов имеет свои шаблоны и рецепты, как и при постановке диагноза, однако эти методы осваиваются гораздо быстрее, благодаря современным компьютерным технологиям. Собственно, наша цель состоит в том, чтобы научится анализировать данные, организовать исследование, оценить значимость результатов, обнаружить скрытые закономерности и связи. Известно несколько средств, предназначенных для статистического исследования данных: SAS, SPSS, S плюс, STATISTICA, Excel, Mathcad и др.

В данной контрольной работе для реализации задач по анализу и прогнозированию временного ряда был выбран пакет STATISTICA. С его помощью, будут рассмотрены следующие этапы анализа и прогнозирования временного ряда: определение основных статистических характеристик; построение графиков исходных данных; выявление соответствия данных нормальному и равномерному закону распределения; графическое представление временного ряда; проверка моделей тренда; определение наличия сезонности во временном ряду с помощью автокорреляции и спектрального анализа Фурье; построение модели экспоненциального сглаживания временного ряда; построение модели АРПСС; проверка подобранных моделей на адекватность; кросспроверка прогнозирования временного ряда; прогнозирования временного ряда на 10 шагов помощью построенной.

1. Определение основных статистических характеристик

1.1 Формирование таблиц с исходными данными

Данные в программе STATISTICA организованы в виде электронной таблицы. Это более эффективная форма представления статистических данных, в нашем случае временного вариационного ряда. Исходный ряд состоит из 108 данных, представленных в таблице 1.

Таблица 1

1.2 Построение гистограммы временного вариационного ряда

Графический способ облегчает рассмотрение статистических данных, делает их наглядными, выразительными, обозримыми. На графике сразу видны пределы изменения показателя, сравнительная скорость изменения разных показателей, их колеблемость. Вместе с тем графики имеют определенные ограничения: прежде всего график не может включить столько данных, сколько может войти в таблицу; кроме того, на графике показываются всегда округленные данные - не точные, а приблизительные. Таким образом, график используется только для изображения общей ситуации, а не деталей. Для наиболее полного и наглядного представления данных и их описательных статистик построим гистограмму (Histograms) (рис.1.) и график на нормальной вероятностной бумаге (Normal probaЬility plots) (рис.2.), которые позволят визуально сравнить эмпирическое распределение данных с нормальным и ответить на вопрос о допустимости аппроксимации эмпирического распределения нормальным законом.

Рис. 1. Гистограмма распределения исходного ряда

Построим график на нормальной вероятностной бумаге (рис.2.).

Рис. 2. График на нормальной вероятностной бумаге

На данном графике (рис.2.) наблюдается очевидное несовпадение с прямой, данные располагаются относительно линии в виде «волны». График позволяет сделать предположение о недопустимости описания данных с помощью нормального распределения.

1. 

2. Анализ временного ряда

В отличие от анализа случайных выборок, анализ временных рядов основывается на предположении, что последовательные значения в файле данных наблюдаются через равные промежутки.

Существуют две основные цели анализа временных рядов:

· определение природы ряда;

· прогнозирование (предсказание будущих значений временного ряда по настоящим и прошлым значениям).

Обе эти цели требуют, чтобы модель ряда была идентифицирована и, более или менее, формально описана. Как только модель определена, то можно с ее помощью интерпретировать рассматриваемые данные, например сезонные изменения. Не обращая внимания на глубину понимания и справедливость теории, можно также экстраполировать ряд на основе найденной модели, т.е. предсказать его будущие значения.

Большинство регулярных составляющих временных рядов принадлежит к двум классам: они являются либо трендом, либо сезонной составляющей. Тренд - представляет собой общую систематическую линейную или нелинейную компоненту, которая может изменяться во времени. Тренд является монотонным (устойчиво возрастает или устойчиво убывает). Если временные ряды содержат значительную ошибку, то первым шагом выделения тренда является сглаживание. Сглаживание всегда включает некоторый способ локального усреднения данных, при котором несистематические компоненты взаимно погашают друг друга. Самый общий метод сглаживания - скользящее среднее, в котором каждый член ряда заменяется простым или взвешенным средним п соседних членов, где п - ширина «окна».

Сезонная составляющая -- это периодически повторяющаяся компонента. Оба эти вида регулярных компонент часто присутствуют в ряде одновременно. Периодическая и сезонная зависимость (сезонность) представляет собой другой общий тип компонент временного ряда. Ее можно измерить с помощью автокорреляции (т.е. корреляции между самими членами ряда); k обычно называют лагом (иногда используют эквивалентные термины: сдвиг, опаздывание). Если ошибка измерения не слишком большая, то сезонность можно определить визуально, рассматривая поведение членов ряда через каждые k временных единиц.

Как и большинство других видов анализа, анализ временных рядов предполагает, что данные содержат систематическую составляющую (обычно включающую несколько компонент) и случайный шум (ошибку), который затрудняет обнаружение регулярных компонент. Большинство методов исследования временных рядов включает различные способы фильтрации шума, позволяющие увидеть регулярную составляющую более отчетливо.

Не существует "автоматического” способа обнаружения тренда во временном ряде. Однако если тренд является монотонным (устойчиво возрастает или устойчиво убывает), то анализировать такой ряд обычно нетрудно. Если временные ряды содержат значительную ошибку, то первым шагом выделения тренда является сглаживание.

Сглаживание всегда включает некоторый способ локального усреднения данных, при котором несистематические компоненты взаимно погашают друг друга. Самый общий метод сглаживания - скользящее среднее, в котором каждый член ряда заменяется простым или взвешенным средним п соседних членов, где п - ширина "окна". Вместо среднего можно использовать медиану значений, попавших в окно. Основное преимущество медианного сглаживания, в сравнении со сглаживанием скользящим средним, состоит в том, что результаты становятся более устойчивыми к выбросам (имеющимся внутри окна). Таким образом, если в данных имеются выбросы (связанные, например, с ошибками измерений), то сглаживание медианой обычно приводит к более гладким или, по крайней мере, более "надежным" кривым, по сравнению со скользящим средним с тем же самым окном. Основной недостаток медианного сглаживания в том, что при отсутствии явных выбросов, он приводит к более "зубчатым" кривым (чем сглаживание скользящим средним) и не позволяет использовать веса.

Относительно реже, когда ошибка измерения очень большая, используется метод сглаживания методом наименьших квадратов, взвешенных относительно расстояния или метод отрицательного экспоненциально взвешенного сглаживания. Все эти методы отфильтровывают шум и преобразуют данные в относительно гладкую кривую. Ряды с относительно небольшим количеством наблюдений и систематическим расположением точек могут быть сглажены с помощью бикубических сплайнов. Итак, получим график траектории ряда:

Рис. 3. График траектории ряда

График показывает изменения амплитуды колебаний ряда. На всем протяжении временной ряд неравномерный, т.к. наблюдаются резкие скачки. Рассматривая график, я не могу однозначно сказать, имеется ли в данных тренд. Однако из графика отчетливо видно, что в ряде присутствует сезонная составляющая. Отсюда следует, что ряд не стационарен.

2.2 Определение основных статистических характеристик

Данные в программе Statistica организованы в виде электронной таблицы. Это более эффективная форма представления статистических данных, в нашем случае временного вариационного ряда.

Определим следующие основные статистические характеристики (рис.3.):

• Valid N

• Mean

• Median

• Standard Deviation

• Variance

• 95% confidence limits of mean

• Minimum, maximum

• Skewness

• Kurtosis

Рис. 4. Основные статистические характеристики исходного временного ряда

Асимметрия показывает, в какую сторону относительно среднего сдвинуто большинство значений распределения. Нулевое значение асимметрии означает симметричность распределения относительно среднего значения, положительная асимметрия указывает на сдвиг распределения в сторону меньших значений, а отрицательная асимметрия - в сторону больших значений. В большинстве случаев за нормальное принимается распределение с асимметрией, лежащей в пределах от -1 до +1.

В исследованиях, не требующих высокой точности результатов, нормальным считают распределение с асимметрией, по модулю не превосходящей 2.

Эксцесс является мерой «сглаженности» («остро» или «плосковершинности») распределения. Если значение эксцесса близко к О, это означает, что форма распределения близка к нормальному виду. Положительный эксцесс указывает на «плосковершинное» распределение, у которого максимум вероятности выражен не столь ярко, как у нормального. Значения эксцесса, превышающие 5.0, говорят о том, что по краям распределения находится больше значений, чем вокруг среднего. Отрицательный эксцесс, напротив, характеризует «островершинное» распределение, график которого более вытянут по вертикальной оси, чем график нормального распределения. Считается, что распределение с эксцессом диапазоне от -1 до +1 примерно соответствует нормальному виду. В большинстве случаев вполне допустимо считать нормальным распределение с эксцессом по модулю не превосходящим 2.

Новый график (рис. 5) траектории ряда явно возрастает, что указывает на наличие тренда.

Рис. 5. Новый график траектории ряда

Определение модели тренда временного ряда

Линейный тренд:

.

Для линейной формы тренда характерно равенство так называемых первых разностей (абсолютных приростов) и нулевые вторые разности, т. е. ускорения.

Гипербола:

;

Экспоненциальный тренд:

(или );

Степенная функция:

;

Полиномы различных степеней:

.

Для данного типа кривой постоянными являются вторые разности (ускорение), а нулевыми - третьи разности. Параболическая форма тренда соответствует ускоренному или замедленному изменению уровней ряда с постоянным ускорением

Логарифмическая форма тренда:

у = а0 + а1 * ln(t)

Логарифмическим трендом может быть описана тенденция, проявляющаяся в замедлении роста уровней ряда динамики при отсутствии предельно возможного значения. При достаточно большом t логарифмическая кривая становится мало отличимой от прямой линии.

Для того объективно сделать прогноз необходимо вычесть тренд из нашего временного ряда (рис. 4).

Рис. 6. График временного ряда с вычетом тренда

На рисунке 6 видно, что после вычитания тренда, график стал однородней.

Построение автокорреляционной и частной автокорреляционной функций

Автокорреляция - статистическая взаимосвязь между случайными величинами из одного ряда, но взятых со сдвигом, например, для случайного процесса со сдвигом по времени.

Для выявления трендовой, циклической компонент можно использовать коэффициент автокорреляции уровней ряда и автокорреляционную функцию. Автокорреляционная функция (АКФ) -- это последовательность коэффициентов автокорреляции уровней первого, второго и последующих порядков. Соответственно график зависимости значений АКФ от величины лага (порядка коэффициента корреляции) - коррелограмма. Анализ АКФ и коррелограммы позволяет определить лаг, при котором автокорреляция наиболее высокая, а следовательно, и лаг, при котором связь между текущим и предыдущими уровнями ряда наиболее тесная.

Коэффициент автокорреляции характеризует тесноту только линейной связи текущего и предыдущего уровней ряда. Если ряд имеет сильную нелинейную тенденцию, коэффициент автокорреляции может приближаться к нулю. Знак его не может служить указанием на наличие возрастающей или Убывающей тенденции в уровнях ряда.

Частная автокорреляция (ЧАКФ) -- эго дополнительный метод идентификации модели (исследования периодичности колебаний) ряда, представляющий собой углубление понятия обычной АКФ. В ЧАКФ устраняется зависимость между промежуточными наблюдениями внутри лага. Другими словами, ЧАКФ на данном лаге аналогична обычной автокорреляции, за исключением того, что при вычислении из нее удаляется влияние автокорреляций с меньшими лагами.

На лаге 1 (когда нет промежуточных элементов внутри лага), ЧАКФ равна, очевидно, обычной автокорреляции. На самом деле, ЧАКФ дает более «чистую» картину периодических зависимостей.

Доверительный интервал - это интервал, в который с определенной вероятностью попадает оценка статистического показателя генеральной совокупности (параметр).

Также признаком стационарности ряда можно считать тенденцию к быстрому затуханию автокорреляционной функции ряда.

Для этого построим график автокорреляционной функции:

Рис. 7. График автокорреляционной функции

Как видно из рис.7 график автокорреляционной функции не имеет тенденции к быстрому затуханию. При увеличении лага до 15, видны периодические колебания в значениях автокорреляционной функции, свидетельствующие о сезонных колебаний, следовательно, ряд не является стационарным.

Рис. 8. График частной автокорреляционной функции

На рис. 8 также видны периодические колебания в значениях автокорреляционной функции, свидетельствующие о сезонных колебаниях, а также независимости друг от друга величин.

Подбор математической модели

Моделью временных рядов называется зависимость результативной переменной от переменной времени или переменных, относящихся к другим моментам времени.

Основными инструментами идентификации порядка модели являются I графики, автокорреляционная функция (АКФ) и частная автокорреляционная [функция (ЧАКФ). Идентификация модели стационарного временного ряда предназначена для предварительного определения типа модели авторегрессия, скользящее среднее или смешанный процесс и порядка модели - значения р и q.

При идентификации модели, как правило, пользуются следующими правилами:

Если h первых значений АКФ отличны от нуля, а ЧАКФ по модулю асимптотически стремится к нулю, то имеет место процесс АPCС (0,h) -- скользящего среднего порядка h:

Если h первых значений ЧАКФ отличны от нуля, а АКФ по модулю асимптотически стремится к нулю, то имеет место процесс APCC(h,0) - авторегрессии порядка h.

Если значения АКФ и ЧАКФ по модулю асимптотически стремятся к нулю, то имеет место смешанный процесс АРСС (р, q).

Для привидения ряда к стационарному виду, необходимо провести трансформирование ряда.

Рис. 9. Расчет модели авторегрессии

Рис. 10. Результат модели авторегрессии ARIMA

Построим АКФ И ЧАКФ трансформированного ряда и проверим подходит ли данная модель для прогнозирования.

Размещено на Allbest.ru