Оцінювання параметрів нелінійних часових рядів у випадковому середовищі

Размещено на http://www.allbest.ru/

Київський національний університет імені Тараса Шевченка

Автореферат

дисертації на здобуття наукового ступеня

кандидата фізико-математичних наук

01.01.05 - Теорія ймовірностей та математична статистика

Оцінювання параметрів нелінійних часових рядів у випадковому середовищі

Хуссейн Салем М.Кейбах

Київ 2000

Дисертацією є рукопис

Робота виконана на кафедрі прикладної статистики факультету кібернетики Київського національного університету імені Тараса Шевченка

Науковий керівник: доктор фізико-математичних наук, професор Анісімов Володимир Владиславович, Київський національний університет імені Тараса Шевченка, ф-т кібернетики, завідуючий кафедрою прикладної статистики

Офіційні опоненти: доктор фізико-математичних наук, професор Козаченко Юрій Васильович, Київський національний університет імені Тараса Шевченка, механіко-атематичних ф-т, завідуючий кафедрою теорії ймовірностей та математичної статистики

Кандидат фізико-математичних наук Гасаненко Віталій Олексійович, Інститут математики НАН України, старший науковий співробітник

Провідна установа: Інститут кібернетики ім. академіка В.М.Глушкова НАН України, Київ.

Захист відбудеться “24” квітня 2000 року о 14 год. на засіданні спеціалізованої вченої ради Д 26.001.37 при Київському національному університеті імені Тараса Шевченка за адресою: 02022 Київ, просп. акад. Глушкова, 6 Київський університет імені Тараса Шевченка, механіко-математичний факультет, ауд. 42.

З дисертацією можна ознайомитися у Науковій бібліотеці Київського національного університету імені Тараса Шевченка (вул. Володимирська, 58, к.10).

Автореферат розісланий “13” бережня 2000 року

Вчений секретар спеціалізованої вченої ради М.П. Моклячук

1. Загальна характеристика

нелінійний стохастичний асимптотичний збіжність

Актуальнiсть теми. Прикладнi задачi аналiзу стохастичних систем i загальнi теоретичнi задачi статистики стимулюють дослiдження у галузi статистичного оцiнювання параметрiв рiзних класiв стохастичних систем. При аналiзуваннi властивостей статистичних оцiнок параметрiв, побудованих за спостереженнями в стохастичних системах, виникають деякi некласичнi задачi, оскiльки в загальному випадку самi спостереження є неоднорiдними в часi, а також не є незалежними.

Класичнi результати, що стосуються статистичного аналiзу даних, головним чином присвяченi незалежним спостереженням або використовують мартингальну технiку (див. роботи Барндорфа-Нiльсена i Соеренсена (Barndorff-Nielsen, Sorensen, (1994)); Бiббi i Соеренсена (Bibby, Sorencen, (1995)); Iбрагiмова i Хасьмiнського (Ibragimov, Has'minskii, (1981)); Лiпцера i Ширяєва (Liptser, Shiryaev, (1977)); Праказа Рао (Prakasa Rao, 1987)).Цi результати не можуть бути безпосередньо застосованi у випадках, коли спостереження будуються на траєкторiях стохастичних систем.Ряд результатiв в галузi статистичного оцiнювання параметрiв по траєкторних спостереженнях на процесах, що перемикаються, одержано Анiсiмовим (1995). Деякi некласичнi моделi для стохастичних процесiв були проаналiзованi з використанням прямих методiв Кутоянцем (1984).

Дисертацiя присвячена асимптотичному аналiзу статистичних оцiнок параметрiв для нелiнiйних часових рядiв у некласичнiй ситуацiї - спостереження будуються на траєкторiях стохастичних систем. Вивчаються властивостi оцiнок, отриманих за допомогою методу найменших квадратiв, методу максимальної вiрогiдностi та методу моментiв. Запропоновано новий пiдхiд, що базується на представленнi оцiнки у виглядi розв'язку деякого стохастичного рiвняння (або у виглядi множини екстремумiв деякої випадкової функцiї) i на результатах про асимптотичну поведiнку розв'язкiв стохастичних рiвнянь загального вигляду та множин екстремумiв випадкових функцiй.

Зв'язок роботи з науковими програмами, планами, темами.

Робота виконана вiдповiдно до плану наукових дослiджень кафедри прикладної статистики факультету кiбернетики Київського унiверситету iменi Тараса Шевченка:

1) держбюджетна тема Мiнiстерства освiти N 97064 “Аналiтичне та апроксимативне моделювання стохастичних еволюцiйних систем (мережi обслуговування, динамiчнi системи, мiграцiйнi та гiллястi процеси тощо) i їх статистичний аналiз”

2) тема Мiнiстерства у справах науки i технологiй N 97549 “Розробка методiв та програмно-алгоритмiчного забезпечення моделювання стохастичних еволюцiйних систем складної iєрархiчної структури з метою аналiзу апроксимацiї та статистичного оцiнювання основних функцiоналiв якостi та надiйностi функцiонування”.

Мета роботи. Метою дисертацiйної роботи є:

1. Вивчити асимптотичнi властивостi розв'язкiв стохастичних рiвнянь загального вигляду, а також асимптотичнi властивостi екстремальних точок стохастичних функцiй.

2. Розглянути застосування вказаних загальних теоретичних результатiв до:

а) вивчення асимптотичних властивостей оцiнок методу найменших квадратiв для нелiнiйних часових рядiв, побудованих за спостереженнями на траєкторiях стохастичних систем в стацiонарних та перехiдних умовах, а також пiд впливом ергодичного випадкового середовища;

б) вивчення асимптотичних властивостей оцiнок параметрiв, побудованих за спостереженнями на траєкторiях стохастичних систем в стацiонарних та перехiдних умовах для методу моментiв та методу максимальної вiрогiдностi.

3. Розглянути також застосування отриманих результатiв до аналiзу асимптотичних властивостей розв'язкiв детермiнованих рiвнянь при випадкових помилках в обчисленнях.

Методи дослiдженя. В роботi використанi методи теорiї ймовiрностей, математичного аналiзу, стохастичних процесiв, статистичного оцiнювання параметрiв та асимптотичнi методи.

Наукова новизна роботи. В роботi запропоновано новий пiдхiд до статистичного оцiнювання параметрiв для спостережень, якi побудованi на траєкторiях стохастичних систем. Оцiнка представляється як розв'язок (множина розв'язкiв) деякого стохастичного рiвняння або як множина екстремумiв деякої випадкової функцiї, де функцiя зображується деяким адитивним функцiоналом на траєкторiї системи.

Базуючись на нових асимптотичних результатах для розв'язкiв стохастичних рiвнянь i для множин екстремумiв випадкових функцiй вивченi асимптотичнi властивостi статистичних оцiнок параметрiв, побудованих за допомогою методу найменших квадратiв, методу моментiв та методу максимальної вiрогiдностi для нелiнiйних часових рядiв в стацiонарних та перехiдних умовах.

Одержанi гауссiвськi та некласичнi граничнi закони. Дослiдженi також застосування отриманих результатiв до аналiзу розв'язкiв детермiнованих рiвнянь при випадкових помилках в обчисленнях.

Теоретична та практична цiннiсть роботи. Дисертацiйна робота, в основному, носить теоретичний характер. Одержанi результати дають можливiсть здiйснювати статистичний аналiз для нестацiонарних даних та перехiдних умов i можуть бути ефективно використанi в екологiчних та медичних дослiдженнях, моделях забруднення, в аналiзi статистичних даних складних технiчних систем i т.i.

Матерiал дисертацiї може бути використаний при читаннi спецiальних курсiв статистики випадкових процесiв i аналiзу часових рядiв на кафедрi теорiї ймовiрностей та математичної статистики механiко-математичного факультету та на кафедрi прикладної статистики факультету кiбернетики Київського унiверситету iменi Тараса Шевченка.

Особистий внесок автора. Всi основнi результати, включенi в дисертацiю, є новими i отриманi автором самостiйно. В спiльних публiкацiях науковому керiвнику належить вибiр теми дослiджень i постановки задач. Доведення основних результатiв i їх застосування до конкретних статистичних моделей одержанi автором самостiйно.

Апробацiя роботи. Результати роботи доповiдались на Третiй Україно-Скандинавськiй конференцiї з теорiї ймовiрностей та математичної статистики, Київ, червень 1999, на мiжнароднiй конференцiї “Сучаснi математичнi методи дослiдження телекомунiкацiйних мереж”, Мiнськ, червень 1999, а також на семiнарах кафедри прикладної статистики факультету кiбернетики, кафедри теорiї ймовiрностей та математичної статистики механiко-математичного факультету Київського унiверситету iменi Тараса Шевченка та департаментi iндустрiальної iнженерiї Бiлкентського унiверситету, Анкара, Туреччина.

Публiкацiї. За темою дисертацiї опублiковано 5 наукових робiт.

Структура та об'єм роботи.Дисертацiя складається iз вступу, чотирьох глав, висновкiв, списку лiтератури та додатку. Загальний об'єм роботи складає 120 сторiнок, список лiтератури нараховує 46 найменувань.

2. Змiст роботи

У вступi подається короткий огляд результатiв, якi пов'язанi з тематикою дисертацiї, та дається стислий опис основних результатiв роботи. Перша глава має вступний характер. Вона мiстить опис рiзних класiв часових рядiв i рiзних моделей для їх аналiзу. Основна увага придiляється нелiнiйним часовим рядам. Розглядаються деякi спецiальнi класи нелiнiйних моделей для аналiзу параметрiв трендiв, вивчаються рекурентнi алгоритми для чисельного пiдрахунку параметрiв.

У другiй главi “Асимптотична поведiнка розв'язкiв стохастичних рiвнянь” в другому i третьому роздiлах вивчаються асимптотичнi властивостi розв'язкiв стохастичних рiвнянь загального вигляду. Спочатку дамо деякi необхiднi для подальшого викладу означення.

Нехай тепер послiдовнiсть неперервних випадкових функцiй iз значеннями в , де - деяка обмежена область в .Розглянемо стохастичне рівняння i позначимо множину всiх можливих розв'язкiв через Теорема 1. 1). Припустимо, що послiдовнiсть функцiй U-збiгається в кожнiй множинi до функцiї (випадкової чи невипадкової), яка задовольняє умовi S,i точка є розв'язком граничного рiвняння.

2). Припустимо далi, що - невипадкова точка та iснують i така невипадкова послiдовнiсть, що для будь-якого послiдовнiсть випадкових функцiй -збiгається в до деякої (випадкової) функцiї, яка задовольняє умовi i точка є розв'язком граничного рiвняння.

Тодi iснує розв'язок рiвняння такий, що послiдовнiсть.

Зауважимо, що якщо функцiя може бути представлена у виглядi, - векторна i матрична (можливо залежнi) випадковi величини, i матриця є невиродженою з ймовiрнiстю одиниця, то послiдовнiсть слабко збiгається до величини.

Зауважимо також, що асимптотична поведiнка розв'язкiв стохастичних рiвнянь з деякими застосуваннями в статистицi розглядалась в Anisimov, Kaibah (1998).

Результат Теореми 1} справедливий тiльки для деякого розв'язку (не довiльного), який належить дуже близькому околу (порядк) точки.В наступному роздiлi даються умови глобальної збiжностi, що гарантують збiжнiсть послiдовностi для будь-якого розв'язку .

Теорема 2. Припустимо, що виконуються умови теореми 1 i iснує таке, що для будь-якої послiдовностi властивостями.

Умови теореми носять досить загальний характер. У випадку, коли, де - деяка детермiнована функцiя, даються певнi достатнi умови. Розглянуто два приклади, що iлюструють наведенi теореми.

В наступному роздiлi 2.4 як один iз можливих напрямкiв застосування результатiв Теореми 1 розглядається поведiнка наближено обчислених розв'язкiв детермiнованих рiвнянь при випадкових помилках в обчисленнях. Розглянемо наступну модель: припустимо, що нам необхiдно знайти розв'язок детермiнованого рівняння де деяка неперервна функцiя,, - деяка обмежена область, але в дiйсностi ми спостерiгаємо функцiю з випадковими помилками вигляду:, - сумiсно незалежнi сiмейства неперервних випадкових функцiй. Тодi функцiя апроксимується усередненою функцiєю

Ми вивчаємо асимптотичну поведiнку розв'язкiв рiвняння

Теорема 3. Нехай сiмейства випадкових величин є незалежними (для рiзних k

Розглянутi також умови глобальної збiжностi.

Для деяких особливих типiв помилок даються бiльш конкретнi умови для перевірки умови 3 Теореми 4. Розглянутi деякi приклади.

В главi 3 “`Асимптотичнi оцiнки параметрiв нелiнiйних часових рядiв” розглядаються асимптотичнi властивостi оцiнок параметрiв нелiнiйних часових рядiв iз залежними спостереженнями, побудованими на траєкторiях стохастичних систем в стацiонарних та перехiдних умовах.

В роздiлi 3.2 спочатку наведенi загальнi теореми про збiжнiсть до граничної точки (конзистентнiсть) i збiжнiсть нормованих вiдхилень для екстремальних точок випадкових функцiй, отриманi Анiсiмовим та Анiсiмовим i Сейлхамер (1994).

Також даються деякi необхiднi для подальшого викладу означення збiжностi (за ймовiрнiстю та слабкої) послiдовностi випадкових множин до деякої (випадкової або невипадкової) точки.

В наступних двох роздiлах розглядаються застосування вказаних загальних результатiв до аналiзу асимптотичної поведiнки оцiнок методу найменших квадратiв, побудованих за спостереженнями на траєкторiї деякої системи в стацiонарних та перехiдних умовах.

Роздiл 3.3 iлюструє пiдхiд, що застосовується, для випадку незалежних однаково розподiлених спостережень.

В наступному роздiлi розглядається бiльш загальна модель, коли спостереження побудованi на траєкторiї деякої системи. Припустимо, що ми маємо (випадкову чи невипадкову) послiдовнiсть iз значеннями в просторi, якi вiдповiдають послiдовним станам системи. Нехай також задано функцiї i сiмейства випадкових векторiв.Припустимо, що розподiли не залежать вiд iндексу, i цi величини не залежать вiд послiдовностi. Данi мають вигляд:

Припустимо, що задовольняє умовi усереднення

A: iснує неперервна функцiя така, що для будь-якої неперервної обмеженої функції.

Зауважимо, що умова A в основному орiєнтована на нестацiонарнi ситуацiї. Наприклад, можна перевiрити її у випадку, коли послiдовнiсть утворює рекурентний процес клас граничних розподiлiв представляється як, де вектор має багатовимiрний Також розглядається випадок, коли спостереження проводяться у (випадкових чи детермiнованих) точках

В роздiлi 3.5 предметом розгляду є аналiз розв'язку рiвняння методу найменших квадратiв. Припустимо, що данi мають вигляд:

Розглянемо поведiнку вiдхилень.

Теорема 8. Нехай виконуються умови Теореми 7, i задовольняється умова Лiндеберга. Тодi iснує послiдовнiсть точок локального мiнiмума така, що де матрицi i B задаються спiввiдношеннями (7).

Цi теореми показують, що обидва пiдходи, якi базуються на аналiзi екстремальних точок i на аналiзi розв'язкiв стохастичних рiвнянь, дають в основному подiбнi результати для оцiнок, але при цьому умови можуть бути дещо рiзними.

Роздiл 3.6 присвячений розгляду випадку, коли спостереження керуються деяким випадковим середовищем.

Припустимо, що задано деяку випадкову послiдовнiсть iз значеннями у просторi , якi вiдповiдають станам середовища. Нехай також - деяка неперервна функцiя iз значеннями в метричному просторi, яка вiдповiдає траєкторiї системи, що спостерiгається. Ми проводимо спостереження в моменти часу.

Припустимо, що середовище задовольняє умовi ергодичностi

E: iснує така ймовiрнiсна мiра, що для довiльної неперервної обмеженої функції.

Тодi при деяких регулярних умовах доводиться, що i додатково доводиться, що якщо функцiя диференцiйовна по, то iснує послідовність точок локального мiнiмума така.

Зауважимо, що умова ергодичностi E задовольняється для таких широких класiв випадкових послiдовностей як ергодичнi маркiвськi процеси та стацiонарнi процеси.

В Главi 4 розглядаються iншi застосування результатiв Глав 2 i 3. В роздiлах 4.1-4.2 ми застосовуємо результати про поведiнку розв'язкiв стохастичних рiвнянь (Теорема 1) до задач статистичного оцiнювання параметрiв i вивчаємо властивостi оцiнок методу моментiв, побудованих за траєкторними спостереженнями в перехiдних умовах та в ергодичному випадку. В роздiлi 4.3 ми розглядаємо властивостi оцiнок методу максимальної вiрогiдностi, побудованих за траєкторними спостереженнями в перехiдних умовах. Метод вивчення базується на результатах Глави 2, зокрема Теоремi про поведiнку екстремальних точок.

Нехай є траєкторiєю системи, - параметричнi сiмейства випадкових величин. Припустимо, що iснують першi моменти величин i як функцiї вони належать до параметричного сiмейства функцiй i. Тодi оцiнка методу моментiв є розв'язком рівняння.

При виконаннi умови усереднення A доведено конзистентнiсть оцiнки. При додаткових припущеннях доведено.

В роздiлi 4.3 даються аналогiчнi результати для оцiнок, отриманих методом максимальної вiрогiдностi. При дослiдженнi ми користуємось результатами Глави 2, Теоремою про поведiнку екстремальних точок.

В додатку проводиться аналiз конкретних часових рядiв, пов'язаних з продуктивнiстю вирощування пшеницi в Лiвiї.

Висновки

1. Запропоновано новий пiдхiд до статистичного оцiнювання параметрiв для спостережень на траєкторiях стохастичних систем. Оцiнка представляється як розв'язок (множина розв'язкiв) деякого стохастичного рiвняння або як множина екстремумiв деякої випадкової функцiї, де функцiєю є деякий адитивний функцiонал на траєкторiї системи, побудований по спостереженнях.

2. Вивченi асимптотичнi властивостi розв'язкiв стохастичних рiвнянь загального вигляду i також умови глобальної збiжностi. Дослiдженi їх застосування до аналiзу розв'язкiв рiвнянь при випадкових помилках в обчисленнях.

3. Базуючись на запропонованому пiдходi вивченi асимптотичнi властивостi оцiнок, отриманих за допомогою методу найменших квадратiв, для нелiнiйних часових рядiв в стацiонарних та перехiдних умовах, а також пiд впливом ергодичного середовища, одержано також некласичнi граничнi закони.

4. Базуючись на запропонованому пiдходi вивченi також асимптотичнi властивостi оцiнок методу моментiв i методу максимальної вiрогiдностi, побудованих за спостереженнями на траєкторiях стохастичних систем в стацiонарних та перехiдних умовах.

5. Проведено аналiз конкретних часових рядiв, пов'язаних з продуктивнiстю вирощування пшеницi в Лiвiї.

Основнi результати дисертацiї надрукованi в наступних працях

1. Anisimov V.V. and Kaibah H.S. Asymptotic Behaviour of Solutions of Stochastic Equations and Application in Statistics // Istatistik, Journal of the Turkish Statistical Association. - 1998. - N 3. - P. 31-42.

2. Anisimov V.V. and Kaibah H.S. Asymptotic properties of non-linear time series parameters estimators // Вiсник Київського унiверситету. - 1998. - N 3. - C. 109-122.

3. Kaibah H.S. Non-Linear Time Series // Вiсник Київського унiверситету. - 1999.- N 1. - C. 101-107.

4. Anisimov V.V. and Kaibah H.S. Asymptotic parameter estimation of non-linear time series in random environment // The Third Ukrainian-Scandinavian Conference in Probability Theory and Mathematical Statistics. Kyiv, 1999. - P. 19.

5. Anisimov V.V. and Kaibah H.S. Asymptotic Properties of Least-Squared Method Estimators in Stochastic Systems // Материалы Международной Конференции “Современные математические методы исследования телекоммуникационных сетей”. Минск, 1999. С. 158-162.

Анотація

Робота присвячена дослiдженню асимптотичної поведiнки статистичних оцiнок параметрiв нелiнiйних часових рядiв, побудованих за спостереженнями на траєкторiях стохастичних систем у випадковому середовищi.

Запропоновано новий пiдхiд, при якому оцiнка представляється як розв'язок (множина розв'язкiв) деякого стохастичного рiвняння або як множина екстремумiв деякої випадкової функцiї (де функцiєю є адитивний функцiонал на траєкторiї системи, побудований по спостереженнях), i дослiдження асимптотичних властивостей оцiнки базується на результатах про асимптотичну поведiнку розв'язкiв стохастичних рiвнянь загального вигляду i множин екстремумiв випадкових функцiй. Вивченi асимптотичнi властивостi розв'язкiв стохастичних рiвнянь загального вигляду, умови глобальної збiжностi, а також асимптотичнi властивостi множин екстремумiв випадкових функцiй. Базуючись на цих нових результатах вивченi асимптотичнi властивостi оцiнок методу найменших квадратiв для нелiнiйних часових рядiв в стацiонарних та перехiдних умовах, а також пiд впливом ергодичного середовища. Одержано класичнi та некласичнi граничнi закони.

Вивченi також асимптотичнi властивостi оцiнок методу моментiв i методу максимальної вiрогiдностi, побудованих за спостереженнями на траєкторiях стохастичних систем в стацiонарних та перехiдних умовах.

Дослiдженi застосування отриманих результатiв до аналiзу розв'язкiв детермiнованих рiвнянь при випадкових помилках в обчисленнях.

Проведено аналiз конкретних часових рядiв, пов'язаних з продуктивнiстю вирощування пшеницi в Лiвiї.

Аннотация

Работа посвящена исследованию асимптотического поведения статистических оценок параметров нелинейных временных рядов, построенных по наблюдениям на траекториях стохастических систем в случайной среде. Предложен новый подход, основанный на результатах об асимптотическом поведении решений стохастических уравнений общего вида и множеств экстремумов случайных функций. Изучены асимптотические свойства оценок метода наименьших квадратов, метода моментов и метода максимального правдоподобия для нелинейних временных рядов в стационарных и переходных условиях, а также под влиянием эргодической среды.

Annotation

The thesis is devoted to the investigation of the asymptotic behaviour of statistical parameters estimators for non-linear time series constructed by observations on trajectories of stochastic systems and possibly under the influence of a random environment.

In the thesis the new approaches and methods are developed to make statistical inference in such non-classical situations when observations are non homogeneous in time and also are not independent.

Asymptotic properties of parameters estimators are studied for different classes of statistical methods and for observations constructed on trajectories of stochastic systems in stationary and transient conditions.

The trajectories of stochastic systems under consideration are supposed to satisfy some conditions of averaging in transient conditions or ergodicity in stationary conditions.

The description of different classes of time series and different models for their analysis is given.

Some special classes of non-linear models for the analysis of parameters of trends in non-linear time series are considered and recurrent algorithms for numerical calculation of parameters are studied.

A new approach in statistical parameter estimation for observations on trajectories of stochastic systems is suggested. It is based on the representation of estimator as a solution (set of solutions) of some stochastic equation (or as a point (set) of extreme of some random function), where the function is some additive functional on the trajectory of a system, and it is also based on the results about the asymptotic behaviour of solutions of stochastic equations and extreme sets of random functions.

Asymptotic properties of solutions of stochastic equations (conditions of consistency and the behaviour of deviations) are studied.

Conditions of global convergence of solutions are considered. Asymptotic properties of points (sets) of extreme for general random functions are studied as well.

Applications of these general results to the asymptotic analysis of least squares method estimators for non-linear time series basing on the suggested approach are investigated in stationary and transient conditions, and also under the influence of the ergodic environment. Classical and non-classical limit laws are also obtained.

Applications to the asymptotic analysis of method of moments and maximum likelihood method estimators constructed by the observations on trajectories of stochastic systems in transient and stationary conditions based on the suggested approach are considered as well.

Another applications to the analysis of solutions of deterministic equations under random errors at calculations are also studied.

The comparison of asymptotic results obtained by both approaches based on the analysis of extreme points of random functions and on the analysis of solutions of stochastic equations is also provided; their connection to analogous results and other techniques elaborated by now is described.

Analysis of concrete non-linear time series data concerning with the productivity of wheat in Libya is also provided.

Размещено на Allbest.ru