Метод нелінійного оцінювання в задачах стохастичної оптимізації та ідентифікації

Размещено на http://www.allbest.ru/

Національна академія наук України

Інститут кібернетики ім. В.М. Глушкова

УДК 519.21

Автореферат

дисертації на здобуття наукового ступеня кандидата фізико-математичних наук

Метод нелінійного оцінювання в задачах стохастичної оптимізації та ідентифікації

01.05.01. - теоретичні основи інформатики та кібернетики

Волох Людмила Василівна

Київ 2002

Загальна характеристика роботи

Актуальність теми. При дослідженні складних проблем, що виникають в тій чи іншій сферах науки і людської діяльності лише в окремих випадках можна знайти явний аналітичний розв'язок задачі. Все це приводить до розвитку методів дослідження, які б враховували і узагальнювали різні ситуації, в яких розв'язуються сформульовані задачі (вплив випадковості, багатофакторна залежність, складний вигляд функції, обмеження на неї). Зрозуміло, що і одержані з допомогою цих методів рішення потребують більшого обсягу досліджень їх властивостей.

Так все більше застосування знаходить теорія стохастичної оптимізації та ідентифікації. Звичайно наші дії в умовах неоднозначності вибору визначаються деякою метою, яку ми намагаємося досягти найкращим чином. Тим самим людська діяльність пов'язана (свідомо чи ні) з постійним розв'язанням оптимізаційних задач.

При цьому важливим є можливість застосування для обчислень високопродуктивної комп'ютерної техніки, що в нинішніх умовах дозволяє широко застосовувати результати досліджень у цьому напрямку. Це передусім пов'язано з тим, що явний розв'язок задачі можна знайти лише в окремих випадках. Складність чи неможливість відшукання аналітичного розв'язку була виявлена і в інших розділах математики; поступово стало зрозуміло, що будь-яка задача може вважатися розв'язаною, якщо вказаний алгоритм, який дозволяє численно побудувати наближений розв'язок з необхідною точністю.

В дисертації досліджуються задачі стохастичної оптимізації та стохастичної ідентифікації і досліджуються збіжність і гранична поведінка їх рішень за умов виконання наступних припущень: стохастичність описується незалежними випадковими величинами з обмеженою областю їх задання; результати спостережень (вимірів) є слабко залежними; функції розподілів випадкових величин належать до експоненціального сімейства. Такі дослідження виникли внаслідок пошуку відповідей на питання, що виникають в таких сферах як економетрія, геологія, астрономія, медицина тощо, тобто в будь-якій галузі виробничої та виконавчої діяльності, де треба керувати об'єктом, підвладним випадковому впливу.

Зв'язок роботи з науковими програмами, планами, темами. Дисертаційна робота проводилась згідно з планами наукових досліджень відділу математичних методів дослідження операцій Інституту кібернетики ім. В.М.Глушкова НАН України ВФ. 130. 07 „Розробка методів оцінки ризику та їх застосування у економіці, фінансовій та страховій математиці, теорії надійності” та ІП. 130. 05. „Статистичні оцінки функцій та їх екстремальних точок”.

Мета і задачі дослідження. Головна мета роботи полягає в знаходженні достатніх умов сильної слушності та асимптотичної нормальності емпіричних оцінок для деяких задач стохастичної оптимізації та ідентифікації; а саме:

- довести існування сильно слушних оцінок параметрів для випадкових величин, які задовольняють умові сильного перемішування, знайти граничний розподіл цих оцінок;

- розглянути асимптотичні властивості М-оцінок для однаково розподілених випадкових величин;

- дослідити асимптотичну поведінку оцінок параметрів, якщо випадкові величини спостерігаються на сфері.

Наукова новизна одержаних результатів. В роботі розглядаються нові задачі стохастичної оптимізації та ідентифікації, в яких присутні залежні та незалежні випадкові величини. Досліджуються нові задачі ідентифікації параметрів випадкових величин експоненціального типу та асимптотичної поведінки оцінок цих параметрів.

Теоретичне і практичне значення одержаних результатів. Результати роботи носять теоретичний характер. Наведені достатні умови сильної слушності емпіричних оцінок в нових задачах стохастичної оптимізації та ідентифікації. Також розглянуто асимптотичну нормальність даних оцінок. Робота має прикладне значення для теорії розпізнавання і управління. Одержані результати можуть застосовуватися при дослідження деяких питань з економетрії, геодезії, астрономії, медицини тощо.

Апробація результатів роботи. Результати досліджень, що включені до дисертації, доповідались на міжнародній конференції „German Open Conference on Probability and Statistics” (University of Hamburg, Germany, 2000) і на семінарах в Інституті кібернетики ім. В.М. Глушкова НАН України та в Київському національному університеті імені Тараса Шевченка.

Публікації. За темою дисертації опубліковано три статті у виданнях, затверджених ВАК України.

Структура і об'єм дисертації. Дисертація складається зі вступу, трьох розділів, висновків, списку використаних джерел з 82 найменувань. Об'єм роботи: 106 друкованих сторінок.

Основний зміст роботи

нелінійне оцінювання стохастична оптимізація

У вступі до роботи обґрунтовується актуальність теми, формулюється мета роботи, наукова новизна, розглядається зміст роботи за розділами з висвітленням найважливіших результатів.

Перший розділ присвячений огляду літератури.

В другому розділі досліджується задача мінімізації функціонала від двох невідомих параметрів для слабко залежних випадкових величин, функція щільностей ймовірностей цих величин належить до експоненціального сімейства.

Розділ складається із трьох пунктів.

В першому пункті досліджується задача в загальному вигляді.

Розглядається послідовність випадкових величин заданих на ймовірносному просторі

{ ,G,P}.

Функція щільності ймовірностей, яка належить експоненціальному сімейству, має загальний вигляд

Розглянемо функції g1(t) та g2(t) - неперервні, строго монотонні і такі, що

де вектори - невідомі, вектори xi ,zi- відомі та невипадкові.

Функціонал, який розглядається у роботі, має вигляд

де функції g1-1(t), g2-1(t)- теж неперервні і строго монотонні.

В якості оцінок невідомих параметрів візьмемо ті значення і , які мінімізують цей функціонал.

У другому пункті першого розділу для слабко залежних випадкових величин наведено теорему, яка досліджує умови сильної слушності.

Теорема 1. Нехай

і виконані такі умови:

1) Р-м.н.;

2) Р-м.н.

де - евклідова норма в Rk.

3)

де A, S - довільні паралелепіпеди з B і Г відповідно.

4) існують сталі С і >0 такі, що

5)

Тоді

У третьому пункті для нашої задачі будемо досліджувати асимптотичний розподіл оцінок параметрів, але при більш жорстких умовах.

Припустимо, що zij=zj .

Ведемо позначення:

.

Далі будемо розглядати задачу з апріорними обмеженнями на невідомі параметри.

Позначимо .

Визначимо множину таким чином:

.

Покладемо

.

Будемо вимагати виконання наступних умов :

A1. Функції g1 i g2 є двічі неперервно диференційованими по .

Нехай існують С>0, такі, що справедлива нерівність

.

А2. Функції qi () є двічі неперервно диференційованими, причому виконується

де величина C є сталою.

А3. Нехай виконуються умови сильної слушності, тобто

,

А4. Припустимо, що - лінійно незалежні, де - градієнт функції .

А5. Функції qi ()- випуклі.

А6. Існують такі, що q()<0.

А7. Матриця збігається до додатно визначеної матриці R().

Розглянемо таку задачу квадратичного програмування:

, (1)

де Фn - матриця з елементами Фnkl виду

, .

Має місце теорема:

Теорема 2. Нехай {yi, iN}-послідовність випадкових величин, які задовольняють умові сильного перемішування, - сильно слушна оцінка для невідомих параметрів. Нехай виконуються умови А1-А6 . Тоді вектор

є розв'язком задачі (1) і слабко збігається до випадкового вектора - розв'язку певної задачі, де - нормально розподілений випадковий вектор

N(0,R())

з матрицею других моментів виду

.

Зауваження: Якщо істинне значення параметра є внутрішньою точкою області обмеження, то асимптотичний розподіл вектора буде нормальним.

У першому пункті третього розділу розглядається оцінювання методом максимальної правдоподібності в загальному вигляді.

В другому пункті наводяться деякі результати стосовно слушності багатопараметричних М-оцінок, визначених за допомогою неявного рівняння, для однаково розподілених випадкових величин.

Показується, що невідомий параметр, який оцінюється, є єдиною точкою мінімуму функціонала, що розглядається.

- логарифмічна функція правдоподібності. Розглядається функція g(t)-неперервна, строго монотонна і така, що

.

Введемо позначення

.

Покладемо

.

Розглянемо наступну умову:

А) Існує функція - неперервна, така, що

i) ;

ii) .

Має місце наступне твердження:

Теорема 3. Нехай виконується умова А).

Також нехай мають місце наступні умови:

1) , C- скалярна величина;

2) існують такі

;

3) ;

4) g' (t)- неперервна.

Тоді .

Третій пункт третього розділу присвячений тій же оцінці максимальної правдоподібності, але в дещо зміненій формі: незалежні випадкові величини розглядаються на деякій сфері з центром в точці, яка є істинним значенням.

Позначимо

.

Оскільки в точці локального максимуму рівняння правдоподібності повинні виконуватися, то тоді з ймовірністю 1 задача (2) має розв'язок всередині даної сфери.

Розглянемо наступні умови:

1. Існує відкрита підмножина В простору W, яка містить істинне значення параметра і така, що щільність f(yi) допускає третю похідну .

2. Справедливі рівності:

.

3. Припустимо, що існує функція М така, що

м.н.

Має місце теорема:

Теорема 4. Нехай {yi, iN} - незалежні випадкові величини, які задовольняють умовам 1-3 і наступним умовам:

1) існують такі

;

2) , N - скалярна величина;

3) ;

Тоді .

У четвертому пункті цього ж розділу дослідимо асимптотичну нормальність оцінок параметрів, умови сильної слушності для яких розглядалися вище.

В першому підпункті розглядаємо М-оцінки, введені Хьюбером. Позначимо

.

Покладемо

.

Розглянемо наступну умову :

Б) Існують такі числа ,b,c,d0 >0, що

а) ,

б) ,

в) .

(С) Величина не дорівнює нулю і є скінченою.

Має місце твердження:

Теорема 5. Якщо виконуються умови (Б)-(С) і для невідомого параметра існує сильно слушна оцінка, то

за ймовірністю.

Наслідок. Нехай виконуються умови теореми 5, а також нехай має в точці, яка є істинним значенням параметра, невироджену похідну . Тоді величина

має асимптотично нормальний розподіл

де C-коваріаційна матриця для нашого функціоналу.

У другому підпункті розглянемо граничну поведінку оцінки максимальної правдоподібності на сфері. Ця задача запропонована Леманом. До наведених у третьому пункті умов 1-3 додамо наступну умову:

4. Нехай статистики

лінійно незалежні з ймовірністю 1 і коваріаційна матриця є додатно визначеною.

Позначимо

,

Має місце теорема:

Теорема 6. Нехай виконуються умови 1-4, є сильно слушною оцінкою для невідомого параметра. Тоді з ймовірністю 1 існує розв'язок рівнянь правдоподібності такий, що

прямує до нормально розподіленої величини

.

Висновки

1. В запропонованій роботі розглядаються задачі стохастичної оптимізації та ідентифікації за умов, що розподіл випадкових величин належить сімейству експоненціального типу. Розв'язання наведених задач зводиться до одержання емпіричних оцінок невідомих параметрів та дослідження їх асимптотичних властивостей.

2. Доведено, що оцінки параметрів випадкових величин, які задовольняють умові сильного перемішування, будуть сильно слушними. Досліджено граничний розподіл цих оцінок.

3. Розглянуто властивості М-оцінок, які одержані методом максимальної правдоподібності. Досліджено сильну слушність і асимптотичну нормальність цих оцінок, якщо випадкові величини розподілені однаково.

4. Окремо досліджено сильну слушність та асимптотичну нормальність оцінок параметрів, якщо випадкові величини спостерігаються на сфері.

5. Наведені дослідження мають здебільшого теоретичне значення і в той же час мають широке значення для розв'язання важливих класів задач прикладної статистики, що виникають в економетрії, геодезії, астрономії тощо.

Список опублікованих наукових праць автора за темою дисертаційної роботи

1. Волох Л.В. Оценки параметров зависимых случайных величин // Кибернетика и системный анализ. - 1999. - № 4. - С. 133-141.

2. Волох Л.В. Оценка параметра одинаково распределённых величин экспоненциального типа // Кибернетика и системный анализ. - 1999. - № 6. - С. 130-134.

3. Волох Л.В. Об одной оценке параметров случайных величин экспоненциального типа распределений // Кибернетика и системный анализ. - 2000. - № 5. - С. 133-141.

4. Knopov P., Volokh L. On The Non-Linear Regression Models With Not Identically Distributed

Random Values // German Open Conference on Probability and Statistics. -University of Hamburg, 21-

24 March, 2000.-Universitдt Hamburg, 2000.-P.63.

Анотація

Волох Л.В. Метод нелінійного оцінювання в задачах стохастичної оптимізації та ідентифікації. - Рукопис.

Дисертація на здобуття наукового ступеня кандидата фізико-математичних наук за спеціальністю 01.05.01. - теоретичні основи інформатики та кібернетики. - Інститут кібернетики ім. В.М.Глушкова, Київ, 2002.

В дисертації розглядається експоненціальне сімейство розподілів. Отримано достатні умови існування сильно слушних оцінок невідомих параметрів випадкових величин, які задовольняють умові сильного перемішування. Розв'язана задача мінімізації функціоналу для багатопараметричних задач при умові, що оцінки визначені за допомогою системи неявних рівнянь. Отримано достатні умови існування ефективних оцінок максимальної правдоподібності для випадкових незалежних величин на сфері.

Також розглянуто граничну поведінку оцінок параметрів. Наведено теореми, які досліджують асимптотичну нормальність оцінок максимальної правдоподібності та оцінок параметрів слабко залежних величин.

Ключові слова: задача стохастичної оптимізації, стохастична ідентифікація, експоненціальне сімейство, емпірична оцінка, слушність оцінки, асимптотична нормальність, метод максимальної правдоподібності.

Summary

Volokh L.V. The method of non-linear estimation in stochastic optimizition and stochastic identification problems. - Manuscript.

Thesis to confer a scientific degree of a candidate of physic and mathematics in specialty 01.05.01 - the theoretical fundamentals of informatics and cybernetics (mathematical cybernetics). - Ukrainian National Academy of Science, Institute of Cybernetics , named after V.M.Glushkov, Kyiv, 2002.

In the thesis is considered exponencial family of distributions. Sufficient conditions of existence of strongly solvent estimations of unknown parameters of random variables which satisfy to a condition of strong hashing are received. The problem of minimization of function for multipleparameter problems is solved provided that estimations are determined by means of system of the implicit equations. Sufficient conditions of existence efficient maximum likelihood estimations for independent random variables on sphere are received.

Also the limiting behaviour of estimations of parameters is considered. Theorems which investigate asymptotic normality of estimations of the maximum likelihood and estimations of parameters of poorly dependent variables are given.

Key words: a problem stochastic optimization, stochastic identification, exponential family, an empirical estimation, a solvency of an estimation, asymptotic normality, a maximum likelihood method.

Аннотация

Волох Л.В. Метод нелинейного оценивания в задачах стохастической оптимизации и идентификации. - Рукопись.

Диссертация на соискание ученой степени кандидата физико-математических наук по специальности 01.05.01. - теоретические основы информатики и кибернетики. - Институт кибернетики им. В.М.Глушкова, Киев, 2002.

При исследовании сложных проблем, которые возникают в той или иной сферах науки и деятельности человека, только в отдельных случаях можно найти явное аналитическое решение задачи. Всё это приводит к развитию методов исследования, которые бы учитывали и обобщали различные ситуации, в которых решаются сформулированные задачи (влияние случайности, многофакторная зависимость, сложный вид функции, ограничения на неё). Очевидно, что и полученные с помощью этих методов решения нуждаются в большем объёме исследований их свойств.

Так всё большее применение находит теория стохастической оптимизации и идентификации. Как правило, наши действия в условиях неоднозначности выбора определяется некоторой целью, которую мы стремимся достичь наилучшим образом. Тем самым деятельность человека повязана с постоянным решением оптимизационных задач.

В диссертации исследуются задачи стохастической оптимизации и идентификации, рассматриваются асимптотические свойства решений этих задач при условии выполнения следующих придположений: стохастичность описывается независимыми случайными величинами с ограниченной областью их задания; результаты наблюдений (измерений) являются слабо зависимыми; функции распределений случайных величин принадлежат к экспоненциальному семейству. Такие исследования возникли в результате поиска ответов на вопросы, возникающие в таких сферах, как эконометрия, геология, астрономия, то есть в любой отрасли производственной и исполнительной деятельности, где необходимо руководить объектом, подвластным случайному влиянию.

В работе получены достаточные условия существования сильно состоятельных оценок неизвестных параметров случайных величин, которые удовлетворяют условию сильного перемешивания. Решена задача минимизации функционала для многопараметрических задач при условии, что оценки определены при помощи системы неявных уравнений. Получены достаточные условия существования еффективных оценок максимального правдоподобия для случайних независимых величин на сфере.

Также рассмотрено предельное поведение оценок параметров. Приведены теоремы, которые исследуют асимптотическую нормальность оценок максимального правдоподобия, а также рассмотрено граничное поведение оценок параметров слабо зависимых величин. Следует заметить, что распределение функционалов от этих оценок при условии, что истинное значение параметра является внутренней точкой некоторой области ограничений, будет нормальным.

Ключевые слова: задача стохастической оптимизации, стохастическая идентификация, экспоненциальное семейство, эмпирическая оценка, состоятельность оценки, асимптотическая нормальность, метод максимального правдоподобия.

Размещено на Allbest.ru