Прогнозування та емуляція нестаціонарних послідовностей за допомогою штучних вейвлет-нейронних мереж

Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

Вступ

Актуальність теми. Сучасний етап розвитку теоретичних і прикладних досліджень в різних галузях науки характеризується зростанням уваги до задач моделювання нелінійних нестаціонарних послідовностей та сигналів з локальними особливостями довільної природи. До теперішнього часу було розроблено багато типів інтелектуальних систем емуляції і прогнозування, у тому числі і архітектури вейвлет-нейромережевих систем. Однак слід відзначити орієнтацію відомих систем на структуру багатошарового персептрону з великим числом параметрів, що має громіздку побудову. Крім того, процедури навчання вейвлет-нейромережевих систем, що традиційно використовуються, засновані на алгоритмі зворотного поширення похибок, який має низьку швидкість збіжності, що в свою чергу обмежує їх використання, особливо при роботі в реальному часі.

У зв'язку із цим досить актуальною є задача розробки методів прогнозування та емуляції нестаціонарних сигналів та об'єктів на основі вейвлет-нейромережевих моделей, що здатні функціонувати за умов апріорної та поточної невизначеності як щодо структури й параметрів об'єкта, так і діючих на нього збурень, які мають підвищену швидкість навчання.

Мета і задачі дослідження. Метою роботи є розробка методів емуляції та прогнозування нестаціонарних послідовностей на основі гібридних вейвлет-нейромережевих моделей за умов апріорної та поточної невизначеності в реальному часі, а також розробка універсальної активаційної функції на основі вейвлетів. Досягнення поставленої мети здійснюється розв'язанням таких основних задач:

- аналіз існуючих методів емуляції і прогнозування нестаціонарних об'єктів і сигналів довільної природи за умов апріорної та поточної невизначеності;

- синтез архітектур гібридних вейвлет-нейромережевих моделей та методів емуляції і прогнозування на основі стохастичної апроксимації для нестаціонарних об'єктів і сигналів довільної природи за умов апріорної та поточної невизначеності, що мають підвищену швидкість збіжності;

- синтез універсальної активаційної функції на основі генератора аналітичних вейвлетів;

- синтез методів навчання гібридних вейвлет-нейромережевих моделей на основі еволюційної оптимізації, що орієнтовані на вирішення задачі прогнозування нелінійних нестаціонарних сигналів;

- імітаційне моделювання розроблених моделей та методів, а також вирішення за їх допомогою реальних практичних задач.

1. Аналіз існуючих підходів до проблеми прогнозування та емуляції нестаціонарних стохастичних послідовностей за умов апріорної та поточної невизначеності та постановку задачі дослідження

Детально розглянуто різні основні методи прогнозування та емуляції нестаціонарних сигналів та зроблено висновок про доцільність розробки структур гібридних вейвлет-нейронних мереж та їх методів навчання, що поєднують переваги апарату штучних нейронних мереж та теорії вейвлетів.

Для нелінійної нестаціонарної послідовності, що задана у формі часового ряду побудувати його прогноз

(1)

де - прогноз часового ряду ; - невідомий оператор оцінювання; - поточний дискретний час.

Часовий ряд надходить на вхід вейвлет-нейронної мережі, вихід якої описується виразом:

(2)

де - вихід вейвлет-нейронної мережі; - деякий оператор, що зв'язує простір входів із простором виходів; - вектор синаптичних ваг, що настроюються; - вектор функцій активації нейронів прихованого шару на основі вейвлетів; - число нейронів прихованого шару.

Завдання дослідження полягає в розробці архітектур вейвлет-нейронних мереж, методів емуляції та прогнозування для знаходження оцінки в момент часу по даним передісторії спостережень у реальному часі в темпі надходження даних (де - горизонт упередження), що забезпечують мінімум критерію якості:

, (3)

за умов апріорної та поточної невизначеності щодо природи і структури сигналу.

2. Розробка модифікованої архітектури вейвлет-радіально-базисної нейронної мережі та її методів навчання, що мають підвищену швидкість збіжності, для прогнозування та емуляції нестаціонарних послідовностей у реальному часі

Вейвлет-нейронна мережа реалізує нелінійне відображення вектора входів у скалярний вихід :

(4)

де - деякий оператор, що зв'язує простір входів із простором виходів; - - вектор синаптичних ваг, що настроюються; - вектор функцій активації нейронів прихованого шару на основі вейвлетів, - число нейронів прихованого шару.

Властивості таких вейвлет-нейронних мереж обумовлюються активаційними вейвлет-функціями, які складаються зі зсувів і розтягнень материнського вейвлета. Перевагами вейвлетів є те, що вони мають вигляд локалізованих у часі (або просторі) хвильових пакетів з нульовим значенням інтегралу, мають можливість зсуву по осі часу, здатні до масштабування (стиснення - розтягання), а також мають локальний частотний спектр. Найбільше поширення отримали вейвлети такі, як, наприклад, вейвлет Хаара, вейвлети Добеші, вейвлет Морлета, вейвлети Шеннона, POLYWOG-вейвлети, RASP-вейвлети та інші.

У якості методів навчання синтезованої вейвлет-нейронної мережі пропонуються методи, які мінімізують критерій якості виду:

(5)

де - параметр забування застарілої інформації, та мають вигляд:

- модифікований експоненційно зважений метод навчання на основі стохастичної апроксимації:

(6)

- модифікований експоненційно зважений метод навчання на основі стохастичної апроксимації зі скалярним параметром:

(7)

- експоненційно зважений адаптивний метод навчання одночасної дії:

 (8)

де - вектор синаптичних ваг; - навчаючий сигнал; - вектор вейвлет-активаційних функцій; ; ; - похибка навчання; .

Для дослідження збіжності запропонованого методу навчання запишемо перше співвідношення (8) щодо вектора відхилень при :

, (9)

(тут ) і введемо квадрат норми:

(10)

Оскільки конструкція завжди невід'ємна, норма відхилень у процесі навчання не може зростати, при цьому при (10) перетворюється в:



що збігається з відомим результатом для алгоритму Уідроу-Хофа. Для випадку ж незалежних центрованих входів ( - одинична матриця):

тобто алгоритм (8) за швидкодією завжди не гірше ніж алгоритм Уідроу-Хофа.

Було розглянуто процес навчання в нестаціонарних умовах, що означає дрейф оптимального вектора синаптичних ваг:

(11)

Підставляючи (9) в (11), отримуємо умову збіжності у вигляді нерівності:

з виконанням якого зв'язане стійке слідкування за характеристиками сигналу, що змінюються.

Коли сигнал похибки навчання спостерігається на тлі збурення з обмеженим другим моментом, тоді, якщо розписати квадрат норми (10) з урахуванням того, що:

після перетворень отримуємо умову збіжності у вигляді:

(тут - символ математичного сподівання) або з врахуванням некоррельованості й :

(12)

Таким чином, за наявності збурень у каналі навчання метод забезпечує збіжність в область, що обумовлена нерівністю (12), розмір якої визначається співвідношенням сигнал / шум. У ситуації, коли перешкоди проникають у прихований шар із входу мережі, тобто замість вектора обробляється сигнал , умова збіжності може бути записана у вигляді:

(13)

де:

;,

і, нарешті, якщо в мережі присутні завади й , отримуємо:

(14)

Оцінки (11)-(14) показують, що процедура навчання (8) за своїми властивостями близька до алгоритму Уідроу-Хофа, однак перевершує його за швидкістю, а крім того, подібно методу найменших квадратів має фільтруючі властивості.

Вибір конкретної вейвлет-активаційної функції в тій або іншій нейронній мережі, як правило, робиться із сугубо емпіричних міркувань і може впливати на якість вирішення розглянутої задачі.

3. Синтез універсальної активаційної функції для вейвлет-нейронної мережі на основі генераторів аналітичних вейвлетів

Були розглянуті й проаналізовані існуючі аналітичні вейвлет-активаційні функції. Для аналізу структури та вивчення зв'язку між різними вейвлетами введено структуру адаптивної нейронної мережі Фур'є зі стандартною процедурою навчання.

При надходженні на вхід адаптивної нейронної мережі поточного значення вхідного сигналу на виході нейронної мережі отримуємо розкладання:

(15)

де - вектор параметрів, що настроюються; ; - точне значення вейвлета в точках розбивки.

Мінімізувати критерій якості:

(16)

можна за допомогою стандартного рекурентного методу найменших квадратів.

Аналітичні вейвлети, що найбільш часто використовуються на практиці, можна розділити на два види: парні й непарні.

На основі аналізу спектрів вейвлетів нескладно бачити, що всі спектри мають: дзвонуватий характер, сума всіх коефіцієнтів для кожного розкладання дорівнює нулю, перший коефіцієнт близький до нуля.

У такому разі розподіл коефіцієнтів розкладання кожного розглянутого вейвлета поводиться в середньому як функція Гауса з різними параметрами зсуву та розтягу :

, (17)

де , при цьому необхідно виконання умови .

Таким чином, виходячи з вищесказаного, можна записати в загальному вигляді форму генератора парних аналітичних вейвлетів:

(18)

де: ; - коефіцієнти розкладання парних вейвлетів і генератора непарних аналітичних вейвлетів:

 (19)

де ; - коефіцієнти розкладання непарних вейвлетів.

У такий спосіб запропоновані генератори аналітичних вейвлетів дозволяють одержувати різні види вейвлет-функцій, а також настроювати їх параметри в процесі навчання нейронних мереж. Проведене імітаційне моделювання запропонованих генераторів показує, що за їх допомогою може бути реалізований широкий спектр можливих вейвлетів.

4. Синтез архітектури прогнозуючого вейвлет-нейрона і його методів навчання з підвищеною швидкістю збіжності для обробки істотно нестаціонарних послідовностей і процесів у реальному часі

При подачі на вхід вейвлет-нейрона векторного сигналу:

, (20)

де - поточний дискретний час, на його виході з'являється сигнал:

(21)

де - синаптичні ваги; - вейвлет-активаційні функції.

В якості материнських вейвлетів у складі вейвлет-нейрона можуть використовуватися материнські вейвлети будь-яких сімейств, а також універсальна активаційна функція на основі генераторів аналітичних вейвлетів.

Синтез методу навчання вейвлет-нейрона розглядається на основі материнського вейвлета POLYWOG 1:

(22)

Дочірнім вейвлетом функції (22) є:

де ; - параметри, що визначають положення зсуву і розтягання.

Завдання навчання полягає в тім, щоб обирати на кожній ітерації параметри , і , які оптимізують критерій якості:

. (23)

Вводячи - вектори змінних , , , та , можна отримати градієнтний метод навчання -го вейвлет-синапса:

(24)

де ; - символ прямого (скоттового) добутку; - вектор, що складається з одиниць.

Підвищити швидкість збіжності процесів навчання можна, переходячи від градієнтних процедур до алгоритмів другого порядку, серед яких для настроювання нейронних мереж найбільше розповсюдження отримав алгоритм Левенберга-Марквардта.

Позначивши:

(25)

можна записати метод навчання вейвлет-синапса на основі алгоритму Левенберга-Марквардта у вигляді:

(26)

Таким чином, здійснюючи послідовність очевидних перетворень, запропонований метод навчання на основі градієнтних процедур зі згладжуванням набуває вигляду:

(27)

де - малі невід'ємні регуляризуючі добавки; - одинична матриця.

З метою забезпечення методу (29) згладжуючих властивостей, можна ввести його експоненційно зважену модифікацію:

(28)

де - параметр забування.

У реальних ситуаціях сигнал або процес, що оброблюється, є істотно нестаціонарним (такі часові ряди як медико-біологічні, технічні тощо). Це приводить до появи ефекту зсуву, що знижує точність прогнозування. Для того, щоб вирішити цю проблему, необхідно ввести такий критерій якості, що зміг би враховувати ефект зсуву сигналу прогнозу. На основі відомих критеріїв якості було синтезовано гібридний критерій:

(29)

де - сигмоїдальна функція; - параметр крутизни, ; - параметр урахування ефекту запізнювання.

Ввівши - вектори змінних , , можна записати метод навчання на точках повороту для вейвлет-нейрона:

(30)

де - фактичне значення сигналу; - прогноз; - вектор вейвлет-активаційних функцій; - параметр кроку навчання.

У ситуаціях, коли цільова функція або вихідна функція мережі є або недиференційованою, або багатоекстремальною, або обчислення похідних з-за якихось причин небажано або важко, на перший план виходять еволюційні алгоритми навчання. Відповідно до процедури випадкового еволюційного планування REVOP рух у просторі параметрів здійснюється за правилом:

(31)

де - напрямок руху, що обирається випадковим чином.

У випадку, якщо , подальший рух триває в напрямку , у протилежному випадку обирається новий випадковий напрямок . Нескладно бачити, що випадкове еволюційне планування збігається із стандартним алгоритмом випадкового пошуку.

Введення в REVOP випадкового блукання в сполученні зі самонавчанням дозволяє задетермінувати рух у сприятливих напрямках і захиститися від “застрягання” у локальних екстремумах. Для цього можна використовувати адаптивне випадкове еволюційне планування у формі:

(32)

де - оцінка градієнта; - випадкова складова, у якої дисперсія компонентів визначається приростом цільової функції . Оцінку градієнта в цьому випадку зручніше отримувати за допомогою однокрокового адитивного алгоритму ідентифікації, що набуває при цьому вигляду:

 (33)

де - параметр регулярізації.

Для керування дисперсією можна використати співвідношення:

(34)

При русі в сприятливому напрямку випадковий компонент придушується і рух наближається до антіградієнтного, при застряганні в локальному мінімумі випадковий компонент має дисперсію , у випадку, якщо метод робить невдалий крок , випадкова складова, зростаючи за амплітудою, “збиває” рух з невірного напрямку.

У такий спосіб метод (32) - (34) набуває глобальних властивостей.

5. Імітаційне моделювання запропонованих методів прогнозування та емуляції та розв'язанню практичних задач

Проведено імітаційне моделювання розроблених архітектур і методів навчання гібридних вейвлет-нейромережевих моделей. Показано їхні переваги перед відомими структурами і методами навчання як за точністю, так і за швидкодією в задачах емуляції та прогнозування нестаціонарних послідовностей та процесів за умов апріорної та поточної невизначеності. Вирішено практичну задачу прогнозування часового ряду погодинного енергоспоживання. Вирішено практичну задачу аналізу нестаціонарних біологічних процесів, що відбуваються у період гібернації теплокровних тварин (а саме пацюків-самців Ratus Norvegius Vistar) і задача аналізу нестаціонарних біологічних процесів, що відбуваються у період зимової сплячки ховрашка Citellius Mayor. Аналіз отриманих результатів дозволяє сподіватися, що розроблений у дисертаційній роботі підхід буде ефективним при одержанні механізмів функціонування центральної нервової системи та інших органів людини і тварин в екстремальних умовах, зокрема, при зниженні температури, що має велике значення для експериментальної біології та медицини у зв'язку з розвитком методів лікування, що використовують штучне охолодження організму.

Висновки

вейвлет апріорний нестаціонарний активаційний

В дисертаційній роботі представлені результати, які у відповідності з поставленою метою є вирішенням актуальної задачі розробки ефективних методів прогнозування та емуляції нестаціонарних послідовностей за умов апріорної та поточної невизначеності в реальному часі, що основані на використанні апарату гібридних вейвлет-нейронних мереж. Отримані результати мають важливе наукове і практичне значення для створення ефективних систем прогнозування, емуляції і діагностики як вже функціонуючих, так і знов створених об'єктів. Проведені дослідження дозволили зробити такі висновки.

1. У результаті аналізу сучасного стану проблеми прогнозування та емуляції нестаціонарних процесів за умов апріорної та поточної невизначеності відзначено ряд недоліків відомих стандартних і вейвлет-нейромережевих систем, які знижують ефективність їх застосування. Так, відомі вейвлет-нейромережеві системи прогнозування та емуляції, що побудовані на архітектурі багатошарового персептрону, мають громіздку структуру. Крім того, методи навчання на основі зворотного поширення похибки, що традиційно використовуються, мають низьку швидкість збіжності та неефективні при роботі у реальному часі, а процедури емуляції на основі рекурентного методу найменших квадратів або не мають адаптивних властивостей, або нестійкі при роботі в реальному часі. В цьому випадку доцільною є розробка методів прогнозування та емуляції на основі гібридних вейвлет-нейромережевих моделей, які мають переваги за рахунок кратномасштабних властивостей вейвлет-активаційних функцій. Це й обумовило вибір напрямку досліджень, формулювання мети та задач дисертаційної роботи.

2. Модифіковано архітектуру гібридної вейвлет-нейронної мережі для вирішення задач прогнозування та емуляції, яка відрізняється обчислювальною простотою й зручністю реалізації за рахунок переваг вейвлет-активаційних функцій, що дозволяє використати її для вирішення задач у реальному часі.

3. Запропоновано адаптивну модифікацію методу стохастичної апроксимації та методу одночасної дії в стаціонарних і нестаціонарних умовах навчання, що відрізняються швидкодією й невисокою обчислювальною складністю. Запропоновані методи навчання гібридної вейвлет-нейронної мережі призначені для настроювання синаптичних ваг за умов нестаціонарності та збуреності оброблюваних сигналів, мають фільтруючі та слідкуючі властивості, прості щодо реалізації та стійкі за будь-яких значень параметра забування. Показано, що варіювання величини пам'яті дозволяє домогтися необхідного компромісу між слідкуючими і фільтруючими властивостями запропонованих методів. Досліджено збіжність методів навчання.

4. Розглянуто та проаналізовано існуючі вейвлет-активаційні функції. Уперше запропоновано генератори аналітичних парних і непарних вейвлетів, які дозволяють одержувати різні види вейвлетів і можливість настроювання їх параметрів при навчанні нейронних мереж. Проведено імітаційне моделювання запропонованих генераторів і показано, що за їх допомогою може бути реалізований широкий спектр можливих вейвлетів.

5. Розроблено архітектуру вейвлет-нейрона для вирішення задачі прогнозування, що відрізняється обчислювальною простотою й зручністю реалізації. Вейвлет-нейрон може використовуватися як самостійно, так й у складі штучних нейронних мереж.

6. Запропоновано новий оптимальний за швидкодією метод навчання вейвлет-нейрона на основі градієнтних методів зі згладжуванням, який відрізняється тим, що забезпечує настроювання в реальному часі не тільки синаптичних ваг, але й параметрів розтягання й зсуву дочірніх вейвлетів. Метод має як слідкуючі так і згладжуючі властивості та характеризується високою швидкістю збіжності в порівнянні з відомою процедурою зворотного поширення помилок на основі методу найшвидшого спуска й меншою обчислювальною складністю в порівнянні з відомими процедурами нелінійної оптимізації другого порядку.

7. Уперше запропоновано метод навчання на точках повороту вейвлет-нейрона на основі оптимізації гібридного критерію якості, що дозволяє мінімізувати не тільки квадратичну похибку прогнозу, а й ефект зсуву, що є істотним у вирішенні задач прогнозування нестаціонарних сигналів.

8. Запропоновано метод навчання на основі алгоритмів еволюційного планування, що відрізняється швидкодією й обчислювальною простотою та має захист від “застрягання” у локальних мінімумах за рахунок введення випадкового блукання в сполученні із самонавчанням.

9. Проведено імітаційне моделювання розроблених структур і методів навчання гібридних вейвлет-нейромережевих моделей. Показано їх переваги перед відомими архітектурами і методами навчання як за точністю, так і за швидкодією в задачах емуляції та прогнозування нестаціонарних послідовностей за умов апріорної та поточної невизначеності. Вирішено практичну задачу прогнозування часового ряду погодинного енергоспоживання.

10. Вирішено практичну задачу аналізу нестаціонарних біологічних процесів, що відбуваються в період гібернації теплокровних тварин (а саме пацюків-самців Ratus Norvegius Vistar) і задачу аналізу нестаціонарних біологічних процесів, що відбуваються у період зимової сплячки ховрашка Citellius Mayor. Аналіз отриманих результатів дозволяє сподіватися, що розроблений у дисертації підхід буде ефективним при отриманні механізмів функціонування центральної нервової системи та інших органів людини і тварин за екстремальних умов, зокрема, при зниженні температури, що має велике значення для експериментальної біології та медицини у зв'язку з розвитком методів лікування, що використовують штучне охолодження організму.

11. Результати досліджень впроваджено в процесі виконання договору про наукове співробітництво між Інститутом проблем кріобіології і кріомедицини НАН України і Харківським національним університетом радіоелектроніки №01-01, що підтверджено відповідним актом про впровадження. Наукові положення, висновки і рекомендації, які викладенні в дисертації, були використанні при підготовці і читанні курсу “Нейронні мережі та еволюційні алгоритми навчання. Методи пошуку і оптимізації” у 2003/2004 навчальному році та “Штучні нейронні мережі: архітектури, навчання і застосування” у 2004/2005 навчальному році на кафедрі штучного інтелекту Харківського національного університету радіоелектроніки, що підтверджено відповідним актом впровадження в навчальний процес.

12. Розроблені в дисертаційній роботі методи і моделі можуть бути використанні для прогнозування та емуляції широкого класу нестаціонарних динамічних стохастичних послідовностей і об'єктів за умов апріорної та поточної невизначеності щодо їх структури і параметрів.

Література

1. Бодянский Е.В., Винокурова Е.А. Обучение искусственных всплеск-нейронных сетей при обработке нестационарных стохастических сигналов // Радиоэлектроника и информатика. - 2003. _ №1 (22). _ С. 85-89.

2. Bodyanskiy Ye., Kolodyazhniy V., Pliss I., Vynokurova O. Learning wavelet neuron based on the RASP-function // Радиоэлектроника. Информатика. Управление. _ 2004. _ №1 (11). _ С. 118-122.

3. Бодянский Е.В., Винокурова Е.А. Адаптивный вэйвлет-нейронный предиктор // Проблемы бионики. _ 2003. _ №58. _ С. 10-17.

4. Винокурова Е.А., Ламонова Н.С., Плисс И.П. Генератор аналитических вэйвлетов // Проблемы бионики. _ 2004. _ №60. _ С. 104-109.

5. Винокурова Е.А. Нейронные сети, реализующие базисы всплесков // 6-й Междунар. молодежн. форум “Радиоэлектроника и молодежь в XXI веке”: Cб. научн. трудов. _ Харьков: ХНУРЭ, 2002. _ Ч.2. _ С. 20-21.

6. Винокурова Е.А. Прогнозирование временных рядов с помощью всплеск-радиально-базисной нейронной сети // 8-я Междунар. конф. “'Теория и техника передачи, приема и обработки информации”: Сб. научн. трудов. _ Харьков: ХНУРЭ, 2002. _ С. 509-511.

7. Бодянский Е.В., Винокурова Е.А., Плисс И.П. Алгоритм обучения искусственной вcплеск-нейронной сети // 1-й Междунар. радиоэлектронный форум “Прикладная радиоэлектроника. Состояние и перспективы развития”: Сб. научн. трудов. _ Харьков: АН ПРЭ, ХНУРЭ, 2002. _ Ч.2. _ C. 87-89.

8. Винокурова Е.А., Галль И.А. Прогнозирующая вэйвлет-нейронная сеть на ядрах Дирихле // 7-й Междунар. молодежн. форум “Радиоэлектроника и молодежь в XXI веке”: Cб. научн. трудов. _ Харьков: ХНУРЭ, 2003. _ С. 525.

Размещено на Allbest.ru