Гібридні еволюційні нейронні мережі та їх навчання

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Гібридні еволюційні нейронні мережі та їх навчання

Автореферат

дисертації на здобуття наукового ступеня кандидата технічних наук

Загальна характеристика роботи

Актуальність теми. Кінець ХХ століття характеризується помітним сплеском досліджень у галузі штучних нейронних мереж. З початку 1990-их років теорія штучних нейронних мереж стрімко розвивається, а отримані результати успішно впроваджуються під час вирішення широкого кола задач ідентифікації, прогнозування, управління, кластеризації та класифікації. Однак в той же час, стають чітко зрозумілими недоліки традиційних нейромережевих архітектур: велика обчислювальна складність, неможливість інтерпретації результатів на виході, емпіричний характер вибору архітектури мережі для вирішення задачі. У зв'язку з цим застосування нейронних мереж у певному ряді випадків недостатньо.

З середини 1990-их років в світі активно ведуться дослідження з розробки методів, що дозволяють подолати зазначені недоліки. Останнім часом все більшої популярності набувають так звані гібридні нейро-фаззі мережі, що поєднують у собі переваги нейромережевого підходу і систем нечіткого виведення.

Традиційно під гібридними нейро-фаззі мережами розуміють штучні нейронні мережі з можливістю тим чи іншим способом отримувати знання про те, за якими правилами здійснюється генерація вихідного сигналу. Таким чином вирішується проблема інтерпретації результатів, однак, слід зазначити, що гібридні нейро-фаззі системи не здатні працювати в on-line режимі, а крім того найчастіше є адаптивними лише з тієї точки зору, що можуть налаштовувати свої синаптичні вагові коефіцієнти в процесі навчання, не маючи при цьому механізмів структурної адаптації. Метою цієї роботи є розробка нейро-фаззі архітектур, а також методів їх налаштовування і навчання, що дозволяють подолати обмеження як традиційних, так і існуючих гібридних нейро-фаззі мереж.

Зв'язок роботи з науковими програмами, планами, темами. Дисертаційна робота виконана в рамках держбюджетних тем №177 «Інтелектуальний аналіз і обробка даних в реальному часі на основі засобів обчислювального інтелекту» (№ДР 0104U003432), №214 «Синтез методів обробки інформації за умов невизначеності на основі самонавчання і м'яких обчислень» (№ДР 0107U003028) та №245 «Еволюційні гібридні системи обчислювального інтелекту зі змінною структурою для інтелектуального аналізу даних» (№ДР 0110U000458), що виконувались та виконуються згідно наказів Міністерства освіти і науки України за результатами конкурсного відбору проектів наукових досліджень.

Мета і завдання дослідження. Метою дослідження є розробка гібридних еволюційних штучних нейро-фаззі мереж та методів їх навчання з підвищенною швидкодією та можливостями інтерпретації вихідного сигналу, а також параметричної і структурної адаптації в режимі послідовної обробки інформації.

Поставлені цілі досягаються шляхом вирішення таких основних завдань:

- аналіз існуючих методів структурної адаптації нейронних мереж;

- розробка гібридних штучних нейронів з підвищеною швидкодією, а також методів їх навчання;

- розробка гібридних нейромережевих архітектур, а також методів, що дозволяють автоматизовано синтезувати ці архітектури, у тому числі використання МГУА для самоорганізації нейро-фаззі архітектури;

- розробка методів навчання гібридних нейромережевих архітектур у режимі послідовної обробки інформації;

- імітаційне моделювання розроблених архітектур і методів їх навчання, а також вирішення за їх допомогою практичних задач.

Об'єкт дослідження: динамічні стохастичні процеси, що протікають в умовах повної або часткової апріорної та поточної невизначеності щодо математичної моделі таких процесів та / або її параметрів.

Предмет дослідження: гібридні еволюційні нейронні мережі та алгоритми їх навчання.

Методи дослідження: теорія штучних нейронних мереж, котра дозволила синтезувати нові архітектури нейронних мереж, що ростуть, нечітка логіка, що дала можливість реалізувати нечіткий висновок на основі розроблених архітектур, теорія оптимізації, що забезпечила розробку методів налаштовування синаптичних ваг з підвищеною швидкодією і стійкістю до зашумлених даних для запропонованих в рамках дисертаційної роботи еволюційних нейронних мереж, а також апарат математичної статистики, спираючись на який, була проведена систематизація і використання отриманих в результаті роботи даних для наукових і практичних висновків.

Наукова новизна отриманих результатів. До нових, одержаних особисто автором, належать такі результати:

1) вперше запропоновані спеціалізовані архітектури орто-синапса, орто-нейрона та подвійного орто-нейрона, котрі використовують класичні системи ортогональних поліномів у якості активаційних функцій, а також методи, що дозволяють проводити налаштовування їх вагових коефіцієнтів в пакетному режимі і режимі послідовної обробки інформації, що дозволило прискорити час навчання вищезазначених архітектур у порівнянні з класичними, а також використовувати їх у реальному часі;

2) вперше запропонована архітектура багатовимірної каскадної нео-фаззі нейронної мережі, котра являє собою нейро-фаззі систему з багатошаровим нечітким виведенням, здатну обробляти багатовимірні по входу і виходу масиви даних швидше, ніж класичні архітектури, та автоматично синтезувати свою архітектуру, адаптуючись під зміни зовнішніх чинників процесу;

3) вперше запропоновані методи навчання каскадних нейронних мереж, засновані на експоненційно зваженому рекурентному методі найменших квадратів Петерки та теоремі Гревіля і формулі Фробеніуса для обернення великих матрциць, що дозволяють вирішувати задачі у режимі послідовної обробки інформації та пришвидшити процес налаштовування вагових коефіцієнтів каскадних нейронних мереж у порівнянні з класичними архітектурами;

4) модифікована каскадно-кореляційна архітектура Фальмана та Лєб'єра, шляхом заміни штучних нейронів у вузлах архітектури на орто-нейрони, квадратичні нейрони та нео-фаззі нейрони, що дозволило значно зменшити час навчання мережі, порівняно з прототипом, отримати лінгвістичну інтерпретацію вихідних сигналів, спростити архітектуру для реалізації на платах, відповідно до обраного типу штучного нейрона у вузлах.

5) набув подальшого розвитку метод самоорганізації архітектури нейронної мережі, заснований на МГУА, шляхом заміни N-адалін, що використовуються традиційно, на нео-фаззі нейрони, що дозволило автоматично отримати нейро-фаззі архітектуру оптимальної складності, яка забезпечує лінгвістичну інтерпретацію вихідного сигналу шляхом багатошарового нечіткого виведення.

Практичне значення отриманих результатів. Розроблені в дисертаційній роботі алгоритми та моделі можуть бути використані при вирішенні широкого класу задач обробки інформації в умовах апріорної і поточної параметричної та структурної невизначеності. Запропоновані гібридні нейромережеві архітектури, методи їх самоналаштовування та навчання реалізовані у вигляді програмних засобів. Вирішена актуальна задача адаптивної нейро-емуляції вихідних хімічних характеристик сталі, що одержується за киснево-конверторним процесом плавки. Результати досліджень впроваджені на Державному науково-виробничому підприємстві Міністерства освіти і науки України «Системні технології», що підтверджується актом від 8.06.2010.

Наукові положення, висновки і рекомендації, викладені в дисертації, були використані при підготовці курсу «Нейромережеві методи обчислювального інтелекту», що читається студентам-магістрантам спеціальності «Інтелектуальні системи прийняття рішень» Харківського національного університету радіоелектроніки, що підтверджується актом від 15.09.2010, а також у науково-дослідних роботах Харківського національного університету радіоелектроніки, що підтверджено актом від 26.05.2010.

Особистий внесок здобувача. Основні положення і результати дисертаційної роботи одержані автором самостійно. У публікаціях, написаних у співавторстві, автору належить: [1] - проведення експериментального моделювання та вироблення рекомендацій щодо використання каскадної ортогональної нейронної мережі в задачах прогнозування; [2] - розробка методів налаштовування синаптичних вагових коефіцієнтів подвійного орто-нейрона у вихідному і прихованому шарі, що більш стійкі до зашумлених даних і дозволяють проводити навчання нейронної мережі в режимі послідовної обробки інформації; [3] - розробка спеціалізованих архітектур орто-синапса, орто-нейрона та нейропредіктора на їх основі, а також методів налаштовування їх синаптичних вагових коефіцієнтів; [4] - розробка каскадної архітектури, що використовує елементи з системами несинусоїдальних ортогональних функцій Хаара у вузлах, а також методів налаштовування її синаптичних вагових коефіцієнтів; [5] - розробка методів адаптації синаптичних вагових коефіцієнтів у вузлах каскадної нео-фаззі нейронної мережі в пакетному режимі; [6, 15] - розробка архітектури каскадної ортогональної нейронної мережі та методів її структурної адаптації, а також налаштовування синаптичних вагових коефіцієнтів у пакетному режимі; [7, 19] - розробка метода адаптації синаптичних вагових коефіцієнтів у вузлах нео-фаззі нейронної мережі, що дозволяє проводити обробку нестаціонарних сигналів в послідовному режимі, починаючи з самого першого елемента, поданого на вхід мережі; [8] - адаптація МГУА для синтезу архітектури нео-фаззі нейронної мережі; [9] - розробка архітектури каскадної мережі, заснованої на квадратичних нейронах і методів налаштовування синаптичних вагових коефіцієнтів у вузлах мережі; [10] - адаптація МГУА для прискореного синтезу архітектури нейронної мережі; [11] - розробка архітектури нейронної мережі, що реалізує відображення, засноване на суперпозиції функцій однієї змінної; [12] - синтез архітектури подвійного орто-нейрона; [13] - синтез метода налаштовування вагових коефіцієнтів у схованому шарі подвійного орто-нейрона на основі алгоритму Левенберга-Марквардта, що має підвищену швидкодію порівняно з методами, заснованими на зворотному поширенні помилки; [14] - проведення експериментального моделювання та вироблення рекомендацій щодо використання каскадної ортогональної нейронної мережі в задачах класифікації; [16] - розробка каскадної архітектури, що використовує елементи з системами несинусоїдальних ортогональних функцій Радемахера у вузлах, а також методів налаштовування її синаптичних вагових коефіцієнтів; [17] - розробка архітектури каскадної мережі, що використовує подвійні орто-нейрони у вузлах, а також методів налаштовування синаптичних вагових коефіцієнтів, що дозволяють працювати з нестаціонарними часовими рядами і мають підвищену швидкодію порівняно з традиційними; [18] - розробка архітектури каскадної нео-фаззі нейронної мережі; [20] - розробка архітектури багатовимірної каскадної нео-фаззі нейронної мережі і синтез методів налаштовування її синаптичних вагових коефіцієнтів.

Апробація результатів дисертації. Основні результати, отримані в дисертаційній роботі, доповідалися і обговорювалися на 10-му і 11-му Міжнародних молодіжних форумах «Радіоелектроніка та молодь у XXI столітті» (Харків 2006, 2007), 9-й, 10-й та 11-й Міжнародних наукових конференціях «Системний аналіз та інформаційні технології» (Київ 2007, 2008, 2009), 2-й Міжнародній науковій конференції «Комп'ютерні науки та інформаційні технології» (Львів 2007), Міжнародних наукових конференціях «ISDMCI'2008» та «ISDMCI'2010» (Євпаторія 2008, 2010), 11-й і 12-й Міжнародних наукових конференціях «Informational Theories & Applications» (Болгарія, Варна 2008, 2009), Міжнародній науковій конференції «Автоматизація: ідеї, проблеми, рішення» (Севастополь 2008), XV Міжнародній науковій конференції «Автоматика» (Одеса 2008), 4-й Міжнародній школі-семінарі «Теорія прийняття рішень» (Ужгород 2008), 9-й Міжнародній науковій конференції «Контроль і управління в складних системах» (Вінниця 2008), 3-му Міжнародному семінарі з індуктивного моделювання (Польща, Жешов 2009), Міжнародній науковій конференції «INFOS'2009» (Польща, Жешов 2009).

Публікації. Основні результати дисертаційної роботи опубліковані в 20 друкованих роботах: 11 публікацій в збірках наукових конференцій, 1 у міжнародному науковому журналі, 4 у виданнях, включених до переліку ВАК України, і 4 за кордоном.

Структура й обсяг дисертаційної роботи. Дисертація складається зі вступу, п'яти розділів, висновків, що містять основні результати, списку використаних джерел і 3 додатків. Загальний обсяг дисертації складає 162 сторінки (з них 143 - основного тексту), що включає 32 рисунка та 8 таблиць. Список використаних джерел складає 151 найменування на 16 сторінках.

Основний зміст роботи

нейромережевий архітектура імітаційний моделювання

У вступі обґрунтовано актуальність теми дисертаційної роботи, сформульовано мету і задачі досліджень, наукову новизну і практичне значення одержаних результатів. Наведено відомості про впровадження результатів роботи, апробацію, особистий внесок здобувачки та публікації.

У першому розділі проаналізовано стан проблеми структурної адаптації гібридних нейро-фаззі систем і розглянуто існуючі на поточний період підходи налаштовування архітектури нейронних мереж - деструктивний та конструктивний. Показано, що з точку зору обчислювальної складності застосування конструктивного підходи є більш доцільним. Проведено аналіз існуючих методів у рамках конструктивного підходу до адаптації архітектури нейронних мереж і виділені каскадні нейронні мережі. Також окремо виділено метод групового урахування аргументів (МГУА), як представника конструктивного підходу. В результаті проведеного аналізу сформульовано основні задачі наукового дослідження, викладеного в дисертаційній роботі.

У другому розділі введено декілька нейромережевих архітектур (орто-синапс, орто-нейрон, подвійний орто-нейрон), що використовують системи ортогональних функцій у якості активаційних, а також методи їх навчання. Найпростіша з них - це орто-синапс, котрий реалізує відображення

(1)

де - вихідна змінна;

- деякий ортогональний поліном порядку ();

- синаптичний ваговий коефіцієнт.

На основі орто-синапса можна синтезувати орто-нейрон, котрий складається з декількох паралельно підключених орто-синапсів, вихідні сигнали яких складаються та формують вихідний сигнал орто-нейрона:

, (2)

де - вихідний сигнал орто-нейрона;

- розмірність вхідного вектора, а також кількість орто-синапсів у складі орто-нейрона;

- кількість активаційних функцій в i-му орто-синапсі.

На основі орто-синапса та орто-нейрона вперше запропоновано архітектуру так званого подвійного орто-нейрона, що має підвищенні апроксимуючі властивості та реалізує відображення:

(3)

де  - синаптичні коефіцієнти у схованому та вихідному шарах;

- активаційні функції у схованому та вихідному шарах;

- кількість активаційних функцій в орто-синапсі вихідного шару;

- значення i-ї компоненти вхідного сигналу в момент часу k.

Запропоновано декілька методів навчання подвійного орто-нейрона: градієнтний алгоритм, адаптивний алгоритм Качмажа-Уідроу-Хоффа, експоненціально-зважену метод для обробки зашумлених даних, метод найменших квадратів у стандартному та рекурентному вигляді, а також модифікований метод Левенберга-Марквардта з підвищеною швидкодією, згладжуванням, фільтруючими та слідкуючими властивостями:

 (4)

Слід відмітити, що завдяки ортогональності чи ортонормованості (в залежності від обраної системи поліномів) активаційних функцій метод навчання (4) отримує чисельну стійкість та прискорюється процес збіжності до мінімуму квадратичного критерію навчання.

У третьому розділі розглянуті каскадні нейронні мережі і запропоновані модифікації каскадно-кореляційної архітектури Фальмана та Лєб'єра, виконані шляхом заміни елементарних персептронів Розенблата, що використовуються у її вузлах, на орто-нейрони, нео-фаззі нейрони та квадратичні нейрони. Також в третьому розділі представлено багатовимірну каскадну нео-фаззі нейронну мережу та методи навчання каскадних мереж, що дозволяють проводити налаштовування їх синаптичних вагових коефіцієнтів у режимі послідовної обробки інформації, починаючи з першого сигналу, що подається на вхід мережі.

В результаті заміни елементарних персептронів Розенблата на орто-нейрони отримано так звану каскадну ортогональну нейронну мережу, що відображення

(5)

де - вихід m-го каскаду нейронної мережі;

- j-ий синаптичний коефіцієнт в i-м орто-синапсі орто-нейрона m-го каскаду;

- ортогональний поліном i-го порядку в j-м орто-синапсі;

h - кількість ортогональних поліномів (активаційних функцій) в орто-синапсах;

n - кількість орто-синапсів в орто-нейроні першого каскаду, а також розмірність вхідного вектору параметрів;

- кількість орто-синапсів в орто-нейроні m-го каскаду.

Каскадна ортогональна нейронна мережа містить параметрів, що необхідно налаштовувати, і всі вони входять лінійно до (5), а тому є можливість використовувати для навчання методи оптимальні за швидкодією.

Навчання каскадної ортогональної нейронної мережі протікає у пакетному режимі з використанням всіх елементів навчальної вибірки Спочатку розраховується набір значень ортогональних функцій для кожного вхідного образу, після чого шляхом прямої мінімізації критерію навчання

(6)

розраховується вектор синаптичних коефіцієнтів

(7)

Якщо розмір навчальної вибірки великий, зручніше використовувати метод (7) у формі рекурентного методу найменших квадратів з послідовною обробкою елементів навчальної вибірки:

Необхідно відмітити, що використання методів (7) та (8) дозволяє суттєво скоротити час налаштовування синаптичних вагових коефіцієнтів порівняно з градієнтними методами, в основі яких лежить дельта-правило. Також ортогональність активаційних функцій забезпечує чисельну стійкість під час обернення матриць.

 (8)

Слід зауважити, що каскадна ортогональна нейронна мережа може навчатися і в режимі реального часу. При цьому відразу формується архітектура, що складається з каскадів, кожен з яких навчається за допомогою власного алгоритму, а зміна числа каскадів в процесі навчання також не становить жодних труднощів.

Крім того у роботі запропоновано використовувати подвійні орто-нейрони в якості вузлів у каскадній мережі. Цей вибір може бути дуже доцільним у випадку, коли необхідно отримати підвищену точність вихідного сигналу.

Також у роботі розглядається можливість використання в якості вузлів каскадної мережі лінійних асоціаторів, які забезпечують нелінійне перетворення шляхом спеціальної попередньої обробки вхідних сигналів, наприклад, квадратичного, який обчислює функцію

(9)

за допомогою набору елементарних блоків - помножувачів та суматорів сигналів

.

Очевидно, що кількість синаптичних ваг в цьому випадку збільшується, проте простота реалізації часто забезпечує перевагу саме таким моделям, за допомогою яких можна забезпечити поліноміальне перетворення будь-якого ступеня, особливо в таких випадках, коли стає питання про реалізацію нейро-архітектури на електронних платах.

В дисертаційній роботі запропонований метод навчання каскадної мережі на квадратичних нейронах.

Також в роботі запропоновано спосіб гібридизації каскадних мереж через заміну елементів у вузлах на нео-фаззі нейрони, що реалізують нечітке виведення

IF IS , THEN OUTPUT IS , (10)

де - нечітка множина з функціями належності ;

- сінглтон (синаптична вага) у консеквенті.

Нескладно помітити, що фактично нелінійний синапс реалізує нечітке виведення, аналогічне системі нечіткого виведення Такагі-Сугено нульового порядку.

У роботі запропоновано використання кубічних сплайнів у якості функцій належності, які відтворюють гладку поліноміальну апроксимацію замість спряжено-трикутних функцій, що використовуються у нео-фаззі нейроні традиційно. Запропоновані кубічні сплайни можна представити у вигляді

(11)

У такій нотації просто побачити, що ця система завжди буде задовольняти розбиттю Руспіні:

 (12)

Замінивши орто-нейрони в каскадній ортогональній нейронній мережі на нео-фаззі нейрони, ми отримаємо, так звану, каскадну нео-фаззі нейронну мережу, що реалізує наступне відображення:

(13)

Наведену нейромережеву архітектуру можна розглядати як нейро-фаззі систему, оскільки у якості вузлів в ній використовуються нео-фаззі нейрони, здатні робити нечітке виведення. Таким чином повна каскадна нейронна мережа буде робити багатошарове нечітке виведення.

У загальному випадку для налаштовування синаптичних коефіцієнтів цієї мережі можна застосовувати методи зазначені вище для каскадної ортогональної нейронної мережі. Однак крім того в дисертаційній роботі для навчання каскадної нео-фаззі нейронної мережі пропонується метод, оснований на експоненціально-зваженому методі найменших квадратів Петерки та псевдообернені за теоремою Гревіля:

(14)

(15)

(16)

(17)

де - додатній пороговий параметр, котрий обирається емпірично; він характеризує ступінь колінеарності векторів і за допомогою нього визначається відповідний метод налаштовування вагових коефіцієнтів.

Метод (14) - (17) буде чисельно стійким при любому значенні параметра забування , та його можна використовувати для навчання навіть коли кількість спостережень менша, ніж кількість параметрів, що необхідно визначити.

Також для каскадної нео-фаззі нейронної мережі запропоновано метод навчання, оснований на формулі Фробеніуса, котрий зручно використовувати для зменшення часу навчання, коли розмірність вектора вхідних параметрів велика.

В дисертаційній роботі запропонована багатовимірна каскадна нео-фаззі нейронна мережа, котра здатна ефективно вирішувати задачі з великою розмірністю вихідного вектора. Відображення, що реалізує ця мережа має вигляд:

, , (18)

де - -вектор;

- -вектор;

 - деякий нелінійний оператор, який необхідно визначити.

Вхідним сигналом -го каскаду багатовимірної каскадної нео-фаззі нейронної мережі буде вектор , в котрий, як можна бачити, окрім стандартних входів , входять виходи всіх нео-фаззі нейронів з попередніх каскадів. С кожною компонентою вхідного вектора нео-фаззі нейрони го каскаду через нелінійні синапси зв'язують функцій належності так, що обробляє не вектор , а вектори , (, ), кожна компонента яких є (). Таким чином забезпечується зв'язаність значень вихідних параметрів.

Кожний каскад складається з однотипних нео-фаззі нейронів , на входи котрих подається векторний сигнал розмірності . Нелінійні синапси перетворюють цей сигнал в вектор , компоненти котрого поступають на синаптичні вагові коефіцієнти нелінійного синапса , де - це номер каскаду, а - номер функції належності -го нео-фаззі нейрона (трикутної чи типу кубічного сплайна), що відноситься до -ої компоненти вхідного сигналу . Ураховуючи це, перетворення вхідного сигналу , що реалізується -м каскадом мережі у векторному вигляді, може бути записано у наступній формі:

, (19)

де - це -матриця синаптичних коефіцієнтів, що необхідно налаштовувати.

Навчання багатовимірної каскадної нео-фаззі нейронної мережі може бути проведене як у пакетному режимі, так і в on-line режимі, використовуючи для налаштовування синаптичних вагових коефіцієнтів нейронної мережі методи з послідовною обробкою інформації.

У випадку, якщо вибірка задана апріорно, то для налаштовування синаптичних ваг кожного нео-фаззі нейрона можна використовувати матричний варіант методу найменших квадратів у вигляді

(20)

Для навчання багатошарової каскадної нео-фаззі нейронної мережі в послідовному режимі обробки інформації може бути використаний матричний рекурентний метод найменших квадратів:

(21)

де ;

- -одинична матриця.

Метод (21) мінімізує критерій навчання

(22)

У нестаціонарному випадку може бути використано матричний експоненціально-зважений алгоритм найменших квадратів Петерки:

 (23)

або матричний варіант алгоритма Качмажа-Уідроу-Хоффа:

(24)

що мінімізує локальний квадратичний критерій

(25)

Також можна використати експоненціально-зважену метод у матричному вигляді:

(26)

яка співпадає з (24) при і має властивості алгоритму Петерки, однак не вимагає рекурентного обернення матриці , котре може бути чисельно нестійке при високих розмірностях и .

У четвертому розділі розглянуто підхід до структурної адаптації за допомогою методу групового урахування аргументів. Проаналізовано існуючі алгоритми МГУА та обґрунтовано використання багатошарового ітераційного алгоритму для самоорганізації архітектури нео-фаззі нейронної мережі.

Запропонований підхід полягає у послідовному збільшенню кількості шарів нео-фаззі нейронної мережі до того, поки зовнішній критерії якості не почне зростати. Алгоритм дії зводиться до наступного:

- формування пар виходів нео-фаззі нейронів поточного шару. Кожна отримана пара сигналів подається на вхід відповідному нео-фаззі нейрону;

- налаштовування вагових коефіцієнтів кожного нео-фаззі нейрона;

- обчислення зовнішнього критерію якості для кожного нео-фаззі нейрона:

, (27)

де - розмір тестової вибірки;

- номер шару;

- номер нейрона в поточному шарі ;

- вихідний сигнал -го нейрона -го шару, отриманий у результаті подачі на вхід мережі -го вхідного вектора;

- знаходження мінімального значення зовнішнього критерію поточного шару:

; (28)

- перевірка умови

, (29)

де - мінімальні значення зовнішнього критерію для -го и -го шарів відповідно.

Якщо умова (29) виконується, то необхідно повернутись до попереднього шару й залишити один нео-фаззі нейрон с мінімальним значення зовнішнього критерію (27), видаливши при цьому всі інші. Вихід цього нейрона буде вважатись виходом мережі. Інакше необхідно обрати «найкращих» нейронів з мінімальними значеннями критерію (27) та повернутися до першого шагу процедури;

- визначення кінцевої структури нейронної мережі - зворотній прохід від останнього шару до першого з видаленням нео-фаззі «зайвих» нейронів.

Слід зауважити, що застосування МГУА для самоорганізації архітектури нео-фаззі нейронної мережі, з одного боку надає можливість автоматично отримувати оптимальну за складністю архітектуру мережі, а з іншого - зберігається оригінальна властивість цієї мережі - можливість робити багатошарове нечітке виведення.

У п'ятому розділі представлено результати моделювання запропонованих в дисертаційній роботі гібридних нейронних мереж та нейро-нечітких систем та методів їх навчання на прикладах розв'язання тестових задач.

У цьому розділі наведено результати моделювання класичних нейронних мереж, що використовуються для вирішення задач прогнозування, ідентифікації та класифікації з метою оцінки якості розв'язання цих задач.

Результати імітаційного моделювання показують, що при використанні каскадних мереж, що були запропоновані у розділі 3, вдається забезпечити таку саму точність (а в деяких випадках і вищу) вихідного сигналу як і при використанні традиційних нейронних мереж. Але при цьому каскадні мережі містять на порядок менше обчислювальних елементів, та на налаштовування їх синаптичних вагових коефіцієнтів витрачається значно менше часу - в 2 рази і менше порівняно з класичними нейронними мережами. Разом з тим використання методів послідовної обробки інформації для навчання каскадних мереж призводить до зниження точності вихідного сигналу приблизно в 2 рази порівняно з пакетними процедурами. Однак, слід зауважити, що здатність функціонувати в режимі реального часу є важливою якісною властивістю, що розширює галузь застосування синтезованих в розділі 3 еволюційних гібридних нейронних мереж.

Також в п'ятому розділі проведено імітаційне моделювання розробленого в 4 розділі метода самоорганізації архітектури нео-фаззі нейронної мережі. Результати вказують на те, що такий підхід забезпечує трохи меншу точність порівняно з каскадними нейронними мережами, проте дозволяє провести попередню обробку даних, відокремлюючи такі вхідні сигнали, які мають найбільший вплив на формування вихідного сигналу.

Крім того, за допомогою багатовимірної каскадної нео-фаззі нейронної мережі була розв'язана практична задача обробки адаптивної нейро-емуляції вихідних характеристик сталі, що отримується за киснево-конверторним процесом плавки.

У висновках сформульовано теоретичні та практичні результати дисертаційної роботи.

У додатках наведено акти впровадження отриманих теоретичних та прикладних результатів.

Висновки

У дисертаційній роботі представлено результати, що є відповідно до поставленої мети вирішенням актуальних задач синтезу гібридних еволюційних штучних нейро-фаззі мереж і методів їх навчання, що забезпечують як параметричну, так і структурну адаптацію в режимі реального часу, мають підвищену швидкодію, а також надають можливість інтерпретації результатів, що отримуються на виході мережі. Дослідження, що були проведені, дозволили зробити такі висновки.

1. В результаті аналізу сучасних гібридних нейро-фаззі систем вказані їх основні недоліки: неможливість функціонувати в реальному режимі часу та, як правило, відсутність механізмів структурної адаптації, внаслідок чого такі системи є адаптивними лише з точки зору налаштовування своїх параметрів. Під час аналізу існуючих методів структурної адаптації архітектур традиційних нейронних мереж виділено так званий конструктивний підхід, перевагою якого є значно менша обчислювальна складність, порівняно з деструктивним підходом. Як один з методів в рамках конструктивного підходу було виділено МГУА.

2. Вперше запропоновано ряд нейро-архітектур (орто-синапс, орто-нейрон, подвійний орто-нейрон), що у якості функцій активації використовують системи ортогональних поліномів як класичні, так і несинусоїдальні, і що мають підвищені апроксимуючі властивості порівняно з традиційними нейронними мережами.

3. На основі запропонованих архітектур штучних нейронів розроблена каскадна ортогональна нейронна мережа (яка є модифікацією каскадно-кореляційної мережі, запропонованої Фальманом і Леб'ером) з архітектурою, що росте, і високою швидкістю навчання, яка обумовлюється типом використовуваних у вузлах штучних нейронів, які дозволяють застосовувати оптимальні за швидкодією і чисельно стійкі методи налаштовування синаптичних вагових коефіцієнтів. Також запропоновано модифікацію каскадної ортогональної архітектури, що використовує у вузлах квадратичні нейрони. Такий підхід дозволяє значно спростити процес реалізації нейромоделі на платах при мінімальних втратах точності вихідного сигналу. Також вперше запропоновані каскадна нео-фаззі нейронна мережа та багатовимірна каскадна нео-фаззі нейронна мережа, що дозволяє працювати з масивами даних, багатовимірними як за вхідними параметрами, так і за вихідними, а також методи налаштовування її синаптичних вагових коефіцієнтів, а також надає можливість проводити лінгвістичну інтерпретацію вихідних результатів.

4. Вперше запропоновані методи налаштовування синаптичних вагових коефіцієнтів каскадної нео-фаззі нейронної мережі, що функціонують у режимі послідовної обробки інформації. Серед них слід виділити метод, заснований на експоненційно зваженому рекурентному методі найменших квадратів Петерки та псевдооберненні за теоремою Гревіля, що дозволяє робити обробку нестаціонарних часових рядів у режимі реального часу. Запропоновано метод навчання на основі формули Фробеніуса, що істотно зменшує обчислювальну складність навчання каскадної нео-фаззі мережі у вирішенні задач з великою розмірністю вхідного вектора аргументів.

5. Запропонований метод самоналаштовування архітектури нео-фаззі нейронної мережі заснований на МГУА, який дозволяє автоматично синтезувати оптимальну за складністю архітектуру нео-фаззі нейронної мережі без будь-яких апріорних відомостей про предметну область і дані. Крім того такий підхід дозволяє зробити попередній аналіз вхідних даних та виділити вхідні параметри, котрі мають найбільший вплив на вихідний сигнал мережі.

6. Результати досліджень впроваджені на Державному науково-виробничому підприємстві Міністерства освіти і наук України «Системні технології», використані при підготовці курсу «Нейромережеві методи обчислювального інтелекту», а також у науково-дослідних роботах Харківського національного університету радіоелектроніки.

Список опублікованих праць за темою дисертації

1. Viktorov Ye. / Solving Approximation and Forecasting Problems Using Double Ortho-Neuron / Viktorov Ye., Bodyanskiy Ye., Dolotov A. // Комп'ютерні науки та інформаційні технології. - 2008. - №598. - С. 70-77.

2. Бодянский Е.В. / Прогнозирование временных последовательностей на основе каскадной ортогональной нейронной сети / Бодянский Е.В., Викторов Е.А. // Радіоелектроніка. Інформатика. Управління. - 2008. - №1. - С. 92-97.

3. Бодянский Е.В. / Ортосинапс, ортонейроны и нейропредиктор на их основе / Бодянский Е.В., Викторов Е.А., Слипченко А.Н. // Системи обробки інформації. - Харьков: ХУПС, 2007. - Вип. 4 (62). - С. 139-143.

4. Бодянский Е.В. / Использование функций Хаара в орто-синапсах каскадной ортогональной нейронной сети / Бодянский Е.В., Викторов Е.А., Долотов А.И. // Інформаційні технології та комп'ютерна інженерія. - Вінниця: ВНТУ, 2009. - Вип. 3 (16). - С. 36-42.

5. Bodyanskiy Ye. / The cascade neo-fuzzy neural network and its learning algorithm / Bodyanskiy Ye., Viktorov Ye., Pliss I. // Вісник Ужгородського Національного університету. Серія «Математика і інформатика». - 2008. - Вип. 17. - С. 48-58.

6. Bodyanskiy Ye. / The Cascade Orthogonal Neural Network / Bodyanskiy Ye., Dolotov A., Pliss I., Viktorov Ye. // Advanced Research in Artificial Intelligence. - Bulgaria, Sofia: Institute of Informational Theories and Applications FOI ITHEA. - 2008. - Vol. 2. - P. 13-20.

7. Bodyanskiy Ye. / The Cascade Neo-Fuzzy Architecture and its Online Learning Algorithm / Bodyanskiy Ye., Viktorov Ye. // Int. Book Series «Information Science & Computing», Intelligent Processing. - Bulgaria, Sofia: Institute of Informational Theories and Applications FOI ITHEA, 2009. - Vol. 9 - P.110-116.

8. Bodyanskiy Ye. / The neo-fuzzy neural network structure optimization using the GMDH for the solving forecasting and classification problems / Bodyanskiy Ye., Zaychenko Yu., Pavlikovskaya E., Samarina M., Viktorov Ye. // Proc. Int. Workshop on Inductive Modeling 2009. - Krynica, Poland, 2009. - CD. - P. 77-89.

9. Bodyanskiy Ye. / The Cascade Growing Neural Network Using Quadratic Neurons and its Learning Algorithms for On-line Information Processing / Bodyanskiy Ye., Viktorov Ye., Pliss I. // Intelligent Information and Engineering Systems. Int. Book Series «Information Science & Computing» / Eds. by G. Setlak, K. Markov. - Institute of Inf. Theories and Applications FOI ITHEA, Rzeszow, Poland, 2009. - Vol. 13. - P. 27-34.

10. Викторов Е.А. / Синтез архитектуры нейронной сети на основе механизма самоорганизации / Викторов Е.А., Слипченко А.Н. // 10-й юбилейный международный молодежный форум «Радиоэлектроника и молодежь в XXI веке.»: Сб. материалов форума. - Харьков, ХНУРЭ. - 2006. - C. 294.

11. Викторов Е.А. / Использование теоремы Колмогорова про суперпозицию для синтеза искусственных нейронных сетей с ортогональными функциями активации / Викторов Е.А., Долотов А.И. // 11-й юбилейный международный молодежный форум «Радиоэлектроника и молодежь в XXI веке.»: Сб. материалов форума. - Харьков, ХНУРЭ. - 2007. - С. 352.

12. Викторов Е.А. / Двойной орто-нейрон / Викторов Е.А. // Системный анализ и информационные технологии: Материалы IX Международной научно-технической конференции. - К.: НТУУ «КПИ», 2007. - С. 95.

13. Viktorov Ye. / The double ortho-neuron and its learning algorithm / Viktorov Ye., Bodyanskiy Ye., Dolotov A. // Proc. Int. Conf. on Computer Science and Information Technologies «CSIT'2007». - Lviv, Ukraine, 2007. - P. 54-55.

14. Бодянский Е.В. / Каскадная ортогональная нейронная сеть в задачах классификации / Бодянский Е.В., Викторов Е.А. // Интеллектуальные системы принятия решений и проблемы вычислительного интеллекта: Материалы Международной научной конференции. - Херсон: ХНТУ, 2008. - Т3, Ч1. - С. 60-63.

15. Викторов Е.А. / Каскадная нейронная сеть с ортогональными функциями активации / Викторов Е.А. // Системный анализ и информационные технологии: Материалы X Международной научно-технической конференции. - К.: НТУУ «КПИ», 2008. - С. 177.

16. Бодянский Е.В. / Использование несинусоидальных функций Радемахера в орто-синапсах каскадной ортогональной нейронной сети / Бодянский Е.В., Викторов Е.А. // Автоматизация: проблемы, идеи, решения: Сб. трудов Международной научно-технической конференции. - Севастополь: Изд-во СевНТУ, 2008. - С. 128-131.

17. Бодянский Е.В. / Каскадная ортогональная нейронная сеть на двойных орто-нейронах и алгоритм её обучения в задачах обработки информации / Бодянский Е.В., Викторов Е.А. // Автоматика-2008: доклады XV международной конференции по автоматическому управлению. - Одесса: ОНМА, 2008. - С. 70-73.

18. Бодянский Е.В. / Архитектура каскадной нео-фаззи нейронной сети / Бодянский Е.В., Викторов Е.А. // Сб. трудов IV международной школы-семинара «Теория принятия решений». - Ужгород, УжНУ, 2008. - С. 22-23.

19. Вікторов Є. О. / Каскадна нео-фаззі нейронна мережа та її навчання в режимі реального часу / Вікторов Є. О. // Системный анализ и информационные технологии: Материалы XI Международной научно-технической конференции. - К.: УНК «ИПСА» НТУУ «КПИ», 2009. - С. 275.

20. Бодянский Е.В. / Архитектура многомерной каскадной нео-фаззи нейронной сети / Бодянский Е.В., Викторов Е.А., Плисс И.П. // Интеллектуальные системы принятия решений и проблемы вычислительного интеллекта: Материалы Международной научной конференции. - Херсон: ХНТУ, 2010. - Т1 - С. 271-274.

Размещено на Allbest.ru