Нейронна мережа СМАС та її використання для адаптивної обробки інформації

Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

Вступ

Актуальність теми. Штучні нейронні мережі (ШНМ), що отримують в останній час все більше поширення і являють собою теоретичну базу нейронкомп'ютерів, є особливо ефективними при вирішенні задач ідентифікації та керування нелінійними динамічними об'єктами, обробки та фільтрації сигналів і зображень тощо, в яких в тому або іншому вигляді використовується апроксимація складних нелінійних залежностей. Серед існуючої на сьогоднішній час великої кількості нейромережевих структур для вирішення зазначених задач в основному використовуються багатошаровий персептрон (БШП), радіально-базисні (РБМ) та нейро-фаззі (НФМ) мережі, а також мережа СМАС - Cerebellar Model Articulation Controller (церебральна модель артикуляційного контролера).

На відміну від БШП, РБМ та НФМ, які мають істотні обмеження, пов'язані зі складністю вибору структур мереж, низькою швидкістю процедур навчання, суттєвою залежністю від розмірності досліджуваних об'єктів, ШНМ СМАС характеризується високою швидкістю навчання та малим обсягом необхідної пам'яті, що робить її особливо привабливою для реалізації в мікроконтролерних системах обробки інформації. Однак традиційна СМАС теж має деякі недоліки. Наприклад, наявність нейронів із прямокутними базисними функціями унеможливлює її використання в задачах, які потребують обчислення похідних досліджуваної функції тощо.

У зв'язку з цим досить актуальною є задача розробки нових видів диференційованих базисних функцій, ефективних методів кодування інформації та процедур навчання ШНМ СМАС, які забезпечують розширення сфер її використання та підвищують ефективність її роботи.

Мета та завдання дослідження. Метою дисертаційної роботи є розробка нейромережевих методів та засобів для підвищення ефективності обробки інформації в реальному часі шляхом синтезу обчислювальних структур, що дозволять зменшити апаратні витрати при збереженні або покращанні функціональних характеристик, на основі ШНМ СМАС. Для досягнення цієї мети в роботі розв'язуються такі основні задачі:

1. Розробка ефективного методу кодування інформації та вибору виду базисних функцій у штучній нейронній мережі СМАС.

2. Розробка багатокрокових проекційних методів навчання у штучній нейронній мережі СМАС.

3. Розробка методу навчання нейронної мережі СМАС при її використанні у задачах ідентифікації та керування нелінійними динамічними об'єктами.

4. Удосконалення моделей обчислювальних засобів, що реалізують ієрархічну мережу СМАС у задачах стиснення та фільтрації зображень.

5. Удосконалення методу гешування інформації для зменшення кількості виникаючих геш-колізій та покращення апроксимуючих властивостей мережі СМАС при використанні гешування.

6. Імітаційне моделювання роботи мережі СМАС та вирішення на її основі низки практичних задач.

1. Стан проблеми адаптивної обробки інформації у задачах ідентифікації та управління нелінійними динамічними об'єктами, стиснення та фільтрації зображень

Розглянуто основні принципи побудови таких систем. Проведено аналіз існуючих архітектур ШНМ, які використовуються для розв'язання зазначених задач. Показано, що всі ці задачі зводяться до мінімізації деякого (зазвичай квадратичного) функціоналу похибки

, (1)

де - вихідний сигнал об'єкта:

; (2)

- нелінійний оператор перетворення вхідних сигналів у вихідний; - вихідний сигнал ШНМ; - символ математичного сподівання; - похибка вимірювань; - дискретний час.

Задача мінімізації функціонала (1) полягає в оцінюванні функції і розв'язується за допомогою навчання ШНМ.

Внаслідок проведеного аналізу сформульовано основні задачі наукового дослідження, викладеного у дисертаційній роботі.

2. Біологічня модель мозочка, математичний аналог якої є основою ШНМ СМАС, принципи побудови та функціонування цієї мережі

Розроблено метод кодування інформації та вибору виду базисних функцій у ШНМ СМАС, який дозволяє використовувати цю мережу в задачах непрямого нейрокерування без еталонної моделі.

У загальному випадку ШНМ СМАС, структура якої наведена на рис. 1, здійснює перетворення

S: XA, (3)

H: A, (4)

P: y, (5)

де Х - N-вимірний неперервний простір вхідних сигналів; А - n-вимірний простір асоціацій; - перетворений алгоритмом гешування простір асоціацій; у - вектор вихідних сигналів.

Відмінною особливістю СМАС є використання в ній спеціального кодування (3), що дозволяє різко зменшити обсяг пам'яті, необхідний для зберігання інформації, що обробляється.

Кодування інформації полягає у тому, що кожному - вимірному вхідному вектору ставиться у відповідність n-вимірний вектор асоціацій , який формується шаром асоціативних нейронів, елементи якого можуть набувати значення з інтервалу [0, 1]. При цьому тільки елементів даного вектору мають відмінні від нуля значення, тобто тільки елементів пам'яті є активними. Приклад кодування трьохвимірного вхідного сигналу , тобто N=3.

Вибір базисних функцій (БФ) шару L1 істотно впливає на апроксимуючі властивості мережі СМАС. Традиційна СМАС здійснює кусково-сталу апроксимацію, що є наслідком використання в ній нейронів із прямокутною БФ. Значно покращити якість апроксимації можна, використовуючи БФ інших форм. У роботі досліджено властивості мережі при виборі прямокутної, трикутної, модифікованих гаусовських БФ, В-сплайнів різних порядків. Ці БФ є значно ефективнішими за прямокутні, але мають поблизу межі квантування (зони чутливості нейронів) порівняно невеликі значення, що негативно позначається на результатах апроксимації. У зв'язку з цим запропоновано використання тригонометричних функцій, наприклад, косинусоїдної:

(6)

де - i-й центр області квантування; rj - крок квантування за j-ою компонентою вхідного сигналу.

При використанні БФ із формою, що відрізняється від прямокутної, постає проблема вибору схеми кодування інформації, яка однозначно визначається взаємним розташуванням нейронів вхідного шару, що належать до різних ступенів квантування. У роботі показано, що при розв'язанні задач ідентифікації (апроксимації) та управління найефективнішою є схема кодування з випадковим переставленням шарів нейронів у матрицях квантування.

Результати ідентифікації нелінійного об'єкту, що описується рівнянням:

(7)

де - деякий параметр, що впливає на форму y(k+1).

Навчання мережі СМАС, як практично і всіх інших ШНМ, полягає в настроюванні вектора її вагових параметрів розмірності . У зв'язку з тим, що використання спеціального кодування дозволяє зберігати ваги мережі в с комірках пам'яті, згідно з алгоритмом Альбуса, який має такий вигляд:

(8)

на кожному такті процесу навчання коригуються лише ті її с ваг, які відповідають одиничним компонентам вектора асоціацій для відповідного вектора . Детально розглянуто питання збіжності алгоритму Альбуса, зокрема при наявності завад вимірювань, і запропоновано його модифікацію, яка має вигляд:

(9)

де - параметр, що впливає на швидкість навчання.

При виборі алгоритм збігається у „зону захвату”, яка залежить від властивостей завад та розмірності досліджуваного об'єкта і розмір якої наведено в роботі. Якщо задовольняє умовам Дворецького, цей алгоритм, на відміну від алгоритму Альбуса, забезпечує збіжність у точку.

3. Оптимізація процесу функціонування СМАС шляхом використання БФ, параметри яких настроюються за допомогою ефективних процедур навчання, гешування інформації та вибору оптимальної кількості ступенів квантування сигналу

Розроблено багатокрокові проекційні методи навчання мережі, які потребують значно меншого обсягу інформації, необхідної для навчання мережі, та синтезовано їх рекурентні форми. Запропоновано метод навчання нейронної мережі СМАС при її використанні в задачах ідентифікації та керування нелінійними динамічними об'єктами, який використовує різні базисні функції по різних каналах, що забезпечує підвищення швидкодії системи керування. Набув подальшого розвитку метод гешування інформації та розроблено метод компенсації геш-колізій.

Значного скорочення процесу навчання мережі можна досягти шляхом використання більш складних в обчислювальному відношенні процедур навчання. У роботі проведено порівняльний аналіз таких процедур, базовою серед яких є процедура навчання Альбуса: навчання за допомогою ковзного середнього, навчання в точці з максимальною похибкою, часткова оптимізація довжини кроку, навчання з коефіцієнтами, які самонастроюються. Запропоновано використання багатокрокової проекційної процедури:

w(k+1)=w(k)+гAl(k)((k)Al(k))-1El(k), (10)

де El(k)=(сy*(k) -wT(k)a(k), (1 -г)( сy*(k -1)-wT(k -2)a(k -1)), …,

(1 -г)l-1 (сy*(k - l+1)-wT(k - l)a(k - l+1)) - вектор lx1; г(0, 1).

Так, наприклад, двокроковий (l = 2) проекційний алгоритм Альбуса має вигляд:

 (11)

(12)

(13)

(14)

де:

Використання в (10) обмеженої кількості інформації l дозволяє значно зменшити тривалість процесу навчання, а введення параметру г(0, 1) забезпечує зменшення області збіжності («зони захвату»), розмір якої визначається властивостями завад. При виборі г(k), що задовольняє умовам Дворецького, процедура (10) збігається в точку зі швидкістю, яка значно перевищує швидкість збіжності процедури (8).

Запропоновано рекурентні форми проекційних алгоритмів навчання.

При реалізації мережі СМАС постає проблема розміщення значень вагових коефіцієнтів у пам'яті мережі. Значного зменшення обсягу пам'яті, що потребується, можна досягти, використовуючи гешування інформації, коли більша віртуальна пам'ять відображається в меншу, що реалізується фізично. Розглянуто питання вибору функції гешування і проаналізовано особливості використання геш-функцій, що реалізують методи, перший з яких засновано на діленні, а другий - на множенні.

Одним із недоліків використання гешування є проблема виникнення геш-колізій, коли однаковий індекс геш-комірки відразу мають декілька вагових комірок. Отримано вирази для ймовірностей виникнення геш-колізій різних типів. Ці наслідки гешування, що є результатом втрати інформації, негативно впливають на збіжність процедури навчання СМАС. Вони не можуть бути усунені, але їх можна компенсувати. У роботі запропоновано компенсування цих наслідків шляхом використання компенсуючих вимірів, які являють собою додатково зважені вихідні сигнали.

Ще одним засобом оптимізації роботи мережі СМАС є те, що у зв'язку з використанням у ній диференційованих базисних функцій виникає можливість настроювати не лише вагові параметри мережі, але й параметри базисних функцій, що у свою чергу призводить, з одного боку, до поліпшення апроксимуючих властивостей мережі, а з іншого - до збільшення обсягу необхідної пам'яті (у зв'язку з виникненням необхідності зберігати параметри БФ) та уповільнення процесу навчання.

Якщо все ж виникає необхідність у підвищенні точності апроксимації за рахунок збільшення обсягу пам'яті, то базисною функцією, що найбільш придатна для такої задачі, є гаусова БФ. У цієї функції центри та дисперсія налаштовуються за такими формулами:

 (15)

Більш ефективним засобом підвищення точності апроксимації є використання нормалізації БФ. При цьому вихідний сигнал мережі обчислюється у наступний спосіб:

= H(aTФ(x))w, (16)

де:

, ;

- значення вибраної базисної функції у точці xj.

4. Імітаційне моделювання та вирішення практичних задач ідентифікації, управління, кодування та фільтрації сигналів та зображень за допомогою ШНМ СМАС

Удосконалено моделі обчислювальних засобів для розв'язання задач стиснення та фільтрації зображень, які реалізують ієрархічну нейронну мережу СМАС. Показано, що серед сучасних нейросимуляторів, таких як SNNS 4.1, Trajan 3.0, Neuro Pro 0.25, та MATLAB 6.1, останній надає найбільш повні можливості щодо дослідження властивостей алгоритмів навчання ШНМ. У зв'язку з цим моделювання ШНМ здійснювалося у середовищі MatLab 6.1 з використанням ПЕОМ на базі процесора Pentіum IV-2,66.

Вирішувались задачі ідентифікації стаціонарних і нестаціонарних нелінійних динамічних одно- і багатовимірних об'єктів та адаптивного управління такими об'єктами з використанням та без використання еталонної моделі. Вирішено задачу непрямого адаптивного управління без еталонної моделі на основі ШНМ СМАС.

Розглянуто задачу кодування (стиснення) зображень і запропоновано для її розв'язання метод, що базується на ієрархічній СМАС, яка складається з послідовно з'єднаних шарів, кожен з яких виділяє та апроксимує визначену частотну складову вихідного зображення. При цьому для зберігання усіх параметрів мережі, які налаштовуються, потрібно 7250 комірок пам'яті, замість необхідних для зберігання еталонного зображення 20000 комірок, тобто обсяг пам'яті, що потребується для збереження зображення, зменшився у 2,8 рази.

Запропоновано апаратну модель стиснення та фільтрації зображень із використанням нейронної мережі СМАС, що навчається у реальному часі.

Нейронна мережа СМАС, що покладена в основу запропонованої моделі, як вхідні змінні отримує три кольорові складові зображення (R - червону, G - зелену та B - синю), які змінюються довільно. Характерною рисою структури є те, що для виключення операцій ділення, які необхідні для обчислення номерів активних нейронів та аргументів базисних функцій, у блоках кодування змінних (БКЗ) запропоновано використовувати кількість ступенів кодування, що дорівнює ступеням числа 2. Це дозволило операції ділення замінити додаванням та використати як потрібні значення відповідні розряди суми змінної та номера ступеня кодування. Для кожної кольорової складової присутня окрема пам'ять ваг (ОЗП ваг), яка зберігає значення, обчислені у керуючій ЕОМ. Вихідний шар мережі СМАС складається з трьох нейронів, що обчислюють значення функції корекції у кожному кольоровому каналі, які залежать від усіх трьох вхідних кольорових складових зображення. Пристрій обрання ступеня (ПОС) формує номери ступенів кодування для блоків кодування змінних, формуючи обрану схему кодування.

Операційні елементи структури дозволяють після отримання навчаючої комбінації обчислити значення функції, використовуючи первинні значення ваг, порівняти це значення з потрібним та відкоригувати ваги згідно з алгоритмом (9), записати нові значення у пам'ять (ОЗП ваг) на наступному кроці навчання. Паралельно обчислюється значення функції з використанням нових значень ваг, яке можна використати для обчислення помилки стиснення. Також слід зазначити, що економія обсягу даних при апаратному стисканні зображень за допомогою наведеної структури складає від 3,9 до 29,1 разів у залежності від значення с.

У роботі запропоновано методику регулювання і стабілізації енергії електронів у односекційному сильнострумному прискорювачі КПТ (Комплекс Прискорювача Технологічного Національного Наукового Центру "Харківський фізико-технічний інститут"), побудовану на основі нейрорегулятора, що забезпечує високу якість управління. Це дозволило покращити тимчасову стабільність вихідної енергії та призвело до поліпшення характеристик прискорених пучків.

Висновки

мережевий нейронний контролер апроксимуючий

У дисертаційній роботі наведено результати, які, у відповідності з метою дослідження, в сукупності є розв'язанням актуальних науково-практичних задач, пов'язаних із адаптивною обробкою інформації у реальному часі.

Розв'язання цієї задачі полягає в застосуванні розроблених методів та має велике наукове та практичне значення. У результаті виконання роботи отримано такі результати:

1. Проведено огляд існуючих нейромережевих систем управління. Досліджено різноманітні підходи до стиснення і фільтрації зображень. Відзначено, що незважаючи на цілий ряд проблем нейромережевий підхід є достатньо перспективним для вирішення задач ідентифікації та керування нелінійними динамічними об'єктами, стиснення та фільтрації сигналів та зображень.

2. Розроблено ефективний метод кодування інформації та вибору виду базисних функцій у штучній нейронній мережі СМАС. Визначено, що використання класичних прямокутних функцій активації дозволяє досягти більш високої швидкості навчання, однак точність апроксимації при цьому буде відносно невеликою. Запропонований метод дозволяє обирати функції активації, що відрізняються від прямокутних, що надає можливість використання мережі в задачах непрямого нейрокерування без еталонної моделі та підвищує точність апроксимації, але швидкість навчання мережі при цьому стає нижчою.

3. Розроблено багатокрокові проекційні методи навчання штучної нейронної мережі СМАС, які потребують значно меншого обсягу інформації, необхідної для навчання мережі, та розроблено їх рекурентні форми, що забезпечує істотне скорочення процесу навчання. Проведено порівняльний аналіз методів, базовим серед яких є алгоритм навчання Альбуса: навчання за допомогою ковзного середнього, навчання в точці з максимальною похибкою, часткова оптимізація довжини кроку, навчання з коефіцієнтами, які самонастроюються. Досліджено їх переваги та недоліки. На основі порівняльного аналізу доведено, що запропоновані багатокрокові проекційні методи забезпечують істотне скорочення і стійкість процесу навчання мережі.

4. Запропоновано метод навчання нейронної мережі СМАС при її використанні в задачах ідентифікації та керування нелінійними динамічними об'єктами, який використовує різні базисні функції по різних каналах. Відповідно до даного методу, по вхідних каналах використовуються прості прямокутні базисні функції, які не потребують значних обчислювальних витрат, а по управляючих - можливе використання більш складних в обчислювальному сенсі тригонометричних функцій. Метод забезпечує значне підвищення швидкодії системи керування.

5. Набув подальшого розвитку метод гешування інформації у СМАС. Відзначено, що одним із недоліків використання алгоритмів гешування є виникнення геш-колізій. Запропонований метод забезпечує випадковий доступ до комірок пам'яті мережі СМАС, що дозволяє значно зменшити кількість виникаючих геш-колізій та покращити апроксимуючі властивості цієї мережі при використанні хешування.

6. Удосконалено моделі обчислювальних засобів, що реалізують нейронну мережу СМАС у задачах стиснення та фільтрації зображень. В рамках моделей розроблено блок кодування змінної та наведено загальну структуру апаратної реалізації мережі СМАС. Вказано, що економія обсягу даних при апаратному стисканні зображень за допомогою запропонованих моделей складає від 3,9 до 29,1 разів. Перевага моделі у тому, що вона дозволяє використовувати єдиний засіб для виконання стиснення зображень та їх фільтрації за різними ознаками.

7. Проведено імітаційне моделювання роботи мережі СМАС та розв'язано на її основі задачі ідентифікації та керування нелінійними динамічними об'єктами, стиснення та фільтрації сигналів та зображень. Визначено, що мережа СМАС дозволяє виділяти з вихідного сигналу різні частотні складові. Запропоновано метод, у якому використовується ієрархічна мережа СМАС, що складається з послідовно з'єднаних шарів, кожен з яких виділяє та апроксимує визначену частотну складову вихідного зображення. Наведено схему кодування зображень за допомогою ієрархічної мережі СМАС. Імітаційне моделювання довело ефективність використання мережі СМАС при вирішенні наведених задач.

8. Розроблені в дисертації методи використовуються у Науково-дослідному комплексі “Прискорювач” ННЦ “ХФТІ” при керуванні енергією електронів у односекційному сильнострумному прискорювачі електронів КПТ. Доведена ефективність використання нейрорегуляторів на основі СМАС при побудові систем управління складними технологічними процесами.

Література

Руденко О.Г. Идентификация нелинейных нестационарных объектов в реальном времени с помощью радиально-базисных сетей / О.Г. Руденко, А.А. Бессонов // Кибернетика и системный анализ. - 2003. - № 6. - С. 177-185.

Руденко О.Г. Хеширование информации в нейронной сети СМАС / О.Г. Руденко, А.А. Бессонов // Управляющие системы и машины. - 2004. - №5. - С. 67-73.

Руденко О.Г. О выборе базисных функций в нейронной сети СМАС / О.Г. Руденко, А.А. Бессонов // Проблемы управления и информатики. - 2004. - № 2. - С. 143-154.

Руденко О.Г. Адаптивное управление нелинейными объектами с помощью нейронной сети СМАС / О.Г. Руденко, А.А. Бессонов // Проблемы управления и информатики. - 2004. - № 5. - С.16-30.

Бессонов А.А. Применение нейронной сети СМАС при решении задач обработки изображений и ее аппаратная реализация / А.А. Бессонов, В.А. Бобух, О.Г. Руденко // Бионика интеллекта. - 2004. - № 1 (61). - C. 49-55.

Руденко О.Г. Фильтрация изображений с помощью нейронной сети СМАС / А.А. Бессонов, В.А. Бобух, О.Г. Руденко // Вестник Херсонского государственного технического университета. - 2004. - № 1(19) . - C. 378-384.

Руденко О.Г. Нейронная сеть СМАС и ее применение в задачах идентификации и управления нелинейными динамическими объектами / О.Г. Руденко, А.А. Бессонов // Кибернетика и системный анализ. - 2005. - №5. - С. 16-28.

Размещено на Allbest.ru