Эволюционирующая гибридная радиально-базисная нейронная сеть и ее обучение на основе функций В. Епанечникова

Размещено на http://www.allbest.ru/

Харьковский национальный университет радиоэлектроники

Эволюционирующая гибридная радиально-базисная нейронная сеть и ее обучение на основе функций В. Епанечникова

д.т.н., проф. Бодянский Е.В.

аспирантка Дейнеко А.А.

В настоящее время искусственные нейронные сети (ИНС) получили широкое распространение для решения большого класса задач обработки информации. В случае необходимости обработки информации в on-line режиме по мере последовательного поступления на вход новых данных, на первый план выходит вопрос скорости процесса обучения, существенно ограничивающий класс ИНС, пригодных для работы в этом режиме. С точки зрения оптимизации по скорости процесса обучения весьма перспективными являются ИНС, основанные на ядерных (радиально-базисных, колоколообразных) функциях активации. Наиболее популярными из таких ИНС являются радиально-базисные нейронные сети сети (Radial Basis Function Neural Networks - RBFN). Основные идеи радиально-базисных нейронных сетей связаны с методом потенциальных функций [1], оценок Парзена [2, 3], ядерной [4] и непараметрической [5] регрессиями.

Основным недостатком радиально-базисной сети является ее подверженность «проклятию размерности», порождающему экспоненциальный рост числа радиально-базисных нейронов (R-нейронов) с ростом размерности входного пространства, в связи с чем, в настоящей работе предлагается подход к обучению RBFN с ограничением количества нейронов в on-line режиме обработки информации.

Процесс функционирования предлагаемой системы происходит следующим образом. При поступлении первого наблюдения оно подается на вход радиально-базисной сети, где формируется первый нейрон по принципу «нейроны в точках данных», т.е. практически мгновенно. При последующем поступлении наблюдений они, сперва поступают в самоорганизующуюся карту Кохонена (SOM), где идет сравнение с уже существующими центроидами, а потом, если совпадений не обнаружилось, формируется новый центроид и соответственно и новый нейрон в RBFN.

Введем в рассмотрение следующий метод управления количеством нейронов в сети:

Шаг 1₁: закодировать все значения входных переменных в интервале и задать радиус рецепторного поля функции соседства, в интервале ;

Шаг 2₁ : при поступлении наблюдения задать ;

Шаг 3₁ : при поступлении наблюдения :

- если , то корректируется по правилу

- если корректируется согласно правилу самообучения самоорганизующейся карты Кохонена по принципу «победитель получает больше» (WTM) [6]

с функцией соседства

где - функция В. Епанечникова [7] с рецепторным полем с радиусом ;

- если , формируется новая радиально-базисная функция с центром

На этом первая итерация формирования активационных функций радиально-базисной нейронной сети заканчивается. Далее формирование радиально-базисных функций производится совершенно аналогично [8,9].

Радиально-базисная нейронная сеть реализует нелинейное преобразование вида

где - радиально-базисные функции, определяющие свойства сети, зависящие от расстояния между входным вектором и центром и параметра ширины , определяющего локальную область входного пространства, на которую реагирует эта функция. В качестве активационной функции мы используем функцию В. Епанечникова в форме

при этом преобразования, которые реализует радиально-базисная нейронная сеть, можно записать в виде

где

- число нейронов скрытого слоя, - символ транспонирования.

Оптимизация квадратичного критерия обучения в реальном времени может быть реализована с помощью рекуррентного метода наименьших квадратов в виде

Использование в качестве активационных функций В. Епанечникова позволяет достаточно просто организовать обучение параметров ширины в виде

где - параметр шага обучения.

Как видно данная процедура есть ни что иное, как гибрид эволюционного алгоритма Касабова [10] и самоорганизующейся карты Кохонена. Однако предложенная конструкция разработана не только для решения задач кластеризации, но для управления количеством нейронов в радиально-базисной нейронной сети. Данный подход позволяет обеспечить необходимое качество обработки информаци в последовательном on-line режиме.

нейронный сеть обработка информация

Литература

1. Айзерман М. А. Метод потенциальных функций в теории обучения машин. / Айзерман М. А., Браверман Э. М., Розоноэр Л. И //М.: Наука, 1970. - 384 с.

2. Parzen E. On the estimation of a probability density function and the mode / Parzen E // Ann. Math. Statist. - 1962. - 38. - P. 1065-1076.

3. Надарая Э. А. О непараметрических оценках плотности вероятности и регрессии / Надарая Э. А. // Теория вероятностей и ее применение. - 1965. - 10. - № 1. - С. 199-203.

4. Haykin S. Neural Networks. A Comprehensive Foundation. - Upper Saddle River, N.J.: Prentice Hall, Inc., 1999. - 842 p.

5. Варядченко Т. В. Непараметрический метод обращения функций регрессии / Варядченко Т. В., Катковник В. Я. // Стохастические системы управления. - Новосибирск: Наука, 1979. - С. 4-14.

6. Kohonen T. Self-Organizing Maps / Kohonen T. - Berlin: Springer-Verlag. - 1995. - 362 p.

7. Епанечников В.А. Непараметрическая оценка многомерной плотности вероятности / Епанечников В.А. // Теория вероятностей и ее применение - 1968 - 14 - №1 - С. 156-161.

8. Бодянский Е.В. Адаптивное обучение архитектуры и параметров радиально-базисной нейронной сети / Бодянский Е.В., Дейнеко А.А. // Системные технологии. - Днепропетровск, 2013. - 4. - 87. - С. 166-173.

9. Бодянский Е.В. Эволюционирующая радиально-базисная нейронная сеть и ее обучение с помощью карты Кохонена / Бодянский Е.В., Дейнеко А.А. // Научно-техническая конференция: «Информационные технологии в металлургии и машиностроении.» - Днепропетровск, 2013. - С. 75-77.

10. Kasabov N. Evolving Connectionist Systems. / Kasabov N. // London: Springer - Verlag. - 2003 - 307p.

Размещено на Allbest.ru