Модели нейронов с памятью состояния для организации нейроэволюционных вычислений

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Модели нейронов с памятью состояния для организации нейроэволюционных вычислений

Эволюция нейронных сетей является одним из наиболее перспективных направлений в области искусственного интеллекта (ИИ). Традиционный подход к организации нейроэволюций заключается в применении соответствующих эволюционных методов и процедур к формированию или корректировке основных сетевых конструкций и параметров: сетевой топологии; весов синаптических связей; параметров активационных функций [1]. При этом, процессы эволюционирования сети и, собственно, функционирования сети (решения задач на сети) разделены во времени.

Следует отметить, что нейросетевые модели в силу своей специфики уже обеспечивают свойства адаптивности. Вводимые здесь модели позволяют не только повысить уровень адаптивности нейросетевого моделирования, но и обеспечить эволюционирование сети непосредственно в процессе функционирования сети. Рассматриваемая схема позволяет производить подстройку сети в процессе её функционирования. Данная схема предполагает осуществление текущего эволюционирования на основе определённого накопления информации об истории протекания процессов. Таким образом предусматривается двухуровневая схема эволюционирования нейросети:

· структурная эволюция, выполняемая на основе традиционных нейроэволюционных методов и моделей;

· оперативная (текущая) эволюция, совмещённая с процессом функционирования сети.

Структурная эволюция осуществляется традиционным образом [1]. Как уже указывалось, подобная процедура сетевой реконструкции требует остановки решения функциональных задач на время указанной реконструкции сети.

Второй тип эволюции осуществляется в процессе функционирования самой сети за счёт использования специальных моделей нейронов, позволяющих определённым образом отслеживать ход самого процесса решения задач на сети.

Применительно к разработке новых моделей нейронов необходимо указать на следующие обстоятельства. Разнообразие моделей нейронов, интенсивность появления новых разработок со всей очевидностью указывают, что к настоящему времени отсутствует единая универсальная модель, и для каждого конкретного применения можно говорить о своей собственной модели. Причём, выбор модели из числа существующих или разработка новой модели является не формально и методологически обоснованным действием, а скорее актом, опирающимся на опыт и предпочтения исследователя.

В рассматриваемом в настоящей статье случае, введение новой модели нейрона обуславливается необходимостью введения в сетевую модель и, соответственно, в модель нейрона дополнительного параметра, позволяющего определённым образом фиксировать историю развития процесса.

Приводимое здесь описание модели нейроэлемента (нейрона, клетки) обозначим как динамический нейрон с памятью состояния (ДНПС). Данная модель является развитием работ по нейропроцессорной тематике и робототехнике, проводимой в течении ряда лет на кафедре вычислительной техники Таганрогского радиотехнического института под руководством заведующего кафедрой профессора В.Ф. Гузика и профессора кафедры Ю.В. Чернухина. В рассматриваемой модели за основу взята модель динамического нейрона, формальное описание и схемотехническая проработка которого рассмотрены в [2], описание развития данной модели рассмотрены в [3].

Для описания модели ДНПС введём понятие входной окрестности

j-го нейрона, обозначаемое как О_{вх_j}, представляющее собой набор номеров нейронов, являющихся входными для j-го нейрона. Входной потенциал j-го нейрона по аналогии с базовой моделью динамического нейрона определим следующим образом:

нейронный сеть алгоритм

P_{вх_j}(t_i) = У y_k(t_i)*?_k,j, где k ? O_{вх_j} (1)

Здесь P_{вх_j}(t_i) - входной потенциал j-го нейрона на t_i-м шаге,

O_{вх_j} - окрестность j-го нейрона; y_k(t_i) - активационная функция k-го нейрона из входной j-окрестности в текущий момент времени на t_i-ом шаге; ?_k,j - вес синаптической связи, ориентированной от k-го нейрона в рассматриваемый j-ый нейрон.

Мембранный потенциал j-го нейрона определим следующим образом:

P_{m_j}(t_i) = f_m(P_{вх_j}(t_i), P_{m_j}(t_i-1), S_j(t_i), Q_j) (2)

Здесь f_m - функция определения мембранного потенциала; P_{m_j}(t_i-1) - мембранный потенциал на предыдущем шаге; S_j(t_i-1) - значение состояния j-го нейрона (описание определения значений состояний приводится ниже) на предыдущем шаге; Q_j - порог срабатывания нейрона (соответствует этому же понятию в динамическом нейроне /3/). Вид функции f_m произвольный и может подбираться в процессе моделирования. В простейшем случае мембранный потенциал может определяться в виде полинома:

P_{m_j}(t_i) = k₁*P_{вх_j}(t_i) + k₂*P_{m_j}(t_i-1) + k₃*S_j(t_i-1) - k₄* Q_j (3)

Коэффициенты k₁, k₂, k₃, k₄ могут варьироваться, в простейшем случае k₁=k₂=k₃=k₄=1. Как следует из соотношения (3), данная модель базируется на традиционном представлении динамического нейрона, за исключением ввода дополнительного члена полинома, связанного с параметром состояния, рассматриваемого ниже.

Этот, вводимый в дополнение к традиционной модели динамического нейрона параметр состояния S описывается следующим образом. Определим S_{вх_j} как множество состояний нейронов из О_{вх_j}. Тогда:

S_j(t_i) = F_s{S_j(t_i-1), S_{вх_j}(t_i-1), P_{m_j}(t_i), Q_s}, (4)

из чего следует, что текущее состояние нейрона рекуррентно определяется из его предыдущего состояния (таким образом, отслеживается история процесса), а также зависит от мембранного потенциала на текущем шаге, состояний нейронов входной окрестности и пороговой функции изменения состояния Q_s. Перепишем данное соотношение следующим образом:

S_j(t_i) = F_s{S_j(t_i-1), ДS_j(t_i)} . (5)

Из этого соотношения следует, что изменения текущего состояния нейрона определяются величиной мембранного потенциала (и, следовательно, величиной входов), а также значениями состояний близлежащих нейронов.

Для обеспечения стабильного функционирования сети, значение состояний следует ограничивать, вводя соотношения следующего вида: S_min ? S_j(t_i) ? S_max, где S_min, S_max - наименьшее и наибольшее возможные состояния нейрона. Определение значения текущего состояния нейрона, исходя из соотношений (4) и (5), может быть выполнено в виде многошаговой процедуры:

1 шаг): S_j*(t_i) = F_s{S_j(t_i-1), S_{вх_j}(t_i-1), P_{m_j}(t_i), Q_s} (6),

2 шаг): S_j(t_i) = S_j*(t_i), если S_min ? S_j*(t_i) ? S_max;

S_j(t_i) = S_min, если S_j*(t_i) ? S_min;

S_j(t_i) = S_max, если S_max ? S_j*(t_i) (7).

В соответствии с этим можно провести определённую классификацию нейронов в зависимости от уровня значений состояний нейронов.

а): S_j(t_i) = S_min - напряжённый отрицательный нейрон;

б): S_j(t_i) = S_max - напряжённый положительный нейрон;

в): S_min < S_j(t_i) < (S_min+Я) - отрицательный активный нейрон

(Я-задаваемый параметр, определяющий диапазон активности нейрона);

г): S_max-Я < S_j(t_i) < S_max - положительный активный нейрон;

д): S_j(t_i) = 0 - нейтральный нейрон.

Как следует из приведённых формальных описаний параметры состояния: а) определяются ходом (историей) протекания процессов;

б) в значительной степени влияют на поведение нейрона. Причём, в зависимости от знака значения S (плюс или минус) можно говорить о возбуждающем или тормозящем нейроне. Введённые выше качественные определения состояний нейрона характеризуют степень влияния нейрона на вычислительный процесс.

Таким образом, эволюционирование сетей, построенных на основе ДНПС, организуется на двух уровнях.

Первый уровень обеспечивается за счёт применения к нейросетевым моделям эволюционных алгоритмов для формирования или модификации основных сетевых конструкций. Здесь можно выделить два подуровня: а) синаптические веса; б) топологические характеристики и активационные функции. Обработка данных подуровней в рамках настоящего проекта РФФИ №16-07-00335_2016 рассмотрена в работах [1,5,6]. Данный уровень можно обозначить как стратегический и с его реализации начинается обработка нейросети при необходимости проведения эволюционных преобразований. Можно отметить, что на данном уровне осуществляется настройка сети.

Второй уровень организации эволюционирования осуществляется непосредственно в процессе функционирования сети и базируется на описанном выше механизме изменения значений состояний. Можно сказать, что данный уровень организации эволюционирования обеспечивает подстройку сети.

В качестве прикладного примера применения предлагаемой двухуровневой схемы организации процесса эволюционирования можно привести задачу регулирования твёрдотопливных паровых энергетических котлоагрегатов большой мощности, где первый уровень обеспечивает настройку с учётом основных конструктивных характеристик и свойств проектного топлива. Второй уровень организует текущую подстройку, обеспечивающую учёт изменений конструктивных характеристик, произошедших в процессе эксплуатации (например, шлакование поверхностей нагрева), а также реальных характеристик топлива из конкретной партии поставки.

Работа выполнена при финансовой поддержке гранта РФФИ №16-07-00335 «Иерархическая организация нейроэволюционных вычислений».

Литература

1. Родзин С.И., Родзина О.Н. Нейроэволюционный алгоритм балансирования тележки с двумя флагштоками разной длины. Научное периодическое издание IN SITU. №9, 2016 г.

2. Чернухин Ю.В. Искусственный интеллект и нейрокомпьютеры. Таганрог: Изд-во ТРТУ, 1997 г.

3. Шестаков А.В., Мунтян Е.Р., Потапов В.В., Терлецкий В.В. Моделирование нейросетевых взаимодействий с использованием механизма клеточных автоматов. Научный журнал КубГАУ, №124 (10), 2016 г.

4. Чернухин Ю.В. Нейропроцессорные сети. Монография. Таганрог. Изд-во ТРТУ. 1999 г.

5. Вовк С.П., Гинис Л.А. Элементы эволюционного моделирования принятия решения в сложных системах с динамичными видами иерархий» // Фундаментальные исследования. 2016. №6-1. - С. 47-51. Статьи в изданиях, включенных в библиографическую базу данных

6. Родзина О.Н., Родзина Л.С., Шестаков А.В. На что способен нейроэволюционный алгоритм с применением только оператора мутации? // Труды Конгресса по интеллектуальным системам и информационным технологиям «IS&IT'16» (Дивноморск, Россия, 2-9 сент. 2016). Научное издание в 3-х томах. Таганрог: Изд-во ЮФУ, 2016, Т.2. С. 207-215.

Размещено на Allbest.ru