Обучение нейро-нечеткой сети с помощью генетического алгоритма

Размещено на http://www.allbest.ru//

Размещено на http://www.allbest.ru//

Обучение нейро-нечеткой сети с помощью генетического алгоритма

Глушенко Сергей Андреевич

кандидат экономических наук 

Аннотация

Приводятся описание особенностей использования и преимуществ генетического алгоритма для обучения нейро-нечеткой сети. Авторами осуществляется обзор литературных источников, в которых рассматриваются модификации генетического алгоритма, адаптированные для решения различных задач. Выявлено, что существующие подходы к реализации генетического алгоритма содержат ряд недостатков для обучения нейро-нечеткой сети. Так при формировании хромосомы интервал, содержащий пик функции принадлежности, кодируется с помощью 1, в противном случае - 0. Это сказывается на разрешающей способности при поиске оптимального решения. Авторы также подробно рассматривают такие аспекты, как операторы базового алгоритма и приводят схему комбинированного метода обучения сети. Для обучения нейро-нечеткой сети на основе генетического алгоритма предлагается подход кодирования функций принадлежности, основанный на б-уровне. В качестве фитнесс-функции генетического алгоритма была использована среднеквадратичная ошибка. Новизна исследования заключается в предложенном авторском подходе кодирования функций принадлежности, основанном на б-уровне, что позволяет повысить разрешающую способность алгоритма при поиске оптимального решенияОсновным выводом проведенного исследования являются тот факт, что предложенный в статье подход позволяет провести корректировку параметров функций принадлежности лингвистических переменных для нейро-нечеткой сети и получить более адекватные значения параметров выходного слоя сети.

Ключевые слова: генетический алгоритм, нейро-нечеткой сеть, функция принадлежности, хромосома, скрещивание, мутация, лингвистическая переменная, нейрон, фитнесс-функция, обучение

Abstract

The authors of the article describe the features of the use and advantages of the genetic algorithm for learning the neural-fuzzy network. The authors review the literature sources that consider modifications of the genetic algorithm adapted to solve various problems. The authors found that the existing approaches to the implementation of the genetic algorithm contain a number of drawbacks for learning the neural-fuzzy network, so when forming a chromosome, the interval containing the peak of the membership function is encoded with 1, otherwise it is 0. This affects the resolving power when searching for the optimal solutions. The authors of the article also discuss in detail such aspects as the operators of the basic algorithm and give the scheme of the combined method of learning the network. To teach a neural-fuzzy network based on a genetic algorithm, the authors propose an approach for coding membership functions based on the б-level. As a fitness function of the genetic algorithm, the root-mean-square error was used. The novelty of the research is caused by the fact that the authors offer their own approach of coding membership functions based on the б-level which allows to increase the resolution of the algorithm when searching for the optimal solution. The main conclusion of the research is the fact that the approach proposed in the article makes it possible to adjust the parameters of the membership functions of linguistic variables for the neural-fuzzy network and to obtain more adequate values for the parameters of the output layer of the network. 

Keywords:

linguistic variable, mutation, crossing, chromosome, membership function, neuro-fuzzy network, genetic algorithm, neuron, fitness function, training 

Введение

С 90-х годов ХХ века при разработке интеллектуальных систем для решения различных прикладных задач прослеживается тенденция использования гибридных моделей, представляющих собой совокупность методов имитации интеллектуальной деятельности человека, таких как нейронные сети, экспертные системы, эвристические алгоритмы и нечёткие системы. В процессе обучения нечетких моделей ряд авторов, помимо традиционных методов оптимизации, таких, как итерационные алгоритмы, используют генетический алгоритм [1],[2]. Экспериментальные исследования применения генетических алгоритмов показывают, что использование такого подхода позволяет добиться приемлемых результатов по повышению скорости и точности решаемых задач ввиду высокой скорости работы генетического алгоритма при использовании больших объёмов данных [3],[4],[5].

Генетический алгоритм при обучении нейро-нечеткой сети имеет ряд преимуществ: он обладает достаточно высокой скоростью работы (это связано с тем, что операторы работают непосредственно с двоичным представлением аргументов функции), простотой реализации и достаточной гибкостью, позволяющей создавать модификации, адаптированные для решения конкретных оптимизационных задач и задач моделирования экономических процессов. Главной особенностью генетического алгоритма является применимость его при решении задач большой вычислительной сложности (классов P и NP), причем точность решения задачи оптимизации имеет прямую зависимость от объема входных данных. Таким образом, чем больше будет размер и начальная популяция вариантов решения, тем с большей уверенностью можно говорить о корректности результатов работы. Как правило, генетический алгоритм используется для корректировки числовых значений выходов нейронной сети или настройки параметров функций принадлежности нечеткой модели [1],[6].

В [7] приводится описание реализации ГА для обучения нейро-нечеткой сети (ННС), однако в данной работе был обнаружен ряд серьёзных недостатков, а именно выявлена проблема выбора лучшего хромосомного набора, определяющего параметры соответствующих функций принадлежности (ФП), с точки зрения глобальной оптимизации - минимизации ошибки выхода ННС. Также накладывается ограничение в кодировании информации с использованием хромосом, размерностью более 10 бит, так как это приводит к малой вариабельности параметров, что в дальнейшем может негативно отразиться на результатах обучения нейро-нечеткой сети.

нечеткий сеть генетический алгоритм

Описание алгоритма

Генетический алгоритм является эвристическим методом оптимизации, основанным на механике естественного отбора и природной генетике [8]. Генетический алгоритм работает с целым набором решений, и использует операторы отбора, скрещивания и мутации, чтобы скомбинировать части родительских хромосом и произвести потомство, которое будет иметь преимущества обоих родителей.

Рассмотрим подробнее операторы базового алгоритма:

1. Инициализация исходной популяции, основывающаяся на кодировании исходных данных.

2. Оценка приспособленности популяции - расчет функции приспособленности для каждой особи текущей популяции. В решаемой задаче функция приспособленности - это функция расчёта среднеквадратической ошибки a по результатам работы ННС.

3. Селекция - форма искусственного отбора, направляемая факторами внешней среды (отбор особей, показавших в ходе оценки приспособленности лучшие результаты).

4. Скрещивание - языковая конструкция, позволяющая на основе преобразования (скрещивания) хромосом родителей (или их частей) создавать хромосомы потомков [8].

5. Мутация - преобразование родительской хромосомы, или ее части для имитации влияния случайных факторов на изменчивость потомков.

6. Формирование новой популяции - группировка получившихся потомков для последующего повторения цикла оптимизации.

Схема работы комбинированного алгоритма представлена на рисунке 1.

Рисунок 1 - Блок-схема комбинированного метода обучения ННС

В настоящее время существует множество модификаций ГА, адаптированных для решения различных задач. В работе [9], рассматривается модификация и адаптация к условиям конкуренции для последующего процесса моделирования этого экономического процесса. Модификации автора в [9] затронули оператор отбора ГА, используя постоянно уменьшающуюся популяцию, таким образом, была получена естественная точка останова алгоритма. Так же было предложено динамическое изменение количества точек разрыва при скрещивании пары родительских хромосом, хоть и было отмечено, что такое нововведение замедляет скорость работы алгоритма.

П.В. Казаковым была предложена кластерная модификация ГА [10]. Ее суть заключается в разбиении пространства поиска с помощью нишевых механизмов на участки (кластеры) в зависимости от границ значений целевой функции, которое позволяет получить множество оптимальных решений при условии того, что целевая функция имеет несколько локальных экстремумов. Стоит отметить, что идея разделения целевой функции на участки так же рассматривалась в трудах Бака (Bдck) [11] и Чемберса (Chambers) [12]. Кластерная модификация использовалась для автоматизации процесса планирования инвестиционных средств в рамках задачи оптимизации инвестиционного портфеля [13].

Одним из способов организации модификации самоадаптирующегося алгоритма является применение неоднородной мутации Михаэльвицем (Michalewicz) [14], заключающееся в случайной генерации мутирующего отрезка гена, вместо каноничной его перестановки. Существует метод супериндивидуального приближения для отбора особей в новую популяцию, использующийся при стратегии инцеста, разработанной и предложенной Перьяксом (Periaux) в работах [2][15],[16],[17]. Стратегия инцеста используется как механизм самоадаптации оператора мутации. Она заключается в том, что «плотность мутации» (вероятность мутации каждого гена) определяется для каждого потомка на основании генетической близости его родителей. При супериндивидуальном приближении выбирается наилучшая особь среди числа родителей и их потомков -- элитная хромосома. Все хромосомы новой популяции являются копиями этой элитной хромосомы, что повлечет за собой сильные мутации в последующем поколении. Эта модификация, как и модификация с методом неоднородной мутации, пригодны для решения оптимизационных задач различного плана, так как имеет пониженную уязвимость попадания в локальный экстремум целевой функции.

Кодирование в задаче

В контексте генетического алгоритма область значений каждой лингвистической переменной нейро-нечеткой сети рассматривается как пространство, разбитое на конечное число интервалов [18]. Например, если заданный интервал содержит пик функции принадлежности, то он кодируется с помощью 1, в противном случае - 0. Закодированная строка, соответствующая функции принадлежности для одной переменной, называется хромосомой, а элементы 0 или 1 - генами. Увеличение числа генов, составляющих хромосому (т. е. числа интервалов разбиения области значений) приводит к увеличению разрешающей способности поиска оптимального решения. Вместе с тем, чем более высокое разрешение имеет разбиение, тем быстрее происходит рост числа потенциальных решений («комбинаторный взрыв»), что в свою очередь приводит к значительному увеличению трудоёмкости.

Данный подход целесообразно использовать лишь при фиксированном выборе числа нечетких множеств, используемых для оценки всех входных и выходных параметров модели, а также базы правил и остальных элементов модели, так как в этом случае ее точность будет зависеть только от координат пиков отдельных функций принадлежности - от расположения единиц в хромосомах.

Рассмотрим возможность настройки ФП на отдельных отрезках, соответствующих трём неопределённостям («низкий» , «средний» и «высокий» ), описывающим оценку эксперта с уровнем уверенности в своём выводе. Например, «особь» генетического алгоритма, полученная из лингвистической переменной (ЛП)  будет иметь набор из 3 хромосом . Такой принцип кодирования подходит для всех ЛП модели.

Обозначим границы для каждого из отрезков , например, используя б-уровень = 0,5 и получим 2 точки пересечения  и  (рисунок 2). Также можно использовать заданные размеры отрезка. Таким образом, отрезок  определён на интервале ,  на интервале ,  на интервале .

Рисунок 2 - Исходные ФП нейрона  с б-уровнем 0,5

Разобьем отрезок  на  интервалов, с наложением ограничения n і 10 для получения приемлемой вариабельности особей для работы операторов генетического алгоритма. Так параметр , соответствующий отрезку , будет принимать одно из 1024 значений от минимального значения  до максимального значения , которые будут являться двоичными представлениями хромосомы вида [0000000000] для  и [1111111111] для  из хромосомного набора мощностью  (рисунок 3).

Рисунок 3 - Пример двоичного представления для n=10

Стартовая популяция ГА в задаче обучения ННС задаёт множество прототипов ФП для каждого нейрона. Ввиду большого количества вычислений её размер S сделан варьируемым между 10% и 20% от мощности хромосомного набора () и задаётся в начале процесса обучения. В качестве инструмента создания стартовой популяции можно использовать как генератор случайных чисел с соответствующим законом распределения, так и простые алгоритмы заполнения массива - циклическое увеличение или уменьшение с определённым шагом, или их сочетание.

Генетические операторы скрещивания, мутации и отбора позволяют получить следующее поколение особей и отбирать наиболее приспособленные особи, которые в большей степени удовлетворяют значению функции приспособленности - фитнесс-функции, производя корректировку функции принадлежности и тем самым обучение ННС (рисунок 4).

Рисунок 4 - Корректировка функции принадлежности

Операторы скрещивания и мутации носят вероятностный характер, параметры которого задаются перед началом работы алгоритма обучения. После одного эволюционного шага популяция увеличивается вдвое, так как двое родителей порождают пару потомков, а оператор отбора удаляет половину наименее приспособленных особей, сохраняя численность популяции на одном уровне.

В качестве фитнесс-функции генетического алгоритма будем использовать среднеквадратичную ошибку выхода i -го нейрона обучаемого слоя ННС  для j -го обучающего образа:

где:  - требуемый выход нейрона , данные из обучающей выборки;  -фактический выход нейрона , согласно текущей функции принадлежности;

Достижение такой формы ФП, при которых  является обучением нечёткой нейронной сети.

Средняя ошибка обучаемого слоя ННС для j -го обучающего образа вычисляется по формуле:

 ,

где n - количество нейронов слоя, а для всей обучающей выборки, содержащей m примеров, ошибка выхода сети будет рассчитываться следующим образом:

 ,

Ошибка  используется для проверки результатов обучения сети целиком и сравнивается с ошибкой , которая задаётся в ходе выбора параметров обучения в начале работы. При  функции принадлежности нейронов настроены на заданном уровне, и процесс обучения останавливается (рисунок 5).

Рисунок 5 - Скорректированные функции принадлежности для трех нечётких множеств

Заключение

Предложенный в статье подход позволяет провести корректировку параметров функций принадлежности лингвистических переменных для нейро-нечеткой сети и получить более адекватные значения выходного слоя.

Можно также выделить дальнейшие направления развития методов обучения ННС: развитие ГА в форме применения различных стратегий и соответствующих модификаций ГА (стратегия «элитизма», инцеста, супер-индивидуального приближения, вариации генетических операторов и другие), и комбинирование ГА с другими методами обучения ННС (методы градиентного спуска, обратного распространения ошибки для сети со скрытыми слоями, «метод отжига» для первичного задания весов). Развитие методов обучения, состоящее в компоновке авторских модификаций с существующими методами, позволит повысить точность модели и уменьшить время обучения сети.

Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 16-31-00285 мол_а «Методы и модели нечеткой логики в системах принятия решений управления рисками».

Библиография

Размещено на Allbest.ru