Полный процесс обучения искусственных нейронных сетей

Размещено на http://www.allbest.ru/

Полный процесс обучения искусственных нейронных сетей

А.А. Воробьева

Аннотация

искусственный нейронный сеть

Описаны принципы работы технологии искусственных нейронных сетей. Рассмотрены алгоритмы построения обучения подобных сетей. Также разбираются возможности снижения временных затрат, которые требуются для такого обучения.

Ключевые слова: искусственные нейронные сети; алгоритмы обучения; облачные технологии; кластерные системы

The complete learning process of artificial neural networks

Vorobyova A.A., Student of Mathematics, Physics and Information Technology Institute. Derzhavin Tambov State University, Tambov, Russian Federation.

Abstract

We describe the principles of operation of artificial neural network technology. We consider the algorithms for constructing training for such networks. We also examine the possibilities of reducing the time costs required for such training.

Keywords: artificial neural networks; training algorithms; cloud technology; cluster systems

Введение

Как известно, искусственные нейронные сети (ИНС) - это область искусственного интеллекта, которая занимается эмулированием человеческого мозга. Для обработки сигналов аппарат ИНС использует явления, аналогичные тем, что протекают в биологических нейронах. При этом одна из главных особенностей ИНС заключается в возможности параллельной обработки информации всеми ее звеньями, что позволяет значительно снизить временные затраты на обработку данных [1]. Формирование ИНС, то есть построение модели, адекватной реальному объекту, заключается в выборе правильного типа сети, оптимальной структуры (то есть подборе числа скрытых нейронов), активационных функций и других параметров нейронов, а также в подборе весовых коэффициентов. Весь этот процесс называется обучением ИНС.

Уровни алгоритма обучения. Полный процесс обучения выглядит следующим образом: в первую очередь требуется задать условия обучения, а именно:

необходимо подготовить обучающую выборку (х,с1), которая должна удовлетворять требуемым критериям и соответствовать предметной области моделируемого объекта (число строк в выборке должно быть в несколько раз больше числа весовых коэффициентов, то есть, например, для обучения структуры многослойного персептрона, которая представлена на рис. 1 и предназначена для прогнозирования температуры воздуха в городе Тамбове, необходимо порядка 700-1000 строк [2]);

Рис. 1. Структура многослойного персептрона, используемого для прогнозирования температуры воздуха в городе Тамбове

необходимо задать требуемую эффективность, которая будет сравниваться со значением невязки, вычисляемой по формуле (1), и критерий остановки всего процесса.

Здесь F - функция вычисления выходных значений ИНС; - входные данные; - управляющие параметры - значения весовых коэффициентов и состояний нейронов; 1-е выходные вектора моделируемого объекта и ИНС; N - количество строк в обучающей выборке; F - количество выходов объекта (размерность векторов ) [3].

Как показано на рис. 2, обучение ИНС состоит из трех вложенных уровней [4]. На верхнем уровне происходит подбор структуры сети, то есть количество скрытых слоев (если тип ИНС подразумевает наличие этих слоев) и число нейронов на каждом из них. Построение структуры зависит от типа сети; так, при многослойном персептроне (рис. 1) количество скрытых слоев увеличивается до тех пор, пока не будет выполнен один из критериев остановки, а при использовании сети Вольтерри добавление нового нейрона приводит к перестроению всей структуры. В случае использования сети каскадной корреляции Фальмана при добавлении нового скрытого нейрона не происходит полного перестроения структуры, однако данная архитектура и не подразумевает скрытых слоев. То есть каждый вид сети уникален, а потому алгоритм изменения структуры также имеет свои особенности. Для каждой такой архитектуры происходит подбор активационных функций нейронов.

Рис. 2

Блок-схема полного алгоритма обучения ИНС нового скрытого нейрона не происходит полного перестроения структуры, однако данная архитектура и не подразумевает скрытых слоев. То есть каждый вид сети уникален, а потому алгоритм изменения структуры также имеет свои особенности. Для каждой такой архитектуры происходит подбор активационных функций нейронов.

Нейроны, из которых состоит сеть, могут быть различного типа - МакКалок-Питса, адалайн, сигмоидальный, персептрон или звезды Гроссберга. Каждый тип имеет свои особенности, в некоторых активационная функция линейна, а в других - нет, но все их можно свести к обобщенной структуре (рис. 3), а формула вычисления выходных значений выглядит следующим образом [5]:

где - входные значения нейрона (выходы предыдущего слоя); р}, рБ - внутренний и внешний импульсы; сх - коэффициент активационной функции fNx - число входов нейрона. Такие функции fi могут быть, например, линейными квадратичными, кубическими, сигмоидальными и др. Для каждой комбинации активационных функций происходит подбор весовых коэффициентов. Этот подбор (известный также как обучение весовых коэффициентов) может осуществляться различными методами, такими как: полный перебор, градиентный метод, метод Монте- Карло [6-7].

Рис. 3. Обобщенная схема нейрона

После подбора весовых коэффициентов происходит проверка, были ли перебраны все возможные комбинации активационных функций

Если нет, то происходит изменение значения вектора состояния нейронов. Для большей наглядности этот этап приведен на рис. 4. В данном случае рассматривается ситуация с двумя входными нейронами, одним скрытым и одним выходным. При этом используются линейная и квадратичная активационные функции.

Приведенный выше пример позволяет сделать вывод о том, что количество состояний нейронов можно вычислить по следующей формуле:

где L - это число функций, использующихся в процессе обучения; п - число нейронов при данной структуре [4]. То есть, как уже было сказано, для каждого набора состояний нейронов отдельно подбираются весовые коэффициенты при помощи одного из методов уточнения весов.

После того, как были проведены все возможные действия с данной структурой, проверяется критерий остановки обучения (например, по значению невязки). В случае если она удовлетворяет заданному критерию, то процесс обучения считается успешным и завершается, в противном случае добавляется новый скрытый нейрон (возможно, и новый скрытый слой, если такое предусмотрено типом ИНС), и все вышеописанные действия повторяются для новой структуры. Такой процесс продолжается до тех пор, пока не будет подобрана структура, которая удовлетворяет необходимым условиям. Также имеет место следующая ситуация, при которой эффективность недостаточна, но завершить обучение невозможно по объективным причинам (например, недостаточна обучающая выборка).

Распределенный процесс обучения. Как было показано выше, процесс обучения состоит из трех уровней (подбора структуры, подбора нейронов и подбора весовых коэффициентов), поэтому для снижения временных затрат может быть использовано множество элементов информационных ресурсов (ИР-элементов). В качестве подобных ИР-элементов могут выступать облачные технологии или кластерные системы [8]. Особенности алгоритмов обучения позволяют выделить четыре возможных уровня, на которых можно задействовать множество ИР-элементов:

подбор структуры сети (каждый ИР-элемент проводит обучение своей структуры - подбирает нейроны и весовые коэффициенты) - рис. 4;

Рис. 4. Пример структуры сети

подбор нейронов (каждый ИР-элемент работает со своей частью набора состояний);

подбор весовых коэффициентов (поскольку существует множество способов уточнения весов, то и алгоритм распределения уникальный для каждого из них: например, метод полного перебора действует аналогично методу подбора весов, а градиентный метод заключается в разделении вектора весов по ИР-элементам - рис. 5);

Рис. 5. Схема размещения структур по используемым ИР-элементам (при распределенном подборе структуры сети)

Рис. 6. Схема разделения вектора весов по ИР-элементам

вычисление значения невязки (поскольку число строк весьма высоко, то их также можно разделить по числу используемых ИР-элементов, в результате чего каждый будет вычислять свою часть невязки).

Выбор уровня, на котором следует задействовать ИР-элементы, зависит от задачи и от типа ИР. Так, чем выше уровень, тем сложнее осуществить синхронизацию (процесс подбора нейронов различных структур занимает разное время), но тем меньше требования к скорости передачи данных.

Заключение

Таким образом, аппарат ИНС является весьма перспективной технологией для построения моделей объектов различных сфер, а использование большого числа ИР-элементов позволяет полностью автоматизировать процесс обучения без ущерба для скорости.

Список литературы

1. Осовский С. Нейронные сети для обработки информации. М.: Финансы и статистика, 2002. 344 с.

2. Крючин О.В., Козадаев А.С. Прогнозирование температуры в городе Тамбове при помощи аппарата искусственных нейронных сетей с использованием кластерных систем // Интеллектуальные системы: тр. 9 междунар. симп. / под ред. К.А. Пупкова. М., 2010. С. 620-624.

3. Крючин О.В., Вязовова Е.В., Арзамасцев А.А. Реализация параллельного алгоритма подбора структуры искусственной нейронной сети // Вестник Тамбовского университета. Серия: естественные и технические науки. Тамбов, 2013. Т. 18. Вып. 4. C. 1394-1401.

4. Kryuchin O.V., Vorobyova А.А. Formation а trois niveaux des rйseaux de neurones artificiels et perspectives d'utilisation des grappes informatiques а cette fin // Приднепровский научный вестник. 2019. Т. 11. № 5. C. 24-25.

5. Крючин О.В. Нейросетевой симулятор с автоматическим подбором активационных функций // Информационные технологии. 2010. № 7. С. 47-52.

6. Крючин О.В., Хлебников В.В. Реализация параллельного алгоритма Монте- Карло для подбора весовых коэффициентов искусственной нейронной сети // Исследовано в России. 2010. С. 304-311. URL: http://zhurnal.ape.re- larn.ru/artides/2010/024.pdf (дата обращения: 25.01.2020).

7. Крючин О.В., Арзамасцев А.А. Параллельный алгоритм полного сканирования минимизации функций // Информационные технологии, системный анализ и управление: 7 Всерос. науч. конф. молодых ученых, аспирантов и студентов. Таганрог: Таганрогский технологический институт ЮФУ, 2009. С. 270-272.

8. Арзамасцев А.А., Маркеев В.Ю., Зенкова Н.А., Крючин О.В. Средства разработки экспертных систем с интеллектуальным ядром на базе ИНС-моделей при использовании облачных технологий // Вестник Тамбовского университета. Серия: естественные и технические науки. Тамбов, 2012. Т. 17. Вып. 3. С. 979-980.

Размещено на Allbest.ru