Архитектура нейронных сетей

Размещено на http://www.allbest.ru/

Лекция

Архитектура нейронных сетей

Основные понятия

План

1. Классификация архитектур НС

2. Особенности решения задач на НС

2.1 Предобработка данных

2.2 Оптимизация нейронных сетей

нейронный сеть гексагональный

1. Классификация архитектур НС

Рассмотрим классификацию искусственных нейронных сетей по различным признакам.

1.Вид сигналов в нейронной сети. По используемым сигналам на входах и выходах НС разделяют на аналоговые и бинарные.

2.Характер активационных функций. Если активационная функция одна для всех нейронов сети, то сеть называют однородной. Если же активационная функция зависит еще от некоторых параметров, значения которых меняются от нейрона к нейрону, то сеть называют неоднородной (гетерогенной).

Размещено на http://www.allbest.ru/

3.Тип активационной функции. По типу активационной функции, используемой на различных слоях НС, различают линейные и нелинейные сети.

Теорема. Любая многослойная линейная сеть может быть заменена эквивалентной однослойной сетью (рис. 3.2).

4.Модельное время НС. По модельному времени (моделированию времени) нейронные сети подразделяются на сети с непрерывным и дискретным временем.

5.Способ синхронизации. Как и в любой ВС в нейронных сетях различают два способа синхронизации: - синхронный и асинхронный. При программной реализации на цифровых ЭВМ нейронных сетей вопрос синхронизации не актуален. Для других способов реализации он весьма важен.

6.Топология. Под топологией нейронной сети будем понимать графическую иллюстрацию соединения нейронов между собой в этой сети.

Нейросеть, также как и биологический аналог, должна иметь каналы для связи с внешним миром. Одни каналы обеспечивают поступление информации из внешнего мира на НС, другие выводят информацию из нейросети во внешний мир. Поэтому одни элементы нейронной сети рассматривается как входные, другие же - как выходные. Часть нейронов может не сообщаться с внешним миром, а взаимодействовать с входными, выходными и такими же нейронами ("скрытые" нейроны).

Очевидно, что существует огромное количество способов соединения нейронов, растущее с увеличением числа нейронов в сети.

По этому признаку выделяют две базовые архитектуры НС - однослойные и многослойные сети.

Однослойные нейронные сети

В однослойных сетях нейроны соединяются либо по принципу каждый с каждым - полносвязанные сети, либо регулярно - регулярные сети.

В полносвязных сетях каждый нейрон передает свой выходной сигнал остальным нейронам (рис. 3.3). Все входные сигналы подаются всем нейронам. Выходными сигналами сети могут быть все или некоторые выходные сигналы нейронов после нескольких тактов функционирования сети.

Размещено на http://www.allbest.ru/

Если полносвязная сеть функционирует до получения ответа заданное число тактов k, то ее можно представить как частный случай k-слойной сети, все слои которой одинаковы, и каждый из них соответствует такту функционирования полносвязной сети.

Существенное различие между полносвязной и слоистой сетями становится очевидным, когда число тактов функционирования заранее не ограничено - слоистые сети так работать не могут.

Размещено на http://www.allbest.ru/

В регулярных сетях для каждого нейрона характерна строгая определенность числа связей (рис.3.4). Число связей нейрона зависит от места его расположения в сети. Особенностью сетей с регулярной топологией является один вид функции активации для всех нейронов этой сети.

Регулярная топология нейронной сети, приведенная на рис. 3.4, не является единственной. Возможно другое число связей у угловых, граничных и внутренних нейронов, На рис. 3.5 приведен пример регулярной гексагональной топологии.

Размещено на http://www.allbest.ru/

Многослойные нейронные сети

В многослойных сетях нейроны группируют по слоям. Внешние слои многослойной сети называют входным и выходным слоями. Внутренние слои называют скрытыми. Число скрытых слоев неограниченно. Слоистые сети описываются неполносвязным ориентированным графом (и часто называются персептронами).

Обычно вектор входных сигналов подается на все нейроны первого слоя сети. Вектор выходных сигналов образуется выходами всех нейронов последнего слоя. Структура внутренних (скрытых) слоев может быть организована по-разному. Число нейронов в каждом слое может быть любым и никак заранее не связано с количеством нейронов в других слоях.

Среди многослойных сетей выделяют:

сети с прямыми связями;

сети с перекрестными связями;

сети с обратными связями;

сети с латеральными связями.

Нейронная сеть с прямыми связями

Все нейроны входного слоя активизируются вектором входного сигнала, а все нейроны выходного слоя определяют выходной вектор.

На рис. 3.6 и 3.7 представлены сетей с прямыми связями с одним и двумя слоями и точками ветвления на входе.

Размещено на http://www.allbest.ru/

Если в НС все узлы каждого слоя соединены со всеми узлами смеждых слоев, то такая сеть называется полносвязной сетью прямого распространения. Если некоторые из синаптических связей отсутствуют, то сеть называется неполносвязной. На рис. 3.8 показана двухслойная полносвязная сеть с прямыми связями. Она называется сетью 10-4-2, т.к. имеет 10 точек ветвления, 4 скрытых и 2 выходных нейрона.

Нейронная сеть с перекрестными связями

Вариант двухслойной сети с перекрестными связями приведен на рис. 3.9. Здесь нейроны второго слоя имеют синаптические связи как с выходов нейронов первого слоя, так и непосредственно с входа НС. В общем случае в многослойных сетях произвольной структуры возможны различные конфигурации перекрестных связей.

Размещено на http://www.allbest.ru/

Нейронная сеть с обратными связями

Размещено на http://www.allbest.ru/

Обратной связью можно охватывать как отдельный слой, так и несколько слоев и даже всю сеть. На рис. 3.10 приведена четырехслойная сеть с различными обратными связями.

Нейронная сеть с латеральными связям

В нейронных сетях с латеральными связями используются боковые связи. Такие связи обычно используются для сетей распознавания графических объектов.

Латеральные связи бывают тормозящими и возбуждающими. На рис. 3.11 приведен пример контрастирования сигналов соседних нейронов в отдельном слое.

Размещено на http://www.allbest.ru/

7.Мерность связей. С точки зрения представления слоёв и связей сети различают одномерные и многомерные (двумерные) НС.

Размещено на http://www.allbest.ru/

В двумерных сетях каждый нейрон своими синаптическими связями проецируется на небольшую область следующего слоя (рис. 3.12). В данном случае слои представляют не одномерными, а плоскими, т.е. двухмерными. При подобном уменьшении числа межнейронных связей можно значительно сократить объем вычислений при программном моделировании сети и объем аппаратуры при аппаратной реализации.

8.Направление связей между нейронами. По данному признаку нейронные сети сгруппированы в два больших класса: сети прямого распространения (ациклические), в которых графы не имеют петель, и рекурсивные сети, или сети с обратными связями (рис. 3.13).

На рис.3.13 представлены типовые сети каждого класса. Сети прямого распространения являются статическими, т.е. на заданный входной вектор они вырабатывают одну совокупность выходных значений, не зависящих от предыдущего состояния сети. Рекурсивные сети являются динамическими, так как в силу обратных связей в них модифицируются входы нейронов, что приводит к изменению состояния сети.

Кратко опишем основные классы современных архитектур НС.

Полиномиальные сети. Это очень мощная архитектура, называемая Методом группового учета аргумента (МГУА). На самом деле, сеть МГУА не похожа на обычные сети с прямой связью, и изначально эта архитектура обычно не представлялась в виде сети. Сеть МГУА содержит в связях полиномиальные выражения и использует в некотором смысле аналогичный генетическим алгоритмам механизм принятия решения о том, сколько слоев необходимо построить. Результатом обучения является возможность представить выход как полиномиальную функцию всех или части входов.

Вероятностные нейронные сети (ВНС). Они известны своей способностью обучаться на ограниченных наборах данных, причем для обучения нейросети достаточно однократного предъявления обучающей выборки! ВНС разделяет данные на указанное количество выходных категорий. Сеть ВНС зачастую способна работать уже после предъявления ей всего двух примеров из обучающей выборки, поэтому обучение может осуществляться поэтапно.

НС с общей регресией (НСОР). Подобно вероятностным сетям, НСОР известны своей способностью обучения в результате однократного предъявления тренировочных данных. Однако, в отличие от сетей ВНС, которые классифицируют данные, сети НСОР способны предсказывать выходы с непрерывной амплитудой. НСОР особенно полезны для аппроксимации непрерывных функций и могут строить многомерные поверхности, аппроксимирующие данные.

Сети с обходным соединением. В сетях этого типа каждый слой связан со всеми предшествующими слоями.

Рекурсивные сети с отрицательной обратной связью (сети Джордана-Элмана). Рекуррентные сети обладают долговременной памятью, построенной на внутренних нейронах. Эти сети могут запоминать последовательности, поэтому они часто применяются для финансовых биржевых предсказаний и для работы с данными, представляющими собой временные ряды.

Сети Ворда. Сети этого типа способны выделять различные свойства в данных, благодаря наличию в скрытом слое нескольких блоков, каждый из которых имеет свою передаточную функцию. Когда в разных блоках скрытого слоя используются разные передаточные функции, нейросеть оказывается способной выявлять новые свойства в предъявляемом образе.

9.Способ решения задачи. С точки зрения этого критерия классификации Нс делят на формируемые, сети с формируемой матрицей связи, обучаемые и комбинированные (смешанные).

Формируемые сети

Сети этого вида проектируют для формализуемых задач, имеющих четко сформулированный в нейросетевом базисе алгоритм решения конкретной задачи.

Сети с формируемой матрицей связей

Сети этого вида применяют для трудноформализуемых задач.

Обучаемые сети

Этот вид сетей используют для решения неформализуемых задач.

Комбинированные сети

Этот класс сетей сочетает в себе признаки двух, а то и трех основных видов.

2. Особенности решения задач на НС

2.1 Предобработка данных

На общую технологию настройки НС на решение конкретной задачи сказывается специфика самих нейронных сетей (рис.3.14).

Прежде всего необходимо решить проблемы, связанные с представлением обучающей информации, поскольку от этого во многом зависит скорость и качество обучения НС. Это входит в этап предварительной обработки данных (препроцессирование, предобработка), который заключается в формализации векторов обучающей выборки.

Сигналы, подаваемые на вход НС, должны быть представлены в соответствующем формате данных. При этом очень часто приходиться их масштабировать, чтобы в максимальной степени использовать диапазон их изменения. Поэтому необходимо проводить предобработку входных сигналов, причем для каждого вида должен быть реализован определенный способ предобработки.

Формализация векторов обучающей выборки состоит в подготовке входных данных на НС и их формальное описание. При этом, в зависимости от решаемого класса задач, определяются следующие параметры:

обоснование способа интерпретации ответа сети (выходного вектора);

форматы входного и целевого векторов;

диапазон изменения компонент этих векторов;

способы кодирования компонент;

таблица эталонных образов и т.п.

Предобработка заключается в следующем:

1.Выбор шкалы для представления входных сигналов на нейронную сеть.

Данные, подаваемые на вход нейронной сети, могут быть измерены в различных шкалах. Шкала задает множество объектов с их свойствами и способ преобразования этих объектов (способ отображения «эмпирической системы» на некоторую знаковую систему). В нейронных сетях чаще всего используются следующие шкалы.

Шкала отношений.

Шкала интервалов.

Шкала порядка.

Шкала наименования.

2.Выбор метода интерпретации целевого вектора.

Формат ответов НС в явном виде часто оказывается непонятным для интерпретации человеком полученных результатов. Ответ, выдаваемый НС, как правило, является вещественным числовым вектором. Если при решении какой-то прикладной задачи требуется получить ответ, например, в градусах по шкале Кельвина, в дюймах или в виде образа (графического, звукового), то необходимо преобразование (интерпретация) выходного вектора. Основными способами интерпретации считаются следующие.

Метод вероятностей.

Метод номеров классов.

Знаковая интерпретация.

Порядковая интерпретация.

Интерпретацию 2-на-2- кодирование.

Метод корректных образов.

Перечень приведенных способов интерпретации ответов НС не является полным. Для каждой предметной области при решении конкретных задач необходимо их экспериментальное исследование.

3.Кодирование данных.

Нейронные сети могут работать только с числовыми данными, лежащими в определенном ограниченном диапазоне. Однако исходные данные, подаваемые на НС, могут включать номинальные переменные, указывающие на принадлежность к одному из нескольких классов, даты, целочисленные значения, текстовые строки, графические данные и т.д., поэтому необходимо кодирование данных.

Нечисловые данные нужно преобразовать в числовую форму. Значения дат и времени, если они нужны, можно преобразовать в числовые. С произвольными текстовыми полями (например, фамилиями людей) работать нельзя.

При кодировании параметров исследуемых объектов необходимо учитывать тип переменных, которые описывают этот объект: непрерывные, дискретные или качественные, количественные.

4.Статистическая обработка данных.

С целью удобства работы проводят статистическую обработку данных, исключение аномальных наблюдений, отбор входных сигналов на основе показателей значимости. Здесь определяют, является ли выборка репрезентативной (охватывает все множество ситуаций), нет ли в ней противоречивых примеров. В выборке часть данных может отсутствовать, т.е. могут встречать пропуски данных в векторах.

5.Нормирование данных.

Как правило, на вход сети нельзя подавать входные сигналы в их истинном диапазоне величин и снимать с ее выходов сигналы в требуемом диапазоне. Данные, подаваемые на вход сети и снимаемые с выхода, должны быть правильно подготовлены, т.е. их необходимо нормировать.

Нормирование - это приведение значений входных и/или выходных векторов к некоторому диапазону. Наиболее часто нормирование выполняют в диапазон значений [-1,1] или [0,1].

Существует множество способов нормирования. Одним из наиболее простых является способ, использующий минимальные и максимальные значения компонентов векторов. Каждая компонента входного вектора данных xi заменяется величиной

, (3.4)

и ,

где ximax и ximin - соответственно максимальное и минимальное значения для данной компоненты, вычисленные по всей обучающей выборке.

По этой же формуле выполняется нормирование и компонентов выходных векторов (векторов ответов).

В качестве min и max-величин берут данные либо из существующего на настоящий момент задачника, либо эти величины задаются пользователем по его оценкам. Эти величины должны вводиться в момент создания сети и в дальнейшем не зависеть от обучающей выборки!

2.2 Оптимизация нейронных сетей

Достижение необходимых результатов при работе с НС зависит в первую очередь от выбора подходящей

конфигурации,

обучающих характеристик и

алгоритма обучения.

Оптимизация нейронной сети - это трудная и долговременная задача. Поскольку на данный момент не имеется общепринятых и отработанных приемов оптимизации НС, для получения приемлемой архитектуры НС приходится применять подход, называемый методом проб и ошибок.

Исследование зависимости относительной ошибки работы НС (например, предсказания) от числа слоев показало, что с ростом числа слоев ошибка увеличивается. Это объясняется тем, что большие сети не успевают за одно и тоже количество итераций обучится до уровня маленьких НС. Оптимальное число слоев лежит в пределах от 3 до 5.

Исследование зависимости ошибки обучения от коэффициента активационной функции (логистическая функция и гиперболический тангенс), который изменялся в интервале от 0,01 до 0,99, показало, что при заданном количестве итераций в определенный момент (0,5) сеть не успевает хорошо обучится (не успевает попадать в минимум). Т.е. для повышения точности необходимо увеличение времени обучения. Сети с большим коэффициентом характеризуются большим временем обучения и высокими показателями качества работы. Компромисс между временем обучения и точностью с одной стороны и хорошими показателями качества работы с другой практически всегда находится в зависимости от условий конкретной задачи и наборов данных, используемых для ее решения.

Исследование зависимости ошибки обучения от коэффициента скорости обучения (шага) показало, что с увеличением скорости ошибка уменьшается. При достижении некоторого критического значения ошибка начинает возрастать (рис. 3.15). Таким образом, шаг обучения необходимо выбирать в пределах области падения кривой, а не в непосредственной близости от минимального значения.

Размещено на Allbest.ru