Нейронные сети

Размещено на http://www.allbest.ru/

Содержание

• Введение
• 1. Основное понятие нейронной сети
• 2. История развития нейронных сетей
• 3. Преимущества нейронных сетей
• 4. Устройство нейронных сетей
• 5. Функции активации
• 6. Типы архитектур нейросетей
• 7. Обучение многослойной сети
• 8. Представление знаний
• 9. Искусственный интеллект и нейронные сети
• Заключение
• Список использованной литературы

Введение

Нейронные сети, или, точнее, искусственные нейронные сети,пред-ставляют собой технологию, уходящую корнями во множество дисцип- лин: нейрофизиологию, математику, статистику, физику, компьютерные науки и технику. Они находят свое применение в таких разнородных об-ластях, как моделирование, анализ временных рядов, распознавание об- разов, обработка сигналов и управление благодаря одному важному свойству - способности обучаться на основе данныхприучастииучи- теля или без его вмешательства.

Исследования по искусственным нейронным сетям связаны с тем, что способ обработки информации человеческим мозгом в корне отли- чается от методов, применяемых обычными цифровыми компьютерами. Мозг представляет собой чрезвычайно сложный, нелинейный, параллель- ный компьютер. Он обладает способностью организовывать свои струк-турные компоненты, называемые нейронами, так, чтобы они могли вы-полнять конкретные задачи (такие как распознавание образов, обработ- ку сигналов органов чувств, моторные функции) во много раз быстрее, чем могут позволить самые быстродействующие современные компью- теры.

Понятие развития нейронов связано с понятием пластичности мозга - способности настройки нервной системы в соответствии с ок-ружающими условиями. Именно пластичность играет самую важную роль в работе нейронов в качестве единиц обработки информации в человеческом мозге.

1. Основное понятие нейронной сети

Нейронная сеть - это громадный распределенный параллельный процессор, состоящий из элементарных единиц обработки информации, накапливающих экспериментальные знания и предоставляющих их для последующей обработки.

Нейронная сеть сходна с мозгом с двух точек зрения:

· знания поступают в нейронную сеть из окружающей среды и пользуются в процессе обучения;

· для накопления знаний применяются связи между нейронами.

Структура нейронной сети пришла в мир программирования пря- миком из биологии. Благодаря такой структуре машина обретает спо-собность анализировать и даже запоминать различную информацию. Нейронные сети также способны не только анализировать входящую информацию, но и воспроизводить ее из своей памяти.

В работе предлагается использовать нейронную сеть с архитекту- рой многослойный персептрон - это математическая модель восприятия информации мозгом. Выбор данной архитектуры нейронной сети обус-ловлен балансом между эффективностью архитектуры нейронной сети и вычислительной нагрузкой на сервер, которую создает нейронная сеть в режиме детектирования угрозы.

2. История развития нейронных сетей

На заре развития электронно-вычислительной техники в середине XX века среди ученых и конструкторов еще не существовало единого мнения он том, как должна быть реализована и по какому принципу ра-ботать типовая электронно-вычислительная машина.

Первый интерес к нейросетям был обусловлен пионерской работой МакКаллока и Питса, изданной в 1943 году, где предлагалась схема ком-пьютера, основанного на аналогии с работой человеческого мозга. Они создали упрощенную модель нервной клетки - нейрон. Мозг человека состоит из белого и серого веществ: белое - это тела нейронов, а серое - это соединительная ткань между нейронами, или аксоны и дендриты. Мозг состоит примерно из 10¹¹ нейронов, связанных между собой. Каж- дый нейрон получает информацию через свои дендриты, а передает ее дальше только через единственных аксон, разветвляющийся на конце на тысячи синапсов. нейронная сеть искусственный интеллект

Главные части нервной клетки - это ее тело, содержащее ядро и другие органеллы, единственный аксон, передающий импульсы от клет- ки, и дендриты, к которым приходят импульсы от других клеток связан- ных между собой. Каждый нейрон получает информацию через свои дендриты, а передает ее дальше только через единственных аксон, раз-ветвляющийся на конце на тысячи синапсов. Простейший нейрон может иметь до 10000 дендритов, принимающих сигналы от других клеток.

Таким образом, мозг содержит примерно 10¹⁵ взаимосвязей. Если учесть, что любой нейрофизиологический процесс активизирует сразу множество нейронов, то можно представить себе то количество инфор- мации или сигналов, которое возникает в мозгу. Нейроны взаимодейс- твуют посредством серий импульсов, длящихся несколько миллисекунд, каждый импульс представляет собой частотный сигнал с частотой от не-скольких единиц до сотен герц. Это невообразимо медленно по сравне- нию с современными компьютерами, но в тоже время человеческий мозг гораздо быстрее машины может обрабатывать аналоговую информацию, как-то: узнавать изображения, чувствовать вкус, узнавать звуки, читать чужой почерк, оперировать качественными параметрами. Все это реали-зуется посредством сети нейронов, соединенных между собой синапсами. Другими словами, мозг - это система из параллельных процессоров, ра-ботающая гораздо эффективнее, чем популярные сейчас последователь- ные вычисления.

Технология последовательных вычислений подошла к пределу сво- их технических возможностей, и в настоящее время остро стоит пробле- ма развития методов параллельного программирования и создания па-раллельных компьютеров. Так что, может быть, нейросети являются толь- ко очередным шагом в этом направлении.

3. Преимущества нейронных сетей

Совершенно очевидно, что свою силу нейронные сети черпают, во первых, из распараллеливания обработки информации и, во вторых, из способности самообучаться, т.е. создавать обобщения. Под термином об-общение понимается способность получать обоснованный результат на основании данных, которые не встречались в процессе обучения.

Эти свойства позволяют нейронным сетям решать сложные (мас-штабные) задачи, которые на сегодняшний день считаются трудно раз-решимыми. Однако на практике при автономной работе нейронные сети не могут обеспечить готовые решения. Их необходимо интегрировать в сложные системы.

В частности, комплексную задачу можно разбить на последова-тельность относительно простых, часть из которых может решаться ней-ронными сетями.

Использование нейронных сетей обеспечивает следующие полез- ные свойства систем.

Нелинейность: Искусственные нейроны могут быть линейными и нелинейными. Нейронные сети, построенные из соединений нелинейных нейронов, сами являются нелинейными. Более того, эта нелинейность осо-бого сорта, так как она распределена по сети. Нелинейность является чрезвычайно важным свойством, особенно если сам физический меха- низм, отвечающий за формирование входного сигнала, тоже является нелинейным (например, человеческая речь).

Отображение входной информации в выходную: Одной из по-пулярных парадигм обучения является обучение с учителем. Это под-разумевает изменение синаптических весов на основе набора маркиро-ванных учебных примеров. Каждый пример состоит из входного сиг- нала и соответствующего ему желаемого отклика. Из этого множества случайным образом выбирается пример, а нейронная сеть модифици- рует синаптические веса для минимизации расхождений желаемого вы-ходного сигнала и формируемого сетью согласно выбранному статис-тическому критерию. При этом собственно модифицируются свободные параметры сети. Ранее использованные примеры могут впоследствии быть применены снова, но уже в другом порядке. Это обучение прово- дится до тех пор, пока изменения синаптических весов не станут незна-чительными. Таким образом, нейронная сеть обучается на примерах, составляя таблицу соответствий вход-выход для конкретной задачи.

Адаптивность: Нейронные сети обладают способностью адаптиро- вать свои синаптические веса к изменениям окружающей среды. В част-ности, нейронные сети, обученные действовать в определенной среде, мо- гут быть легко переучены для работы в условиях незначительных коле- баний параметров среды. Более того, для работы в нестационарной сре- де могут быть созданы нейронные сети, изменяющие синаптические веса в реальном времени. Естественная для классификации образов, обработ- ки сигналов и задач управления архитектура нейронных сетей может быть объединена с их способностью к адаптации, что приведет к созда- нию моделей адаптивной классификации образов, адаптивной обработ- ки сигналов и адаптивного управления. Известно, что чем выше адап- тивные способности системы, тем более устойчивой будет ее работа в нестационарной среде.

Очевидность ответа: В контексте задачи классификации образов можно разработать нейронную сеть, собирающую информацию не толь- ко для определения конкретного класса, но и для увеличения достовер- ности принимаемого решения. Впоследствии эта информация может ис-пользоваться для исключения сомнительных решений, что повысит про-дуктивность нейронной сети.

Контекстная информация: Знания представляются в самой струк- туре нейронной сети с помощью ее состояния активации. Каждый ней- рон сети потенциально может быть подвержен влиянию всех остальных ее нейронов. Как следствие, существование нейронной сети непосред-ственно связано с контекстной информацией.

Отказоустойчивость: Нейронные сети, облаченные в форму элек-троники, потенциально отказоустойчивы. Это значит, что при неблаго-приятных условиях их производительность падает незначительно. На-пример, если поврежден какой то нейрон или его связи, извлечение за-помненной информации затрудняется. Однако, принимая в расчет рас-пределенный характер хранения информации в нейронной сети, можно утверждать, что только серьезные повреждения структуры нейронной сети существенно повлияют на ее работоспособность. Поэтому сниже- ние качества работы нейронной сети происходит медленно. Незначи- тельное повреждение структуры никогда не вызывает катастрофических последствий.

Масштабируемость: Параллельная структура нейронных сетей по-тенциально ускоряет решение некоторых задач и обеспечивает масшта-бируемость нейронных сетей в рамках технологии VLSI (very large scale integrated). Одним из преимуществ технологий VLSI является возмож- ность представить достаточно сложное поведение с помощью иерархи-ческой структуры.

Единообразие анализа и проектирования: Нейронные сети явля- ются универсальным механизмом обработки информации. Это означает, что одно и то же проектное решение нейронной сети может использо- ваться во многих предметных областях.

Аналогия с нейробиологией: Строение нейронных сетей определя- ется аналогией с человеческим мозгом, который является живым дока-зательством того, что отказоустойчивые параллельные вычисления не только физически реализуемы, но и являются быстрым и мощным ин-струментом решения задач. Нейробиологи рассматривают искусствен- ные нейронные сети как средство моделирования физических явлений. С другой стороны, инженеры постоянно пытаются почерпнуть у нейробио-логов новые идеи, выходящие за рамки традиционных электросхем.

4. Устройство нейронных сетей

Искусственным нейроном называется простой элемент, сначала вы-числяющий взвешенную суммуVвходных величин х_i:

Здесь N - размерностьпространства входных сигналов.

Затем полученная сумма сравнивается с пороговой величиной W₀, вслед за чем вступает в действие нелинейная функция активации f. Коэф-фициенты W_iво взвешенной сумме обычно называют синаптическими коэффициентами или весами. Саму же взвешенную сумму V мы будем называть потенциалом нейрона i. Выходной сигнал тогда имеет вид f(V). Величину порогового барьера можно рассматривать как еще один весовой коэффициент при постоянном входном сигнале. Нейрон с N-мерным входом имеет N+1 весовой коэффициент. Если ввести в урав- нение пороговую величинуW₀, то оно перепишется так:

В зависимости от способа преобразования сигнала и характера активации возникают различные виды нейронных структур. Существу- ют детерминированные нейроны, когда активизирующая функция одно-значно вычисляет выход по входу, и вероятностные нейроны, состояние которых в момент t есть случайная функция потенциала и состояния в моментt - 1.

5. Функции активации

В искусственных нейронах могут быть различные функции акти- вации, но и в используемых программах, и в известной литературе ука- заны только следующие виды функций:

· Линейная. Выходной сигнал нейрона равен его потенциалу;

· Пороговая. Нейрон выбирает решение из двух вариантов: акти- вен /неактивен;

· Многопороговая. Выходной сигнал может принимать одно из q значений,определяемых (q-1) порогом внутри предельных зна-чений;

· Сигмоидная.Рассматриваются два вида сигмоидных функций:

с выходными значениями в промежутке [0,1] и

с выходными значениями в промежутке [-1,1]. Коэффициент b оп-ределяет крутизну сигмоида. Поскольку сигмоидная функция яв-ляется гладким отображением бесконечной функции на проме- жутке (-1,1), то крутизну можно учесть через величины весов и порогов, и без ограничения общности можно полагать ее равной единице.

6. Типы архитектур нейросетей

Из точек на плоскости и соединений между ними можно постро- ить множество графических фигур, называемых графами. Если каждую точку представить себе как один нейрон, а соединения между точками -как дендриты и синапсы, то мы получим нейронную сеть. Но не всякое соединение нейронов будет работоспособно или вообще целесообразно.

Сети прямого распространения подразделяются на однослойные перцепротроны (сети) и многослойные перцептроны (сети). Название перцептрона для нейросетей придумал американский нейрофизиолог Ф. Розенблатт, придумавший в 1957 году первый нейропроцессорный эле- мент (НПЭ), то есть нейросеть. Он же доказал сходимость области реше- ний для персептрона при его обучении. Сразу после этого началось бур- ное исследование в этой области и был создан самый первый нейро-компьютер Mark I. Многослойные сети отличаются тем, что между вход-ными и выходными данными располагаются несколько так называемых скрытых слоев нейронов, добавляющих больше нелинейных связей в модель.

Любая нейронная сеть состоит из входного слоя и выходного слоя. Соответственно подаются независимые и зависимые переменные. Входные данные преобразуются нейронами сети и сравниваются с выходом. Если отклонение больше заданного, то специальным образом изменяются веса связей нейронов между собой и пороговые значения, нейронов. Снова происходит процесс вычислений выходного значения и его сравнение с эталоном. Если отклонения меньше заданной погрешности, то процесс обучения прекращается.

Если однослойная нейросеть очень хорошо справляется с зада- чами классификации, так как выходной слой нейронов сравнивает по-лученные от предыдущего слоя значения с порогом и выдает значение либо ноль, то есть меньше порогового значения, либо единицу - больше порогового(для случая пороговой внутренней функции нейрона), и не способен решать большинство практических задач (что было доказано Минским и Пейпертом), то многослойный перцептрон с сигмоидными решающими функциями способен аппроксимировать любую функцион-альную зависимость. Но при этом не известно ни нужное число слоев, ни нужное количество скрытых нейронов, ни необходимое для обуче- ния сети время.

Класс рекуррентных нейросетей гораздо обширнее, да и сами сети сложнее по своему устройству. Поведение рекуррентных сетей описыва- ется дифференциальными или разностными уравнениями, как правило, первого порядка. Это гораздо расширяет области применения нейросе- тей и способы их обучения. Сеть организована так, что каждый нейрон получает входную информацию от других нейронов, возможно, и от са- мого себя, и от окружающей среды. Этот тип сетей имеет важное значе- ние, так как с их помощью можно моделировать нелинейные динамичес- кие системы. Среди рекуррентных сетей можно выделить сети Хопфилда и сети Кохонена. С помощью сетей Хопфилда можно обрабатывать не-упорядоченные (рукописные буквы), упорядоченные во времени (времен- ные ряды) или пространстве (графики) образцы. Рекуррентная нейро- сеть простейшего вида была введена Хопфилдом и построена она из N нейронов, связанных каждый с каждым кроме самого себя, причем все нейроны являются выходными. Нейросеть Хопфилда можно использо- вать в качестве ассоциативной памяти.

7. Обучение многослойной сети

Главное отличие и преимущество нейросетей перед классическими средствами прогнозирования и классификации заключается в их способ-ности к обучению. Так что же такое обучение нейросетей?

На этапе обучения происходит вычисление синоптических коэффи-циентов в процессе решения нейронной сетью задач, в которых нужный ответ определяется не по правилам, а с помощью примеров, сгруппиро-ванных в обучающие множества. Так что нейросеть на этапе обучения сама играет роль эксперта в процессе подготовки данных для построе- ния экспертной системы.

Предполагается, что правила находятся в структуре обучающих данных. Для обучения нейронной сети требуются обучающие данные. Они должны отвечать свойствам представительности и случайности или последовательности. Все зависит от класса решаемой задачи. Такие дан- ные представляют собой ряды примеров с указанием для каждого из них значением выходного параметра, которое было бы желательно полу- чить.

Контролируемое обучение нейросети можно рассматривать как ре-шение оптимизационной задачи. Ее целью является минимизация функ- ции ошибок Е на данном множестве примеров путем выбора значений весов W.

Достижение минимума называется сходимостью процесса обучения. Именно возможность этого и доказал Розенблатт. Поскольку ошибка за-висит от весов нелинейно, получить решение в аналитической форме не-возможно, и поиск глобального минимума осуществляется посредством итерационного процесса так называемого обучающего алгоритма.

Разработано уже более сотни разных обучающих алгоритмов, отли-чающихся друг от друга стратегией оптимизации и критерием ошибок. Обычно в качестве меры погрешности берется средняя квадратичная ошибка (СКО):

где М - число примеров в обучающем множестве. Минимизация величины Е осуществляется с помощью градиентных методов. Изменение весов происходит в направлении, обратном к направлению наибольшей крутизны для функции:

Здесь - определяемый пользователем параметр, который называется коэффициентом обучения.

8. Представление знаний

Под знанием понимается хранимая информация или модели, ис-пользуемые человеком или машиной для интерпретации, предсказания и реакции на внешние события. Знания о мире включают два типа ин-формации.

Известное состояние окружающего мира, представленное имеющи-мися в наличии достоверными фактами. Такая информация называется априорной.

Наблюдения за окружающим миром, полученные с помощью сен-соров, адаптированных для конкретных условий, в которых должна функционировать данная нейронная сеть.

Примеры могут быть маркированными и немаркированными. В маркированных примерах входному сигналу соответствует желаемый от-клик. Немаркированные примеры состоят из нескольких различных ре-ализаций одного входного сигнала. В любом случае набор примеров, будь то маркированных или нет, представляет собой знания об интере-сующей предметной области, на основании которых и проводится обу- чение нейронной сети.

Вопрос представления знаний в нейронной сети является очень сложным. Тем не менее можно выделить четыре общих правила.

Сходные входные сигналы от схожих классов должны формиро- вать единое представление в нейронной сети. Исходя из этого, они долж- ны быть классифицированы как принадлежащие к одной категории.

Элементы, отнесенные к различным классам, должны иметь в сети как можно более отличные представления. Это правило прямо противо-положно первому.

Если некоторое свойство имеет важное значение, то для его пред-ставления в сети необходимо использовать большое количество нейро- нов.В структуру нейронной сети должны быть встроены априорная ин-формация и инварианты, что упрощает архитектуру сети и процесс ее обучения.

Это правило играет особую роль, поскольку правильная конфи- гурация сети обеспечивает ее специализацию. Нейронная сеть со специ-ализированной структурой обычно включает значительно меньшее ко-личество свободных параметров. При этом на обучение затрачивается меньше времени, и такая сеть обладает лучшей обобщающей и про- пускной способностями и их стоимость создания сокращается.

Чтобы встроить априорную информацию в структуру нейронной сети можно использовать комбинацию двух следующих приемов:

· ограничение сетевой архитектуры с помощью локальных связей, называемых рецепторными полями;

· ограничение выбора синаптических весов за счет совместного ис-пользования весов.

Для того чтобы создать систему распознавания объекта, речи или эхолокации, учитывающую явления такого рода, необходимо принимать во внимание диапазон трансформаций наблюдаемого сигнала.

Соответственно основным требованием при распознавании образов является создание такого классификатора, который инвариантен к этим трансформациям.

Существуют как минимум три приема обеспечения инвариантности нейронной сети классификации к подобным трансформациям.

Структурная инвариантность: Синаптические связи между отдель-ными нейронами сети строятся таким образом, чтобы трансформиро- ванные версии одного и того же сигнала вызывали один и тот же вы- ходной сигнал.

Инвариантность по обучению: Сеть обучается на множестве при- меров одного и того же объекта, при этом в каждом примере объект подается в несколько измененном виде (например, снимки с разных ра-курсов). Если количество таких примеров достаточно велико и если ней-ронная сеть обучена отличать разные точки зрения на объект, можно ожидать, что эти данные будут обобщены и сеть сможет распознавать ракурсы объекта, которые не использовались при обучении.

Использование инвариантных признаков: Этот метод основывается на предположении, что из входного сигнала можно выделить информа-тивные признаки, которые описывают самую существенную информа- цию, содержащуюся в наборе данных, и при этом инвариантны к тран-сформациям входного сигнала.

9. Искусственный интеллект и нейронные сети

Основной задачей искусственного интеллекта является разработка парадигм или алгоритмов, обеспечивающих компьютерное решение ког-нитивных задач, свойственных человеческому мозгу.

Системы искусственного интеллекта должны обеспечивать решение следующих трех задач: накопление знаний, применение накопленных зна-ний для решения проблемы и извлечение знаний из опыта. Системы ис-кусственного интеллекта реализуют три ключевые функции.

Представление: Одной из отличительных черт систем искусствен- ного интеллекта является использование символьного языка для пред-ставления общих знаний о предметной области и конкретных знаний о способах решения задачи.

Рассуждения: Под рассуждениями обычно понимается способность решать задачи. Для того чтобы систему можно было назвать разумной, она должна описывать и решать широкий спектр задач, понимать яв- ную и неявную информацию, иметь механизм управления, определяю- щий операции, выполняемые для решения отдельных задач.

Обучение: В простейшей модели машинного обучения информа- цию для обучаемого элемента предоставляет сама среда. Обучаемый эле-мент использует полученную информацию для модернизации базы зна- ний, знания из которой функциональный элемент затем использует для выполнения поставленной задачи.

Заключение

Символьные модели искусственного интеллекта - это формальные системы, основанные на использовании языка алгоритмов и представле- нии данных по принципу сверху вниз, а нейронные сети - это параллель- ные распределенные процессоры, обладающие естественной способностью к обучению и работающие по принципу снизу вверх. Поэтому при реше- нии когнитивных задач целесообразно создавать структурированные мо- дели на основе связей или гибридные системы, объединяющие оба под- хода.

Предметная область нейронных сетей лежит на пересечении мно- гих наук. Ее корни уходят в нейробиологию, математику, статистику, физику, науку о компьютерах и инженерию.

Способность нейронных сетей обучаться на данных с помощью учителя или без такового обеспечивает их важное свойство. Это свойство обучаемости имеет важное теоретическое и практическое применение, ко-торое сделало их неоценимым инструментом в таких разнообразных об-ластях применения, как моделирование, анализ временных рядов, рас-познавание образов, обработка сигналов и управление.

Список использованной литературы.

1. Фон Нейман Дж. Теория самовоспроизводящихся автоматов. М.: Мир, 2001, 382 с.

2. С. Короткий, Нейронные сети: Алгоритм обратного распростра-нения. СПб, 2002, 328 с.

3. С. Короткий, Нейронные сети: Основные положения. СПб, 2002,357 с.

4. Розенблат Ф. Принципы нейродинамики. Перцептроны и теория механизмов мозга. Мир, 2004, 248 с.

5. Фролов А.А., Муравьев И.П. Нейронные модели ассоциативной памяти. М.: Наука, 2004, 160 с.

6. Фролов А.А., Муравьев И.П. Информационные характеристики нейронных сетей. М.: Наука, 2005, 160 с.

Размещено на Allbest.ru