Размещено на http://www.allbest.ru/

Лекция 1. Нейроинформатика и ее приложения

1. История развития ИНС

2. Особенности искусственных нейронных сетей

3. Области использования искусственных нейронных сетей

1. История развития ИНС

В истории развития вычислительной техники существовало 2 подхода к автоматизации обработки информационных процессов - искусственные нейронные сети и электронные вычислительные машины (фон Неймановская ЭВМ). Сравним развитие обоих подходов. В начале кратко остановимся на эволюции электронных вычислительных машин.

Эволюция поколений символообрабатывающих ЭВМ. С начала 50-х и до 90-х годов прошло 5 поколений ЭВМ. От элементной базы на "гигантских" лампах и до субмикронных технологий с ЭВМ на одном кристалле. За это время информационная мощность ЭВМ выросла в миллиарды раз, но почти не уменьшилась первоначальная сложность по настройке "информационных машин" на решение конкретных задач, т.е. по программированию.

Поколения ЭВМ:

I - 1940-1955 - на лампах;

II - с 1955 - на транзисторах;

III - конец 60-х - начало 70-х - на интегральных схемах;

IV - с 70-х - на БИС;

V - 1981-1991 - на СБИС, на базе ИИ;

VI - с 90-х по н.в. - субмикронная технология, нейрокомпьютер.

Все современные компьютеры построены на фон-неймановском принципе последовательного исполнения алгоритма обработки информации. Главным требованием для компьютеров фон неймановского типа является наличие заранее заданных детерминистических алгоритмов (т.е. заранее определенных человеком).

Эволюция искусственных нейронных сетей берет свое начало с конца 30-х начала 40-х годов. В то время нейробиологи стали активно изучать строение мозга млекопитающих, в частности человека, и добились больших успехов. Для проверки своих теорий они начали разрабатывать математические модели функционирования нейрона и его связей. Эти исследования легли в основу нового направления науки - искусственных нейронных сетей (ИНС). В ее рамках решаются две задачи:

1) исследование функционирования нервной системы человека на уровне физиологии и психологии;

2) создание вычислительных систем, выполняющих функции, сходные с функциями мозга.

Развитие искусственных нейронных сетей не было столь динамичным и поступательным как ЭВМ. Все исследования в области ИНС можно разбить на четыре периода активности (рис.1.3).

Первый пик активности связан с построением математических моделей нейрона. В 1943 г. Мак-Каллок и Питтс разработали одну из первых моделей искусственного нейрона, которая стала базовой на многие десятилетия.

В 1948 г. была издана знаменитая книга американского математика Н. Винера под названием «Кибернетика». В ней были описаны некоторые важные концепции управления, коммуникаций и статистической обработки сигналов. Основной идеей является представление сложных биологических процессов математическими моделями.

Параллельно нейрофизиологи совместно с математиками разрабатывали алгоритмы обучения нейронных сетей (НС). Одним из таких алгоритмов является правило обучения Д. Хэбба (1949 г.), которое явилось стартовой точкой для создания многих алгоритмов обучения ИНС.

В 1954 г. американский ученый М. Минский написал докторскую диссертацию, посвященную теории нейроаналоговых систем обучения с подкреплением и ее применению в задачах моделирования мозга. В 1960-х гг. были опубликованы работы ряда ученых по построению ассоциативной памяти, в том числе на нейронных сетях. Предметом отдельного исследования в контексте НС является создание надежных сетей из нейронов, которые сами по себе считаются ненадежными компонентами. Эта задача была решена в 1956 г. фон Нейманом с помощью идеи избыточности.

Второй пик возник в конце 50-х начале 60-х годов. В 1958 г. Ф. Розенблатт создал простейшую однослойную искусственную нейронную сеть, названную персептроном.

Однако в 1969 г. бывший сокурсник Розенблатта Марвин Минский и Сеймур Пейперт опубликовали книгу «Персептроны», в которой привели строгое математическое доказательство того, что персептрон не способен к обучению в большинстве интересных для применения случаев. Он доказал, что используемые в то время однослойные сети теоретически неспособны решить многие простые задачи, в том числе реализовать функцию «Исключающее ИЛИ». Он также доказал, что недостатки однослойных сетей переносятся и на многослойные сети..

Такая критика НС со стороны авторитетного ученого погасила энтузиазм большинства исследователей, особенно тех, кто работал в области вычислительных наук. Работы по нейронным сетям были свернуты во многих научных центрах и финансирование существенно урезано.

Возникшее в исследованиях по нейронным сетям затишье продлилось почти 10 лет.

Однако исследования все равно продолжались. В 1974 г. одновременно американский математик Пол Дж. Вербос и советский ученый А.И. Галушкин изобретают алгоритм обратного распространения ошибки для обучения многослойных персептронов. Изобретение не привлекло особого внимания. Также в 1970-х гг. развернулась деятельность в области карт самоорганизации, основанных на конкурентном принципе обучения.

С начала 80-х годов ИНС вновь привлекли интерес исследователей - третий пик активности. В 1982 г. Дж. Хопфилд разработал рекуррентные (с обратными связями) НС с симметричными синаптическими связями и использовал функцию расчета энергии для описания нового уровня понимания вычислений. В 1982 г. Т. Кохоненом (финский ученый) представлены модели сети, обучающейся без учителя. Они решают задачи кластеризации, визуализации данных и другие задачи предварительного анализа данных. В 1986 г. американским ученым Д. Румельхартом и независимо и одновременно С.И. Барцевым и В.А. Охониным (Красноярская группа) переоткрыт и существенно развит метод обратного распространения ошибки. Начался взрыв интереса к обучаемым нейронным сетям.

В настоящее время теория ИНС переживает четвертый пик активности, что связано с возможностью реализации ИНС на основе быстродействующих цифровых параллельных вычислительных систем, а также с выделением широкого класса задач, которые могут эффективно решаться искусственными НС.

Теория нейронных сетей стала междисциплинарной областью исследований, тесно связанной с нейробиологией, математикой, психологией и инженерией. Нет необходимости дополнительно говорить о том, что с развитием теории нейронных сетей будут наращивать свой теоретический и прикладной потенциал и эти науки.

2. Особенности искусственных нейронных сетей

искусственный нейронный сеть

Скорость срабатывания (реакции) одного нейрона на 5-6 порядков меньше скорости срабатывания кремниевых логических элементов! Современные цифровые вычислительные машины превосходят человека по способности производить числовые и символьные вычисления. Однако человек может без усилий решать сложные задачи восприятия внешних данных (например, узнавание человека в толпе только по его промелькнувшему лицу) с такой скоростью и точностью, на которые не способен даже мощнейший в мире компьютер. В чем причина столь значительного различия в их производительности?

Во-первых, нейронов много (около триллиона (1011-1012)) и взаимосвязей между нейронами огромное количество (квадриллион (от 1014 до 1015)).

Во-вторых, при рождении мозг имеет совершенную структуру, позволяющую строить собственные правила на основании того, что мы называем «опытом». Опыт накапливается с течением времени. Развитие мозга продолжается до последних дней жизни человека. Понятие развития нейронов связано с понятием пластичности мозга, т.е. способности настройки нервной системы в соответствии с окружающими условиями.

В-третьих, нейронные сети обучаются, а не программируются. Процедура, используемая для обучения, называется алгоритмом обучения. Эта процедура выстраивает в определенном порядке синаптические веса НС для обеспечения необходимой структуры взаимосвязей нейронов.

В-четвертых, архитектура биологической нейронной системы совершенно не похожа на архитектуру машины фон Неймана (табл. 1.1).

Таблица 1.1

Сравнение машины фон Неймана с биологической нейронной системой

Несмотря на перспективность параллельных ЭВМ и, в частности, нейронных сетей, для их создания пока нет элементной базы. Поэтому, вместо моделирования НС на параллельных машинах, большая часть исследований проводится двумя способами:

1) моделирование НС на обычных последовательных ЭВМ;

2) создание специализированных нейроплат и нейропроцессоров для ускорения работы ЭВМ с нейронными сетями.

Попытки использовать оптические, химические, биологические и другие технологии для создания НС, несмотря на перспективность, пока не имеют практического применения.

Большое влияние на разработку теории искусственных нейронных сетей оказал коннекционизм (connection - связь). Коннекционизм - это раздел искусственного интеллекта, связанный с созданием, исследованием и развитием моделей мозга (мышления) человека. С точки зрения коннекционизма (connection - связь) в основу концепции ИНС положена идея о том, что нейроны можно моделировать довольно простыми автоматами, а вся сложность сети, гибкость ее функционирования и другие важнейшие качества определяются связями между нейронами. Каждая связь представляется как простой элемент, служащий для передачи сигнала и его линейного усиления или ослабления.

С точки зрения коннекционизма модель НС имеет следующие важные свойства:

1) однородность системы;

2) надежность системы;

3) «голографичность» системы.

Обучение обычно строится так: существует набор примеров с заданными ответами. Эти примеры предъявляются системе. Нейроны получают по входным связям сигналы - "условия примера", преобразуют их, несколько раз обмениваются преобразованными сигналами и, наконец, выдают ответ - также набор сигналов. Отклонение от правильного ответа штрафуется. Обучение состоит в минимизации штрафа как (неявной) функции связей.

Неявное обучение приводит к тому, что структура связей становится "непонятной". Это явление называют "логической непрозрачностью" нейронных сетей, обученных по неявным правилам.

Если обучить нейронную сеть решать какую-либо задачу, а затем вырезать из нее все связи, кроме необходимых, без которых эту задачу не решить, то получается очень полезное явное представление знаний о способе решения.

Из данных, использованных для обучения, получаем явные знания. Например, обучая сеть предсказывать социально-политическую ситуацию, получаем полезную политологическую теорию, заложим обработку экономических данных - получим экономические знания и т.д.

В заключении этого раздела дадим некоторые определения из нейроинформатики. Работы, связанные с разработкой устройств переработки информации на основе принципов работы естественных нейронных систем (структурный подход) относится к области нейроинформатики или нейровычислений (нейрокомпьютинга). Термины эти появились недавно - в середине 80-х годов.

Нейроинформатика - это способ решения различных задач с помощью искусственных нейронных сетей, реализованных программным или аппаратным способами.

Искусственные нейронные сети - это сети, требующие обучения и состоящие из связанных между собой простых элементов - формальных нейронов. Работа сети состоит в преобразовании входных сигналов во времени, в результате чего меняется внутреннее состояние сети и формируются выходные воздействия.

Нейрокомпьютеры - это системы, построенные на основе принципов параллельной обработки информации в распределенных нейронных сетях.

3. Области использования искусственных нейронных сетей

На практике при автономной работе НС не могут обеспечивать готовые решения. Их необходимо интегрировать в сложные системы. В частности, комплексную задачу можно разбить на последовательность относительно простых, часть из которых может решаться нейронными сетями (рис. 1.5).

Размещено на http://www.allbest.ru/

Перечислим, какие преимущества (некоторые) дает использование нейронных сетей в составе сложных СОД.

1. Обобщение.

2. Нелинейность.

3. Адаптивность.

4. Отказоустойчивость.

5. Масштабируемость.

6. Единообразие анализа и проектирования.

Место нейросетевой технологии среди других методов обработки данных показано на рис. 1.6.

В настоящее время нейронные сети применяются для решения многих неформализуемых или трудно формализуемых задач:

 распознавания и синтеза речи;

 распознавания аэрокосмических изображений;

 прогнозирования котировки ценных бумаг и курса валют;

 предупреждения мошенничества с кредитными карточками;

 оценки стоимости недвижимости;

 оценки финансового состояния предприятий и риска невозврата кредитов;

 обработки радиолокационных сигналов;

 контроля движения на скоростных автомагистралях и железных дорогах;

 диагностики в медицине;

 добычи знаний из больших объемов данных в бизнесе, финансах и научных исследованиях.

Размещено на http://www.allbest.ru/

Размещено на Allbest.ru