Теории искусственных нейронных сетей

где m - число компонент входного вектора X, значение L>1 (например L=2). Такой выбор весов будет приводить к устойчивому обучению. Уровень сходства ? выбирается на основе требований решаемой задачи. При высоких значениях этого параметра будет сформировано большое число категорий, к каждой из которых будут относиться только очень похожие вектора. При низком уровне ? сеть сформирует небольшое число категорий с высокой степенью обобщения.

Процесс обучения происходит без учителя, на основе самоорганизации. Обучение производится для весов нейрона-победителя в случае как успешной, так и неуспеншной классификации. При этом веса вектора B стремятся к нормализованной величине компонент вектора C:

При этом роль нормализации компонент крайне важна. Вектора с большим число единиц приводят к небольшим значениям весов b, и наоборот. Таким образом, произведение

оказывается масштабированным. Масштабирование приводит к тому, что возможно правильное различение векторов, даже если один является подмножеством другого. Пусть нейрон X1 соответствует образу (100000), а нейрон X2 - образу (111100). Эти образы являются, очевидно, различными. При обучении без нормализации (т.е. bi ? ci ) при поступлении в сеть первого образа, он даст одинаковые скалярные произведения, равные 1, как с весами нейрона X1, так и X2. Нейрон X2, в присутствии небольших шумовых отклонений в значениях весов, может выиграть конкуренцию. При этом веса его вектора T установятся равными (100000), и образ (111100) будет безвозвратно "забыт" сетью.

При применении нормализации исходные скалярные произведения будут равны единице для нейрона X1, и значению 2/5 для нейрона X2 (при L=2). Тем самым, нейрон X1 заслуженно и легко выиграет конкурентное соревнование.

Компоненты вектора T, как уже говорилось, при обучении устанавливаются равными соответствующим значениям вектора C. Следует подчеркнуть, что это процесс необратим. Если какая-то из компонент tj оказалась равной нулю, то при дальнейшем обучении на фазах сравнения соответствующая компонента cj никогда не получит подкрепления от tj=0 по правилу 2/3, и, следовательно, единичное значение tj не может быть восстановлено. Обучение, таким образом, сопровождается занулением все большего числа компонент вектора T, оставшиеся ненулевыми компоненты определяют множество критических черт данной категории. Эта особенность проиллюстрирована на Рис. 11.3.

Рис. 11.3. Обучающие образы C и сформированный вектор критических черт T - минимальный набор общих элементов категории.

В оригинальной работе обучение рассматривается в терминах дифференциальных уравне-ний, из которых указанные нами значения получаются в виде предельных.

Остановимся теперь кратко на основных теоремах теории АРТ, характеризующих обучение и функционирование сети. Некоторые из них нами уже упоминались в тексте.

Теоремы АРТ.

1. По достижении стабильного состояния обучения предъявление одного из обучающих векторов будет сразу приводить к правильной классификации без фазы поиска, на основе прямого доступа.

2. Процесс поиска устойчив.

3. Процесс обучения устойчив. Обучение весов нейрона-победителя не приведет в дальнейшем к переключению на другой нейрон.

4. Процесс обучения конечен. Обученное состояние для заданного набора образов будет достигнуто за конечное число итерации, при этом дальнейшее предъявление этих образов не вызовет циклических изменений значений весов.

Дальнейшее развитие АРТ: архитектуры АРТ-2 и АРТ-3.

Нерешенные проблемы и недостатки АРТ-1.

Сети АРТ-2 и АРТ-3.

Основной отличительной чертой нейронной сети АРТ-2 является возможность работы с аналоговыми векторами и сигналами. По сравнению с АРТ-1 в архитектуре сети сделаны некоторые изменения, позволяющие отдельным подсистемам функционировать асинхронно, что принципиально для аппаратных реализаций.

Важным отличием аналоговых сигналов от битовых является принципиальная возможность аналоговых векторов быть сколь угодно близкими друг к другу (в то время как пространство битовых векторов дискретно). Это накладывает дополнительные требования на функционирование нейронов слоя сравнения - требуется более тонкий и чувствительный механизм для выделения областей резонанса. Общим решением здесь является переход к многослойной архитектуре, с все более точной настройкой при переходе от слоя к слою, что и применено в АРТ-2. Функционирование слоя распознавания принципиально не изменяется.

Сети АРТ-2 применялись для распознавания движущихся изображений. Успешные эксперименты выполнены в Массачусетском Технологическом Институте (MIT). Поскольку нейросистемы АРТ не содержат механизма инвариантного распознавания (в отличие от НЕОКОГНИТРОНА, см. предыдущую Лекцию), то в сочетании с ними применяются специализированные (часто не нейросетевые) системы инвариантного представления образов, например двумерное преобразование Фурье, или более сложные алгоритмы. Более подробное рассмотрение особенностей и применений АРТ-2 требует профессионального изучения и не входит в наши цели.

Следующим шагом в развитии АРТ явилась сеть АРТ-3. Особенности обучения нейронов сетей АРТ-1 и АРТ-2 не позволяют использовать эти сети, как элементы более крупных иерархических нейросистем, в частности, компоновать из них многослойные сети. Это затрудняет представление в АРТ иерархически организованной информации, что характерно для систем восприятия человека и животных.

Эти проблемы решены в сети АРТ-3, которая выступает как многослойная архитектура. При переходе от слоя к слою происходит контрастирование входных образов и запоминание их в виде все более общих категорий. При этом основной задачей каждого отдельного слоя является сжатие входящей информации.

Образ входит в адаптирующийся резонанс между некоторой парой слоев, в дальнейшем этот резонанс распространяется на следующие слои иерархии. В АРТ-1 и АРТ-2 недостаточный уровень резонанса приводил к генерации сигнала сброса, что приводило к полному торможению слоя распознавания. В случае многослойной сети АРТ-3 это недопустимо, так как это разрывает поток информации. Поэтому в АРТ-3 введен специальный механизм зависимости активности синапсов обратных связей от времени, аналогичный рефрактерному торможению биологического нейрона после передачи возбуждения. Поэтому вместо полного сброса сигнала происходит торможение синаптических сигналов обратной связи, и слой сравнения получает исходное состояние возбуждения для выполнения фазы поиска нового резонанса.

Интересным предложением является также использование в многослойной иерархии слоев, которые не являются слоями АРТ, а принадлежат некоторой другой архитектуре. В этом случае система получается гибридной, что может привести к возникновению новых полезных свойств.

Развитие теории АРТ продолжается. По высказыванию авторов теории, АРТ представляет собой нечто существенно более конкретное, чем философское построение, но намного менее конкретное, чем законченная программа для компьютера. Однако уже в современном виде, опираясь на свою более чем 20-летнюю историю, сети АРТ демонстрируют свои успешные применения в различных областях. АРТ сделала также важный шаг в общей проблеме моделирования пластично-стабильного восприятия.

ЛЕКЦИЯ 12. Черты современных архитектур

Современные архитектуры нейронных сетей. Актуальные направления фундаментальных исследований. Программные и аппаратные реализации нейронных сетей. Нейропроцессоры. Научные и промышленные приложения.

Черты современных архитектур.

Классические исследования, выполненные в послевоенные годы и дальнейших бурный прогресс в нейроинформатике в 80-е годы определили некоторые общие черты перспективных архитектур и направления исследований. И, хотя любые оценки в этой области весьма субъективны, автор счел возможным изложить свою точку зрения на наблюдающиеся тенденции. Остановимся на некоторых из них.

1. Плотное сопряжение теоретических исследований с поиском новых физических принципов и физических сред для аппаратной реализации нейронных сетей. Здесь прежде всего следует отметить оптические системы, как линейные, так и нелинейные: фурье-оптика, голограммы, нелинейные фоторефрактивные кристаллы, оптические волноводные волокна, электронно-оптические умножители и другие. Перспективными также являются среды с естественными автоволновыми свойствами (химические и биологические). Все эти среды реализуют важное свойство массивной параллельности при обработке информации. Кроме того, они, как правило, содержат механизмы "саморегулирования", позволяющие организовывать обучение без учителя.

2. Иерархичность архитектур и разделение функций нейронов. В современных архитектурах используются слои или отдельные нейроны нескольких различных типов: командные нейроны-переключатели, пороговые нейроны, нейронные слои с латеральным торможением, работающие по принципу "победитель забирает все". Априорное разделение функций нейронов значительно упрощает обучение, так как сеть изначально структурно соответствует задаче.

3. Преимущественное использование методов обучения без учителя, за счет самоорганизации. Эти методы имеют глубокие биологические основания, они обеспечивают локальный характер обучения. Это позволяет не применять глобальную связность сети. С учителем обучаются только внешние, выходные слои нейронов, причем роль учителя часто сводится только к общей экспертной оценке качества работы сети.

4. Ориентация исследований и архитектур непосредственно на приложения. Модели общего характера, такие как сеть Хопфилда или многослойный персептрон, в основном представляют научный интерес, так как допускают относительно полное теоретическое исследование.

Этот список является, разумеется, далеко не полным. В него не включены, например, современные исследования в области гибридных неронно-экспертных систем, использующих как формальную логику, так и ассоциативное узнавание. Читатель также может и сам проанализировать рассматриваемые типы нейронных сетей на предмет выявления общих свойств и тенденций.

Сегодняшний день нейронауки.

Некоторые сведения из истории нейронауки читатель уже почерпнул во введении. Фундаментальные исследования в теории нейронных сетей и интеллектуальных методов обработки информации достигли новой фазы после ряда состоявшихся начиная с 1986 г. специализированных конференций, непосредственно посвященных нейронауке. Осенью 1988 г. было учреждено Международное общество нейросетей (INNS - International Neural Networks Society), которое координирует мировую "нейроактивность".

Предстоящий летом 1994 г. Всемирный конгресс по нейронным сетям, организуемый этим обществом, подведет основные итоги и проявит современное состояние фундаментальных исследований. Для охвата тенденций развития нейронауки в целом мы остановимся на основных тематических вопросах программы этого конгресса.

1. Биологическое зрение. Этот раздел возглавляет С.Гроссберг.

2. Машинное зрение. Раздел охватывает аспекты моделирования зрительных функций в технических системах. Особое внимание будет уделено принципам избирательного внимания к объектам зрительной сцены.

3. Речь и язык. Различные аспекты синтеза и распознавания речи.

4. Биологические нейронные сети. Тематика раздела охватывает свойства отдельных нейронов, нейронных сетей управления движением и слухом, аспекты обучения в биологических сетях, а также пути перехода от биологических нейронов к искусственным (кремниевым).

5. Нейроуправление и робототехника.

6. Обучение с учителем.

7. Обучение без учителя.

8. Распознавание образов.

9. Прогноз и идентификация систем. Рассматриваются методы кибернетического моделирования сложных систем на базе нейронных сетей.

10. Нейронаука о сознании. Аспекты организации и моделирования высшей нервной деятельности.

11. Связь науки о сознании с искусственным интеллектом.

12. Нечеткие нейронные системы. Построение нейромоделей нечеткой логики.

13. Обработка сигналов. Одна из старейших областей приложений нейронных сетей и теории распознавания образов - выделение и анализ свойств сигнала из шума.

14. Нейродинамика и хаос. Сюда относятся свойства нейронных сетей, как нелинейных динамических систем.

15. Аппаратные реализации. Ключевой вопрос перспективных приложений - новые физические принципы и среды для обработки информации.

16. Ассоциативная память.

17. Приложения. Данный раздел будет, по-видимому, наиболее широко представлен.

18. Нейровычисления и виртуальная реальность. Здесь рассматривается возможность применения нейронных сетей и высокопараллельных вычислений на них для создания искусственной реальности. Сложная аппаратно-программная система виртуальной реальности моделирует основные сигналы, воспринимаемые человеком от внешнего мира, и реагирует на его действия, подменяя собой реальный мир.

19. Сети и системная нейронаука. Основное внимание в этом разделе будет уделено временному поведению сигналов в нейронных контурах как биологических, так и искусственных сетей.

20. Математические основания.

Некоторые разделы, такие, например, как обучение с учителем и без учителя, нейродинамика и ассоциативная память, распознавание образов, решение математических задач на нейронных сетях, в виде основных классических результатов были затронуты в этой книге. Другие, возможно, знакомы читателю из других книг (в том числе, и из научно-фантастических). Некоторые показались совершенно новыми. По всем из них мы с нетерпением будем ждать результатов работы конгресса.

Замечание к электронному варианту 1998 г. Конгресс 1994 года успешно состоялся. После него прошли и другие форумы, нейроинформатика пополнилась новыми приложениями. Особый интерес появился к приложениям в сфере экономики и финансов.

Программное и аппаратное обеспечение. Нейро-ЭВМ.

К настоящему времени сформировался обширный рынок нейросетевых продуктов. Подавляющее большинство продуктов представлено в виде моделирующего программного обеспечения. Ведущие фирмы разрабатывают также и специализированные нейрочипы или нейроплаты в виде приставок к обычным ЭВМ (как правило, персональным ЭВМ линии IBM PC AT). При этом программы могут работать как без нейро-приставок, так и с ними. В последнем случае быстродействие гибридной ЭВМ возрастает в сотни и тысячи раз.

Перечислим некоторые наиболее известные и популярные нейросистемы и их производителей.

Пакет программ NeuralWorks Professional II Plus. Это одна из последних версий программного продукта NeuralWorks, разработанного фирмой NeuralWare. Пакет содержит программные модели десятков архитектур нейронных сетей (в том числе, некоторые из рассмотренных в этой книге). Фирма объявила также о выпуске версии пакета для рабочих станций типа SUN и параллельных процессоров nCUBE.

Пакет программ ExploreNet 3000. Разработка фирмы HNC, основанной профессором Робертом Хехт-Нильсеном. Пакет предоставляет широкие возможности по моделированию и управлению данными. В качестве ускорителя используется аппаратные разработки фирмы HNC - нейропроцессоры ANZA и ANZA+, являющиеся одними из первых аппаратных решений. Фирма предложила также средство для разработки прикладных программ - специализированный язык программирования AXON, основанный на языке C.

Оболочка NeuroShell 2.0. Достоинством этой программы является совместимость с популярным пакетом управления данными MicroSoft Excel, что делает продукт удобным для массового использования.

В России известны также разработки НИИ многопроцессорных вычислительных систем, г.Таганрог (СБИС для цифровых нейрокомпьютеров, имеющая около 100000 вентилей и работающая на частоте 20 МГц), Московского центра нейрокомпьютеров (аппаратные системы на основе транспьютеров). Среди программных систем следует отметить разработки кафедры нейрокибернетики Красноярского университета, системы распознавания образов НИИ нейрокибернетики Ростовского университета и Института прикладной физики в Нижнем Новгороде.

В 1993 немецкая фирма Simens объявила о выпуске самого быстродействующего на сегодняшний день нейрокомпьютера, названногоSYNAPSE-I. Этот нейрокомпьютер в целом представляет собой систему из управляющей (host) машины и специализированного нейропроцессора с локальной памятью для синаптических весов. В каждой нейросетевой парадигме можно выделить относительно небольшой набор операций, специфических для нейронных сетей, который может быть очень эффективно в параллельном режиме выполнен на специализированном процессоре. К таким операциям относятся, например, умножение и сложение матриц и векторов, транспонирование матриц, вычисление пороговых преобразований, параллельное вычисление табличных функций и другие. Оставшиеся фрагменты алгоритма, имеющие развитую логику, но требующие обычно лишь несколько процентов от общего времени вычислений, могут быть успешно выполнены и на обычной ЭВМ. В нейрокомпьютере SYNAPSE-1 в качестве такой host-машины выступает рабочая станция Sun Sparc Station II. Плановое ускорение на нейро-операциях в SYNAPSE-1 будет составлять 8000 раз (!) по сравнению с host-станцией. Для пользователя предусмотрены удобный проблемно-ориентированный на нейросети язык программирования nAPL, среда программирования на языке C++ и удобная UNIX-совместимая операционная система.

Перечисленные выше нейросистемы являются относительно дорогими и предназначены в основном для профессионального использования. В учебно-исследовательских целях в приложении к этой книге приведена простая программа, реализующая алгоритмы обучения и распознавания однослойного персептрона. Читатель, знакомый с языком программирования Паскаль, может использовать эту программу, снабдив ее модулями ввода-вывода, для экспериментирования с нейроной сетью, а также в качестве введения в технологию создания нейропрограммного обеспечения.

Итоги.

Эта книга завершена, но в нейронауке, разумеется, рано ставить точку. Автор надеется, что этот учебник не только выполнит свою основную функцию - систематическое введение в теорию нейронных сетей - но и поможет приблизиться к ответу на важный вопрос: являются ли искусственные нейронные сети долгожданным магистральным направлением, в котором будет продолжаться развитие методов искусственного интеллекта, или же они окажутся веянием своеобразной моды, как это ранее было с экспертными системами и некоторыми другими аппаратами научных исследований (например, диаграммами Фейнмана), от которых вначале ожидали революционных прорывов. Постепенно, однако, эти методы обнаруживали свои ограничения и занимали соответсвующее (но достойное!) место в общей структуре науки.

Сегодня нейронные сети уже не являются уделом небольшой группы теоретиков. К нейросетевым приложениям подключаются инженеры и исследователи разных специальностей. Особенно радует прогресс в построении удачных нейросетевых моделей исследуемых явлений, полностью базирующихся на экспериментальных данных. Здесь наиболее полно проявляются замечательные свойства искусственных нейронных систем: массивная параллельность обработки информации, ассоциативность памяти и возможность к обучению на опыте. Это открывает новые перспективы для систематизации многочисленной экспериментальной информации в таких областях знаний, где традиционно трудно приживается математический формализм, например, в медицине, психологии и истории.

ПРИЛОЖЕНИЕ 2. Дополнительные главы.

Введение в эволюционные алгоритмы. Комбинаторная оптимизация методом генетического поиска. Нейронные сети с нечеткой логикой. Конечные автоматы и нейронные сети.

Методы анализа информации при помощи ЭВМ постоянно совершенствуются. При этом, наряду с прочно устоявшимися и широко применяемыми методиками математического моделирования все шире развиваются и используются другие, нетрадиционные подходы. Один из них, связанный с искусственными нейронными сетями, составляет главный предмет этой книги.

Для полноты картины автор счел необходимым дать краткий обзор прочих методов, и, прежде всего, генетических алгоритмов, систем с нечеткой логикой и клеточных автоматов. Чтобы не нарушать цельность изложения, эти методы будут рассматриваться в их соотношении с нейросетевыми алгоритмами.

Генетический поиск.

Успех в развитии нейронных сетей не в последнюю очередь связан глубокими биологическими основаниями, заложенными во многих архитектурах. Некоторые особенности биологической эволюции, на уровне механизма кодирования и наследования в ДНК, легли в основу так называемых генетических алгоритмов, предложенных в начале 70-х годов (J.H.Holland, 1975) и получивших интенсивное развитие в последнее время.

Произвольный объект или система (в биологии - организм) могут быть описаны совокупностью признаков или черт, которые кодируются цепочкой символов или битов и составляют генотип объекта. Несколько объектов формируют популяцию, характеризующуюся набором цепочек каждого из объектов, совокупность которых определяет генофонд популяции.

Различные объекты могут иметь, вообще говоря, разные наборы признаков. О большом разнообразии признаков и популяции говорят как о богатом генофонде. При эволюции популяции в ней появляются новые объекты, наследующие те или иные признаки от своих предков. При этом размер популяции в целом изменяется мало, что обеспечивается конкурентным отбором объектов. В процессе отбора производится направленный поиск таких признаков или их совокупностей (кодонов и генов), которые являются ценными в смысле некоторой заданной целевой функции, например уровня адаптации объекта к условиям существования. Поэтому эволюционные алгоритмы также называют методами генетического поиска.

Обработка информации генетическим алгоритмом использует два основных механизма отбора полезных признаков, заимствованных из современных представлений о естественном отборе: мутации в отдельной цепочке и скрещивание (кроссинговер) между двумя цепочками. Рассмотрим эти механизмы подробнее.

Рис П2.1. Процесс скрещивания двух генетических цепочек.

На рисунке П2.1 представлены последовательные этапы обмена информацией между двумя цепочками при скрещивании. Полученные новые цепочки (или одна из них) могут быть в дальнейшем включены в популяцию, если задаваемый ими набор признаков дает лучшее значение целевой функции. В противном случае они будут отсеяны, а в популяции останутся их предки. Мутация в генетической цепочке носит точечный характер: в некоторой случайной точке цепочки один из кодов заменяется другим (ноль - единицей, а единица - нулем).

С точки зрения искусственных систем обработки информации генетический поиск представляет собой специфический метод нахождения решения задачи оптимизации. При этом такой итерационный поиск является адаптирующимся к особенностям целевой функции: рождающиеся в процессе скрещивания цепочки тестируют все более широкие области пространства признаков и преимущественно располагаются в области оптимума. Относительно редкие мутации препятствуют вырождению генофонда, что равносильно редкому, но не прекращающемуся поиску оптимума во всех остальных областях признакового пространства.

Генетический алгоритм может быть применен для обучения нейронной сети. При этом цепочкой кодируется состояние сети - совокупность всех весовых коэффициентов. Код может быть устроен следующим образом. Первые восемь элементов цепочки соответствуют 8-битному представлению первого элемента матрицы весов, следующие восемь - второму, и так далее. Целевой функцией выступает полная ошибка обучения. Популяция нейронных сетей эволюционирует к обученному состоянию, при этом в процессе отбора выживают цепочки, кодирующие нейронные сети с малыми ошибками.

Генетический алгоритм является примером задачи, допускающей высокую степень параллельности при моделировании на современных векторных ЭВМ. Простота выполняемых операций открывает также широкие перспективы для разработки специализированных генетических процессоров.

Системы нечеткой логики.

Нечеткая логика (fuzzy logic) является обобщением привычной булевой логики, оперирующей с двоичными числами, которые соответствуют понятиям истина и ложь. В нечеткой логике эти понятия обобщаются и на все промежуточные между истиной и ложью состояния. В соответствии с этим нечеткая логика оперирует числами из интервала [0,1], которые отражают степень истинности высказывания. Впервые теория нечетких множеств была сформулирована профессором Калифорнийского университета Заде.

Нечеткая логика опирается на многие практические потребности прикладных наук, оперирующих с не полностью достоверной и противоречивой информацией. К ним относятся теория управления и принятия решений по неполной информации, системная экология, занимающаяся оценками риска от техногенного воздействия промышленных производств и последствиями аварий, макроэкономика и другие.

Переход от двоичного представления чисел к интервальному требует обобщения логических операций на соответствующие операции с нечеткими числами. При этом обобщенные операции должны переходить в классические, если операнды имеют значения 0 или 1.

Рассмотрим пример такого обобщения. Пусть имеются нечеткие числа a и b. Суммой двух нечетких чисел называется нечеткое число, совпадающее с максимальным операндом: c = a + b = max(a,b). Произведением двух нечетких чисел называется нечеткое число, равное минимальному операнду: c = a * b = min(a,b). В соответствии с введенными определениями множество нечетких чисел является замкнутым относительно данных операций.

Одним из важных применений нечеткой логики выступают нечеткие экспертные системы (НЭС), в которых логические правила вывода оперируют с нечеткими операциями. Для знакомства с НЭС и другими приложениями нечеткой логики можно порекомендовать книгу японских авторов Т.Тэрано, К.Асаи и М.Сугэно.

В этой части книги мы остановимся на формулировке нейросетевых моделей на языке нечеткой логики. В модели Хопфилда (Лекция 8) с обучением сети по правилу Хэбба все вычисления основаны на операциях сложения и умножения. Если описывать значения весов и активности нейронов нечеткими числами, то правило Хэбба может быть сформулировано на языке нечетких операций. Вклад в матрицу связей от образа ?(k) принимает вид:

Полная матрица связей получается нечетким суммированием отдельных вкладов:

Вычисление активности нейронов производится на с использованием скалярного произведения:

Представленная в нечеткой арифметике нейронная сеть Хопфилда очень удобна для моделирования с использованием обычной теневой оптики. Операнды могут представляются прямоугольными отверстиями, площади которых пропорциональны величинам чисел.

Для умножения чисел отверстия следует наложить друг на друга, при этом пропускание света будет ограничено минимальным отверстием, которое и дает требуемое произведение. При сложении следует фокусировать на одну плоскость два параллельных луча света, каждый из которых пропущен независимо через одно из отверстий. Полученное световое пятно будет соответствовать максимальному отверстию. Соответствующая оптическая схема сети Хопфилда была предложена и опубликована в журнале Optics Letters.

Необходимо отметить, что оптическая реализация нейронной сети Хопфилда с нечетким правилом Хэбба естественным образом обладает большой скоростью вычислений и высоким уровнем параллелизма.

Клеточные автоматы и нейронные сети.

Клеточным автоматом называют сеть из элементов, меняющих свое состояние в дискретные моменты времени в зависимости от состояния самого элемента и его ближайших соседей в предшествующий момент времени.

Различные клеточные автоматы могут демонстрировать весьма разнообразное поведение, которое может быть адаптировано для целей обработки информации за счет выбора (а) закона изменения состояния элемента и (б) конкретного определения понятия “ближайшие соседи”. Внимательный читатель без труда заметит, что, например, нейронная сеть Хопфилда вполне может рассматриваться, как клеточный автомат, элементами которого являются формальные нейроны. В качестве закона изменения состояния нейро-автомата используется пороговое преобразование взвешенной суммы входов нейронов, а ближайшими соседями каждого элемента являются все прочие элементы автомата.

В мире клеточных автоматов имеется классификация (S. Wolfram, 1983), согласно которой все автоматы делятся на четыре класса, в зависимости от типа динамики изменяющихся состояний. Автоматы первого класса по истечении конечного времени достигают однородного состояния, в котором значения всех элементов одинаковы и не меняются со временем. Ко второму классу автоматов относятся системы, приводящие к локализованным структурам стационарных или периодических во времени состояний элементов. Третий класс составляют “блуждающие” автоматы, которые с течением времени посещают произвольным (непериодическим) образом все возможные состояния элементов, не задерживаясь ни в одном из них. И, наконец, четвертый класс составляют “странные” автоматы, характер динамики которых зависит от особенностей начального состояния элементов. Некоторые начальные состояния приводят к однородному вырождению автомата, другие - к возникновению циклической последовательности состояний, третьи - к непрерывно меняющимся (как “по системе”, так и без видимой системы) картинам активности элементов.

К автоматам четвертого типа относится знаменитая игра “Жизнь” Дж. Конвея. Каждый элемент (организм) колонии “Жизни” может находиться в состоянии покоя или активности. Ближайшими к данному элементу объявляются четыре его соседа на квадратной решетке. Покоящийся элемент может возродиться к активности, если рядом с ним находится ровно три активных соседа. Активный элемент сохраняет “жизнеспособность” при двух активных соседях. Если соседей больше чем два, то элемент гибнет от тесноты, а если их меньше, чем два, то гибель наступает от скуки. Хотя наблюдение за сложной эволюцией начального состояния “Жизни” может дать определенную пищу для мыслительной исследовательской деятельности, в целом этот автомат остается не более чем математическим курьезом.

Существуют, однако, более серьезные приложения клеточных автоматов. Среди них прежде всего следует выделить автоматы, реализующие дискретные разностные схемы для решения разнообразных задач математической физики. Для этих целей используются автоматы второго рода.

Активность популяции элементов автомата может также описывать такие сложные явления, как рост кристаллов из зародышевых состояний, диффузию и миграцию жидкости в неоднородной пористой среде, особенности возникновения и развития турбулентности о потоках жидкостей и газов, распространение импульса в нервной системе, рост опухоли в биологической ткани, развитие лесных пожаров и другие явления. Описание разнообразных применений клеточных автоматов заслуживает отдельного пристального внимания.

Однако это уже составляет предмет другой книги.

Задачи

1. Сформулируйте задачу поиска минимума функции f(x)=(x-0.5)2 на отрезке [0,1] для генетического алгоритма.

2. К какому типу клеточных автоматов относится классическая нейронная сеть Хопфилда? Каков тип автомата, задаваемого вероятностным обобщением сети Хопфилда (Лекция 9) при очень высоких температурах? Почему?

Размещено на Allbest.ru