О закономерности формирования индуктивного обобщения нейросетью со связями по схеме голографии Фурье

Размещено на http://www.allbest.ru

О ЗАКОНОМЕРНОСТИ ФОРМИРОВАНИЯ ИНДУКТИВНОГО ОБОБЩЕНИЯ НЕЙРОСЕТЬЮ СО СВЯЗЯМИ ПО СХЕМЕ ГОЛОГРАФИИ ФУРЬЕ

Санкт-Петербургский Государственный

университет информационных технологий,

механики и оптики, Санкт-Петербург

В развитие подхода к формированию правдоподобных выводов на нейросетях со связями по схеме голографии Фурье показано, что индуктивное обобщение закономерно формируется как следствие фундаментального свойства ограниченности динамического диапазона сред, используемых для записи связей нейронных слоев.

ВВЕДЕНИЕ

Одна из актуальных задач искусственного интеллекта - реализация правдоподобных рассуждений. Наряду с моделированием на основе использования формально-логического аппарата [Вагин, 2008], интерес представляет и реализация рассуждений в рамках концепции образного мышления и нейросетевой парадигмы [Кузнецов 1998; Фоминых 2002]. В работе [Павлов 2010] предложен подход к реализации правдоподобных выводов на нейросетях со связями, формируемыми методом голографии Фурье. В настоящем докладе, в развитие данного подхода, показано, что на таких сетях индуктивное обобщение закономерно формируется как следствие фундаментального свойства ограниченности динамического диапазона сред, используемых для записи межнейронных связей.

1. ПОДХОД К ЗАДАЧЕ И МОДЕЛЬ НЕЙРОСЕТИ

Используем пример классификации рассуждений по Ч.Пирсу:

Дедукция: Правило (Все люди смертны) (1.1)

Случай (Сократ человек) (1.2)

Результат (Сократ смертен) (1.3)

Индукция: (1.2) Случай (Сократ человек)

(1.3) Результат (Сократ смертен)

(1.1) Правило (Все люди смертны)

Абдукция: (1.1) Правило (Все люди смертны)

(1.3) Результат (Сократ смертен)

(1.2) Случай (Сократ человек)

Рассмотрим возможность реализации этих связок двухслойной нейросетью (НС) с двунаправленными связями, реализуемыми методом голографии Фурье (рис.1.). Веса связей (1.4) формируются в пространстве Фурье в виде голограммы - зарегистрированной картины интерференции фурье-образов двух паттернов (вывод опустим)

, (1.4)

где F - символ преобразования Фурье, Im_R(x,y) и Im_C(Д_x,Д_y) - паттерны, описывающие состояние нейронных слоев R и C на этапе обучения, астериск обозначает комплексное сопряжение, а (н_x,н_y) - частоты. В дальнейшем изложении для упрощения выражений аргументы опустим. Данная модель реализует правило обучения Хэбба.

Рис.1. Схема нейросети

R и C - нейронные слои, H - матрица связей нейронных слоев (голограмма Фурье) нейросеть голография индуктивный

Определим как методы представления входящих в данные связки операндов посредством паттернов внутренней репрезентации (ПВР), так и характеристики этих ПВР, существенные для определения методов их ассоциирования.

В примере используются три типа операндов и, соответственно, ПВР:

ПВР «человек», представляющий свойство быть человеком вообще (а не обезьяной, например), который обозначим Im_H;

ПВР, представляющий свойство смертности, понимаемое также вообще, абстрагируясь от частностей, который обозначим Im_D;

ПВР, представляющие только индивидуальные признаки персоны (Сократа, Платона, Пупкина, etc.), которые будем обозначать Im_Ind с указанием, при необходимости, имени персоны и/или свойства.

Два первых ПВР можно определить скорее как вербальные понятия, а последний - как сенсорный образ. Напомним, что в рамках концепции образного мышления принято выделять (и отчасти противопоставлять) две категории - образ и понятие [Фоминых, 2002; Валькман и др., 2009]. При этом как образ, так и понятие суть ПВР, формирующиеся в коре головного мозга. Различие между ними в том, что образ является сенсорным ПВР, то есть формируется на основе непосредственно воспринимаемой (а затем вспоминаемой) сенсорной информации, а понятие - это ПВР, формируемый мозгом уже в результате обработки сенсорной информации. Условная шкала «образ - понятие» отнюдь не бинарна - переход от образа к понятию происходит постепенно, большая часть хранящихся в памяти паттернов включает в себя как сенсорную, так и вербальную информацию, то есть находится между сугубо сенсорным образом и «чистым» понятием. В данном примере ПВР Im_H, определенный как «скорее понятие», включает в себя и сенсорную составляющую.

Таким образом, правило (1.1) связывает два понятия - Im_H и Im_D.

Случай (1.2) связывает ПВР-образ, представляющий только индивидуальные свойства персоны Im_IndPerson, с понятием Im_H. Здесь важно, что по условиям примера сугубо сенсорный образ Im_IndPerson, не включает в себя ПВР Im_H (понятие), поскольку о том, что данная персона - человек, мы узнаем только в результате связи этих ПВР. Установление этой связи и является целью абдукции как интеллектуальной деятельности.

Результат (1.3), также как и случай (1.2), связывает сенсорный образ Im_IndPerson с понятием Im_D.

В таблице 1 приведен вариант представления ПВР слоями НС, позволяющий реализовать и правило (1.1), и результат (1.3). Для того, чтобы реализовать рассуждения, то есть все три связки (1.1-1.3), необходимо ассоциировать паттерны Im_H и Im_Ind применительно к случаю (1.2).

Табл. 1.

В работе [Павлов, 2010] предложено для связи этих паттернов ввести шкалу общности свойств, в качестве которой использовать шкалу частот в пространстве Фурье - пространстве весов межнейронных связей. Тогда, ПВР персоны может быть представлен в виде суммы субпаттернов, каждый из которых репрезентирует признаки, отличающиеся от признаков другого субпаттерна степенью своей общности. Крайние значения шкалы представлены субпаттернами Im_H и Im_Ind, а между ними на шкале общности расположены другие субпаттерны, представляющие иные свойства и признаки персоны (пол Im_G, возраст Im_A, etc.). Эти субпаттерны накладываются друг на друга в пространстве паттернов, имея одну область определения (в слое R), но их фурье-образы разнесены в пространстве Фурье (пространстве весов связей), поскольку занимают разные частотные диапазоны, как это схематически изображено на рис.2.

(1.5)

Рис.2. Схема представления случая (2) «Данная персона - человек» в слое R и пространстве Фурье H нейронной сети рис.1. Субпаттерн ImInd представляет сугубо индивидуальные свойства персоны, а субпаттерн ImH - свойство «человек».

2. РЕАЛИЗАЦИЯ ИНДУКТИВНОГО ВЫВОДА

2.1 Индуктивное обобщение как расширение спектра образа

При реализации индуктивного вывода сеть должна обучаться примерами результатов (1.3), связывающих паттерн персоны (1.5) с ПВР свойства «смертен», которое рассматривается здесь (по условиям задачи индукции) как сугубо индивидуальное - обозначим его Im_DInd.

При этом, поскольку в слое R предъявляется случай (1.2), ПВР (1.5) включает в себя, как минимум, субпаттерны Im_H и Im_Ind. Матрица связей, формируемых в результате такого обучения, описывается выражением

. (2.1)

Если при реализации дедукции частотный диапазон Im_D пересекался с диапазоном Im_H, то есть Im_D был низкочастотным (или включал в себя низкочастотную компоненту), то теперь F(Im_DInd) должен пересекаться с F(Im_Ind). По условиям задачи индукции пересечения F(Im_DInd) с F(Im_H) на этапе обучения нет - F(Im_DInd) локализован только в области высоких частот. Задача индукции заключается, таким образом, в терминах нашего подхода в расширении спектра ПВР Im_DInd в область низких частот с последующей записью новой голограммы, связывающей новый ПВР с расширенным спектром, который обозначим Im_DExt, с ПВР Im_H.

Решение задачи индукции - новая матрица связей с более широким частотным диапазоном. Таким образом, расширение теории, т.е. знания переднего плана, достигаемое индуктивным методом, в данной модели интерпретируется в пространстве Фурье как расширение частотного диапазона знаний.

В работе [Павлов, 2010] показано, что задача индукции в такой постановке решается в сети рис.1. посредством итерационной процедуры, предполагающей в каждом цикле следующие этапы:

Первоначальное обучение сети по правилу (2.1);

Предъявление обученной сети в слое R ПВР Im_person, который пройдя через матрицу связей (2.1) активирует в слое С ПВР Im¹_DInd;

Нелинейную запись в слое С с последующим обращением нелинейно записанного ПВР Nl(Im¹_DInd). В результате нелинейной записи фурье-образ (спектр) этого ПВР расширяется;

Запись новой матрицы связей (голограммы), связывающей Im_person с новым ПВР с расширенным спектром Im¹_DInd

,

где верхний индекс при H и Im обозначает номер итерации, а индекс ext обозначает расширение спектра, обусловленное нелинейностью активационной функции нейронов слоя С.

В результате такой процедуры на каждой итерации фурье-образ ПВР смертности расширяется и в пределе стремится к спектру с постоянной спектральной плотностью, перекрывающему весь диапазон частот - диапазон общности свойств. Соответственно, на каждой итерации записывается новая матрица связей - устанавливаются новые связи с более низкочастотными субпаттернами в слое R, репрезентирующими более общие свойства. Тем самым, сугубо сенсорный образ индивидуальной смертности превращается в понятие «смертности вообще». Скорость этой трансформации образа в понятие зависит от степени нелинейности активационной функции С-нейронов.

В работе [Павлов, 2010] использовано допущение, что в слое С при первоначальном обучении сети результатом (1.3) предъявляется ПВР Im_DInd, не включающий в себя низкочастотный субпаттерн Im_D. Это допущение представляется недостаточно обоснованным, поскольку механизм ограничения частотного диапазона при запоминании сенсорной информации, т.е. формирования паттерна Im_DInd, должен быть включен в модель НС, а не навязываться извне «учителем», выступающим в роли «Deus ex machina». Попробуем найти такой естественный механизм для НС со связями, формируемыми методом голографии Фурье.

2.2 Механизм формирования связей в пространстве Фурье как механизм формирования индуктивного обобщения

Подойдем к задаче с противоположной позиции и примем, что при первоначальном обучении НС в слое С представлен сенсорный образ Im_D со спектром F(Im_D), занимающим весь частотный диапазон. Опустим детальное рассмотрение физики формирования связей нейронных слоев, выходящее за рамки интересов большинства читателей, а также громоздкие выкладки и сформулируем только общие положения и следствия из них.

Суть важно, что любая среда, могущая быть использована для записи связей как интерференционной картины, обладает ограниченным динамическим диапазоном. Вследствие этого картина интерференции двух фурье-образов может быть зарегистрирована только в ограниченном частотном диапазоне, величина которого определяется как размером динамического диапазона регистрирующей среды с учетом условий записи, так и механизмом формирования интерференционной картины. В результате, даже при интерференции двух фурье-образов с широкими частотными диапазонами F(Im_Person) и F(Im_D), матрица связей запишется только в ограниченном диапазоне частот:

.

Этот механизм ограничения частотного диапазона при записи связей может рассматриваться как особенность восприятия - НС объективно не может запомнить информацию во всем частотном диапазоне.

Соответственно, и восстановится в слое С при предъявлении сети образа Im_Person тоже образ с ограниченным спектром Im_Dlim.

Дальнейшее поведение сети зависит от вида нелинейной активационной функции С-нейронов. Если в результате нелинейного обращения в слое С фурье-образ F^ext1(Im_D1) будет иметь более крутой спад спектра амплитуд, чем F(Im_Dlim), то при записи новой голограммы произойдет сужение частотного диапазона. Если же нелинейная активационная функция С-нейронов порождает более «широкий» спектр F^ext1(Im_D1), чем F(Im_Dlim), то частотный диапазон записанной голограммы будет с каждой итерацией расширяться.

При использовании в слое С модели «победитель забирает все», процесс имеет направленность

,

а поскольку

,

то с каждой итерацией частотный диапазон матрицы связей (голограммы) будет расширяться.

ЗАКЛЮЧЕНИЕ

Таким образом, индуктивное обобщение реализуется в рассмотренной архитектуре НС со связями, реализуемыми методом голографии Фурье, не по прихоти автора модели, а неизбежно - как закономерное следствие фундаментального свойства ограниченности динамического диапазона среды, в которой записываются веса связей. Эта неизбежность индуктивного обобщения может быть рассмотрена и с противоположных позиций как невозможность (в силу ограниченности динамического диапазона) запоминания при первом восприятии всего богатства воспринимаемой сенсорами информации - запомненная информация обогащается в результате «раздумий».

Для реализации индукции в рассмотренной архитектуре НС (рис.1) необходимы два условия:

- двунаправленные связи, позволяющие реализовать итерационную процедуру - не единичный интеллектуальный акт, а процедуру раздумий;

- нелинейная активационная функция нейронов в слое С, позволяющая свести паттерн к дельта-функции.

Индуктивный вывод может рассматриваться также как трансформация сенсорного образа в понятие посредством разрушения внутренней коррелированности сенсорного образа (его целостности, разрешения гештальта) при переходе к дельта-коррелированности - абстрагирование от несущественных для понятия признаков. При этом паттерн - дельта-функция в слое С может рассматриваться как понятие абсолютное, поскольку перекрывает весь возможный диапазон [сенсорный образ - вербальный образ] (белый спектр в Фурье пространстве).

Строго говоря, по условиям задачи, применительно к рассматриваемой реализации (рис.1) требуется не переход к д-функции, а переход в Фурье пространстве к постоянной спектральной плотности. Именно постоянная спектральная плотность обеспечивает общность понятия, его применимость к любому субпаттерну из совокупности, составляющей паттерн персоны. Но необходимость сведения паттерна в слое С к дельта-функции имеет также и не обсужденную здесь в деталях сугубо физическую причину - невозможность формирования матрицы связей, имеющей четырехмерную область определения. Соответственно, при восстановлении реальной матрицы связей (голограммы) не дельта-функцией, а определенным на плоскости паттерном, в слое R будет восстанавливаться не ассоциированный паттерн, а картина, образованная суммой наложенных и смещенных друг относительно друга паттернов.

Отметим, что введенное здесь понятие Im_DExt , характеризующееся дельта-коррелированностью, оказывается более общим, более понятием, чем введенное на этапе первоначального обучения сети «скорее понятие» Im_D , поскольку коррелирует как с сенсорными (высокочастотными) образами Im_Ind, так и с вербальными (низкочастотными) Im_H . В этом смысле оно всеобще. Постоянная спектральная плотность, в свою очередь, через теорему Винера-Хинчина обуславливает дельта-коррелированность, вне зависимости от конкретного вида паттерна в слое С - это может быть как единичная д-функция, так и д-коррелированный паттерн.

Вместе с тем, переход в слое С от произвольного паттерна Im_DInd именно к единичной д-функции физически обусловлен и тем, что размерность области определения матрицы связей нейронных слоев равна сумме размерностей областей определения ассоциируемых паттернов и, в случае двух изображений, определенных на плоскости, матрица связей должна иметь 4-х мерную область определения, что физически нереализуемо. В случае же единственной д-функции в слое С, матрица связей определена на плоскости, т.е. физически реализуема в виде тонкой голограммы Фурье.

Благодарности. Автор считает приятным долгом выразить благодарность проф. О.П. Кузнецову и проф. И.Б. Фоминых за дискуссии, способствовавшие формированию данного подхода.