Отображение и анализ зрительной и звуковой информации

Министерство образования и науки Республики Казахстан

Карагандинский государственный технический университет

Кафедра

РЕФЕРАТ

по дисциплине: Экспертные системы

Тема: Отображение и анализ зрительной и звуковой информации

2009

Как же будут формироваться и сохраняться знания в эмоционально-ориентированных суперкомпьютерах искусственного Интеллекта будущих поколений, не желающих уступить Человеку в оперативности и содержательной логике использования знаний? Прежде всего проследим как работает аналитический механизм головного мозга Человека при обработке основных зрительных и звуковых образов, представляющих наши индивидуальные знания. Предварительный анализ и построение таких образов выполняется автоматически без мысленного сопровождения отдельных этапов восприятия образов.

Теперь уже нельзя сослаться на рефлекторные дуги, поскольку и зрительная и звуковая информация предварительно обрабатывается, а в последующем и осознается головным мозгом, состоящим из: левого и правого больших полушарий коры, промежуточного, среднего, заднего и продолговатого мозга, соединенного со спинным мозгом. Функции каждого из них недостаточно ясны, но имеются предположения о их назначении, которые мы уточним на основе методов структурного и метапсихоанализа. Для последующего пояснения места и роли зрительного и слухового анализаторов приведем обобщенную структурную схему головного мозга Человека, которая представлена на Рис. 2-7.

Каждая из представленных подсистем головного мозга симметричны, т.е. имеют левую и правую стороны и половины, и соответственно, левые и правые видео (глаза) и аудио (уши) рецепторы. Обратимся прежде всего к зрительной информации, которая передает Интеллекту более 80% всех накапливаемых Человеком знаний. В анализе, построении и коррекции зрительной информации, по некоторым клиническим сведениям, принимают участие промежуточный мозг (зрительные бугры), средний мозг и затылочная часть больших полушарий головного мозга. Зрительная информация воспринимается Человеком в форме:

- пространственных зрительных образов;

- плоско рисованных зрительных образов.

- знаковых символических зрительных образов;

- темновых наведенных зрительных образов (видений, сновидений).

Наиболее интенсивный поток информации поступает в мозг Человека в форме пространственных динамически изменяющихся зрительных образов внешнего Мира. Но увы! Сознательно воспринимаются лишь сотые или тысячные доли этой информации.

Обратимся кратко к анализу того, что и как дробится в зрительных образах.

Изображение воспринимается от двух органов зрения, которые надо буквально: “беречь как зеницу ока”. Два глаза - видеорецептора являются предпосылкой построения и восприятия пространственных трехмерных изображений, но первоначальные “младенческие” образы оказываются размытыми и плоскими. Не будем вдаваться в подробности оптического построения изображений глазами - это известно. Однако отметим некоторые важные особенности. Основой видеорецептора является сетчатка, покрывающая дно глазных яблок, с химико-электро-механическими преобразователями двух типов: около 7 млн “колбочек” -фотонейронов на основе светочувствительного йода - йодопсина восприятия цветных точек - пиксель изображений, которые расположены в круговой центральной области (желтом пятне) с высоким разрешением и соответственно высокой плотностью размещения, и примерно 130 млн. высокочувствительных “палочек”- фотонейронов на основе светочувствительного родона - родопсина восприятия черно-белых пиксель зрительных образов. “Палочки” образуют значительную периферийную горизонтально-эллиптическую область бокового обзора, которая дает возможность даже в темное время отслеживать перемещающиеся объекты.

Мозг работает в основном с центральной областью высокого разрешения, но быстро фиксирует резкие смещения в области бокового обзора как опасные, рефлекторно порождающие Страх. Судя по плотности восприятия зрительных образов в одной центральной области, которая составляет примерно 3000 * 2500 пиксель, глаза превосходят даже очень хорошую видеокамеру, а если учесть все видео окно нейро-экрана, то оно впечатляет: 45000 * 30000 пиксель. Однако среди них присутствуют очень много не контролируемых сознанием пиксель - почти 95%. Этот недостаток компенсируется рефлекторной подвижностью самой нейро-видеокамеры, но общей проблемой зрения Человека остается слишком большой процент того, что можно определить как: “показалось!”

Как же работает микровибрационная нейро-видеокамера? Немного о структуре. Оба глаза - видеорецептора непрерывно координируют свои области обзора и фокусировку на объекты наблюдения, которые при этом всегда оказываются в центре системы координат сведенной воедино пространственной области обзора. Этим занимается соматическая нервная система и ее рефлекторные дуги. От видеорецепторов сигналы возбуждения передаются по зрительным нервам - многомиллионным магистралям нейрофибрилл от каждого фотонейрона к нейронам серого вещества затылочной части головного мозга, причем пиксели, формируемые левым и правым глазами взаимно смешиваются путем переброса половины нейрофибрилл левого глаза, например, четных концентрических окружностей, считая от центра глаза, в правую магистраль, а половины нейрофибрил четных окружностей правого глаза в левую магистраль, такой же “перекрест” можно сделать в оптоволоконных системах отображения информации, как это показано на Рис. 2-8.

Формирование изображений выполняется одновременно в затылочной части правого и левого полушария на соответствующих многослойных нейро-экранах со многими миллионами пиксель. Непрерывные микровибрации от каждого фотонейрона несут в себе информацию об освещенности (амплитуда микровибраций), о цветности (частота микровибраций) и о пространственном положении освещенных точек объекта (фаза микровибраций). Уровень освещенности сетчатки глаз регулируется путем аккомодации (сужения-расширения) зрачков-диафрагм, а восполнение энергии для фотонейронов сетчатки реализуется за счет периодического моргания век с интервалом 2-3 сек. Необходимо отметить, что непрерывные микровибрации при передаче зрительных изображений используют более 80% энергетических можностей головного мозга, что требует обязательного пребывания с закрытыми глазами не менее 8 часов в сутки. Непрерывно возбужденные магистрали фотонейронов для передачи изображений на нейро-экран являются открытыми визуальными каналами в мозг Человека!

Собственно кора (серое вещество) головного мозга состоит из многих “выделенных слоев” нейронных структур с пространственным распределением в каждом слое возбуждения - микровибраций от свето- или других чувствительных нейронов, воспринимающих конкретную точку-пиксель возбуждения того или иного типа образа. Выделенные слои - это достаточно независимые, отделенные друг от друга разделительной тканью, многопленочные нейронные структуры, представляющие собой сильно связанные многоуровневые нейронные сети. Можно с высокой вероятностью утверждать, что удаление одного, двух или даже нескольких выделенных слоев коры головного мозга Человека не приведет к катастрофической потере работоспособности всей системы анализа и распознавания образов и принятия решений.

Восприятие тех или иных типов образов обеспечивается возбуждением соответстующих чувствительных (рецепторных) нейронов, невриты-аксоны которых, объединенные в магистрали рецепторных нервов, пронизывают все слои головного мозга и имеют непосредственные связи-переплетения в узлах-синапсах с теми или иными пленками соответствующих выделенных слоев. От большей или меньшей амплитуды, частоты и/или временной фазы микровибраций невритов-аксонов рецепторных нейронов глаза или уха зависит интенсивность возбуждений передаваемых в узлах-синапсах на дендриты воспринимающих нейронов первого уровня соответствующих пленок выделенных слоев головного мозга, которые в совокупности и образуют так называемый рецепторный слой нейронов (не путать с выделенными слоями) или нейро-экран головного мозга. В отличие от регистрирующих нейронов рецепторного слоя, нейроны второго и более высоких уровней нейросетей могут выполнять определенные преобразования возбуждаемых образов и называются эффекторными, а соответсвующие уровни нейросетей называются эффекторными слоями.

Зрительное видео-окно нейро-экрана состоит из первых воспринимающих нейронов рецепторного слоя многих пленок выделенных слоев затылочной части головного мозга, непосредственно связанных с фотонейронами глаз и обеспечивающих непосредственное восприятие в каждой “тонкой пленке” амплитуды, частоты и/или временной фазы возбуждений-микровибраций, представляющих конкретный пиксель зрительного образа.

Одной из задач, навыки решения которой приобретает ребенок в первый год жизни, является задача сведения изображений от левого и правого глаза и получение стереоэффекта в нейросетях-пленках каждого выделенного слоя на нейро-экранах левого и правого полушарий коры головного мозга (см. ранее Рис.2-8). Решение ее достигается за счет управления мышцами сведения глаз специальной рефлекторной дугой среднего мозга. Для приобретения навыков фиксации зрения (сведения изображений) необходима информация о дальности, которую ребенок получает путем прикосновений к погремушкам, наблюдения и прикосновений к лицу говорящего, т.е. путем включения и использования других органов чувств и, в первую очередь, осязания. Сведение обеспечивает совпадение областей одинаковых возбуждений в цветовоспринимающих пленках каждого из выделенных слоев нейро-экранов в каждом полушарии и формирование четкой (не размытой) картины контуров возбуждений. Организационная структура анализатора и построителя многоцветных объемных изображений, воспринимаемых мозгом Человека, например, может иметь вид, представленный на Рис. 2-9.

Совпадение частот и фаз опорных микровибраций, например, трех цветов: “к” - красного, “с” - синего и “ж” - желтого, с частотой и фазой микровибраций конкретного пикселя позволяет локализовать пик возбуждения в конкретной пленке и в конкретном слое по глубине, что обеспечивает построение трехмерных цветных картин, одинаковых в каждом полушарии головного мозга. В случае дальтонизма у Человека нарушаются либо функции пленок или связей в нейронных слоях головного мозга, либо функции фоточувствительных нейронов глаз, например, при формировании нервных возбуждений (частотной модуляции). Отсутствие фазовой настройки нервных возбуждений в отдельных пленках и выделенных слоях приведет к “плоскому” восприятию зрительных образов, вследствие чего Человек не будет способен к пространственному видению и инженерной конструкторской деятельности.

Количество пленок-нейросетей и нейросетевых выделенных слоев в коре головного мозга превышает потребности “пространственного видения” и при хорошей освещенности энергия микровибраций фотонейронов достаточна для возбуждения значительного количества выделенных слоев-регистраторов зрительных образов, причем “глубинные” выделенные слои обладают более стабильными настройками-следами образов при “запоминании” и распознавании образов, которые становятся все более “четкими” при многократных восприятиях одного и того же образа (в процессе обучения или трудовой деятельности) и “стираются” со временем, если следы образа не восполняются (не реставрируются) самим Человеком. “Глубинные” выделенные слои коры головного мозга образуют память Человека или так называемый нейро-стек.

Первые несколько выделенных слоев головного мозга, например, до 8-10 выделенных слоев, считая их от внутренних, глубинных, т.е. самых близких к источникам световых, звуковых, вкусовых и др. возбуждений-микровибраций, способны выполнять достаточно сложные линейные и вращательные преобразования настроек-следов образов всех типов в процессе анализа и распознавания воспринимаемых образов. Эти выделенные нейросетевые слои-процессоры выполняют и многие другие преобразования следов образов, в том числе обратные преобразования-возбуждения темнового нейро-экрана (сновидения и грезы), а также реализуют соответствующие логические функции сознания, надсознания и подсознания Человека.

Собственно запоминание конкрентого зрительного образа в самой простой интерпретации заключается в настройке проводимостей дендритов воспринимающих нейронов нейро-экрана и эффекторных уровней нейросетей в соответствующих пленках на восприятие множества i-тых точек контрастных границ контуров различных элементов-объектов зрительного образа в полярных координатах: ri-модуля вектора i-той точки и qi-угла поворота этого вектора относительно вертикали при совмещении центра системы координат с центром центральной области обзора глаз. Контуры таких элементов отслеживаются и распознаются в некоторой последовательности. Например, при взгляде на лицо встречного Человека мы в первые доли секунды исследуем нижнюю часть лица: подбородок и губы, затем верхнюю треть лица, т.е. прическу, лоб и уши, и уже окончательно устанавливаем признак: “Узнаю!” или “Не знаю!” после внимательного взгляда на центральную часть лица: глаза и нос.

На каждом этапе распознавания подсознательно производится отбор возможных знакомых лиц с подобными типами: подбородка и губ, прически, лба и ушей, носа и глаз. Распознавание не зависит от угла видения объекта и размеров его зрительного образа на нейро-экране, поскольку в процессе распознавания, т.е. сравнения со следами образов, производятся аффинные преобразования “увеличения-уменьшения” и “ограниченные повороты” элементов следов образов всех известных объектов.

Преимущественное совпадение элементов следов образов одного их известных объектов со зрительным образом воспринимаемого объекта на нейро-экране воспринимается как ощущение “Узнаю!”. Такие “аффинные и поворотные” преобразования следов образов эквивалентны вычислению круговой свертки-корреляции в полярных координатах точек контуров элементов, воспринимаемого зрительного образа и “эталонных” следов образов, сохраняемых за счет настройки нейросетей. Реально наше зрение воспринимает и распознает зрительные образы лишь при их ограниченном повороте относительно следа эталонного образа, например, в пределах от -45 град. до +45 град. при отсчете углов от вертикали. При повороте на 180 град зрительный образ уже не воспринимается как “подобный” и классифицируется как принципиально другой объект, например известные картинки лиц - перевертышей, литер А, Е и их перевернутых изображений для представления кванторов и др.

Особую роль в восприятии информации о внешнем Мире играет распознавание знаковых зрительных образов, с помощью которых представлены коллективные знания всего Человечества. Это символы алфавитов естественных языков общения, математические знаки и условные обозначения, формирование, распознавание и интерпретация комбинаций которых является важной функцией сознания и надсознания Человека.

Кроме видео-окон на нейро-экране, т.е. в рецепторном слое, имеются также звуковые (аудио) окна в правой и левой височных долях коры головного мозга, а также осязательные и двигательные (способов действий) окна в теменной области правого и левого полушарий. В осязательных окнах кроме тактильных образов формируются вкусовые и обонятельные образы, а также образы ощущений от различных органов тела Человека. Особое место в двигательных окнах нейро-экрана занимают восприятия образов способов действий, т.е. фаз движений руками, ногами, речевым механизмом, всем телом или отдельными его органами.

Обратимся к вопросам анализа и восприятия звуковой информации, которая занимает важную роль в выработке и принятии решений. В коре головного мозга Человека звуковая информация также порождает определенные образы, распределенные в многослойных нейронных структурах, составляющих достаточно четко выделенные аудио-окна общего нейро-экрана. К звуковым образам относятся:

- интонационный звуковой образ;

- речевой звуковой образ;

- музыкальный звуковой образ.

Звуковые образы воспринимаются с большей эмоциональной реакцией, чем зрительные, однако количество получаемой информации в единицу времени на основе звуковых образов оказывается существенно меньшим. Основные знания накапливаются и представляются в знаковых зрительных образах, а формируются и отображаются в речевых звуковых образах.

Определяющее влияние звуковой информации на поведение и координацию движений Человека очевидно из общей блок-схемы головного мозга, в которой аудиорецепторы непосредственно связаны с продолговатым мозгом пространственной координации и средним мозгом оперативного анализа интонационной окраски звуковых образов и стереофонической ориентации. Содержательная обработка, распознавание и классификация речевых и музыкальных звуковых образов и их конструкций производится височными долями коры головного мозга, т.е. в отдельных окнах единого нейро-экрана, представленного сведением (наложением) нейро-экранов левого и правого полушарий головного мозга. Очевидно единство механизмов восприятия и обработки зрительных и звуковых образов, причем “перекрест” слуховых нервов левого уха в височную долю правого полушария коры головного мозга и наоборот, на наш взгляд, осуществляется в среднем мозге, непосредственно воспринимающим интонационные звуковые образы.

Обратим внимание на значительную сложность аудиорецепторов, содержащих наружное, среднее и внутреннее ухо. Они берут на себя значительную долю задач анализа звуковых образов, и в частности задачу спектрального разложения звуковых сигналов. Специальный кортиев орган улитки внутреннего уха находится в жидкости, так называемой эндолимфе, и имеет вид спиральной арфы, содержащей множество волосков различной длины - дендритов чувствительных нейронов, на которых воспринимаются гармоники соответствующих частот от 500 гц до 20 Кгц. Особое значение для жизнеобеспечения приобретает выделение низкочастотных составляющих звуковых образов, свидетельствующих о силе и свирепости внешнего Мира, в том числе и природных явлений. Частоты от 20 гц до 500 гц воспринимаются непосредственно из воздушной среды окончаниями осязательных высокочувствительных нейронов, расположенных в барабанной перепонке среднего уха . Жидкостная среда улитки с арфой представляет собой спектральный анализатор высокочастотных составляющих звукового образа, которые вместе с низкочастотными составляющими передаются в средний мозг и используются для выделения угрожающих и других эмоциональных иероглифов естественного языка интонаций всего живого Мира.

Микровибрации с амплитудным и, возможно, фазовым представлением отдельных гармоник (обертонов) общего спектра звуковых образов от левого и правого уха по своим слуховым и улитковым нервам через средний и продолговатый мозг и очевидно через ряд коммуникационных узлов с перекрестом передаются в височные отделы коры головного мозга для возбуждения в специальных окнах нейро-экрана многослойных стереофонических картин звуковых образов. Структура анализатора звуковых образов имеет также многопленочную и многослойную организацию, подобную представленной на Рис.2-10.

Прежде всего отметим отличия зрительных и звуковых образов в их общей информативности. Если зрительный образ на нейро-экране представляется примерно 140 млн пиксель, то звуковой образ может представляться спектром, например, в 1 тысячу гармоник-обертонов или 1 тысячу пиксель по отношению к нейро-экрану, принимая во внимание самую низкую гармонику f₀ = 20 гц и тысячу обертонов f_i до 20 Кгц. Звуковые образы в нейронных структурах головного мозга фактически запоминаются своими спектрами {f_i}, причем возбуждения от левого и правого уха создают в каждом выделенном слое стереофонический образ звукового сигнала с возможным выделением громкости (силы давления звука), высоты (частоты f_oсн основного тона), окраски (тембра), темпа и интервалов музыкальных звуков, а также пространственного расположения (направления) источника звука. Отдельные пленки нейро-слоев воспринимают “временные фазы” микровибраций обертонов, что обеспечивается задержками в приеме соответствующих составляющих спектра звуковых образов первой и последующими пленками каждого выделенного слоя. В каждой пленке воспринимается спектр “аккорда”, как сочетания музыкальных и других звуков, воспринимаемых в один и тот же момент времени, например текущий момент времени t_k , а в более глубинных пленках воспринимаются звуки-аккорды, звучавшие в прошлые моменты времени t_k-1, t_k-2, ... t_k-j,... t_k-n . Темп передачи “аккордов” из пленки в пленку через некоторые малые интервалы времени d t, возможно с помощью коммуникационных нейронов, зависит от эмоциональной настройки Человека и может отличаться, что обуславливает восприятие и успешное распознавание музыкальных или речевых фраз как в быстром темпе, например “аллегро” или “престо”, так и в медленных: “ларго” или “адажио”. Очень важно накопить в пленках и сформировать такую последовательность спектральных составляющих звуков f_i (t_k), ... f_i (t_k-n), которая соответствовала бы определенной фонеме, те звуковой единице языка речевых образов, для последующего ее распознавания в многопленочных нейросетях соответствующих выделенных слоев звукового окна нейро-экрана.

Височные доли коры не имеют “цветного” деления слоев, но для восприятия звуковых образов как многих аккордов (временных срезов) f_i (t_k-j) всего спектра звуков или как минимум его основного тона f_oсн (t_k-j), в звуковых окнах нейро-экрана используется существенно большее число пленок в каждом выделенном слое, чем при восприятии зрительных образов. Распознавание речевых звуковых образов, и в частности фонем, выполняется первыми выделенными слоями-процессорами на основе сравнения основного тона f_oсн(t_k-j) возбуждаемого образа с настройками следов спектров эталонных образов f_i^s(t_k-j) слов языка общения в эффекторных слоях-уровнях всех пленок нейро-стека в каждом из выделенных слоев, что эквивалентно вычислению взаимной корреляционной функции спектров f_i^s(t_k-j ) и f_oсн (t_k-j) при j=0,1,...n, например как:

значимые значения которой (“узнаю”) формируются с задержкой на некоторое число тактов T_s= 0, d t, 2d t, 3d t, ...nd t, где T_s (n) - некоторое случайное время распознавания (“узнавания”) воспринимаемого спектра звуков (основного тона) f_oсн (t_k-j) относительно сохраняемых в нейро-стеке спектров f_s (t_k-j) следов эталонных образов фонем слогов или слов конкретного русского, английского и/или других языков. Тональная и музыкальная настройка отдельных пленок и выделенных слоев головного мозга на запоминание обертонов f_i (t_k-j) при i=0,1,...m определяется как природными способностями, так и приобретенными настройками в процессе обучения и профессиональной деятельности. Если такие настройки не получены от природы или в процессе обучения, то Человек воспринимает музыкальные звуковые образы лишь эмоционально, не будучи способным отличить, например, звучание отдельных инструментов в оркестре или воспроизвести мелодию. Процесс возбуждения, сравнения и запоминания тысячи ритмично изменяющихся пиксель спектральных составляющих звуковых образов и их конструкций обеспечивается как природными способностями “фазовой” и “темповой” настройки нейро-сетей звукового окна нейро-экрана, так и многократными мысленными повторениями отдельных фрагментов спектров звуков следов речевых или музыкальных образов до автоматизма в реализации их плавного последовательного вызова на нейро-экран.

В особые моменты отдельные впечатлительные люди могут произвести смещение или перенос звуковых образов в другие окна нейро-экрана и “увидеть” миражное цветное или черно-белое зрительное сопровождение, например, музыкального произведения. Такие видения-грезы в виде эмоциональных и достаточно сильных (ярких) возбуждений отдельных окон нейро-экрана характерны для всего живого Мира. Многим известно появление и продолжительное мысленное звучание навязчивого мотива или какой-нибудь навязчивой фразы, которые не требуют никаких усилий от Человека, поскольку они записаны в глубинных выделенных слоях височных долей головного мозга как фрагменты f_i^s(t_k-j) при i=0,...m; j=0,...n. Мысленное “считывание и проигрывание” любимых мелодий настраивает Человека на ритмическую работу и помогают замедлить наступление усталости. Прекрасным обычаем является мелодичное пение в процессе раздумий или напряженной работы. Удивительно непринужденно текут рассказы и песни многих сказительниц и гусляров, причем слепые могут использовать большую часть нейро-экрана и связанной с ним памяти для хранения и ассоциативной обработки звуковых образов. Совершенно феноменальными оказываются интеллектуальные способности запоминания и мысленного воспроизведения музыкальных и речевых не только конструкций звуковых образов, но и целых произведений, и даже Библиотек произведений.