Нейронные сети для обработки тестовых данных

Размещено на http://www.allbest.ru

НЕЙРОННЫЕ СЕТИ ДЛЯ ОБРАБОТКИ ТЕСТОВЫХ ДАННЫХ

Рязань 2009

УДК 681.515

Нейронные сети для обработки тестовых данных. Практикум. / И.С. Маркова, М.П. Булаев, А.Н. Кабанов. - Рязанский государственный медицинский университет, 2009. - с.

Рецензенты:

д.т.н., профессор Рязанской государственной радиотехнической академии Г.И. Нечаев;

к.т.н., доцент Рязанской государственной радиотехнической академии Ю.И. Малинин.

Содержит основные теоретические положения решения задач по обработке тестовых данных в условиях неопределенности с помощью нейронных сетей. Алгоритмы, рассмотренные в лабораторном практикуме, доведены до получения численных результатов с использованием современных компьютерных пакетов. Руководство предназначено для студентов специальностей 030302, 230201.

Руководство также может быть полезно всем, кто самостоятельно желает изучить вопросы организации диалоговых процедур при обработке тестовых данных в условиях неопределенности.

Печатается по решению Учебно-методического Совета Рязанского государственного медицинского университета им. акад. И.П.Павлова.

ВВЕДЕНИЕ

Цели и задачи практикума

Нейронным (или нейросетевым) алгоритмом будем называть вычислительную процедуру, основная часть которой может быть реализована в виде нейронной сети той или иной структуры. Цель практикума дать представление о нейросетевых алгоритмах решения различных математических задач, связанных с обработкой тестовых данных в условиях неопределенности. Специфика тестовых задач заключается в необходимости кластеризации исходных тестовых данных при заранее не известном числе классов разбиения, затем обработке однородных групп с сильно коррелированными параметрами. При этом проблема устойчивости результатов анализа из-за сильной коррелированности параметров выдвигается в число важнейших. Глубокое изучение всех тем позволит читателю осознанно применять имеющиеся и создавать новые алгоритмы устойчивого анализа данных с помощью нейросетевых алгоритмов.

В практикуме рассматриваются важнейшие темы для специалиста по обработке тестовых данных в условиях неопределенности:

· Искусственные нейронные сети. Основы описания многомерных тестовых данных (глава 1);

· Обучение сети (глава 2);

· Многомерная кластеризация (глава 3);

· Построение области допустимых изменений параметров (области работоспособности) однородных групп (глава 4);

· Модели регрессии при наличии сильной корреляции независимых факторов и наличии аномальных результатов измерения (глава 5);

· Определение главных компонент дискретного конечного множества элементов. Выбор центров кластеризации на основе метода оптимума номинала (глава 6);

· Адаптивный итеративный метод восстановления входного сигнала измерительной системы (глава 7);

· Hейронная сеть Хопфильда (глава 8);

· Нечеткие нейронные сети (глава 9).

В соответствиями с современными компьютерными технологиями в лабораторном практикуме большое внимание уделено вопросам визуализации результатов адаптивной обработки тестовых данных.

ГЛАВА 1. ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ. ОСНОВЫ ОПИСАНИЯ МНОГОМЕРНЫХ ТЕСТОВЫХ ДАННЫХ

1.1 Понятие искусственного нейрона

Искусственный нейрон можно представить в виде рис. 1.

Рис. 1 Искусственный нейрон

Где F - функция активации, y = F(d)

Виды F:

1. Линейная функция активации F(d)=K·d;

2. Сигмоидальная (S-образная) функция

a) Логистическая функция. Эта функция математически выражается как



б) Гиперболический тангенс нейронный сеть дискретный множество

3. Релейная характеристика функции активации

1.2 Искусственные нейронные сети

@ Будучи соединенными определенным образом, нейроны образуют нейронную сеть. Любая нелинейная функция с конечным числом разрывов может быть аппроксимирована с помощью большого количества нейронов.

Однослойные искусственные нейронные сети

Многослойные искусственные нейронные сети

Любая многослойная нейронная линейная сеть может быть заменена эквивалентной однослойной сетью. Однако однослойные сети ограничены

по своим вычислительным возможностям. Для расширения возможностей сетей по сравнению с однослойными сетями необходима нелинейная функция активации. Сети более общего вида, имеющие соединения от выходов к входам, называются сетями с обратными связями.

1.3 Основы представления многомерных данных

1.3.1 Упорядоченные множества элементов. Структура и способы представления многомерных матриц

Наряду с понятием множества как совокупности неупорядоченных элементов важным понятием является понятие упорядоченного множества элементов. Многомерной матрицей (ММ) называется упорядоченная совокупность многоиндексных элементов _i1i2…i, где i = 1,2,…n; . Целые положительные числа , N_A = n₁n₂…n, n называются соответственно размерностью матрицы А, размером матрицы А, размером индекса i. Размерность показывает число индексов в обозначении элементов _i1i2…i матрицы. Размер N_A матрицы А указывает общее число элементов матрицы. Размер индекса n показывает, сколько значений (от 1 до n) пробегает соответствующий индекс.

Структура многомерных матриц определяется структурой их индексов. Структура индекса может быть столбцовой или строчной. Индексы, имеющие, например, строчную структуру (строчные индексы), показывают положение элементов внутри какого-либо столбца. При индексном представлении элементов матрицы целесообразно ставить знак «+» или «-» соответственно над столбцовым или строчным индексом. Например, d_i⁺_j^- - элементы обычной двухмерной (плоской) матрицы. Общее представление многомерной матрицы А имеет вид А = А(p,q), где р - число столбцовых индексов, q - число строчных индексов. Для получения индексного представления многомерной матрицы вводится помечивание индексов. Пометка начинается с последнего индекса, который при q0 принимается за строчный. Далее столбцовые и строчные индексы чередуются до тех пор, пока один из видов индексов не исчерпывается. При pq все оставшиеся индексы принимаются за столбцовые, при pq - за строчные. Числа p и q в сумме дают размерность матрицы А: p+q = . Если матрица А является функциональной, например зависит от времени t, от пространственных координат x, y и т.д., то структурные числа p и q следует отделять от аргументов точкой с запятой, например A = A(p,q;t,x,y). Для наглядного представления многомерной матрицы используют табличное представление. Табличное представление многомерной матрицы - это блочно-иерархическая таблица, отображающая на плоскости структуру матрицы и численные значения элементов. Иерархия согласована с иерархией индексов таким образом, что крайним левым индексам соответствуют наиболее крупные блоки. При этом столбцовые индексы изменяются в столбцах, а строчные - в строках. Примеры представления многомерных матриц приведены в таблице 1.1.

Таблица 1.1

Общее представление	Индексное представление	Табличное представление
А(0,1)	{ai-} i =	i=1 i=2 a1 a2
А(1,2)	{бi-j+k-}= i, j, k =	i=1 i=1 i=2 i=2 k=1 k=2 k=1 k=2 j=1 a111 a112 a211 a212 j=2 a121 a122 a221 a222

j = 1	j = 2
3	2
7	4

1.3.2 Структурное преобразование массивов данных

1.3.2.1 Преобразование старшинства индексов

(p - столбцовый индекс, q - строчный индекс)

A(p,q)==

		j=1	j=2
		l=1	l=2	l=1	l=2
i=1	k=1	1	2	3	4
	k=2	5	6	7	8
i=2	k=1	9	10	11	12
	k=2	13	14	15	16

A1(p,q)==

		l=1	l=2
		j=1	j=2	j=1	j=2
k=1	i=1	1	3	2	4
	i=2	9	11	10	12
k=2	i=1	5	7	6	8
	i=2	13	15	14	16

1.3.2.2 Аналитическое преобразование старшинства индексов

C(p,p)*A(p,q)*C1(q,q)

C(p,p)= {}

Столбцовые индексы матрицы С располагаются в новой последовательности. Строчные индексы остаются в той последовательности, в которой они были в исходной матрице А.

C(p,p)= {}=

		i=1	i=2
		k=1	k=2	k=1	k=2
k=1	i=1	1	0	0	0
	i=2	0	0	1	0
k=2	i=1	0	1	0	0
	i=2	0	0	0	1

C1(q,q)=

(Столбцовые индексы идут в той последовательности, как они были в исходной матрице А; а строчные - так как необходимо).

C1(q,q)= =

		l=1	l=2
		j=1	j=2	j=1	j=2
j=1	l=1	1	0	0	0
	l=2	0	0	1	0
j=2	l=1	0	1	0	0
	l=2	0	0	0	1

В итоге получаем:

ГЛАВА 2. ОБУЧЕНИЕ СЕТИ

2.1 Постановка задачи обучения сети с учителем

Когда в сети только один слой, алгоритм ее обучения с учителем довольно очевиден, так как правильные выходные состояния нейронов единственного слоя заведомо известны и подстройка синаптических связей идет в направлении, минимизирующим ошибку на выходе сети. Согласно методу наименьших квадратов, минимизируемой целевой функцией ошибки НС является величина:

,

где - реальное выходное состояние нейрона j выходного слоя N нейронной сети при подаче на ее входы p-го образа; d_j,p - идеальное (желаемое) выходное состояние этого нейрона.

Суммирование ведется по всем нейронам выходного слоя и по всем обрабатываемым сетью образам. Минимизация ведется методом градиентного спуска, что означает подстройку весовых коэффициентов следующим образом:

.

Здесь щ_ij - весовой коэффициент синаптической связи, соединяющей i-ый нейрон слоя n-1 с j-ым нейроном слоя n, з- коэффициент скорости обучения, 0< з <1.

2.2 Минимизация многомерной функции на основе метода Давидона-Флетчера-Пауэлла

Процесс управления предполагает изменение некоторых управляемых величин. Оптимальное управление требует при этом, чтобы некоторая целевая функция (ее также называют критерием или показателем качества) принимала максимальное или минимальное значение. В общем случае целевая функция зависит от многих параметров:

Ф = Ф(X₁,X₂,…,X_n). (6)

Определение оптимального управления сводится к поиску такого набора численных значений переменных, при котором функция Ф достигает экстремального значения. Для определенности будут рассматриваться только минимумы функции (1.2.1).

Функцию можно задавать в виде точного описания последовательности операций над численными значениями переменных X₁,X₂,…,X_n. Функция должна обладать свойством однозначности, т.е. при любом наборе численных значений X₁,X₂,…,X_n принимать только одно значение.

Будем считать набор численных значений X₁,X₂,…,X_n координатами некоторой точки n-мерного пространства, которую можно представить вектором . Для такой точки можно подсчитать значения функции . выделим из совокупности точек n-мерного пространства те точки, которым соответствуют равные значения функции , где Ф₀ - некоторое численное значение. Геометрическое место точек с равными значениями функции называют поверхностью равного уровня. Изменив уровень Ф₀ функции, получим другую поверхность равного уровня, причем различные поверхности равных уровней вложены одна в другую, но нигде не соприкасаются. Отсутствие общих точек у этих поверхностей непосредственно следует из свойства однозначности функции.

Градиентом функции будем называть вектор

, (.7)

где частные производные функции вычислены в точке . В n-мерном пространстве градиент направлен перпендикулярно (нормально) к поверхности равного уровня в точке и указывает направление наискорейшего возрастания функции. Противоположный по направлению вектор , называемый антиградиентом, дает направление наискорейшего убывания функции. В различных методах поиска минимума функции можно выделить два основных этапа: определение направления и минимизацию функции в этом направлении. Методы минимизации многомерных функций различаются способами реализации этих этапов. В одних методах векторы направлений наперед заданы (координатный спуск в методе Гаусса-Зейделя), а в других выбор направления зависит от поведения функции, как, например, в рассматриваемом градиентном методе Давидона-Флетчера-Пауэлла (ДФП). Второй этап - минимизация функции в выбранном направлении - представляет собой одномерный поиск и наиболее трудоемкую часть процесса. Рассмотрим теперь подробнее градиентный метод ДФП.

Исходные данные: начальная точка поиска , градиент функции , градиент функции в начальной точке нормируется по уравнению

,

где ; .

Начальная матрица nЧn, равная единичной матрице, H(1,1) = E[1,1]; е - коэффициент, задающий точность одномерного поиска; Д - точность поиска минимума функции.

1. Вычисляем вектор направления (.8)

2. Формируем вектор , (.9)

и, изменяя параметр б, проводим в направлении одномерный поиск минимума функции. По его результатам определяем положение оптимальной конечной точки на этом направлении:

; .

Начальное значение шага одномерного поиска б₀ принимается равным 1, если выполняется условие , иначе величина уменьшается. Регулировка масштаба одномерного поиска заложена в формуле (6.8), так как величина модуля зависит от модуля градиента и по мере приближения к минимуму функции неограниченно убывает. Уменьшение шага поиска по мере приближения к минимуму многомерной функции является необходимым, иначе трудно будет достаточно точно определить координаты этого минимума.

3. Вычисляем градиент и приращение градиента

(.10)

3. Находим новую матрицу по рекуррентной формуле

(.11)

5. Переходим на этап 1 с новыми начальными условиями.

Отметим некоторые вычислительные особенности метода ДФП. Метод подвержен накоплению ошибок, вследствие чего рекомендуется время от времени «забывать» накопленную информацию и начинать вычислительный процесс заново. Для этого необходимо предусмотреть «обновление» расчетов. Оно заключается в замене с некоторой периодичностью (обычно через n или 2n итераций) текущей матрицы единичной матрицей . При обновлении на каждой итерации метод ДФП превращается в метод наискорейшего спуска.

При расчете на ЭВМ первая производная функции по некоторому параметру X_i заменяется первой разделенной разностью

, (.12)

где X₁, X_i, X_n - координаты точки , в которой вычисляется производная.

Для метода ДФП рассматриваются 2 варианта реализации, которые различаются только методами одномерного поиска. В первом варианте применяется метод золотого сечения, во втором - квадратичная аппроксимация. Рассмотрим кратко эти методы.

Сокращение интервала неопределенности методом золотого сечения

Название метода указывает на его связь с золотым делением отрезка, т.е. таким делением отрезка на две неравные части на X и Y (X>Y), при котором

, где .

Для нахождения минимума функции необходимо прежде всего определить интервал неопределенности, т.е. отрезок на прямой, внутрь которого попадает точка X_m с минимальным значением функции Ф(X_m). Для ускорения поиска на этапе выделения интервала неопределенности необходимо ввести переменный шаг в (6.9):

; б_-1 = 0; б₀ = 1, (.13)

если при этом происходит убывание функции.

На рис. 6.1 изображена последовательность точек б₀, б₁, б_2, полученная согласно алгоритму (.13).

Рис. 6.1. Последовательность точек б

Из рисунка видно, что интервал неопределенности лежит между точками б₀ и б₂. Выберем новую точку б₃ так, чтобы получить золотое сечение интервала неопределенности (рис. 6.2).

Рис. 1.2.2. Сокращение интервала неопределенности

Вычислительный процесс сокращения интервала необходимо продолжить, пока не будет выполнено условие одномерного поиска

, (6.14)

где - два последних значения значений функции, - коэффициент, задающий точность одномерного поиска.

Сокращение интервала неопределенности методом квадратичной аппроксимации

В основе метода лежит аппроксимация функции Ф() квадратичным полиномом. Для ускорения поиска на этапе выделения интервала неопределенности необходимо ввести, как и ранее, переменный шаг _i в (6.9):

; (6.15)

₀ = 1, если при этом происходит убывание функции, _-1 = 0, - коэффициент, численное значение которого в начале одномерного поиска равно нулю, а затем возрастает на 1 через каждые R шагов. Пусть произведены измерения функции в точках ₀, ₁, ₂ согласно алгоритму. Интервал неопределенности лежит между точками ₀ и ₂ (рис. 6.1). Для сокращения интервала заменяем реальную функцию Ф() аппроксимирующей функцией Ф_апр(), которая проходит через те же точки ₀, ₁, ₂, Ф_апр()=a²+b+c и имеет координату минимума _опт=-b/(2a). Связывая неизвестные коэффициенты a, b, c со значениями ₀, ₁, ₂ и Ф(₀), Ф(₁), Ф(₂) получаем расчетную формулу:

. (6.16)

Причем точка ₃=_опт (рис. 6.2) попадает внутрь интервала неопределенности ₂ - ₀.

Новый интервал неопределенности уменьшился и стал равным ₂ -₁. Вычислительный процесс сокращения интервала необходимо продолжить, пока не будет выполнено условие одномерного поиска (6.14).

Среди алгоритмов, использующих информацию о градиенте, наиболее распространенными являются квазиньютоновские. В этих (итерационных) алгоритмах целевая функция в окрестностях произвольной точки аппроксимируется квадратичной функцией, при этом на каждой итерации решается задача локальной минимизации

,

где H - симметричная и положительно определенная матрица вторых частных и смешанных производных (матрица Гессе, или гессиан), с - постоянный вектор, b - константа.

Оптимальное решение приведенной задачи соответствует нулевым значениям первых производных, то есть

откуда .

Ньютоновские алгоритмы (в отличие от квазиньютоновских) непосредственно вычисляют Н (как отмечалось, прямое вычисление матрицы Н требует больших вычислительных затрат) и осуществляют движение в рассчитанном на очередной итерации направлении уменьшения целевой функции до достижения минимума (с использованием методов одномерного поиска). В квазиньютоновских алгоритмах такое вычисление не производится, а используется некоторая аппроксимация Н.

Среди подобных алгоритмов одним из наиболее популярных и используемым в пакете Optimization Toolbox является так называемый BFGS-алгоритм, получивший свое название по фамилиям предложивших его авторов (Broyden, Fletcher, Goldfarb, Shanoo), в котором аппроксимация Н производится итерационно, по формуле

,

где , .

Заметим, что наиболее удобно иметь аппроксимацию не матрицы Н, а обратной к ней матрицы Н^-1, приведенное рекуррентное соотношение подобную замену допускает, при этом сам алгоритм становится практически идентичным хорошо известному отечественным исследователям алгоритму Давидона-Флетчера-Пауэлла, за тем исключением, что в последнем векторы q заменены на векторы s и наоборот.

Именно такие алгоритмы являются основой численных методов, заложенных в распространенные математические пакеты прикладных программ (MS Excel, Mathcad, Mathlab и т.д).

Блок-схема алгоритма минимизации функции многих переменных метода Давидона-Флетчера-Пауэлла приведена на рис. 6.3.



Рис,6,3, Блок-схема алгоритма метода Давидона-Флетчера-Пауэлла

2.3 Минимизация многомерной функции при наличии линейных ограничений на основе метода Давидона-Флетчера-Пауэлла

Имеются ограничения:

Ранее (без ограничений) матрица была единичной, теперь она рассчитывается:

2.4 Учебный пример №1

2.4.1 Минимизация многомерных гладких функций

1. Перед выполнением учебных примеров необходимо изучить теоретический материал.

2. Открыть программу lor2a.exe - ”Минимизация функции многих переменных (демонстрационная программа)”. Диалоговое меню программы имеет следующие пункты:

1. Просмотр функции в целом (для всех вариантов она имеет вид

F=(x₁²+x₂-11)²+(x₁+x₂²-7)²).

2. Просмотр функции по квадрантам.

3. Метод золотого сечения.

4. Метод квадратичной аппроксимации

5. Задание/снятие ограничений.

Просмотреть график функции (с линиями уровня) целиком и по квадрантам. Записать координаты начальной точки в тетрадь (в частности, для 1 варианта это x₁=-3,4 и х₂=-3,7), которую можно просмотреть ближе, записав указанный квадрант. Уточнить координаты точки двумя методами: золотого сечения и квадратичной аппроксимации. Координаты минимума, полученные обоими методами (без задания ограничений), равны: х₁ = -3,779, х₂ = -3,283. Можно просмотреть направление движения точки по графику, выбрав соответствующий пункт меню. В тетрадь записать координаты точки минимума, количество итераций, за которое достигнуто решение и оптимальное значение Alpha.

Далее накладывается ограничение на направление поиска минимума (для всех вариантов оно различно, в частности, для первого варианта имеет вид: -2х₁ - 3х₂+5=0). Начальные значения координат точки минимума х₁=-4, х₂=4,3. Зарисовать в тетради направление движения точки по графику. Вдоль данного направления координаты точки минимума имеют значения: х₁ = -2,557, х₂ = 3,371, (метод золотого сечения дает этот результат после 2-ой итерации, при б = 0,002, метод квадратичной аппроксимации после 3-ей итерации при б = 0,82).

3. Открыть программу lor4.exe. -”Минимизация многомерной функции. Реализация градиентного метода”.

Диалоговое меню:

1. вычисление F(x1, x2);

2. Grad;

3. нормирование градиента;

4. формирование вектора положения;

5. выход.

Все данные заносить в таблицу, вид который предложен в самой программе. Значения F1 и F2 получаются из значений нормированного градиента, взятых с противоположным знаком. Для взятой произвольно начальной точки х₁=4, х₂=3, градиентный метод дает следующие результаты:

X1	X2	Alpha	F(x1,x2)	Grad F	F1	F2
4	3	0	105,5014	61,043; 27,426	-0,137	-0,061
3,863	2,939	1	95,7047	58,150; 26,086	-0,133	-0,060
3,597	2,819	2	78,0116	52,523; 23,476	-0,125	-0,055
3,222	2,654	3	56,2257	44,620; 19,820	-0,114	-0,051
2,766	2,450	4	34,4881	34,985; 15,354	-0,101	-0,044
2,261	2,230	5	16,6662	24,360; 10,443	-0,088	-0,037
1,733	2,008	6	4,9695	13,307; 5,353	-0,074	-0,030
1,215	1,798	7	0,2662	2,52; 0,404	-0,064	-0,010
0,703	1,718	8	1,6029

Видно, что минимум функции равен 0,22662 в точке (1,215; 1,798) при alpha равном 7. Результат достигнут на седьмой итерации, но если процесс поиска минимума затянулся, то через 5 шагов alpha можно увеличивать вдвое. Построить график зависимости F=F(б).

4. Открыть программу lor.exe -”Программа минимизации функции многих переменных”.

Система меню ориентирована на реализацию всех этапов минимизации многомерной функции методом ДФП, который может использоваться для численной реализации других методов: координатного спуска в методе Гаусса-Зейделя, наискорейшего спуска и других градиентных методов.

1. Вычисление функции F(X₁, X₂) (в лабораторной работе только для простоты выполнения и наглядности визуализации исходных данных и результатов оптимизации число переменных n в целевой функции берут равным двум).

2. Вычисление GRAD(X₁, X₂) (реализация выражения (6.7)).

3. Нормирование градиента (осуществляется лишь в начальной точке поиска минимума, при дальнейших операциях эта итерация может опускаться).

4. Вычисление вектора направления (реализация выражения (6.8)).

5. Формирование вектора положения (реализация выражения (6.9)).

6. Сокращение интервала неопределенности методом золотого сечения (реализация выражения (6.13)). При выполнении данной операции, если не соблюдается условие , принять и так до тех пор, пока не произойдет убывание функции.

7. Золотое деление отрезка (деление отрезка на две неравные части X и Y (X>Y)), при котором , где .

8. Вычисление вектора направления на второй и последующих итерациях (реализация последовательно выражений (6.11), (6.8)).

9. Поиск интервала неопределенности методом квадратичной аппроксимации (реализация выражения (6.15)). Рекомендации по выбору б те же, что и в меню под номером 6.

10. Определение координаты минимума в методе квадратичной аппроксимации (реализация выражения (6.16)).

11. Построение графика функции (Х₂ - ордината, Х₁ - абсцисса).

12. Завершение работы.

Записать координаты начальной точки в тетрадь и начертить таблицу, как в программе lor4.exe.Проделать 2 итерации по поиску минимума функции (первые пять пунктов, т.е., alfa при этом равны 0 и 1 соответственно). Для дальнейшего определения значения alfa перейти к <6> пункту. Найти alfa по предлагаемой формуле и высчитывать далее по первым пяти пунктам вектор положения с учетом нового значения alfa. После нахождения точки минимума методом золотого сечения перейти ко второму методу. Для этого начертить еще одну такую же таблицу, переписать туда результаты первых двух итераций и перейти к пункту <9> для определения значения alfa, далее продолжить работу по пяти пунктам и по <9> пункту.

5.Открыть программу lor5.exe - ”Программа минимизации функции многих переменных (со сбойными результатами)”.

Диалоговое меню программы имеет вид, как и у lor4.exe. Начертить в тетради исходную таблицу. Для начальной точки взять такие же координаты, как и в программе lor4.exe. Найти координаты точки минимума. При вычислении функции F убедиться, что налицо сбойный результат (при x₁=4, x₂=3 значение F = 34684,888). При выполнении работы сбой постепенно ликвидируется, но результат будет достигнут за большее количество шагов (для уменьшения количества итераций целесообразно использовать рекомендации по изменению б из предыдущего пункта). Построить график зависимости F=F(б).

6. Открыть программу lor6.exe - ”Программа минимизации функции многих переменных без сбойных результатов. Адаптация”.

Диалоговое меню программы имеет вид, как и у lor4.exe. Начертить в тетради исходную таблицу и найти координаты точки минимума (начальные данные такие же, как и в предыдущей программе). Сравнить результаты 5-ой и 6-ой программ. Построить график зависимости F=F(б).

Отметим, что использованные в программе алгоритмы минимизации многомерных функций являются стандартными и применяются во всех известных математических пакетах, разработанных в Windows (Excel, MathCad, MathLab, Mathematica и другие).

Одним из самых распространенных и наиболее популярных в вузовской среде является пакет Microsoft Excel, обладающий удобным и понятным интерфейсом, подробной справочной системой, мощным инструментарием и множеством математических функций.

2.4.2 Минимизация многомерных негладких функций

Метод Симплекс-планирования

Симплекс-планирование проведем в многомерном пространстве.

Симплекс - это множество (k+1) точек, образующих выпуклую фигуру в k-мерном пространстве.

,

,

Пример, k=2

=0.866

=0.5

х1	х2
0,866	0,5
-0,866	0,5
0	1



Оптимизация:

1. Реализация плана.

2. Отбрасываем вершины симплекса с максимальным значением.

3. построение на оставшейся грани нового симплекса, у которого отброшенная вершина заменена ее зеркальным отображением.

Координаты новой точки находятся по формуле:

Опять находим максимальное значение, отбрасываем его.

Достоинства метода:

o Число необходимых опытов при определении направления движения мало по сравнению с другими методами.

o Малый объем вычислений.

o Ограничения на область изменения факторов легко учитываются при движении симплекса.

o Если новые вершины выходят за пределы допустимой области, то выбирают вершину, следующую за наихудшей вершиной симплекса.

o При достижении области оптимума размеры симплекса уменьшают на ј начальной величины.

Критерии остановки:

Пример реализации метода

X1	X2	F[x1,x2]
0.0866 -0.0866 0	0.05 0.05 -0.1	5.2091 6.2309 6.62
0 0.0866 -0.0866	0.2 0.05 0.05	4.88 5.2091 6.2309
0.1732 0 0.0866	0.2 0.2 0.05	3.9701 4.88 5.2091
0.0866 0.1732 0	0.35 0.35 0.2	2.9031 3.7010 3.9701
0.1732 0.2598 0.0866	0.5 0.35 0.35	2.6940 2.9031 3.7010
0.3464 0.1732 0.2598	0.5 0.5 0.35	2.0080 2.6940 2.9031
0.2598 0.3464 0.1732	0.65 0.5 0.5	1.8589 2.0080 2.6940
0.433 0.2598 0.3464	0.65 0.65 0.5	1.2849 1.8589 2.0080
0.3464 0.433 0.2598	0.8 0.65 0.65	1.1958 1.2849 1.8589
0.5196 0.3464 0.433	0.8 0.8 0.65	0.7337 1.1958 1.2849
0.433 0.5196 0.3464	0.95 0.8 0.8	0.7047 0.7337 1.1958
0.6062 0.433 0.5196	0.95 0.95 0.8	0.3545 0.7047 0.7337
0.5196 0.6062 0.433	1.1 0.95 0.95	0.3855 0.3545 0.7047
0.6928 0.6062 0.5196	1.1 0.95 1.1	0.1473 0.3545 0.3855
0.7794 0.6928 0.6062	0.95 1.1 0.95	0.1244 0.1473 0.3545

Содержание отчета по учебному примеру№1:

1. Краткое описание алгоритма минимизации функции многих переменных.

2. Результаты поиска минимума функции многих переменных.

3. Выводы.

2.5 Учебный пример №2

Моделирование на НС нелинейной функции.

а) создать и обучить нейронную сеть выполнению операции: y=x₁^2+x₂

Исходные данные:

X1	X2	Y
1	-2	-1
0,5	0	0,25
0	0,5	0,5
1	1	2

Возьмем нейронную сеть вида:

Подстройка параметров нейронной сети произведем с помощью MS Excel.

Введем параметры W₁₁, W₁₂, b₁, W₂₁, b₂ случайным образом.

Для нахождения f1 в ячейку I2 введем функцию =A2*$D$2+B2*$E$2+$F$2

В ячейку J2 введем логистоническую функцию в виде функции =1/(1+EXP(-I2)).

Для получения реального выхода нейрона необходимо полученное значение домножить на W₂₁ и прибавить b₂, для этого в ячейку K2 введем функцию =J2*$H$2+$G$2. Ошибка - разность желаемого и реального выходов. Сумма квадратов ошибок будет являться критерием поиска подстраиваемых параметров нейронной сети. В меню Сервис\Поиск решения проводим минимизацию критерия, путем подбора весовых коэффициентов.

б) реализовать булевы функции с помощью нейронных сетей.

Нейронная сеть:

Реализуем булеву алгебру с помощью этой нейронной сети.

1) реализация операции И:

Поиск решения:

2) реализация операции ИЛИ:

Поиск решения:



Поиск решения:

в) Рекуррентная процедура оценки параметров на скользящем постоянном интервале.

Пример реализации на основе нейронной сети:

№		x1	x2	x3	x4	x5	Y
1	0,1	0,099833	0,198669	0,29552	0,389418	0,479426	0,564642
2	0,2	0,198669	0,29552	0,389418	0,479426	0,564642	0,644218
3	0,3	0,29552	0,389418	0,479426	0,564642	0,644218	0,717356
4	0,4	0,389418	0,479426	0,564642	0,644218	0,717356	0,783327
5	0,5	0,479426	0,564642	0,644218	0,717356	0,783327	0,841471
6	0,6	0,564642	0,644218	0,717356	0,783327	0,841471	0,891207
7	0,7	0,644218	0,717356	0,783327	0,841471	0,891207	0,932039
8	0,8	0,717356	0,783327	0,841471	0,891207	0,932039	0,963558
9	0,9	0,783327	0,841471	0,891207	0,932039	0,963558	0,98545
10	1	0,841471	0,891207	0,932039	0,963558	0,98545	0,997495
11	1,1	0,891207	0,932039	0,963558	0,98545	0,997495	0,999574
12	1,2	0,932039	0,963558	0,98545	0,997495	0,999574	0,991665
13	1,3	0,963558	0,98545	0,997495	0,999574	0,991665	0,973848
14	1,4	0,98545	0,997495	0,999574	0,991665	0,973848
15	1,5	0,997495	0,999574	0,991665	0,973848	0
16	1,6	0,999574	0,991665	0,973848	0	0
17	1,7	0,991665	0,973848	0	0	0
18	1,8	0,973848	0	0	0	0
w1	-0,39993
w2	-0,10553
w3	0,191922
w4	0,490453
w5	0,78808
Y аппроксимирующ	ВВ=Y-Yаппрок		ВВ^2
0,564642	2,79E-07		7,77E-14
0,644217	3,05E-07		9,28E-14
0,717356	3,28E-07		1,07E-13
0,783327	3,47E-07		1,21E-13
0,841471	3,63E-07		1,32E-13
0,891207	3,76E-07		1,41E-13
0,932039	3,85E-07		1,48E-13
0,963558	3,9E-07		1,52E-13
0,985449	3,91E-07		1,53E-13
0,997495	3,88E-07		1,51E-13
0,999573		Сумма	1,28E-12
0,991664
0,973847

г) НС с радиальными базисными функциями

Аппроксимировать функцию: f(x)=0.5*x+2*x²-x³.

Функция активации: .

Возьмем 9 функций активации.

МС={-0.8; -0.6; -0.4; -0.2; 0; 0.2; 0.4; 0.6; 0.8}. у =0.5.

Реализуем сеть

YA=w1*exp[-(-0.8-x)²/0.5]+w2*exp[-(-0.6-x)²/0.5]+…+w9*exp[-(0.8 - x)²/0.5].

Сервис, Поиск решения, находим минимум критерия.

Получаем:

X	Y	Е	у		YA	(Y-YA)2
-1	2,5	-0,8	0,5		2,465909	0,001162
-0,9	1,899	-0,6			2,032523	0,017828
-0,8	1,392	-0,4			1,372577	0,000377
-0,7	0,973	-0,2			0,851773	0,014696
-0,6	0,636	0			0,505861	0,016936
-0,5	0,375	0,2			0,295209	0,006367
-0,4	0,184	0,4			0,176125	6,2E-05
-0,3	0,057	0,6			0,11633	0,00352
-0,2	-0,012	0,8			0,095093	0,011469
-0,1	-0,029				0,100297	0,016718
0	0				0,125733	0,015809
0,1	0,069				0,169236	0,010047
0,2	0,172				0,231532	0,003544
0,3	0,303				0,315521	0,000157
0,4	0,456				0,425641	0,000922
0,5	0,625				0,566857	0,003381
0,6	0,804				0,742519	0,00378
0,7	0,987				0,949963	0,001372
0,8	1,168				1,172819	2,32E-05
0,9	1,341				1,372113	0,000968
1	1,5				1,494941	2,56E-05
						Сумма
w1	0,071305					0,129163
w2	-0,68783
w3	1,441818
w4	0,396578
w5	-0,65029
w6	-0,45863
w7	0,368084
w8	-0,07066
w9	-0,48776

График Y и (Y-YA)².

д) Обобщенная структура радиальной сети:

Функция 2-х переменных f(x₁,x₂).

X1	X2	Y
0	1	1
1	0	1
0	0	0
1	1	0

Исходные элементы линейно не отделены:



E²=(Y-f(x₁,x₂))²;

YA=W₁*ц₁+W₂*ц₂.

Y=ЕСЛИ(YA<0,4;1;0).

X1	X2	Fi1	Fi2	YA		E2	Y
0	1	0,367879	0,367879	0,295762		0,495951	1
1	0	0,367879	0,367879	0,295762		0,495951	1
0	0	0,135335	1	0,456384		0,208287	0
1	1	1	0,135335	0,456384		0,208287	0
						Сумма
						1,408476
X11	X12	X21	X22	W1	W2
1	0	1	0	0,401982	0,401982

Содержание отчета по учебному примеру№2:

1. Краткое описание алгоритма обучения нейронных сетей с гладкими функциями активации.

2. Результаты обучения.

3. Выводы.

Лаб.раб.- получение тестовых данных -”Тест”.

ГЛАВА 3. МНОГОМЕРНАЯ КЛАСТЕРИЗАЦИЯ

Предположим, что рассматриваемая совокупность случайной величины Х неоднородна (рис.5.1) и в нее входят, например, три группы совокупностей случайной величины с существенно различными параметрами распределений (математическим ожиданием и средним квадратическим отклонением).

Рис. 5.1. Кластеризация однородных групп

Истинные зависимости y=y(x) для этих групп совокупности показаны на рис. 5.1. Там же пунктиром показана линия регрессии y на x, построенная для совокупности всех групп. Таким образом, обработка неоднородной совокупности теми же методами, какие применимы для однородных, могут привести к серьезным ошибкам. Рассмотрим два подхода к кластеризации: на основе разбиения графа и на основе гистограммного метода.

3.1 Разбиение дискретного конечного множества элементов на основе кратчайшего остовного дерева

3.1.1 Задача дискретной математики о разбиении множества

Первичные данные, сведенные в таблицу ”Объект - свойство” часто бывают необозримыми, и непосредственно формирование отношений между объектами практически невозможно. Определение связей между объектами сильно облегчается, если исходное множество всех объектов удается описать более кратким способом, чем перечисление всех объектов со всеми их свойствами. Наиболее распространенный способ сокращения описания связан с разделением множества М объектов таблицы на небольшое число групп, связанных друг с другом каким-нибудь закономерным свойством. Обычно в качестве такого свойства используется ”похожесть” объектов одной группы. Закономерности ”групповой похожести ”позволяют сильно сократить описание таблиц ”Объект-свойство” при малой потере информации. Вместо перечисления всех объектов можно дать список “типичных” или “эталонных” представителей групп, указать номера (имена) объектов, входящих в состав каждой группы. При небольшом числе групп описание данных становится обозримым и легко интерпретируемым.

В работе такая группировка делается с помощью построения кратчайшего остовного дерева. Алгоритмы разбиения отличаются друг от друга процедурой группировки и критерием качества разбиения множества. Введем некоторые обозначения. Пусть данные таблицы Т, подлежащие разбиению, содержат М объектов (а_1,а_2,.,а_M), имеющих N свойств (x_1,x_2,…,x_N), и требуется выявить К классов(S_1,S_2,…,S_K), 1<K<N-1. Различные варианты разбиения объектов на К классов будем сравнивать по некоторому критерию качества разбиения F. Если свойства объекта представить себе в виде координат метрического пространства, то каждый объект со своими значениями свойств будет отображаться в некоторую точку этого пространства. Два объекта с почти одинаковыми значениями свойств отобразятся в две близкие точки, а объекты с сильно отличающимися свойствами будут представлены далекими друг от друга точками. Если имеются сгустки точек, отделенные промежутками от других сгустков, то их целесообразно выделить в отдельные структурные части множества-классы. В дальнейшем можно аппроксимировать сгустки каким-либо известным законом распределения. Можно также указать границы класса, описав их геометрические параметры(например, задав систему уравнений разделяющих гиперплоскостей). По этим описаниям можно узнать, какому классу принадлежит любой объект как изучаемой конечной выборки, так и любого нового объекта из генеральной совокупности.

В основу алгоритма разбиения положен метод разрезания кратчайшего остовного дерева. Если задано число классов К, то путем удаления (К-1) ребра, обеспечивающих оптимальное значение функции качества, производится разбиение на классы. В работе в качестве критерия разбиения множества элементов принято условие: суммарная дисперсия во всех классах должна быть минимальной.

3.1.2 Графовое представление связей между объектами

Множество самых разнообразных задач естественно формулируется в терминах точек и связей между ними, т.е. в терминах графов. Поэтому эффективные алгоритмы решения задач теории графов имеют большое практическое применение.

Связи могут быть «направленными», как, например, в генеалогическом дереве или сеть дорог с односторонним движением. В соответствии с этим в теории графов выделяют два основных типа графов: ориентированные и неориентированные.

Наиболее известный и популярный способ представления графов состоит в геометрическом изображении точек (вершин) и линий (ребер) на бумаге. При численном решении задач на вычислительных машинах граф должен быть представлен дискретным способом. Существует довольно много способов такого рода представления графов. Однако простота использования представления графа, как и эффективность алгоритма, в основе которого он лежит, в полной мере зависит от конкретного выбора этого представления. Одно из направлений теории графов связано с их матричным представлением. Существуют различные виды матриц, ассоциированные с графами. Эти алгебраические формы используются для решения многих задач теории графов.

Матрицей смежности ориентированного помеченного графа с n вершинами называется матрица A=[a_ij], i,j=1,2…n, в которой

a_ij= m_, если существует m ребер (x_i, x_j ),

0, если вершины x_i, x_j не связаны ребром (x_i, x_j).

Матрица смежности однозначно определяет структуру графа.

Граф называется взвешенным, если каждому его ребру сопоставлено число. Простой взвешенный граф может быть представлен своей матрицей весов W=[w_ij], где w_ij - вес ребра, соединяющего вершины i, j =1,2.n. Веса несуществующих ребер полагают равными . Матрица весов является простым обобщением матрицы смежности.

При описании графа списком его ребер каждое ребро представляется парой его вершин. Это представление можно реализовать двумя массивами r=(r₁, r₂,…, r_n) и t=(t₁, t₂,…, t_n), где n- количество вершин в графе. Ребро L_i,j графа выходит из вершины ri и входит в вершину tj. Здесь L-характеристика ребра, например, вес ребра.

Деревом называется неориентированный граф, не имеющий циклов и изолированных вершин.Минимальным (кратчайшим) остовным деревом называется остовное дерево с минимальным общим весом его ребер.

3.1.3 Построение кратчайшего остовного дерева. Алгоритм Прима в табличной форме

По заданному графу заполняется матрица весов W(N, N). Веса несуществующих ребер предполагаются сколь угодно большими. Образуется массив P(N) меток вершин графа (столбцов матрицы весов). Алгоритм решения задачи заключается в последовательном заполнении массива меток столбцов и состоит из следующих этапов.

Предварительный этап. Обнуляется массив P(N) меток столбцов таблицы. Произвольно выбранному столбцу присваивается значение метки, равная его номеру.

Этап, повторяющийся N-1 раз (общий этап). В строках, номера которых равны номерам помеченных столбцов, находится минимальный элемент среди элементов непомеченных столбцов. Столбец, в котором находится минимальный элемент, помечается меткой, номер которой равен номеру его строки. В случае, если минимальных элементов несколько, то выбирается любой. После помечивания очередного столбца элементу, симметричному относительно главной диагонали (для многомерного графа с ”транспонированными индексами”), присваивается сколь угодно большое значение.

Заключительный этап. Ребра, включенные в минимальное остовное дерево, определяются по меткам столбцов. Вес остовного дерева задается суммой весов входящих в него ребер.

Адаптивная кластеризация множества элементов производится путем удаления части ребер графа по критерию минимальной суммарной дисперсии классов. Для разбиения множества элементов на ”К”классов удаляются ”К-1” ребер. Пример расчета на MS Excel показан на рис.5.2



рис.5.2. Пример разбиения многомерного множества элементов на однородные группы

3.1.4 Алгоритм Краскала определения минимального остовного дерева

Для использования алгоритма Краскала применяется список ребер графа. Метод состоит в последовательном подключении к остовному дереву ребер с минимальным весом и заключается в следующем.

Предварительный этап. Список ребер сортируется в порядке возрастания весов. Ребро, имеющее минимальный вес (первое в упорядоченном списке) включается в искомый остов.

Этап, повторяющийся (N-1) раз (общий этап). Очередное ребро в списке включается в остов, если оно не образует цикл. Если ребро образует цикл с уже включенными в остов ребрами, то оно вычеркивается из списка и просматривается следующее по списку ребро.

Заключительный этап. Список включенных ребер составляет остов графа, а их суммарный вес определяет вес остовного дерева.

Пример.

Известна стоимость обеспечения связи между источником и потребителями информации (рис.2).

Рис.2.

Нужно синтезировать топологию сети, обеспечивающей минимальную стоимость. Требуется определить методами Краскала и Прима минимальное остовное дерево графа G(5, 10), представленного на рис.2.

Метод Прима. Матрица весов, получаемая после предварительного этапа алгоритма, представлена в таблице 1, где в качестве начальной выбрана вершина 3.

Таблица 1.

			3
	1	2	3	4	5
1		5	10	8	9
2	5		3	7	1
3	10	3		2	6
4	8	7	2		4
5	9	1	6	4

Задачей общего этапа является помечивание всех столбцов таблицы. В 3-ей строке находится минимальный элемент w₃₄=2. 4-ый столбец, содержащий минимальный элемент, помечается номером строки, где этот элемент находится. Элементу w₄₃ присваивается сколь угодно большое значение. В непомеченных столбцах 3-ей и 4-ой строк находится минимальный элемент w₃₂=3. 2-ой столбец, его содержащий, помечается номером 3-ей строки. Элементу w₂₃ присваивается сколь угодно большое значение. После этого шага матрица имеет вид, представленный в табл. 2.

Таблица 2.

		3	3	3
	1	2	3	4	5
1		5	10	8	9
2	5			7	1
3	10	3		2	6
4	8	7			4
5	9	1	6	4

В непомеченных столбцах 2, 3 и 4-ой строк находится минимальный элемент w₂₅ =1. 5-й столбец помечается номером 2-й строки, где находится минимальный элемент. Элементу w₅₂ присваивается сколь угодно большое значение. На очередном шаге общего этапа в непомеченных столбцах 2, 3, 4 и 5-ой строк находится минимальный элемент w₂₁=5. 1-ый столбец помечается номером 2, элементу w₁₂ присваивается сколь угодно большое значение. Таблица после этого шага имеет вид, представленный в табл. 3.

Таблица 3.

	2	3	3	3	2
	1	2	3	4	5
1			10	8	9
2	5			7	1
3	10	3		2	6
4	8	7			4
5	9		6	4

Все столбцы таблицы помечены, общий этап закончен.

На заключительном этапе выписывается последовательность вершин, ребра между которыми включаются в минимальное остовное дерево. Это ребра, соединяющие вершины 1-2, 2-3, 3-4, 2-5.

Вес остовного дерева равен 5+3+2+1=11. Полученное остовное дерево показано на рис.3.

Рис.3.

Метод Краскала. По заданному графу (рис.2) составляется список ребер (см. табл.4), который на предварительном этапе упорядочивается в порядке возрастания весов (табл.5). Ребро №7, имеющее минимальный вес, включается в искомое остовное дерево (рис.4). Выполняется общий этап. Второе по весу ребро №6 также включается в остов. Следующее по весу ребро №1 включается в остовное дерево, так как оно не образует цикла с ребрами №6 и 7 (рис.4). Ребро №5 с минимальным весом среди оставшихся не включается в остов, так как оно образует цикл с ребрами №1, 6 и 7. Следующее по весу ребро №10 включается в остов. Вес остова равен 11, а его структура совпадает со структурой остова, полученного методом Прима (см. рис.3).

Таблица 4.

№	Вес	Начало	Конец
1	3	2	3
2	10	1	3
3	8	1	4
4	9	1	5
5	4	4	5
6	2	3	4
7	1	2	5
8	6	3	5
9	7	2	4
10	5	1	2

Таблица 5.

№	Вес	Начало	Конец
7	1	2	5
6	2	3	4
1	3	2	3
5	4	4	5
10	5	1	2
8	6	3	5
9	7	2	4
3	8	1	4
4	9	1	5
2	10	1	3

Рис.4.

Реализация алгоритма Краскала требует предварительной сортировки весов всех ребер. Алгоритм Прима не имеет этого недостатка.

3.1.5 Алгоритм построения кратчайшего остовного дерева для ориентированного графа на основе решения задачи линейного программирования

Пусть граф имеет следующий вид:

Веса ребер данного графа представлены в таблице 6:

Таблица 6.

Ребра	Веса
Х1	1
Х2	2
Х3	0
Х4	6
Х5	7
Х6	1
Х7	5

Для данного графа составляется система уравнений, в которой учитывается, что все выходящие потоки берутся со знаком «+», а входящие - со знаком «-». В данном графе начальной является вершина №1, а конечной - №5. Число уравнений, входящих в систему, равно n, где n-число вершин графа. В данном примере n=5. Для начальной вершины сумма потоков должна равняться (n-1) (в данном примере 4), а для всех остальных вершин сумма равняется ”-1”. Система уравнений имеет вид:

где х_i0, i=1…7.

Данная система уравнений будет являться ограничениями при поиске решения. При решении данной задачи необходимо найти минимум целевой функции:

х1+2*х2+0*х3+6*х4+7*х5+х6+5*х7.

Теперь рассмотрим реализацию данной задачи на Excel.

Вначале вводим значения ребер графа, т.е. значения х1 - х7 в ячейках B7:H7 (B7=x1, C7=x2, D7=x3, E7=x4, F7=x5, G7=x6, H7=x7). Они берутся произвольно и не влияют на решение. Затем вводим веса этих ребер соответственно в ячейках B9:H9 (B9=1, C9=2, D9=0, E9=6, F9=7, G9=1, H9=5). Далее в ячейках B11:B15 вводим систему уравнений:

B11=B7+C7+D7;

B12=H7-B7;

B13=F7-C7-H7-E7;

B14=E7+G7-D7;

B15=-F7-G7.

В ячейку I11 вводим целевую функцию:

B7*B9+C7*C9+D7*D9+E7*E9+F7*F9+G7*G9+H7*H9.

Теперь все условия для нахождения решения введены. Далее, выделив ячейку, содержащую целевую функцию ( I11), выбираем Сервис/Поиск решения. В открывшемся диалоговом окне указываем параметры:

- целевая ячейка: $I$11

- за счет изменения: $B$7:$H$7

- минимальное значение

- ограничения:

$B$11=4

$B$12=-1

$B$13=-1

$B$14=-1

$B$15=-1

$B$7: $H$7>=0.

Нажимаем «Выполнить». Найдено следующее решение: в ячейках, содержащих значения ребер, появляются новые значения. Ребра, не включаемые в искомый остов, принимают значение 0, а включаемые - любое другое значение. В данном примере в остов включаются ребра: х1, х2, х3, х6. Структура таблицы MS Excel с найденным решением, представлена на рис.6.



3.1.6 Оперативный кластерный анализ данных на основе гистограммного метода

Кластерный анализ означает выделение однородных групп (кластеров) в пространстве характерных (для данной системы) признаков.Рассмотрим гистограммный метод.