Распознавание паттернов в диаграммах управления на основе нейронных сетей с подкреплением

Размещено на http://www.allbest.ru/

“Кубанский государственный технологический университет”, Краснодар, Россия

Распознавание паттернов в диаграммах управления на основе нейронных сетей с подкреплением

Частиков Аркадий Петрович

к.т.н., профессор

Урвачев Павел Михайлович

Аспирант

Тотухов Константин Евгеньевич

к.т.н., старший преподаватель



Традиционно, статистическое управление процессами использовалось только для мониторинга отклонений процессов. Усовершенствования данного метода позволили прогнозировать поведение процесса посредством идентификации паттернов диаграмм управления. Анализ паттернов делает возможным обнаружение признаков потери управляемости процесса.

Существует восемь базовых паттернов диаграмм управления: нормальный, систематический, циклический, нарастающий, убывающий, скачок вверх и скачок вниз. Все другие паттерны являются либо частными случаями базовых паттернов, либо их смешанной формой в числе двух или более. Достижения в производстве и измерительных технологиях сделали возможными оценки и измерения в реальном времени, быстро и всесторонне, по всем показателям качества. Базовые паттерны показаны на рисунке 1 [1].

Рисунок 1. Базовые типы паттернов

Типовая диаграмма управления состоит их центральной линии, отражающей средний статистический уровень, и двух контрольных барьера на расстоянии ±3у от этой линии (где у - СКО).

Для обучения нейронной сети (НС) ключевое значение имеют размер окна, случайный шум, средний скачок (для паттернов «скачка»), наклон тренда (для трендовых паттернов), амплитуда цикла (для циклических паттернов), систематический вылет (для систематических паттернов), а также функции, приведённые в таблице 1, выраженные во всех типах паттернов.

Зависимости таблицы 1 использовались для создания параметров. В этой таблице з это номинальное среднее наблюдаемой переменной процесса (принято 80), у - среднеквадратическое отклонение (СКО) наблюдаемой переменной (принято 5), a -амплитуда циклических колебаний в циклическом паттерне (меньше либо 15), g - градиент тренда (для трендовых паттернов, принято от 0.2 до 0.5), b - направление скачка (для паттернов «скачка», 1 или 0), s - магнитуда скачка (от 7.5 до 20), r_i - случайное число (от -3 до 3), t - дискретное время (от 0 до 20), T - период цикла (от 4 до 12) и Р(t) - значение параметра в момент t.

Таблица 1. Уравнения, моделирующие диаграммы управления

	Название паттерна	Уравнение
1	Систематический
2	Циклический
3	Нарастающий тренд
4	Убывающий тренд
5	Скачок вверх
6	Скачок вниз

Таким образом, задача предлагаемого алгоритма заключается в классификации паттернов, извлечённых из диаграмм управления, с целью оценки степени управляемости процесса во времени.

Архитектура нейронной сети с подкреплением. Нейронная сеть (НС) с подкреплением имеет типовую для НС структуру. Математически данные НС описываются моделями: Ходжкина-Хаксли [2], Leaky Integrate-and-Fire model (LIFN) [3], а также моделью отклика на подкрепление (SRM) [4-5].

Структура состоит их слоёв: H (входной), I (скрытый) и J (выходной). Согласно SRM, для нейрона j, имеющего набор D_j пре-синоптических нейронов, генерируется набор подкреплений с временами срабатываний t_i, i? D_j. Таким образом, уравнение переменной внутреннего состояния нейрона выглядит как (1).



(1)

где - стоимость перехода терминала с одним синапсом к состоянию .

Подкрепление работает согласно (2).

(2)

где t_i - время срабатывания нейрона i;

d^k - пауза в терминале k.

Рисунок 2. Схема НС с подкреплением при множественном числе синоптических терминалов

При неединичном количестве синоптических терминалов, как это показано в схеме на рисунке 2, модель равна (3).

(3)

Отклик подкрепления описывается как (4).



(4)

где - константа возрастания или убывания постсинаптического потенциала.

Модель индивидуального соединения, где каждый терминал служит как доп. соединение, ассоциированное с отдельным весом и паузой, показана на рисунке 3 [6].

Рисунок 3. Модель индивидуальных соединений для распознаваний паттернов

Цель разработанного авторами алгоритма, использующего классический принцип обучения методом обратного распространения ошибки, в обучении группы выходных нейронов J с временами срабатывания {t_j^d} распознать набор паттернов {P[t₁, t_2,…, t_h]}, где h?H - нейроны, вырабатывающие подкрепления. Функция ошибки задана как (5).

(5)



где - частная производная функции ошибки синоптических пауз по весу;

: для нейронов скрытого слоя равно (6), выходного слоя (7).

(6)

(7)

Тогда правило для адаптации весов равно (8).

(8)

Усовершенствование алгоритма.

Усовершенствовать синоптические паузы можно, применив частную производную функции ошибки по паузе . Первые два терма этой производной аналогичны правилу обновления весов, поэтому рассмотрим третий терм в (9).

((9)

Путём замены через определение имеем (10).



(10)

И тогда, окончательная форма для обновлений синоптических пауз равна (11).

(11)

Усовершенствовать синоптические временные константы можно через частную производную функции ошибки по временной константе (12).

(12)

Произведя подстановку в третий терм производной, получаем итоговую функцию обновления временной константы в виде (13).

(13)

Усовершенствовать функцию порога переключения можно также через производную (14).

, (14)

Подставляя получаем , и тогда функция обновления порога равна (15).



(15)

Первоначально, для сравнения с НС с подкреплением, была сконструирована обычная НС (контрольная) с числом нейронов: 20 входных, 6 скрытых, 6 выходных. Желаемые параметры выходных нейронов контрольной НС приведены в таблице 2.

Таблица 2. Желаемые выходные сигналы контрольной НС

	Название паттерна	Выходы контрольной НС
		1	2	3	4	5	6
1	Систематический	1	0	0	0	0	0
2	Циклический	0	1	0	0	0	0
3	Нарастающий тренд	0	0	1	0	0	0
4	Убывающий тренд	0	0	0	1	0	0
5	Скачок вверх	0	0	0	0	1	0
6	Скачок вниз	0	0	0	0	0	1

Типовые паттерны. Типовые паттерны извлекаются из реальных диаграмм управления, но и имитационные (симулированные) данные также допустимы. В случае большого размера окна, эффективность идентификации паттернов можно повысить увеличением времени, отводимого на распознавание. Возьмём набор из 720 (120*6) типовых паттернов, полученных из 120 наблюдений. Каждый набор имеет равное число одинаковых паттернов. Предложим этот набор контрольной НС, параметры которой даны в таблице 3.

Таблица 3. Сетевые параметры НС с подкреплением

Параметр	Значение
Входных нейронов	20
Скрытых нейронов	6
Выходных нейронов	6
Порог срабатывания и	0.3
Ошибка	0.001
ДТ	0-20мс
ф (Синап. врем. конст.)	170мс
K (Число синоп.терм-в)	3
Период обновления веса зw	0.0075
Период обновления паузы зd	0.0065
Период обновления врем. константы зф	0.0055
Период обновления порога срабатыва-я зи	0.0035

Рассмотрим архитектуру НС с подкреплением с единственным соединением и мультисиноптическими терминалами. Её состояния и желаемые выходные данные приведены в таблицах 4 и 5. Она состоит из k синоптических терминалов, где каждый терминал с отдельными весом и паузой между входным, скрытым и выходным слоями (величины весов от -1 до 1).

Модели НС с подкреплением при единственном и множественном синоптических терминалах соответственно показаны на рисунках 4 и 5.

Рисунок 4. НС с подкреплением (единственный синопт. терминал)

Рисунок 5. НС с подкреплением (множественный синопт. терминал)



В таблице 4 показаны желаемые выходные сигналы НС с подкреплением.

Таблица 4. Выходы НС с подкреплением

	Название паттерна	Выходы НС с подкреплением
		1	2	3	4	5	6
1	Систематический	20	10	10	10	10	10
2	Циклический	10	20	10	10	10	10
3	Нарастающий тренд	10	10	20	10	10	10
4	Убывающий тренд	10	10	10	20	10	10
5	Скачок вверх	10	10	10	10	20	10
6	Скачок вниз	10	10	10	10	10	20

Результаты и обсуждения

Таблица 5 отражает, что результат распознавания на контрольной НС на уровне 86.76%.

Метод обновления синоптических весов (при зафиксированных остальных параметрах) в НС с подкреплением дал, согласно таблице 6, повышение эффективности распознавания на 90.9% в сравнении с контрольной НС.

Результат применения метода обновления синоптической паузы показан в таблице 7. Он дал повышение эффективности распознавания на 92.4%. Значения синоптических весов были оптимальными, полученными на предыдущем этапе.

При оптимальных значениях синоптических весов и пауз, метод обновления временных констант дал результат, приведённый в таблице 8, согласно которому повышение эффективности распознавания равно 93.5%.

Результат применения метода обновления порога срабатывания нейронов, при зафиксированных оптимальных значениях временных констант, а также синоптических весов и пауз, приведён в таблице 9. Заметим, что особенно повышение эффективности удалось достичь для паттернов скачка вниз.

НС с подкреплением и множественными синоптическими терминалами.

В биологических системах наличие множественных синоптических связей предпочтительнее единичной связи. В данной работе предлагается вариант НС такого типа, отражённый на рисунке 5. Такая архитектура позволяет выбирать адекватное значение паузы согласно подходящему правилу. Топология данной НС также применяет подкрепление, причем число k=3 синоптических связей с индивидуальными значениями весов и пауз определено эвристически. К данной топологии также применялись методы усовершенствования, рассмотренные ранее.

Метод обновления синоптических весов дал повышение эффективности по всем паттернам, что показано в таблице 10. Аналогично рост для всех паттернов получен методом обновления синоптических пауз, как это представлено в таблице 11. Также повысить эффективность, согласно таблице 12, позволил метод обновления временных констант. Для метода обновления порога срабатывания результаты приведены в таблице 13. Они демонстрируют повышение эффективности распознавания для паттернов скачка вниз.

В целом, общие результаты точности распознавания (95.68% по таблице 10, 96.51% в таблице 11, 97.08% в таблице 12, 98.61% в таблице 13) указывают, что имеет место повышение эффективности распознавания паттернов всех типов при использовании архитектуры НС с подкреплением, причём именно с множественными синоптическими терминалами.

Таблица 5. Распознавание паттернов контрольной НС

	Название паттерна	Выходные уровни
		1 (%)	2(%)	3(%)	4(%)	5(%)	6(%)
1	Систематический	86	2	0	0	0	12
2	Циклический	1	84	0	3	12	0
3	Нарастающий тренд	0	0	87	0	13	0
4	Убывающий тренд	0	0	10	88.1	0	1.9
5	Скачок вверх	12	0	0.8	0	87.2	0
6	Скачок вниз	0	0	10	1.7	0	88.3

Таблица 6. Результат распознавания НС с подкреплением (при единственной синопт. связи) при методе обновления синоптических весов

	Название паттерна	Желаемые выходные уровни
		1 (%)	2(%)	3(%)	4(%)	5(%)	6(%)
1	Систематический	90	2	0	0	0	8
2	Циклический	1	89	0	0	10	0
3	Нарастающий тренд	0	0	92.5	0.5	7	0
4	Убывающий тренд	0	0	2.9	91.1	0	6
5	Скачок вверх	9	0	0.8	0	90.2	0
6	Скачок вниз	0	0	7	0	0	93

Таблица 7. Результат распознавания НС с подкреплением (при единственной синапт. связи) при методе обновления синоптических пауз

	Название паттерна	Желаемые выходные уровни
		1 (%)	2(%)	3(%)	4(%)	5(%)	6(%)
1	Систематический	92	0.8	0	0	0	7
2	Циклический	3	90	0	0	7	0
3	Нарастающий тренд	0	0	94.5	0.5	5	0
4	Убывающий тренд	0	0	0.8	93.2	0	6
5	Скачок вверх	9	0	0	0	91	0
6	Скачок вниз	0	0	6	0	0	94

Таблица 8. Результат распознавания НС с подкреплением (при единственной синапт. связи) при методе обновления временной константы

	Название паттерна	Желаемые выходные уровни
		1 (%)	2(%)	3(%)	4(%)	5(%)	6(%)
1	Систематический	94	0.8	0	0	0	5.2
2	Циклический	2	91	0	0	7	0
3	Нарастающий тренд	0	0	94.8	0.2	5	0
4	Убывающий тренд	0	0	0.7	94.3	0	5
5	Скачок вверх	7	0	0.7	0	92.3	0
6	Скачок вниз	0	0	5.4	0	0	94.6



Таблица 9. Результат распознавания НС с подкреплением (при единственной синопт. связи) при методе обновления порога срабатывания

	Название паттерна	Желаемые выходные уровни
		1 (%)	2(%)	3(%)	4(%)	5(%)	6(%)
1	Систематический	95	0.8	0	0	0	4.2
2	Циклический	3	91.4	0	0	5.6	0
3	Нарастающий тренд	0	0	95	0.2	4.8	0
4	Убывающий тренд	0	0	0.8	95.2	0	4
5	Скачок вверх	7	0	0.2	0	92.8	0
6	Скачок вниз	0	0	5	0	0	95

Таблица 10. Результат распознавания НС с подкреплением (при множественной синапт. связи) при методе обновления синопт. весов

	Название паттерна	Желаемые выходные уровни
		1 (%)	2(%)	3(%)	4(%)	5(%)	6(%)
1	Систематический	97	0.8	0	0	0	2.2
2	Циклический	3	93	0	0	4	0
3	Нарастающий тренд	0	0	96	4	0	0
4	Убывающий тренд	0	0	0.8	96.2	0	3
5	Скачок вверх	4	0	0.6	0	95.4	0
6	Скачок вниз	3	0	0.5	0	0	96.5

Таблица 11. Результат распознавания НС с подкреплением (при множественной синопт. связи) при методе обновления синоптических пауз

	Название паттерна	Желаемые выходные уровни
		1 (%)	2(%)	3(%)	4(%)	5(%)	6(%)
1	Систематический	98	0.6	0	0	0	1.4
2	Циклический	3	95	0	0	5	0
3	Нарастающий тренд	0	0	96.4	3.6	0	0
4	Убывающий тренд	0	0	0.2	96.8	0	3
5	Скачок вверх	3	0	0.6	0	96	0.4
6	Скачок вниз	3	0	0.1	0	0	96.9



Таблица 12. Результат распознавания НС с подкреплением (при множ. синопт. связи) при методе обновления временной константы

	Название паттерна	Желаемые выходные уровни
		1 (%)	2(%)	3(%)	4(%)	5(%)	6(%)
1	Систематический	98	0.6	0	0	0	1.4
2	Циклический	3	96	0	0	4	0
3	Нарастающий тренд	0	0	97	3	0	0
4	Убывающий тренд	0	0	0	98	0	2
5	Скачок вверх	3	0	0.5	0	96.5	0
6	Скачок вниз	3	0	0	0	0	97

Таблица 13. Результат распознавания НС с подкреплением (при множ. синопт. связи) при методе обновления порога срабатывания

	Название паттерна	Желаемые выходные уровни
		1 (%)	2(%)	3(%)	4(%)	5(%)	6(%)
1	Систематический	99	0.6	0	0	0	1
2	Циклический	2	98.2	0	0	0.8	0
3	Нарастающий тренд	0	0	98	0	0	2
4	Убывающий тренд	0	0	0	98.5	0	1.5
5	Скачок вверх	0	0	1	0	99	0
6	Скачок вниз	0.4	0	0	0.6	0	99

Таблица 14 показывает сравнение трёх сетевых топологий в распознавании паттернов. В таблице 15 приведено сравнение НС с подкреплением (по LVQ алгоритму) [7] с представленной в статье разработкой.

Из таблицы 15 можно утверждать, что НС с подкреплением (с тремя синоптическими терминалами) позволяет достичь большей точности распознавания паттернов.



Таблица 14. Сравнение точности распознавания контрольной НС и с подкреплением

Паттерн	Контр. нс	НС с подкрепл. (единственный синопт. терминал)	НС с подкрепл. (множественный синопт. терминал)
	%	Вес (%)	Пауза (%)	Врем. конст (%)	Порог сраб-ия (%)	Вес (%)	Пауза (%)	Врем. конст (%)	Порог сраб-ия (%)
Систематический	86	90	92	94	95	97	98	98	99
Циклический	84	89	90	91	91.4	93	95	96	98.2
Нарастающий тренд	87	92.5	94.5	94.8	95	96	96.4	97	98
Убывающий тренд	88.1	91.1	93.2	94.3	95.2	96.2	96.8	98	98.5
Скачок вверх	87.2	90.2	91	92.3	92.8	95.4	96	96.5	99
Скачок вниз	88.3	93	94	94.6	95	96.5	96.9	97	99

Таблица 15. Результат сравнения четырёх разных сетей распознавания

Тип НС	Эффективность обучения	Кол-во эпох	Эффективность распознавания
LVQ	100	20	97.7
Контрольная	98	100	86.76
НС с подкрепл-м. (единственный синопт. терминал)	99	150	94.06
НС с подкрепл. (множественный синопт. терминал)	100	200	98.61

В данной работе рассмотрен оригинальный метод распознавания паттернов в диаграммах управления на основе нейронных сетей с подкреплением, усовершенствованных дополнительными правилами уточнения значений синоптических весов и паузы, а также временной константы и порога срабатывания нейрона. Имитационные эксперименты позволили зафиксировать существенное повышение эффективности данного метода перед классическими нейронными сетями, как по критерию точности распознавания, так и по степени эффективности обучения.



Список литературы

паттерн нейронный сеть управление

1. Малыхина М.П., Бегман Ю.В. Гибридные нейроэкспертные системы в образовании // Инновационные процессы в высшей школе / Материалы XIV Всероссийской научно-практической конференции. 2008. С. 193-194.

2. Малыхина М.П., Шичкин Д.А. Аспекты практического применения цветового различия для распознавания и выделения границ изображений / Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета = Polythematic online scientific journal of Kuban State Agrarian University. 2013. Т. 89. № 89-89 (09). С. 676-688.

3. Рыжков А.А. программная реализация сети хопфилда для распознавания и классификации электрических сигналов / А.А. Рыжков // Молодой ученый. -- 2012. -- № 5. -- С. 62-67.

4. Частиков А.П., Глушко С.П., Тотухов К.Е. Система тестирования и отладки управляющих программ для промышленного робота // Журнал «Перспективы науки» № 9(11)2010 - 103 с. С. 47-51.

5. Частиков А.П., Дедкова Т.Г., Алешин А.В. Системы искусственного интеллекта. От теории к практике. - Краснодар, 1998.

6. T. Natschlager, B. Ruf, Spatial and temporal pattern analysis via spiking neurons, Network: Computation in Neural Systems 9 (3) (1998) 319-332.

7. D.T. Pham, S. Shahnorbanun, Control Chart Pattern Recognition with Spiking Neural Networks, Manufacturing Engineering Centre, Cardiff University, Cardiff CF24 3AA, UK, 1994.

8. Частиков А.П., Тотухов К.Е. Создание базы знаний для интеллектуального анализа поведения виртуального робота. // Вопросы современной науки и практики. Университет им. В.И. Вернадского (ВАК) / Ассоциация «Объединённый университет им. В.И. Вернадского». - Тамбов, 2013. С. 76-81.

9. Частиков А.П., Тотухов К.Е. Теоретические основы интеллектуальной симуляции промышленных роботов: монография. - LAP LAMBERT Academic Publishing, 2013 г. - 111 с.: ил.

10. Частиков А.П., Тотухов К.Е., Урвачев П.М. Дерево логического вывода интеллектуальной системы функционирования виртуального робота // Современные проблемы науки и образования (ВАК). - 2013. - № 2; URL: www.science-education.ru/108-8976.

11. Частиков А.П., Тотухов К.Е., Урвачев П.М. Интеллектуальная диагностика состояния виртуального робота с программным управлением // Современные проблемы науки и образования (ВАК). - 2012. - № 6; URL: www.science-education.ru/106-7507.

12. Частиков А.П., Тотухов К.Е., Урвачев П.М. Теоретические основы интеллектуальной диагностики виртуального робота // Современные проблемы науки и образования (ВАК). - 2013. - № 1; URL: www.science-education.ru/107-8310.

13. Частикова В.А. Исследование основных параметров генетического алгоритма метода генетических схем в интеллектуальных системах, основанных на знаниях/ В.А. Частикова //Научный журнал кубгау [Электронный ресурс]. - Краснодар: кубгау, 2011. - № 69 (5). - Шифр Информрегистра: 0421100012/0162. - Режим доступа: http://ej.kubagro.ru/2011/05/pdf/32.pdf.

14. Частикова В.А. Оптимизация процессов поиска решений в интеллектуальных системах обработки экспертной информации на основе генетических алгоритмов. Диссертация на соискание ученой степени кандидата технических наук. - Краснодар, 2005.

15. Частикова В.А., Власов К.А., Картамышев Д.А. Обнаружение DDoS-атак на основе нейронных сетей с применением метода роя частиц в качестве алгоритма обучения // Фундаментальные исследования. 2014. № 8-4. С. 829-832.

16. Частикова В.А., Картамышев Д.А., Власов К.А. Нейросетевой метод защиты информации от DDoS-атак // Современные проблемы науки и образования. 2015. № 1-1. С. 183.

17. Частиков А.П., Малыхина М.П., Урвачев П.М. Анализ распознавания паттернов нейросетевыми методами // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. № 98. С. 457-467.

18. Частиков А.П., Алешин А.В., Частикова В.А. Выявление аномалий в базах знаний интеллектуальных систем // в сборнике: Пятьдесят лет развития кибернетики Труды международной научно-технической конференции. Посвящается 100-летию Санкт-Петербургского государственного технического университета (Политехнического института). 1999. С. 123-124.

19. Малыхина М.П., Бегман Ю.В. Нейросетевая экспертная система на основе прецедентов для решения проблем абонентов сотовой связи // Краснодар, 2011.

Размещено на Allbest.ru