Применение методов нейросетевого моделирования для уменьшения объемов экспериментальных работ при разработке сварочных материалов

Размещено на http://www.allbest.ru/

УДК 004.414.23

ПРИМЕНЕНИЕ МЕТОДОВ НЕЙРОСЕТЕВОГО МОДЕЛИРОВАНИЯ ДЛЯ УМЕНЬШЕНИЯ ОБЪЕМОВ ЭКСПЕРИМЕНТАЛЬНЫХ РАБОТ ПРИ РАЗРАБОТКЕ СВАРОЧНЫХ МАТЕРИАЛОВ

К.В. Гулаков

Разработка нового или совершенствование существующего сварочного материала представляет собой трудоемкий процесс, включающий изготовление большого количества экспериментальных серий, в каждой из которых изготовляется до десяти и более опытных марок. Далее по стандартной схеме осуществляются сварка проб наплавленного металла и сварных соединений, разрезка и изготовление типовых и специальных образцов. Работы завершаются испытаниями и исследованиями образцов по стандартным или специально разработанным программам. Во избежание влияния на результаты исследований случайных факторов, таких, как сварочные дефекты, обычно пробы после сварки проходят контроль, в том числе ультразвуковой, гамма- или рентгенографический контроль. Все эти работы в совокупности отличаются не только большой трудоемкостью, но и длительностью. Так, в ЦНИИ КМ «Прометей» разработка новой марки сварочных электродов, даже при наличии определенного задела, обычно занимает от 3 до 5 лет.

Работы, направленные на сокращение экспериментального этапа исследований (при сохранении достоверности результатов) и снижение трудоемкости при разработке новых сварочных материалов, по-прежнему остаются весьма актуальными.

Для решения этой проблемы предлагается методика исследования свойств сварных соединений на основе нейросетевого подхода.

Состояние вопроса и постановка задачи исследования. Как правило, при обработке экспериментальных данных используются различные подходы к аппроксимации функций характеристик объекта исследования от заданных параметров. Задача аппроксимации или регрессионного анализа данных является типичной обратной задачей воссоздания причин по их следствиям. Как и большинство обратных задач, она относится к типу плохо определенных (некорректных), т.е. можно подобрать множество регрессионных моделей, удовлетворяющих заданным критериям.

Классический подход к аппроксимации функций сопряжен с рядом трудностей. Это и выбор базисных кривых, и необходимость оптимизировать функцию погрешности, что требует применения методов оптимизации для многомерных функций. Задачу минимизации функций погрешности сводят либо к задаче решения системы линейных уравнений, либо к задаче линейного программирования, что значительно сложнее. При нелинейной аппроксимации решается система нелинейных уравнений, а это задача еще более сложная. При этом трудности определения коэффициентов аппроксимируемой функции нескольких аргументов многократно увеличиваются. Работа усложняется, если экспериментальные данные отражают стохастический процесс. В этом случае аппроксимирующая функция становится регрессионной моделью, а задача ее формирования относится к классу задач регрессионного анализа.

В аппарате математической статистики существуют методики построения линейных и нелинейных регрессионных зависимостей. Нелинейные зависимости с точки зрения теории планирования эксперимента строятся главным образом на основе полиномов второй степени. Более сложные нелинейные регрессионные модели строят с использованием линеаризующих преобразований. В этом случае появляются дополнительные трудности с подбором экспертом подходящих функций для замены, а также приходится минимизировать сумму квадратов отклонений для преобразованных переменных, а не исходных, что не одно и то же.

На этом фоне использование нейросетей как универсальных аппроксиматоров для построения регрессионных моделей является менее трудоемким и значительно более универсальным методом. Нейросети открывают ряд качественно новых возможностей, особенно в отношении создания регрессионнных моделей, наиболее полно учитывающих реальные свойства системы, в том числе нелинейность, и обеспечения быстродействия для получения конечного результата.

Согласно общим правилам построения нейросетевых моделей, экспериментальные данные, которые используются при обучении искусственных нейронных сетей, не проходят никакой предварительной обработки в отличие от регрессионного анализа. При этом необходимый объем данных, требуемых для обучения нейросети, может быть существенно меньше, чем для построения регрессионной зависимости. В общем случае для регрессионной модели при n степенях свободы (n независимых параметрах) потребуется проведение 2n независимых экспериментов с последующей верификацией каждого из них для достижения необходимой точности и достоверности моделирования. При росте n экспериментальные исследования могут стать экономически неэффективными.

При создании нейросетевой модели требуется значительно меньшее число экспериментальных данных (в среднем, согласно ряду исследований, в два раза меньше). Однако требования к качеству данных при этом растут. Они должны содержать минимальное число случайных помех и не иметь неэргодичных данных [4].

Методика исследования свойств сварных соединений на основе нейросетевого подхода. В работе [6] проанализирована применимость нейронных сетей к решению различных задач. Среди классов задач, решаемых с помощью нейросетевых методов, авторы выделяют одномерную и многомерную линейную и нелинейную регрессию, планирование активных (экстремальных) экспериментов и др. В работе [7] проведен сравнительный анализ различных типов нейросетей и сделан вывод о том, что для решения задачи аппроксимации могут быть использованы сети типа «многослойный персептрон» и сети радиального базиса. В работе [8, с. 278] приводится математическое обоснование возможности аппроксимации сетями типа «многослойный персептрон». Учитывая способность многослойного персептрона к обобщению и фильтрации шумов, можно говорить о возможности его применения в задачах регрессионного анализа.

Для моделирования зависимости ударной вязкости металла шва от состава электрода предлагается использовать нейросеть с прямым распространением сигнала и обратным распространением ошибки [1], структура которой представлена на рис. 1.

Рис. 1. Структура нейронной сети

Задачей являлось определение минимального количества примеров, на которых нейросеть может обучиться и показать приемлемые результаты, т.е. количества экспериментов, необходимого для формирования обучающей выборки нейросети, обеспечивающей адекватную регрессионную модель.

Вопрос о минимальном объеме обучающей выборки является предметом многих исследований в области теории искусственных нейронных сетей. Оценки числа примеров, необходимых для обучения аппроксиматора, основываются на важном параметре, получившем название измерения Вапника-Червоненкиса (Yapnik-Chervonenkis dimension) или VС-измерения в честь ученых, которые в 1971 г. ввели это понятие [9]. VС-измерение обеспечивает теоретический базис для решения вопроса адекватности размера обучающей выборки. На основе этой теории была получена оценка VC-измерения для произвольной многослойной нейронной сети N прямого распространения, состоящей из нейронов с сигмоидальной функцией активации, равной O(W2) [10]. На практике оказывается, что для хорошего обобщения достаточно, чтобы размер обучающего множества N удовлетворял следующему соотношению:

,

где W - общее количество свободных параметров (синаптических весов и порогов) сети; - допустимая ошибка классификации; O(·) - порядок заключенной в скобки величины. Например, для ошибки в 10% количество примеров обучения должно в 10 раз превосходить количество свободных параметров сети. Выражение (1) получено из эмпирического правила Видроу (Widrow's rule of thumb) для алгоритма минимизации среднеквадратической ошибки [11].

Для применяемой в данной работе сети, многослойного персептрона прямого распространения с двумя входами, одним выходом и одним скрытым слоем с двумя нейронами в нем, количество весов и смещений W=8. Оценивая N, получаем значение порядка 80 примеров. К сожалению, часто оказывается, что между действительно достаточным размером множества обучения и этими оценками существует большой разрыв. Из-за этого расхождения возникает «задача сложности выборки»[8], требующая дополнительных исследований.

В работе [2] приведены экспериментальные данные о зависимости ударной вязкости сварного шва, наплавленного электродами типа УОНИ-13, от содержания в них следующих соединений: CaO, MgO, TiO2, CaF2. Там же указывается, что суммарное количество этих соединений не может превышать в долях единицы 0,6, или 60%. Так как CaO и MgO оказывают почти идентичное влияние на показатели прочности металла шва, их принято рассматривать как сумму (CaO+MgO) [2]. В этом случае функция ударной вязкости вырождается в зависимость от двух переменных. Процентное содержание CaO+MgO определяется как z=60-x-y, где x - процентное содержание TiO2, y - процентное содержание CaF2.

В этой же работе описаны исследования, в результате которых имеем N значений аргумента X1 (процентное содержание TiO2), X2 (процентное содержание CaF2) и соответствующих значений функции P (ударная вязкость, Дж/см2) при T=+20°C. При этом общая выборка из 95 записей, содержащих экспериментальные значения X1, X2, P, случайным образом была разделена на обучающую (80% записей) и тестовую (20% записей). Модель строилась на обучающей выборке, затем ее качество проверялось на тестовой выборке.

Было сформировано 5 экспериментальных выборок, содержащих некоторое количество записей, случайно выбранных из всего списка экспериментальных данных. Первая выборка содержала 47 записей, вторая - 37, третья - 26, четвертая - 18 и пятая - 12. Тестовая выборка содержала 23 записи, не присутствующие ни в одном из обучающих наборов. Таким образом, можно оценить работу нейросети на данных, на которых она не обучалась.

Построение и обучение нейросетей происходило в среде Matlab с использованием пакета Neural Network Toolbox. Для обучения нейросетей использовалась функция learngdm - обучающая функция градиентного спуска с возмущением [12], а для тренировки - функция TRAINLM, которая модифицирует значения весов и смещений в соответствии с методом оптимизации Левенберга-Маркара [3].

Эксперименты показали, что поскольку процесс обучения нейросети есть оптимизация функции многих переменных, не всегда возможно найти глобальный (а часто даже локальный) минимум этой функции. Успех в поиске минимума зависит от начальных значений весов и смещений синапсов нейросети. В эксперименте с пятой обучающей выборкой, содержащей 12 записей, поиск минимума функции обучения часто не давал положительных результатов (рис. 2, линия В). Уже на четвертой итерации оптимизация была прекращена, так как процесс не сходится ни к какому значению, а ошибка обучения, разность нейросети как аппроксиматора от значений обучающей выборки, осталась огромной - 238,9. В этом случае необходимо проинициализировать веса и смещения синапсов нейросети новыми начальными значениями и повторить тренировку. Вариант успешного обучения представлен на рис. 2 линией А. Из графика видно, что после 57 циклов обучения ошибка обучения сходится к некоторому минимальному значению - 4,7. При обучении нейросети большим количеством примеров функция ошибки обучения очень быстро сходится к минимуму практически при любых начальных значениях весов. На рис. 2 линией Б показана функция обучения для выборки 2, состоящей из 37 примеров. Видно, что функция достаточно быстро сходится к некоторому минимальному значению.

Получена приближенная модель зависимости ударной вязкости металла шва от состава покытия электрода - P(x,y). На рис. 3 представлена поверхность отклика полученной нейросетевой модели. Здесь P - ударная вязкость металла шва, х - процентное содержание CaF2, y - процентное содержание TiO2. Поверхность на графике отражает найденную зависимость ударной вязкости металла шва от состава электрода. Как видно из рис. 3, функция носит выпуклый характер с одним максимумом.

Апробация методики. Было проведено 5 численных экспериментов и построено 5 соответствующих нейросетей, аппроксимирующих функцию ударной вязкости. Каждая нейросеть обучалась на соответствующей выборке обучающих записей, и ее работа проверялась на единой тестовой выборке. Результаты моделирования зависимости ударной вязкости металла шва от состава покрытия электрода на тестовой выборке приведены в табл. 2, где X1 - содержание TiO2, X2 - содержание CaF2 в составе покрытия электрода, Pэ - экспериментальное значение ударной вязкости, Piт - теоретическое значение функции ударной вязкости по нейросети для эксперимента i с числом обучающих примеров n, Si2- квадрат отклонения на тестовой выборке (табл. 1). регрессионный вязкость электрод нейросетевой

Таблица 1 Среднеквадратическое отклонение по экспериментам

Анализ отклонений поверхности отклика регрессионной модели от экспериментальных данных на тестовой выборке (табл. 2) показал, что в целом все 5 нейросетей неплохо описали экспериментальные данные. Однако в нейросетях с малым числом примеров обучающей выборки (P4т и P5т) имеются точки со значительным отклонением (№ 6, 9, 14 и др.). Эти точки существенно увеличивают среднюю погрешность. Следовательно, соответствующая регрессионная модель недостаточно хорошо описывает экспериментальные данные, так как проходит вдали от некоторых точек. Из табл. 2 можно видеть, что среднеквадратическое отклонение по тестовой выборке в целом уменьшается при росте количества примеров в обучающем наборе. Небольшое нарушение этой тенденции для выборки 3 связано с тем, что выборка формировалась случайным образом и в нее, видимо, попало несколько «хороших» точек, уменьшивших суммарную погрешность.

Таблица 2 Результаты моделирования на тестовой выборке

В общем случае вопрос о необходимом количестве записей в обучающей выборке не имеет однозначного ответа. Ответ на него зависит от вида аппроксимирующей кривой (поверхности), количества локальных минимумов и максимумов на ней, типа нейросети (персептрон, RBF-сеть), структуры сети (количество нейронов, слоев), а также от характера самой обучающей выборки. Так как тип и структура нейросети определяются до ее построения экспертом, предлагается характер и объем обучающей выборки изменять итерационно от простого к сложному, от малого количества к большему. Определив в начале экспериментов приемлемую точность модели, можно последовательно увеличивать объем обучающей выборки, пока не будет достигнуто необходимое качество модели. В данном случае за оптимальную по количеству обучающих примеров можно принять выборку 3. Следовательно, начиная с 10 опытов и последовательно прибавляя к ним 10, уже на третьем шаге можно получить приемлемое качество модели. При этом важно отметить, что даже самая «плохая» из полученных нейросетевых моделей, P5т, описала данные лучше, чем полином второй степени, представленный в работе [5], где среднеквадратическая погрешность по полиному составила 7,1 (почти в полтора раза выше). Полученные результаты можно также сопоставить с построением регрессионной модели с точки зрения теории планирования эксперимента. Согласно этой теории, для построения нелинейной зависимости от двух параметров требуется построить ротабельный план второго порядка, содержащий 4 базовые, 4 звездные и несколько центральных точек. С учетом стохастичности процесса требуется проведение нескольких измерений для каждой точки, т.е. не менее 12 независимых экспериментов. При этом регрессионная модель будет основана на полиноме второй степени, о точности которого сказано выше. Таким образом, применение нейросетевого подхода позволяет не только снизить объем работ, связанных с построением регрессионной модели, в сравнении с классическим подходом, но и значительно увеличить точность (адекватность) самой модели.

Список литературы

1. Гулаков, К.В. Поиск закономерностей среди многомерных экспериментальных данных применительно к разработке электродных покрытий / К.В. Гулаков, С.В. Юркинский // Инженерия поверхности и реновация изделий: материалы 11-й Междунар. науч.-техн. конф. (г. Ялта,23-27 мая 2011г. ). - Киев: АТМ Украина, 2011.- С. 67- 71.

2. Юркинский, С. В. Разработка низколегированных электродов, обеспечивающих высокую хладостойкость сварных соединений корпусных конструкций из сталей типа АБ: дис…. канд. техн. наук / С. В. Юркинский, 2009. - 179с.

4. Малолетков, А.В. Использование нейросетевых моделей в сварке: учеб. пособие / А.В. Малолетков. - М.: Изд-во МГТУ им. Н. Э. Баумана, 2000. - 63 с.

5. Гулаков, К.В. Сравнение методов регрессионного анализа многомерных данных на примере выбора состава покрытия электродов / К.В. Гулаков // Материалы Международной научно-практической конференции «Достижения молодых ученых в развитии инновационных процессов в экономике, науке, образовании» / под ред. И.А. Лагерева. - Брянск: БГТУ, 2010. - С. 125-126.

6. Абовский, Н.П. Нейронные сети и аппроксимация функций: учеб. пособие / Н.П. Абовский, Т.В. Белобородова, А.П. Деруга, О.М. Максимова. - КрасГАСА, 2002. - 134 с.

7. Родионов, П. Е. Методика извлечения знаний в задачах анализа рядов динамики с использованием нейронных сетей: дис…. канд. техн. наук / П. Е. Родионов. - 2003. - 169 с.

8. Хайкин, С. Нейронные сети: полный курс: [пер. с англ.]/ Саймон Хайкин. - 2-е изд. - М. : Вильямс, 2006. - 1104 с.

9. Vapnik, V.N. Оn the uniform convergence of relative frequencies of events to their probabilities / V.N. Vapnik, А.Ya. Chervonenkis // Theoretical Probability and Its Aplications. - 1971. - Vol. 17.- P. 264-280.

10. Koiran, Р. Neural networks with quadratic VC-dimension / Р. Koiran, E.D. Sontag // Advances in Neural Information Processing Systems.- 1996.- Vol. 8.- P. 197-203.

11. Widrow, B. Adaptive Signal Processing / B. Widrow, S.D. Steams // Englewood Cliffs.- NJ: Prentice-Hall, 1985.

12. Медведев, В.С. Нейронные сети. Matlab 6 / В.С. Медведев, В.Г. Потемкин. - М.: Диалог-МИФИ, 2002. - 496 с.

Аннотация

Предложена методика построения регрессионной модели зависимости ударной вязкости сварного соединения от состава покрытия электрода на основе нейросетевого подхода. Рассмотрена проблема определения достаточного объема обучающей выборки нейросети. Представлены результаты нейросетевого моделирования функции ударной вязкости.

Ключевые слова: искусственные нейронные сети, сварочные материалы, аппроксимация нейронными сетями, нейросетевое моделирование.

Размещено на Allbest.ru