Размещено на http://www.allbest.ru/

МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ

РОССИЙСКОЙ ФЕДЕРАЦИИ

ПЕНЗЕНСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

Кафедра «Математика и суперкомпьютерное моделирование»

Курсовая работа

по дисциплине «Вычислительная линейная алгебра»

на тему «Решение систем линейных уравнений по методу наименьших квадратов»

Направление подготовки - 01.03.01. Математика

Профиль подготовки - Вычислительная математика и компьютерные науки

Выполнил студент: ___________ Афонасова Я.Д.

Группа: 21ВМ1

Руководитель: к.ф.-м.н., доцент ___________ Васюнина И.А.

2023

МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ

РОССИЙСКОЙ ФЕДЕРАЦИИ

ПЕНЗЕНСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

«УТВЕРЖДАЮ»

Зав. кафедрой МСМ

___________ Ю.Г. Смирнов

ЗАДАНИЕ

На курсовую работу по дисциплине

«Вычислительная линейная алгебра»

Тема: «Решение систем линейных уравнений по методу наименьших квадратов»

Необходимо:

1. Изучить литературу по данной теме;

2. Разобрать примеры решения задач.

Руководитель: к.ф.-м.н., доцент Васюнина И.А.

2023

Оглавление

• Введение
• 1. Общие положения метода наименьших квадратов
• 1.1 Линейная функци
• 1.2 Степенная функция
• 1.3 Показательная функция
• 1.4 Квадратичная функция
• 2. Практическая часть
• Заключение
• Список литературы
• Введение
• Данная курсовая работа включает в себя информацию о методе наименьших квадратов (МНК) и его разновидностях. МНК -- математический метод, применяемый для решения различных задач, основанный на минимизации суммы квадратов отклонений некоторых функций от экспериментальных входных данных. Он может использоваться для «решения» переопределенных систем уравнений (когда количество уравнений превышает количество неизвестных), для поиска решения в случае обычных (не переопределенных) нелинейных систем уравнений, для аппроксимации точечных значений некоторой функции. МНК является одним из базовых методов регрессионного анализа для оценки неизвестных параметров регрессионных моделей по выборочным данным.
• 1. Общие положения метода наименьших квадратов
• Пусть две величины x и y связаны табличной зависимостью, полученной из опытов.

x			…
y			…

• На плоскости данной таблице соответствует n точек , где i=1,2,…, n. Точки называют экспериментальными точками.
• Требуется установить функциональную зависимость y=f(x) между переменными x и y по результатам экспериментальных исследований, приведенных в таблице. Применение интерполяции в данном случае нецелесообразно, так как значения в узлах получены экспериментально и поэтому являются сомнительными (в ходе эксперимента возникает неустранимая погрешность, обусловленная неточностью измерений). Кроме того, совпадение значений в узлах не означает совпадения характеров поведения исходной и интерполирующей функций. Поэтому необходимо найти такой метод подбора эмпирической формулы, который не только позволяет найти саму формулу, но и оценить погрешность подгонки.
• В общем случае искомая функция y=f(x) будет зависеть не только от x, но и от некоторого количества параметров:
• y=f(x,a,b,…) (1)
• линейное уравнение наименьший квадрат
• Постановка задачи [2]:
• Найти аппроксимирующую функцию y=f(x,a,b,…) такую, чтобы в точках x= она принимала значения по возможности близкие к табличным, то есть график искомой функции должен проходить как можно ближе к экспериментальным точкам. Вид функции (1) может быть известен из теоретических соображений или определяться характером расположения экспериментальных точек на плоскости .
• Для отыскания коэффициентов (a,b,…) в функции (1) применяется метод наименьших квадратов, который состоит в следующем. Между искомой функцией и табличными значениями в точках наблюдаются отклонения. Обозначим их ?= y=f(x,a,b,…), где i1,2,…,n . Выбираем значения коэффициентов (a,b,…) так, чтобы сумма квадратов отклонений принимала минимальное значение:
• (2)
• Сумма является функцией нескольких переменных. Необходимый признак экстремума функции нескольких переменных состоит в том, что обращаются в нуль частные производные:
• , … . (3)
• План решения задачи [2]:
• 1) Выбираем функцию y=f(x,a,b,…).
• 2) Для отыскания коэффициентов (a,b,…) составляем систему уравнений (3).
• 3) Решая систему уравнений (3), находим значения коэффициентов (a,b,…).
• 4) Подставляя (a,b,…) в уравнение (1) , получаем искомую функцию y=f(x,a,b,…).
• 5) По достаточному признаку экстремума функции нескольких переменных следует убедиться в постоянстве знака дифференциала второго порядка этой функции: при любых приращениях аргументов (da, db, ...).
• Такая проверка делается в теоретической части метода наименьших квадратов и на практике не повторяется.
• 6) Обычно рассматривают несколько видов функций y=f(x,a,b,…) и выбирают ту функцию, для которой суммарная погрешность окажется наименьшей.
• Рассмотрим несколько случаев подбора аппроксимирующей функции y=f(x,a,b,…).

1.1 Линейная функция

y=ax+b (4)

Решение

Составим функцию двух переменных и найдем, при каких значениях a,b эта функция принимает минимальное значение:

(5)

По необходимому признаку экстремума частные производные функции (5) должны быть равны нулю:

 (6)

Преобразуем уравнения системы (6) следующим образом:

(7)

Таким образом, получается система линейных уравнений с двумя неизвестными a и b. Коэффициенты при неизвестных a и b (соответствующие суммы) находятся из исходной табличной зависимости и являются постоянными для данной выборки. При различных значениях главный определитель этой системы отличен от нуля:

Следовательно, система линейных уравнений (7) имеет единственное решение, которое находится по формулам Крамера:



Подставим найденные значения a и b в уравнение (4), и получим искомую линейную функцию y=ax+b.

Убедимся, что в стационарной точке , функция S(a,b) имеет минимум.

Достаточным условием того, что функция двух переменных принимает минимальное значение, является постоянство знака второго дифференциала этой функции: при любых приращениях аргументов (da,db).

Дифференциал второго порядка функции имеет вид:

Второй дифференциал является квадратичной формой второго порядка от переменных da и db. Квадратичная форма принимает только положительные значения при da 0 и db 0 , если соответствующая ей матрица положительно определена.

Матрица квадратичной формы дифференциала второго порядка (матрица Гессе) будет иметь вид:

Найдем ее главные миноры:

Так как главные миноры матрицы Гессе положительны, то по критерию Сильвестра матрица положительно определена, и квадратичная форма дифференциала , соответствующая этой матрице, принимает только положительные значения. Из условия следует, что - точка минимума функции . Итак, коэффициенты a и b, найденные с помощью метода наименьших квадратов, всегда определяют именно минимум функции . Более того, так как функция имеет единственную стационарную точку , минимум функции является наименьшим значением .

Если коэффициенты линейной функции найдены, можно вычислить суммарную погрешность:

Метод наименьших квадратов для линейной функции широко применяется при обработке данных не только в теории измерений, но и в математической статистике при нахождении статистических оценок параметров и построении уравнения линейной регрессии, в эконометрике при нахождении трендов, а также в других прикладных дисциплинах.

1.2 Степенная функция

(8)

Решение

Прологарифмируем по основанию е функцию (8) и получим новое уравнение:

(9)

Обозначим Y , X .

Тогда равенство (9) примет вид Y Y связаны следующей табличной зависимостью:

X			…
Y			…

Таким образом, задача 2 свелась к задаче 1. Решая эту задачу, находим значения коэффициентов a и b. Учитывая, что , находим . Подставим найденные значения a и в уравнение (8) и получим искомую степенную функцию .

Суммарная погрешность равна S(a,b) = .

1.3 Показательная функция

(10)

Решение

Прологарифмируем по основанию е функцию (10) и получим новое уравнение:

(11)

Обозначим Y=, b=

Тогда равенство (11) примет вид Y=+b, где переменные x и Y связаны следующей табличной зависимостью:

x			…
Y=			…

Таким образом, задача 3 свелась к задаче 1. Решая эту задачу, находим значения коэффициентов a и b.

Учитывая, что b=, находим в=.

Подставим значения коэффициентов a и в в уравнение (10) и получим искомую показательную функцию y=в·.

Суммарная погрешность равна

1.4 Квадратичная функция

(12)

Решение

Составим функцию трех переменных и найдем, при каких значениях a, b, c эта функция принимает минимальное значение:

(13)

Функция будем принимать минимальное значение, если частные производные , и обращаются в нуль:

(14)

Преобразуем уравнения системы (14) следующим образом:

Получили систему трех линейных уравнений с тремя неизвестными a, b, c. Аналогично случаю двух переменных, эта система имеет единственное решение. Кроме того, можно доказать, что коэффициенты, найденные с помощью метода наименьших квадратов, всегда определяют именно минимум функции .

Решая систему уравнений, найдем значения коэффициентов a, b, c. Подставим найденные значения a, b, c в уравнение (9), и получим искомую квадратичную функцию .

Суммарная погрешность равна

2. Практическая часть

Дана таблица значений некоторой функциональной зависимости, полученной из n=6 опытов.

	1	2	3	4	5	6
	1,0	1,5	3,0	4,5	7,0	8,5

Задание [1]:

1. Методом наименьших квадратов по данной табличной зависимости найти аппроксимирующую функцию в виде:

1.1 Линейной функции

1.2 Степенной функции

1.3 Показательной функции

1.4 Квадратичной функции

Промежуточные вычисления вести с точностью до 0,0001.

Значения параметров a, b, c округлить до 0,01.

2. Сравнить полученные результаты.

Решение:

1.1 С помощью системы (7), где

получим систему уравнений:

Решим систему уравнений по формулам Крамера:

Тогда

Следовательно, искомая линейная функция будет иметь вид:

y=1,59x-1,30

1.2 Найдем зависимость y и x в виде степенной функции .

Прологарифмируем равенство по основанию е и получим .

Обозначим Y , X .

Тогда получим линейную функцию Y Y связаны следующей табличной зависимостью:

X	0	0,6931	1,0986	1,3863	1,6094	1,7918
Y	0	0,4055	1,0986	1,5041	1,9459	2,1401

Таким образом, данная задача свелась к задаче 1.1.

Прологарифмировав систему (7), найдем ее коэффициенты:



Система уравнений будет иметь вид:

Определители системы:

Тогда

Учитывая, что , находим , и получаем искомую степенную функцию .

x	1	2	3	4	5	6
	0	0,4055	1,0986	1,5041	1,9459	2,1401

Таким образом, задача свелась к задаче 1.1.

Система уравнений будет иметь вид:



Определители системы:

Тогда

Учитывая, что , находим , и получаем искомую показательную функцию .

Преобразовывая систему (14), получаем

Тогда система уравнений примет вид:



Решим систему уравнений по формуле Крамера:

где , , , .

Тогда a=0,16 , b=0,46 , c=0,20.

Искомая квадратичная функция имеет вид:

2. Сравним полученные результаты. Для этого найдем соответствующие суммарные погрешности:

Вывод: В данной задаче лучшей аппроксимирующей функцией является квадратичная функция

Заключение

Подводя итоги, можно выделать следующие достоинства и недостатки метода наименьших квадратов.

Достоинства:

1. Расчеты сводятся к механической процедуре нахождения коэффициентов.

2. Доступность полученных математических выводов.

Недостатком является чувствительность оценок к резким выбросам, которые встречаются в исходных данных.

Суть метода наименьших квадратов заключается в том, чтобы найти такие значения, при которых минимизируется сумма квадратов отклонений (ошибок).

Список литературы

1. Пискунов Н.С. Дифференциальное и интегральное исчисления для втузов: учеб. пособие. В 2 т. / Н.С. Пискунов. М.: Интеграл Пресс, 2001 - 2004.

2. Беклемишев Д.В. Курс аналитической геометрии и линейной алгебры: учебник для втузов / Д.В. Беклемишев. М.: ФИЗМАТЛИТ, 2009.

Размещено на Allbest.ru