Метод найменших квадратів

Размещено на http://www.allbest.ru/

Вступ

Обґрунтування методу найменших квадратів є важливою і актуальною задачею не тільки теоретичного, а й практичного плану.

Починаючи з початку дев'ятнадцятого століття і до сьогодення методу найменших квадратів присвячені багато робіт відомих вчених нашої країни та інших держав, зокрема: Большакова В.Д., Відуєва М.Г., Войтенка С.П., Гайдаева П.О., Гаусса К., Ідельсона М.І., Кондри Г.С., Маркузе Ю.І, Могільного С.Г., Папазова М.Г., Чеботарьова О.С. та багатьох інших[11].

У роботі Большакова В.Д. і Маркузе Ю.І. відмічено: «що умова не є обґрунтуванням методу найменших квадратів і фактично є довільним принципом».

Чеботарьов О.С. вказував, що принцип найменших квадратів є принцип математичний і на його перевагу приводить доведення на основі загальної арифметичної середини.

Папазов М.Г. і Могильний С.Г. стверджують, що «вероятнейшее значение измеренных величин, ошибки которых подчиняются нормальному распределению, должны определяться под условием [PVV] = min». Для обґрунтування найкращого значення простої і загальної арифметичних середин використовується показних степеню формули обчислення ймовірності[9].

Сама умова принципу найменших квадратів не визиває сумнівів. Її можна прийняти виходячи з простих міркувань. Якщо похибка одна, то ймовірність її появи буде тим більша чим менша буде сама похибка. Але вважати, що при мінімальному значенні показника степеню буде максимальне значення ймовірності для сукупності істинних похибок не зовсім вірно. Тому виникає питання: «Чому все таки дорівнює показник степеню і може він бути мінімальним або максимальним для сукупності похибок?»

Мета роботи: ознайомиться з методами наближення функцій.

Основні завдання курсової роботи:

· дослідити методи наближення функцій;

· розглянути метод найменших квадратів;

· навчитися застосовувати методи наближення на практиці, особливу увагу приділяючи методу найменших квадратів.

найменший квадрат апроксимація функція



1. Теоретична частина

1.1 Постановка задачі наближення функцій

Апроксимація функцій полягає в наближеній заміні заданої функції f(x) деякою функцією ц(x) так, щоб відхилення функції ц(x) від f(x) в заданій області було найменшим. Функція ц (х) при цьому називається апроксимуючою.

Необхідність апроксимації функцій в основному пов'язана з двома причинами:

1) Функція f(x) має складне аналітичне описання, що викликає певні труднощі при його використанні (наприклад, є спецфункцією: гамма-функцією, еліптичною функцією і ін.).

2) Аналітичне описання функції f(x) невідоме, тобто f(x) задана таблично. При цьому необхідно мати аналітичне описання, що наближено представляє f(x) (наприклад, для обчислення значень f(x) в довільних точках, визначення інтегралів і похідних від f(x) і т. п.).

Завдання апроксимації можна розділити на 2 види:

1) Інтерполяція

2) Найкраще наближення

Також виділяють екстраполяцію,що є окремим випадком інтерполяції або найкращого наближення, при якому шукається наближене значення табличної функції поза заданого інтервалу[4].

Розглянемо апроксимацію табличної функції:

Таблиця 1.1

Апроксимація табличної функції

xi	x0	x1	x2		xn
f(xi)	y0	y1	y2		yn



Точки даної сіткової функції називають вузлами апроксимації, а їх сукупність - апроксимаційною сіткою. Пари () називають точками даних або базовими точками. Крок сіткової функції може бути як змінним, так і постійним. Якщо функція F(x), задовольняє умові:

(1)

То така функція називається інтерполюючою функцією або інтерполянтом, а процес називається інтерполяцією.

Інтерполююча функція повинна належати відомому класу. Найбільш часто в якості інтерполюючої функції використовують різного виду поліноми[7].

Інтерполяцію можна розділити на глобальну - безперервна функція для всіх точок . Кускова (або локальна) - кусково-неперервна функція для всіх точок , при цьому кілька сусідніх вузлів інтерполюються неперервною функцією.

Методи глобальної інтерполяції зазвичай застосовують для функцій, заданих невеликою кількістю точок, так як при збільшенні кількості точок збільшується порядок інтерполюючого многочлена, що негативно позначається на гладкості отримуваної функції. Для кускової інтерполяції кількість вузлів сітки великого значення не має[1].

Найбільшого поширення з методів глобальної інтерполяції мають поліноми Лагранжа, перша і друга формули Ньютона, формула Бесселя, формула Стірлінга, перша і друга формули Гауса. Для кускового інтерполювання найчастіше застосовуються лінійна, квадратична інтерполяції, і інтерполяції кубічними і B-сплайнами.



1.2 Метод найменших квадратів

За наявності значної кількості експериментальних точок згладжування за допомогою многочленної інтерполяції не має сенсу не тільки через нестійкість (локальні викиди) інтерпольованої функції, але й сильне коливання заданих точок. У цьому разі дискретно задану функцію згладжують у середньому, частіше всього многочленом, коефіцієнти якого знаходять за допомогою мінімізації відхилення загладжуваної функції від заданих точок у деякому середньоінтегральному сенсі[2]. Одним з таких методів є метод найменших квадратів (МНК). Суть його полягає у наступному. Нехай дана експериментальна таблиця 1.2.

Таблиця 1.2

Експериментальна таблиця

			…
			…

Складемо многочлен степені m (m << n) :

(2)

Будемо вважати, що відхилення значень цього многочлена від заданих таблицею 1 значень мінімальне у деякому середьоінтегральному сенсі.

У точковому методі найменших квадратів будуємо функціонал, котрий геометрично являє собою суму квадратів відхилень значень від значень апроксимуючого многочлена (2) у точках .

(3)



Необхідною умовою мінімуму функції багатьох змінних є рівність нулю її часткових похідних першого порядку за незалежними змінними. У функціоналі (3) такими незалежними змінними є коефіцієнти многочлена (2), котрі до їх визначення є не сталими, а варійованими змінними:

(4)

Неоднорідна СЛАР (4) порядку відносно невідомих є нормальною, значить, її матриця є симетричною і позитивно визначеною. Розв'язання забезпечують мінімум функціоналу (3).

Якщо представити СЛАР (4) у вигляді:

(5)

то можна виписати вирази для коефіцієнтів і правих частин :

Розв'язавши цю СЛАР відносно і підставивши їх у (2), отримаємо многочлен степені m (m << n) , що найкращим чином згладжує дискретну функцію у середньоквадратичному сенсі[3].

Для вибору степені многочлена (2) можна починати з многочлена 1-ї степені , розв'язавши задачу про точковий МНК, для котрого знаходять коефіцієнти . Визначають максимальну за модулем величину відносної похибки: , якщо вона не перевищує задану точність , то за апроксимуючий многочлен приймають . У противному випадку підвищують степень многочлена на одиницю та повторюють розрахунки тощо[8].

Але на практиці задану таблицю представляють графічно і за заданими точками наближено визначають вигляд апроксимуючого за МНК многочлена.

В інтегральному методі найменших квадратів розглядається інтегрована з квадратом функція яка важка для дослідження[10].

Будемо апроксимувати цю функцію деякою функцією з мінімізацією площі, наприклад за допомогою многочлена

, (7)

де знаходять з умови мінімізації наступного квадратичного функціоналу:

S(. (8)

Необхідні умови мінімуму функціоналу (8) мають вигляд:



(9)

У нормальній СЛАР (9) відносно коефіцієнтів праві частини можуть не інтегруватись через складність досліджуваної функції . У цьому випадку праві частини обчислюють за допомогою методів числового інтегрування.

1.3 Зауваження про вибір емпіричної формули методу найменших квадратів

Спосіб найменших квадратів не може дати відповіді на питання про те, якого виду функція найкраще апроксимує дані експериментальні точки.

Вид функції повинен бути заданий на підставі якихось фізичних міркувань. Метод найменших квадратів дозволяє нам лише вибрати, яка з прямих, експонент або парабол є кращою прямою, кращою експонентою або кращою параболою[6].

Можна запропонувати лише методику визначення ступеня, що наближає поліном виду:

(10)

Таблиця 1.3

Методика визначення ступеня

				…			…		…
				…			…		…



(11)

Можна побачити, що якщо результати вимірювання в точності задовольняють лінійному закону, то перші розділені або кінцеві для таблиці з постійним кроком різниці повинні бути постійні:

(12)

Якщо ж лінійна формула лише наближено відображає залежність, яка фактично має місце, то виписаний ланцюжок точних рівностей заміниться ланцюжком наближених рівностей[5].

Таким чином, лінійна емпірична формула виявиться придатною лише в тому випадку, якщо перші розділені або кінцеві різниці мало відрізняються один від одного (коливаються в незначних межах).



2. Практична частина

2.1 Постановка задачі

Задана статистика та функції:

.

Таблиця 2.1

Статистичні дані

x	1	2		4	5	6	7	8	9	10
y	2	2,6	5,6	8	7,2	9,9	8,9	13	11,8	13,5

2.2 Лініалізація, розв'язання та побудова графіків функцій

Приклад 1.

Задана статистика та функція .

Так як функція є нелінійною, то приводимо її до лінійного вигляду, , шляхом лінеаризації, але так як функція вже має лінійний вигляд - переходимо до розрахунків.

В Excel за допомогою функції ЛИНЕЙН розраховуємо коефіцієнти a і b та заповнюємо таблицю. В результаті отримаємо таблицю 2.2:

Таблиця 2.2

Розрахункова таблиця

1	2	2,515	1,27	1,24	0,924
2	2,6	3,789
3	5,6	5,064
4	8	6,338
5	7,2	7,613
6	9,9	8,887
7	8,9	10,162
8	13	11,436
9	11,8	12,711
10	13,5	13,985

За даними першого і другого стовпчика таблиці 2.2 за допомогою Excel наносимо на графік першу криву, а далі, на цьому ж графіку, будуємо криву даними стовпчика . У результаті отримуємо графік, представлений на рисунку 1.

Рис.1 Графічне зображення заданої статистики та функції

Приклад 2.

Задана статистика та функція .

Так як функція є нелінійною, то приводимо її до лінійного вигляду, , шляхом лінеаризації: і отримуємо рівняння прямої .

В Excel за допомогою функції ЛИНЕЙН розраховуємо коефіцієнти a і b та заповнюємо таблицю. В результаті отримаємо таблицю 2.4:



Таблиця 2.4

Розрахункова таблиця

1	2	2,515	1	5,48	-4,07	0,936
2	2,6	3,789	1,414
3	5,6	5,064	1,732
4	8	6,338	2,000
5	7,2	7,613	2,236
6	9,9	8,887	2,449
7	8,9	10,162	2,646
8	13	11,436	2,828
9	11,8	12,711	3,000
10	13,5	13,985	3,162

За даними першого і другого стовпчика таблиці 2.4 за допомогою Excel наносимо на графік першу криву, а далі, на цьому ж графіку, будуємо криву даними стовпчика . У результаті отримуємо графік, представлений на рисунку 2.

Рис.2 Графічне зображення заданої статистики та функції



Приклад 3.

Задана статистика та функція .

Так як функція є нелінійною, то приводимо її до лінійного вигляду, , шляхом лінеаризації: . Отримуємо рівняння прямої: .

В Excel за допомогою функції ЛИНЕЙН розраховуємо коефіцієнти a і b та заповнюємо таблицю. В результаті отримаємо таблицю 2.6:

Таблиця 2.6

Розрахункова таблиця

1	2	2,515	1,00	0,50	0,51	0,03	0,928
2	2,6	3,789	0,50	0,38
3	5,6	5,064	0,33	0,18
4	8	6,338	0,25	0,13
5	7,2	7,613	0,20	0,14
6	9,9	8,887	0,17	0,10
7	8,9	10,162	0,14	0,11
8	13	11,436	0,13	0,08
9	11,8	12,711	0,11	0,08
10	13,5	13,985	0,10	0,07

За даними першого і другого стовпчика таблиці 2.6 за допомогою Excel наносимо на графік першу криву, а далі, на цьому ж графіку, будуємо криву даними стовпчика . У результаті отримуємо графік, представлений на рисунку 3.

Рис.3 Графічне зображення заданої статистики та функції

Приклад 4.

Задана статистика та функція .

Так як функція є нелінійною, то приводимо її до лінійного вигляду, , шляхом лінеаризації . Отримуємо рівняння прямої: .

В Excel за допомогою функції ЛИНЕЙН розраховуємо коефіцієнти a і b та заповнюємо таблицю. В результаті отримаємо таблицю 2.8.

Таблиця 2.8

Розрахункова таблиця

1	2	4,24	1	0,11	4,13	0,8299
2	2,6	4,56	4
3	5,6	5,09	9
4	8	5,84	16
5	7,2	6,81	25
6	9,9	7,98	36
7	8,9	9,37	49
8	13	10,98	64
9	11,8	12,80	81
10	13,5	14,83	100

За даними першого і другого стовпчика таблиці 2.8 за допомогою Excel наносимо на графік першу криву, а далі, на цьому ж графіку, будуємо криву даними стовпчика . У результаті отримуємо графік, представлений на рисунку 4.

Рис. 4 Графічне зображення заданої статистики та функції



Висновки

Задача наближення функцій виникає при розв'язанні багатьох практичних і теоретичних задач, а інколи і як самостійна. Так, наближення функцій є важливим допоміжним апаратом при розв'язанні інших задач чисельного аналізу: чисельного інтегрування і диференціювання, розв'язання диференціальних рівнянь, розв'язання систем нелінійних рівнянь, задач оптимізації та ін.

Найбільш відомим і ефективним методом розв'язання задачі апроксимації функцій є метод найменших квадратів. МНК широко використовується в різних областях. Наприклад, в теорії ймовірностей і математичній статистиці метод використовується для визначення такої характеристики випадкової величини, як середнє квадратичне відхилення, визначальною ширину діапазону значень випадкової величини. В математичному аналізі і різних галузях фізики, що використовують для виведення або підтвердження гіпотез даний апарат, МНК застосовують, зокрема, для оцінки наближеного представлення функцій, визначених на числових множинах, більш простими функціями, що допускають аналітичні перетворення. Ще одне застосування цього методу -- відділення корисного сигналу від накладеного на нього шуму в завданнях фільтрації. Ще одна область застосування МНК -- економетрика. Тут даний метод настільки широко використовується, що для нього було визначено деякі спеціальні модифікації.

В першій частині було розглянуто загальні відомості взагалі про методи наближення функцій, детально розглянуто метод найменших квадратів, його суть та основні формули.

В другій частині даної курсової роботи було розглянуто чотири нелінійні функції, в яких потрібно було знайти параметри, використовуючи метод найменших квадратів. В ході роботи було виявлено, що графік функції проходить найближче з усіх до заданої залежності . Значення якої дорівнює 0,936368, що свідчить про те, що задана залежність проходить найбільш близько до даної функції, оскільки має максимально наближатися до 1.

Список використаної літератури

1. Аксьонова, Є.М. Елементарні способи оцінки похибок результатів прямих і непрямих вимірів/навчальний посібник для вузів. - М.: Изд-во Логос; Університетська книга, 2007.

2. Бахвалов Н. С. Численные методы : учебное пособие / Бахвалов Н. С., Жидков Н. П., Кобельков Т. М. - М. : БИНОМ. Лаборатория знаний, 2003. - 632 с.

3. Бахвалов, Н. С. Чисельні методи в задачах і вправах / Н. С. Бахвалов, О. В. Лапін, Є. В. Чіжонков. М.: Вищ. шк., 2000. 192 с.

4. Богачев К. Ю. Практикум на ЭВМ. Методы приближения функций

5. Вержбицкий В. М. Основы численных методов : учебник для вузов / Вержбицкий В. М. - М. : Высшая школа, 2002. - 840 с.

6. Волков Є. А. Чисельні методи. СПб.: Лань, 2004. 248 с.

7. Идельсон Н.И. Способ наименьших квадратов и теория математической обработки наблюдений / Н.И. Идельсон. - М.: Геодезиздат, 1947. - 359 с.

8. Линник Ю. В. Метод наименьших квадратов и основы математико-статистической теории обработки наблюдений. - 2-е изд. - М., 1962. (математическая теория)

9. Мазмишвили А.И. Теория ошибок и метод наименьших квадратов / А.И. Мазмишвили. - М.: Недра, 1978. - 311 с.

10. Рябчій В. А. Теорія похибок вимірювань: навч. посібник / В. А. Рябчій, В.В. Рябчій. - Д.: Національний гірничий університет, 2006. - 166 с.

11. Идельсон Н.И. Способ наименьших квадратов и теория математической обработки наблюдений / Н.И. Идельсон. - М.: Геодезиздат, 1947. - 359 с.

Размещено на Allbest.ru