Метод найменших квадратів
У процесі вивчення різних питань природознавства, економіки і техніки, соціології, педагогіки доводиться на основі великої кількості дослідних даних виявляти суттєві фактори, які впливають на досліджуваний об’єкт, а також встановлювати форму зв’язку між різними зв’язаними одна з одною величинами (ознаками).
Нехай у результаті досліджень дістали таку таблицю деякої функціональної залежності:
Таблиця 1
Треба знайти аналітичний вигляд функції

, яка добре відображала б цю таблицю дослідних даних. Функцію

можна шукати у вигляді інтерполяційного поліному. Але інтерполяційні поліноми не завжди добре відображають характер поведінки таблично заданої функції. До того ж значення

дістають у результаті експерименту, а вони, як правило, сумнівні. У цьому разі задача інтерполювання табличної функції втрачає сенс. Тому шукають таку функцію

, значення якої при

досить близькі до табличних значень

. Формулу

називають
емпіричною, або
рівнянням регресії 
на

. Емпіричні формули мають велике практичне значення, вдало підібрана емпірична формула дає змогу не тільки апроксимувати сукупність експериментальних даних, «згладжуючи» значення величини

, а й екстраполювати знайдену залежність на інші проміжки значень

.
Процес побудови емпіричних формул складається з двох етапів: встановлення загального виду цієї формули і визначення найкращих її параметрів.
Щоб встановити вигляд емпіричної формули, на площині будують точки з координатами

. Деякі з цих точок сполучають плавною кривою, яку проводять так, щоб вона проходила якомога ближче до всіх даних точок. Після цього візуально визначають, графік якої з відомих нам функцій найкраще підходить до побудованої кривої. Звичайно, намагаються підібрати найпростіші функції: лінійну, квадратичну, дробово-раціональну, степеневу, показникову, логарифмічну.
Встановивши вигляд емпіричної формули, треба знайти її параметри (коефіцієнти). Найточніші значення коефіцієнтів емпіричної формули визначають методом найменших квадратів. Цей метод запропонували відомі математики К. Гаусс і А. Лежандр.
Розглянемо суть методу найменших квадратів.
Нехай емпірична формула має вигляд

, (1)
де

,

, …,

- невідомі коефіцієнти. Треба знайти такі значення коефіцієнтів

, за яких крива (1) якомога ближче проходитиме до всіх

точок

,

, …,

, знайдених експериментально. Зрозуміло, що жодна з експериментальних точок не задовольняє точно рівняння (1). Відхилення від підстановки координат

у рівняння (1) дорівнюватимуть величинам

.
За методом найменших квадратів найкращі значення коефіцієнтів

ті, для яких сума квадратів відхилень

(2)
дослідних даних

від обчислених за емпіричною формулою (1) найменша. Звідси випливає, що величина (2), яка є функцією від коефіцієнтів

, повинна мати мінімум. Необхідна умов мінімуму функції багатьох змінних ─ її частинні похідні мають дорівнювати нулю, тобто

,

, …,

.
Диференціюючи вираз (2) по невідомих параметрах

, матимемо відносно них систему рівнянь:

Система (3) називається нормальною. Якщо вона має розв’язок, то він єдиний, і буде шуканим.
Якщо емпірична функція (1) лінійна відносно параметрів

, то нормальна система (3) буде системою з

лінійних рівнянь відносно шуканих параметрів.
Будуючи емпіричні формули, припускатимемо, що експериментальні дані

додатні.
Якщо серед значень

і

є від’ємні, то завжди можна знайти такі додатні числа

і

, що

і

.
Тому розв’язування поставленої задачі завжди можна звести до побудови емпіричної формули для додатних значень

.
Побудова лінійної емпіричної формули. Нехай між даними

існує лінійна залежність. Шукатимемо емпіричну формулу у вигляді

, (4)
де коефіцієнти

і

невідомі.
Знайдемо значення

і

, за яких функція

матиме мінімальне значення. Щоб знайти ці значення, прирівняємо до нуля частинні похідні функції

Звідси, врахувавши, що

, маємо

(5)
Розв’язавши відносно

і

останню систему, знайдемо

, (6)

. (7)
Зазначимо, що, крім графічного, є ще й аналітичний критерій виявлення лінійної залежності між значеннями

і

.
Покладемо

,

,

.
Якщо

, то залежність між

і

лінійна, бо точки

лежатимуть на одній прямій. Якщо

, то між

і

існує майже лінійна залежність, оскільки точки

лежатимуть близько до деякої прямої.