Можливості методу часом переоцінюють і часто використовують тоді, коли інші методи підходили б більше. На цю проблему звертав увагу ще Коші (1853) під час “дебатів” з Б¢єнеме.
Нехай

- вибірка, утворена незалежними випадковими величинами зі щільністю

,

Ми маємо можливість спостерігати

. За результатами спостережень

необхідно оцінити невідомий параметр

(параметри
a,
b вважаємо відомими
). Оцінка параметра

за методом найменших квадратів дорівнює

. (2.3.2.1)
Оцінка параметра

за методом максимальної правдоподібності дорівнює

(2.3.2.2)
Оцінка параметра

за МНК - методом не збігається з оцінкою, здобутою за методом максимальної правдоподібності.
Яка з них краще?
Спочатку знайдемо оцінку параметра

МНК - методом.
МНК - оцінкою параметра

називають точку, в якій функція

(2.3.3.1)
досягає найменшого значення.
Обчислимо

:

Порахуємо кожен інтеграл окремо:
перший інтеграл дорівнює

;
другий інтеграл дорівнює

;
третій інтеграл дорівнює

;
четвертий інтеграл дорівнює

.
Тоді маємо

.
Підставляємо

в формулу (2.3.3.1):

.
Візьмемо похідну від функції

по параметру

:

.
Прирівнюємо похідну нулеві:

,

.
Звідси знаходимо оцінку для параметра

:

.
Знайдемо оцінку параметра

за методом максимальної правдоподібності. [4] Випишемо функцію максимальної правдоподібності

.
Функція

набуває максимального значення за умови, що

набуває мінімального значення.
Нехай

варіаційний ряд послідовності

.

Розглянемо два випадки: n=2k-1; n=2k.
Нехай n=2k-1. На кожному з проміжків

функція

лінійна. Причому на проміжку

,

, спадає (кутовий коефіцієнт - коефіцієнт при

- від’ємний), і на кожному з проміжків

,

зростає. Отже, найменше значення неперервна функція

досягає в точці

. Нехай n=2k. Тоді на кожному з проміжків

,

…,

, функція

спадає, на проміжку

- постійна і на

,

…,

, зростає. Отже, найменше значення функція

досягає в кожній точці проміжку

.
Отже, за методом максимальної правдоподібності оцінкою параметра

є

Якщо

- результати спостережень - розподілені нормально (щільність розподілу має вигляд

,

), то згідно з МНК - методом та методом максимальної правдоподібності оцінкою параметра

є

.
В методі найменших квадратів Гаусс виходив з припущення про нормальний розподіл похибок (і відповідно результатів спостережень), що на практиці зустрічається дуже часто. Якщо відомо, що розподіл похибок відмінний від нормального, використовувати МНК - метод для оцінювання параметрів не рекомендують. У вказаному вище парадоксі вживання оцінки більш виправдано.
Використовуючи стандартні поняття математичної статистики, парадокс можна коротко сформулювати наступним чином: оцінка за методом найменших квадратів не завжди збігається з оцінкою максимальної правдоподібності. Дійсно, якщо

- додатна щільність, напівнеперервна знизу в точці

;

- щільність розподілу вимірювань і

є оцінка максимальної правдоподібності параметра

для

, то

є щільністю нормального розподілу з нульовим середнім. Це - закон Гауса про похибки, який можна довести наступним чином: якщо припустити для простоти, що існує похідна

, і добуток

максимальний за умови, що

, то

,