Тоді умовна ймовірність події

за умов, що

набуло значення

має вигляд

. (2)
А умовна щільність випадкової величини

перепишеться у вигляді

. (3)
І вона є апостеріорною щільністю. Імовірність того, що

рахується за формулою

. (4)
Наприклад, якщо

,

,

,

, то імовірність того, що

більше

, дорівнює

:

Не всі довіряють цьому результату, зокрема, тому, що мають сумніви щодо рівномірності апріорного розподілу.
Парадокс.
Нехай можливими значеннями випадкової величини

є цілі числа. Припустимо, що ймовірнісний розподіл

залежить від параметру

. Якщо вибірка

здобута з невідомого розподілу

, то послідовність апостеріорних розподілів при збільшенні числа спостережень

концентрується навколо істинного значення невідомого параметра

.

(5)
Оцінка

параметра

обирається виходячи з максимуму апостеріорної щільності, тобто

. (6)
Парадоксально, але це не завжди вірно. Наприклад, істинне значення параметра

може дорівнювати

, а послідовність апостеріорних розподілів все більше зосереджується, наприклад, біля

.
Пояснення парадоксу.
Нехай апріорний розподіл параметра

рівномірний на відрізку

~ 
. (7)
Визначимо функцію

на цьому відрізку таким чином. Визначимо функцію

на цьому відрізку таким чином, що значеннями

завжди є натуральні числа, за виключенням точок

та

, де

:

(8)
Нехай розподіл випадкової величини

(який залежить від

) має вигляд

, (9)
де

знаходиться з рівності

. (10)
При відповідному виборі

вказана вище парадоксальна ситуація здійснена.
Парадокс методу найменших квадратів. Парадокс.
Нехай

- вибірка з двостороннього зміщеного показникового розподілу, утворена незалежними випадковими величинами зі щільністю

,

де

відомі. За результатами спостережень

необхідно оцінити невідомий параметр

.
Оцінка параметра

за методом найменших квадратів має вигляд

. (1)
Оцінка параметра

за методом максимальної правдоподібності дорівнює

(2)
Оцінка параметра

за МНК - методом не збігається з оцінкою, здобутою за методом максимальної правдоподібності. Треба вибрати яка з них краще?
Пояснення парадоксу.
Якщо

- результати спостережень - розподілені нормально (щільність розподілу має вигляд

,

), то згідно з МНК - методом та методом максимальної правдоподібності оцінкою параметра

є

. (3)
В методі найменших квадратів Гаусс виходив з припущення про нормальний розподіл похибок (і відповідно результатів спостережень

). Якщо відомо, що розподіл похибок відмінний від нормального, використовувати МНК - метод для оцінювання параметрів не рекомендують. Кращою оцінкою є оцінка, знайдена за методом максимальної правдоподібності, оскільки вона асимптотично ефективна для параметра

.
Парадокс методу максимальної правдоподібності.
Парадокс.
Наведемо простий приклад, який показує, що оцінка максимальної правдоподібності не завжди спроможна. Нехай

- множина раціональних чисел між

, а
В - деяка зліченна множина ірраціональних чисел між

. Припустимо, що значеннями незалежних елементів вибірки

є тільки

, причому значення 1 набувається з імовірністю
q, якщо
q - елемент множини
А, і з імовірністю

, якщо

- елемент
В. Тоді оцінка максимальної правдоподібності для
q не є спроможною.
Пояснення парадоксу.
Пояснення досить просте: оцінка максимальної правдоподібності для

є частота

, яка прямує до

для раціональних

і прямує до

для ірраціональних

.