Статистичний аналіз тенденцій захворюваності в Україні (стр. 5 из 38)

+ (Xβ)'(I_n – P)Xβ =

= σ²(p₁₁ + p₂₂ + … + p_nn) + β'X'(I_n – P)Xβ =

= σ²tr(I_n – P) + β'X'(I_n – P)Xβ =

= σ²(n – p) + 0 = σ²(n – p)

Отже,

M(n – p)S² = σ²(n – p)

MS² = σ².

Теорема доведена.

Виявляється, що S², подібно до

, має певні властивості оптимальності, які наведено в наступній теоремі.

Теорема 1.1.5.

Нехай Y₁, Y_2,…, Y_n – незалежні випадкові величини, які мають однакові дисперсії μ₂ = 3σ² і однакові треті та четверті моменти μ₃і μ₄. Якщо M[Y] = Xβ, де матриця Х = Х⁽ⁿ^×^p⁾, rangX = p, то DY = σ²I і (n – p)S² є єдиною невід’ємною квадратичною незміщеною оцінкою для (n – p)σ², яка має мінімальну дисперсію при μ₄ = 3σ⁴ або при рівності всіх діагональних елементів матриці P.

Доведення.

Оскільки σ²> 0, то будемо розглядати тільки невід’ємні оцінки.

Нехай Y'АY незміщена квадратична оцінка для (n - р)σ². Порахуємо математичне сподівання та дисперсію оцінки Y'АY

(n - р)σ² = M[Y'АY] = σ²trА + β'Х'АХβ

для всіх β, тоді trА = n - р і β'Х'АХβ = 0 для всіх β. Отже, Х'АХ = 0

А- додатньо напіввизначена симетрична матриця

з Х'АХ = 0 випливає, що АХ = 0.

Позначимо а – вектор, утворений діагональними елементами матриці А і γ₂ = (μ₄ - 3σ⁴)/σ⁴, тоді згідно з лемою 1.1.2,

D[Y'АY] = (μ₄ – 3(μ₂)²)a'a + 2(μ₂)²trA² + 4(μ₂)²(Xβ)'A²(Xβ) + 4μ₃(Xβ)'Aa =

= (μ₄ – 3(μ₂)²)a'a + 2(σ²)²trA² + 4(σ²)²β'X'AXβ +

+ 4μ₃β'(AX)'a = σ⁴γ₂а'а + 2σ⁴trА². (1.1.11)

Далі розглянемо оцінку (n - р)S², яка належить класу незміщених квадратичних оцінок для (n - р)σ² згідно з теоремою 1.1.4

(n - р)S²= (Y - X

)’(Y - X

) = Y(I_n - Р)Y = Y'RY

(де для стислості, введене позначення I_n - Р = R), trR² = trR = n - р.

Розглянемо D[Y'RY]:

D[Y'RY] = σ⁴γ₂r'r + 2σ⁴trR²= σ⁴γ₂r'r + 2σ⁴ (n - р). (1.1.12)

де r – вектор, утворений діагональними елементами матриці R.

Для того, щоб знайти достатні умови для мінімальності дисперсії оцінки Y'АY, покладемо А = R + D. Оскільки A та R симетричні, то матриця D також симетрична і trА = trR + trD.

Підставляємо: (n – p) = (n – p) + 0 таким чином, trD = 0. Оскільки АХ = 0, то АР = АХ(Х'Х)^-1X' = 0, тоді

A = R + D

AP = RP + DP

AP = P – P² + DP

0 = P – P + DP

DP = 0

Тоді

DR = D – DP = D – 0 = D

(останнє рівне також D = D' = RD, так як D симетрична).

Позначимо a = r + d, r – вектор діагональних елементів матриці R, d– вектор діагональних елементів матриці D.

A² = (R + D)² = R² + DR + RD + D² = R + 2D + D²

tr A²= trR + 2trD + trD² = (n - р) + trD².

Підставляючи а = r + d і tr A²в (1.1.11), одержуємо

D[Y'АY] = σ⁴γ₂a'а + 2σ⁴trA² = σ⁴γ₂(r + d)'(r + d) + 2σ⁴(n – p + trD²) =

= σ⁴γ₂(r' + d')(r + d) + 2σ⁴(n – p + trD²) =

= σ⁴γ₂(d'r + d'd + r'r + r'd) + 2σ⁴(n – p + trD²) =

= σ⁴γ₂r'r + 2σ⁴(n – p) + 2σ⁴

= D[Y'RY] + 2σ⁴

Щоб знайти оцінку з мінімальною дисперсією, потрібно мінімізувати D[Y'АY] за умов tr D = 0 і DR = D. У загальному випадку виконати таку мінімізацію досить важкою. Проте в двох важливих окремих випадках ця мінімізація виконується не важко. Перший випадок - це ситуація, коли γ₂ = 0 При цьому

D[Y'AY] = D[Y'RY] + 2σ²

Остання ж величина досягає мінімуму, коли d_ij = 0 для всіх i, j, тобто коли D = 0 і А = R. Другий випадок - це випадок рівності всіх діагональних елементів матриці Р. При цьому всі вони рівні р₁₁ = p₂₂ = … = p_nn

trR = trI – trP = n – p

tr Р = р.

Тому

р₁₁ + p₂₂ + … + p_nn r_ii = p

np_ii = p

p_ii = p/n

Тоді діагональні елементи матриці R = (I – P) дорівнюють r_ii = 1 – p_ii = 1 – p/n = (n - р)/n для кожного і

D[Y'AY] = D[Y'RY] + 2σ⁴(

= D(Y'RY) + 2σ⁴

= D[Y'RY] + 2σ⁴

, (1.1.13)

Далі для будь–якої випадкової величини ξ виконується нерівність γ₂ ≥-2. Дійсно,

0 ≤ D(ξ – Mξ)² = M(ξ – Mξ)⁴ – (M(ξ - Mξ)²)² = μ₄ – (μ₂)² =

= μ₄ – 3(μ₂)² + 2(μ₂)² = (μ₂)²(μ₄/ (μ₂)² – 3 + 2) =

= (μ₂)²(γ₂ + 2), отже γ₂ ≥ -2

отже D[Y'АY] досягає мінімуму, коли d_ij = 0 для всіх i, j. Таким чином, в обох випадках дисперсія виявляється мінімальною тоді і тільки тоді, коли А = R. Теорема доведена. Доведена теорема говорить про те, що незміщена квадратична оцінка для σ², з мінімальною дисперсією існує тільки при певних обмеженнях, наведених в теоремі. У припущенні нормальності, тобто при γ₂ = 0, оцінка S² є незміщеною оцінкою для σ², яка має мінімальну дисперсією в класі всіх незміщених оцінок, а не тільки в класі квадратичних незміщених оцінок. Раніше ми припускали відносно похибок ε_i, що M[ε] = 0 і D[ε] = σ²I_n. Якщо додатково припустити, що похибки ε_i розподілені нормально, тобто ε ~ N_n(0, σ²I_n) (отже Y ~ N_n(Xβ, σ²I_n)), то можна одержати низку наступних результатів, пов'язаних з розподілами.

Теорема 1.1.6. Якщо Y ~ N_n(Xβ, σ²I_n), де Х = Х⁽ⁿ^×^p⁾, rangX = p, тоді

(I)

~ N_p(β, σ²(X'X)^-1);

(II) (

- β)'X'X(

- β)/σ² ~

;

(III)

не залежить від S²;

(IV) RSS/σ² = (n – p)S²/σ² ~

Доведення. (I) МНК – оцінка вектора β має вигляд

= (Х'Х)^-1Х'Y, тоді

= СY, де C = (Х'Х)^-1Х' - матриця розміру р×n, для якої rangС = rang(Х'Х)^-1Х' = rangХ^-1(Х')^-1X' = rangХ^-1 = p. Вектор Y ~ N_n(Xβ, σ²I_n). Генератриса моментів для вектора

дорівнює

= M

M(t) = M

= M

- генератриса моментів

, де cXβ = (X’X)^-1β = β,

cσ²Ic’ = (X'X)^-1X'σ²I((X'X)^-1X')' = σ²(X'X)^-1X'X(X'X)^-1 = σ²(X'X)^-1.

Генератриса функції моментів нормального розподілу ξ ~ N(a; σ²):

M(t) = Me^tξ =

Генератриса моментів для вектора

однозначно визначає щільність розподілу вектора

і дорівнює M(t) = Me^t^',

, t = (t₁, t₂, …, t_p)'