Анализ регрессии в изучении экономических проблем (стр. 2 из 6)
Самым распространенным методом оценки параметров уравнения множественной линейной регрессии является метод наименьших квадратов (МНК). Напомним, что его суть состоит в минимизации суммы квадратов отклонений наблюдаемых значений зависимой переменной Y от ее значений YПрежде чем перейти к описанию алгоритма нахождения оценок коэффициентов регрессии, напомним о желательности выполнимости ряда предпосылок МНК, которые позволят проводить анализ в рамках классической линейной регрессионной модели.
Предпосылки МНК:
1 Математическое ожидание случайного отклонения εi равно нулю:
M(εi) = 0 для всех наблюдений. Данное условие означает, что случайное отклонение в среднем не оказывает влияния на зависимую переменную. В каждом конкретном наблюдении случайный член может быть либо положительным, либо отрицательным, но он не должен иметь систематического смещения. Отметим, что выполнимость M(εi) = 0 влечет выполнимость:
M(Y|X = = xi) = β0 + β1xi.
2 Дисперсия случайных отклонений εi постоянна:
D(εi) = D(εj) = σ2 для любых наблюдений i и j. Данное условие подразумевает, что несмотря на то, что при каждом конкретном наблюдении случайное отклонение может быть либо большим, либо меньшим, не должно быть некой априорной причины, вызывающей большую ошибку (отклонение).Выполнимость данной предпосылки называется гомоскедастичностью (постоянством дисперсии отклонений).
Невыполнимость данной предпосылки называется гетероскедастичностью (непосто-янством дисперсий отклонений). Поскольку D(εi) = M(εi − M(εi))2 = M(еi2) , то данную предпосылку можно переписать в форме: M(еi2)= σ2. Причины невыполнимости данной предпосылки и проблемы, свяанные с этим, подробно рассматриваются в главе 8.
3 Случайные отклонения εi и εj являются независимыми друг от друга для i ≠ j. Выполнимость данной предпосылки предполагает, что отсутствует систематическая связь между любыми случайными отклонениями. Другими словами, величина и определенный знак любого случайного отклонения не должны быть причинами величины и знака любого другого отклонения. Поэтому, если данное условие выполняется, то говорят об отсутствии автокорреляции. С учетом выполнимости предпосылки 10 соотношение (5.6) может быть переписано в виде: M(εiεj) = 0 (i ≠ j). Причины невыполнимости данной предпосылки и проблемы, свя-занные с этим, подробно рассматриваются в главе 9.
4 Случайное отклонение должно быть независимо от объясняющих переменных. Обычно это условие выполняется автоматически при условии,что объясняющие переменные не являются случайными в данной модели. Данное условие предполагает выполнимость следующего соотношения:
у = cov(εi, xi) = M((εi − M(εi))(xi − M(xi))) = M(εi(xi − M(xi))) =
еixi = M(εixi) − M(εi) M(xi) = M(εixi) = 0.
Следует отметить, что выполнимость данной предпосылки не столь критична для эконометрических моделей.
5 Модель является линейной относительно параметров
6 Отсутствие мультиколлинеарности. Между объясняющими переменными отсутствует строгая (сильная) линейная зависимость.
7 Ошибки εi имеют нормальное распределение /Выполнимость данной предпосылки важна для проверки статистических гипотез и построения интервальных оценок.
Как и в случае парной регрессии, истинные значения параметров βj по выборке получить невозможно. В этом случае вместо теоретического уравнения регрессии (6.3) оценивается так называемое эмпирическое уравнение регрессии. Эмпирическое уравнение регрессии представим в виде:
Y = b0 + b1X1 + b2X2 + ... + bmXm+ е. (2.6)
Здесь b0, b1, ..., bm − оценки теоретических значений β1, β2, ..., βm коэффициентов регрессии (эмпирические коэффициенты регрессии); е − оценка отклонения ε. Для индивидуальных наблюдений имеем:
yi = b0 + b1xi1 + … + bmxim + ei. (2.7)
Оцененное уравнение в первую очередь должно описывать общий тренд (направление) изменения зависимой переменной Y. При этом необходимо иметь возможность рассчитать отклонения от этого тренда. По данным выборки объема n: (xi1, xi2,… , xim, yi), i = 1, 2, … , n требуется оценить значения параметров βj вектора β, т. е. провести параметризацию выбранной модели (здесь xij, j = 1, 2, … , m − значение переменной Xj в i-м наблюдении). При выполнении предпосылок МНК относительно ошибок εi оценки b0, b1, ..., bm параметров β1, β2, ..., βm множественной линейной регрессии по МНК являются несмещенными, эффективными и состоятельными (т. е. BLUE-оценками). На основании (6.7) отклонение еi значения yi зависимой переменной Y от модельного значения y)i , соответствующего уравнению регрессии в i-м наблюдении (i = 1, 2, …, n), рассчитывается по формуле:
ei = yi – b0 – b1xi1 − … − bmxim. (2.8)
Тогда по МНК для нахождения оценок b0, b1, ..., bm минимизируется следующая функция:
Q= ∑ei2 = ∑(yi −(b0 +∑bjxij))2 . (2.9)
i=1 i=1 j=1
Данная функция является квадратичной относительно неизвестных величин bj, j = 0, 1, ..., m. Она ограничена снизу, следовательно, имеет минимум. Необходимым условием минимума функции Q является равенство нулю всех ее частных производных по bj. Частные производные квадратичной функции (6.9) являются линейными функциями.
Приравнивая их к нулю, мы получаем систему (m + 1) линейного уравнения с (m + 1) неизвестным:
∂Q/ ∂b0 = −2∑n (yi −(b0 +∑mbjxij)),
∂Q/ ∂bj = −2∑(yi −(b0 +∑bjxij))xij, j=1, 2, ... , m. (2.10)
Такая система имеет обычно единственное решение. В исключительных случаях, когда столбцы системы линейных уравнений линейно зависимы, она имеет бесконечно много решений или не имеет решения вовсе. Однако данные реальных статистических наблюдений к таким исключительным случаям практически никогда не приводят. Система (6.11) называется системой нормальных уравнений. Ее решение в явном виде наиболее наглядно представимо в векторноматричной форме.
2.2 Расчет коэффициентов множественной линейной регресcии
Представим данные наблюдений и соответствующие коэффициенты в матричной форме. Здесь Y − вектор-столбец размерности n наблюдений зависимой переменной Y; Х − матрица размерности n Ч (m + 1), в которой i-я строка (i = 1, 2, … , n) представляет наблюдение вектора значений независимых переменных X1, X2, … , Xm; единица соответствует переменной при свободном члене b0; B − вектор-столбец размерности
(m + 1) параметров уравнения регрессии (6.6); e − вектор-столбец размерности n отклонений выборочных (реальных) значений yi зависимой переменной Y от значений y^i , получаемых по уравнению регрессии
Y^i = b0 + b1X1 + b2X2 + ... + bmXm. (2.12)
Нетрудно заметить, что функция Q= ∑ei2 в матричной форме представима как произведение вектор-строки eT = ( e1, e2, ... , en ) на вектор-столбец e. Вектор-столбец e, в свою очередь, может быть записан в следующем виде:
e = Y − XB. (2.13)
Отсюда:
Q = eT⋅e = (Y − XB)T⋅( Y −XB) = YT Y −BT XT Y −YT XB +BT XT XB =
= YT Y − 2BT XT Y + BTXT XB. (2.14)
Здесь eT, BT, XT, YT − векторы и матрицы, транспонированные к e, B, X, Y соответственно. При выводе формулы (6.14) мы воспользовались известными соотношениями линейной алгебры:
(Y − XB)T = YT - (XB)T; (XB)T = BTXT; BT XT Y = YT XB. (2.15)
Эти соотношения легко проверить, записав поэлементно все мат-рицы и выполнив с ними нужные действия. Необходимым условием экстремума функции Q является равенство нулю ее частных производных
по всем параметрам bj, в матричном виде имеет следующий вид: 
(2.16)Для упрощения изложения обозначим матрицу XT X размерности (m + 1) Ч (m + 1) через Z. Обозначим вектор-столбец ХTY размерности (m + 1) через R. Тогда BT XT Y = BTR = ∑ajrj+1, где rj+1 – соответствующий элемент вектора R.
Следовательно, формула (2.16) справедлива. Приравняв ∂Q/ ∂b0 нулю, получим общую формулу (2.18) вычисления коэффициентов множественной линейной регрессии.
Здесь (XT X)−1 − матрица, обратная к XT X. Полученные общие соотношения справедливы для уравнений регрессии с произвольным количеством m объясняющих переменных. Проанализируем полученные результаты для случаев m = 1, m = 2. Для парной регрессии Y = b0 + b1X + e имеем: (Приложения А)
Сравнивая диагональные элементы z′jj матрицы Z−1= (XT X)−1 с формулами , замечаем, что Sb2j= S2 ⋅ z′jj , j = 0, 1. Рассуждая аналогично, можно вывести формулы (осуществление выкладок рекомендуем в качестве упражнения) определения коэффициентов регрессии для уравнения с двумя объясняющими переменными (m = 2). Соотношение (6.17) в этом случае в расширенной форме имеет вид системы трех линейных уравнений с тремя неизвестными b0, b1, b2:
∑yi = nb0 + b1∑xi1 + b2∑xi2 ,
∑xi1yi =b0∑xi1 +b1∑xi21 +b2∑xi1xi2, (2.19)
∑xi2yi =b0∑xi2 +b1∑xi1xi2 +b2∑xi22.
2.3 Дисперсии и стандартные ошибки коэффициентов
Знание дисперсий и стандартных ошибок позволяет анализировать точность оценок, строить доверительные интервалы для теоретических коэффициентов, проверять соответствующие гипотезы. Наиболее удобно формулы расчета данных характеристик приводить в матричной форме. Попутно заметим, что три первые предпосылки МНК в матричной форме будут иметь вид:
1 M(ε) = 0;
2 D(ε) = σ2I;
3 K(ε) = M(εεT) = σ2E.
Как показано выше, эмпирические коэффициенты множественной линейной регрессии определяются по формуле (2.18)
Подставляя теоретические значения Y = Xβ + ε в данное соотношение, имеем:
Построим дисперсионно-ковариационную матрицу
В силу того, что Хj не являются случайными величинами, имеем: