Введем обозначения. Так как здесь описывается поведение случайных остатков, то моделируемый временной ряд обозначим t, и будем полагать, что при всех t его математическое ожидание равно нулю, т.е. Et, 0. Временные последовательности, образующие «белый шум», обозначим t.
Описание и анализ, рассматриваемых ниже моделей, формулируется в терминах общего линейного процесса, представимого в виде взвешенной суммы настоящего и прошлых значений белого шума, а именно:
где 0 = 1
Таким образом, белый шум представляет собой серию импульсов, в широком классе реальных ситуаций генерирующих случайные остатки исследуемого временного ряда.
Временной ряд t можно представить в эквивалентном виде, при котором он получается в виде классической линейной модели множественной регрессии, в которой в качестве объясняющих переменных выступают его собственные значения во все прошлые моменты времени:
При этом весовые коэффициенты 1, 2,… связаны определенными условиями, обеспечивающими стационарность ряда t. Переход от (2.14) к (2.13) осуществляется с помощью последовательной подстановки в правую часть (2.14) вместо t1, t2,… их выражений, вычисленных в соответствии с (2.14) для моментов времени t 1, t 2 и т.д.
Рассмотрим также процесс смешанного типа, в котором присутствуют как авторегрессионные члены самого процесса, так и скользящее суммирование элементов белого шума:
Будем подразумевать, что p и q могут принимать и бесконечные значения, а также то, что в частных случаях некоторые (или даже все) коэффициенты или равны нулю.
2.3.1. Модели авторегрессии порядка p (AR(p)-модели).
Рассмотрим сначала простейшие частные случаи.
Модель авторегрессии 1-го порядка AR(1) (марковский процесс). Эта модель представляет собой простейший вариант авторегрессионного процесса типа (2.14), когда все коэффициенты кроме первого равны нулю. Соответственно, она может быть определена выражением
t = t1 + t, (2.15)
где некоторый числовой коэффициент, не превосходящий по абсолютной величине единицу (|| < 1), а t последовательность случайных величин, образующая белый шум. При этом t зависит от t и всех предшествующих , но не зависит от будущих значений . Соответственно, в уравнении (2.15) t не зависит от t1 и более ранних значений . В связи с этим, t называют инновацией (обновлением).
Последовательности , удовлетворяющие соотношению (2.15), часто называют также марковскими процессами. Это означает, что
Et 0, (2.16)
r(t, tk) = k, (2.17)
Dt = , (2.18)
cov(t, tk) = kDt. (2.19)
Одно важное следствие (2.19) состоит в том, что если величина || близка к единице, то дисперсия t будет намного больше дисперсии . А это значит, что если соседние значения ряда t сильно коррелированы, то ряд довольно слабых возмущений t будет порождать размашистые колебания остатков t.
Основные характеристики процесса авторегрессии 1-го порядка следующие.
Условие стационарности ряда (2.15) определяется требованием к коэффициенту : || < 1, или, что то же, корень z0 уравнения 1 z = 0 должен быть по абсолютной величине больше единицы.
Автокорреляционная функция марковского процесса определяется соотношением (2.17):
r() = r(t, t) = . (2.20)
Отсюда же, в частности, следует простая вероятностная интерпретация параметра : = r(t, t1), т.е. значение определяет величину корреляции между двумя соседними членами ряда t.
Из (2.20) видно, что степень тесноты корреляционной связи между членами последовательности (2.15) экспоненциально убывает по мере их взаимного удаления друг от друга во времени.
Частная автокорреляционная функция rчаст() = r(t, t+ | t+1 = t+2 =…= t+1 = 0) может быть подсчитана с помощью формул (2.4)-(2.5). Непосредственное вычисление по этим формулам дает следующий простой результат: значения частной корреляционной функции rчаст() равны нулю для всех = 2, 3,…. Это свойство может быть использовано при подборе модели: если вычисленные выборочные частные корреляции статистически незначимо отличаются от нуля при = 2, 3,…, то использование модели авторегрессии 1-го порядка для описания поведения случайных остатков временного ряда не противоречит исходным статистическим данным.
Спектральная плотность марковского процесса (2.15) может быть подсчитана с учетом известного вида автокорреляционной функции (2.20):
В случае значения параметра близкого к 1, соседние значения ряда t близки друг к другу по величине, автокорреляционная функция экспоненциально убывает оставаясь положительной, а в спектре преобладают низкие частоты, что означает достаточно большое среднее расстояние между пиками ряда t. При значении параметра близком к -1, ряд быстро осциллирует (в спектре преобладают высокие частоты), а график автокорреляционной функции экспоненциально спадает до нуля с попеременным изменением знака.
Идентификация модели, т.е. статистическое оценивание ее параметров и по имеющейся реализации временного ряда xt (а не его остатков, которые являются ненаблюдаемыми), основана на соотношениях (2.16)(2.19) и может быть осуществлена с помощью метода моментов. Для этого следует предварительно решить задачу выделения неслучайной составляющей , что позволит оперировать в дальнейшем остатками.
Затем подсчитывается выборочная дисперсия остатков по формуле
где , а «невязки» (остатки) вычислены по формуле.
Оценку параметра получаем с помощью формулы (2.18), подставляя в нее вместо коэффициента корреляции его выборочное значение, т.е. .
Наконец, оценка параметра основана на соотношении (2.19), в котором величины Dt и заменяются оценками, соответственно, и :
Модели авторегрессии 2-го порядка - AR(2) (процессы Юла). Эта модель, как и AR(1), представляет собой частный случай авторегрессионного процесса, когда все коэффициенты j в правой части (2.14) кроме первых двух, равны нулю. Соответственно, она может быть определена выражением
t = 1t1 + 2t2 + t, (2.22)
где последовательность 1, 2,… образует белый шум.
Условия стационарности ряда (2.22) (необходимые и достаточные) определяются как:
В рамках общей теории моделей те же самые условия стационарности получаются из требования, чтобы все корни соответствующего характеристического уравнения лежали бы вне единичного круга. Характеристическое уравнение для модели авторегрессии 2-го порядка имеет вид:
Автокорреляционная функция процесса Юла подсчитывается следующим образом. Два первых значения r(1) и r(2) определены соотношениями
а значения для r(), = 3, 4,… вычисляются с помощью рекуррентного соотношения
r() = 1r( 1) + 2r( 2).
Частная автокорреляционная функция временного ряда, сгенерированного моделью авторегрессии 2-го порядка, обладает следующим отличительным свойством:rчаст() = 0 при всех = 3, 4,…
Спектральная плотность процесса Юла может быть вычислена с помощью формулы:
Идентификация модели авторегрессии 2-го порядка основана на соотношениях, связывающих между собой неизвестные параметры модели 1, 2 и со значениями различных моментов «наблюдаемого» временного ряда t.
По значениям вычисляются оценки и , соответственно, дисперсии Dt и автокорреляций r(1) и r(2). Это делается с помощью соотношений (2.2) и (2.3):
Модели авторегрессии p-го порядка - AR(p) (p 3). Эти модели, образуя подмножество в классе общих линейных моделей, сами составляют достаточно широкий класс моделей. Если в общей линейной модели (2.14) полагать все параметры j, кроме первых p коэффициентов, равными нулю, то мы приходим к определению AR(p)-модели :
где последовательность случайных величин 1, 2,… образует белый шум.
Условия стационарности процесса, генерируемого моделью (2.23), также формулируются в терминах корней его характеристического уравнения
1 1z 2z2 … pzp = 0.
Для стационарности процесса необходимо и достаточно, чтобы все корни характеристического уравнения лежали бы вне единичного круга, т.е. превосходили бы по модулю единицу.
Автокорреляционная функция процесса (2.23) может быть вычислена с помощью рекуррентного соотношения по первым p ее значениям r(1),…, r(p). Это соотношение имеет вид:
r () = 1r( 1) + 2r( 2) +…+ pr( p), = p + 1, p + 2,... (2.24)
Частная автокорреляционная функция процесса (2.23) будет иметь ненулевые значения лишь при p; все значения rчаст(p) при > p будут нулевыми см., например, [Бокс, Дженкинс (1974)].. Это свойство частной автокорреляционной функции AR(p)-процесса используется, в частности, при подборе порядка в модели авторегрессии для конкретных анализируемых временных рядов. Если, например, все частные коэффициенты автокорреляции, начиная с порядка k, статистически незначимо отличаются от нуля, то порядок модели авторегрессии естественно определить равным p = k 1.
Спектральная плотность процесса авторегрессии p-го порядка определяется с помощью формулы:
Идентификация модели авторегрессии p-го порядка основана на соотношениях, связывающих между собой неизвестные параметры модели и автокорреляции исследуемого временного ряда. Для вывода этих соотношений последовательно подставляются в (2.24) значения = 1, 2,…, p. Получается система линейных уравнений относительно 1, 2,…, p:
называемая уравнениями Юла-УокераYule (1927), Walker (1931).. Оценки для параметров k получим, заменив теоретические значения автокорреляций r(k) их оценками и решив полученную таким образом систему уравнений.
Оценка параметра получается из соотношения заменой всех участвующих в правой части величин их оценками.
2.3.2. Модели скользящего среднего порядка q (МА(q)-модели).
Рассмотрим частный случай общего линейного процесса (2.13), когда только первые q из весовых коэффициентов j ненулевые. В это случае процесс имеет вид