Из равенств
и
следует
Отсюда из равенств (4) и
получим утверждение теоремы.
Определим матрицу
Так как
Результаты, полученной в теории матриц, позволяют по формуле (6) вычислить
Пример 1. Задана матрица перехода
Решение. Воспользуемся формулой
Перемножив матрицы, окончательно получим:
§4. Стационарное распределение. Теорема о предельных вероятностях
Распределение вероятностей
Может оказаться, что
где
Если в цепи Маркова
Это утверждение следует по индукции из (7) и (8).
Приведем формулировку теоремы о предельных вероятностях для одного важного класса цепей Маркова.
Теорема 1. Если при некотором >0 все элементы матрица
положительны, то для любых
, при
где стационарное распределение с
а
некоторая постоянная, удовлетворяющая неравенством 0<h<1.
Так как
Если выполнить условие теоремы 1, то вероятность того, что система находится в некотором состоянии
Рассмотрим несколько примеров цепи Маркова, которых условия теоремы 1, не выполнены. Нетрудно проверить, что такими примерами является примеры . В примере
В других примеров приделы вероятностей
Найдем стационарное распределение в примере 1. Нужно найти вектор
Отсюда,
Для полиномиальной схемы были введены случайные величины, равные чесу исходов данного типа. Введем аналогичные величины для цепей Маркова. Пусть