P12 P24 
P21 
P31 P43 P45
Рис. 4.2.
Для этого графа состояний вероятности задержек равны:
.(на размеченном графе эти вероятности для простоты не проставляются).
Теперь рассмотрим, как найти для однородной цепи Маркова безусловную вероятность нахождения системы S на k-ом шаге в состоянии sj (j=1, 2, …, n):
(4.15)если задана матрица переходных вероятностей
(или, что равнозначно, размеченный граф состояний) и начальное распределение вероятностей:
(4.16)Сделаем гипотезу, состоящую в том, что в начальный момент (k=0) система находилась в состоянии si. Вероятность этой гипотезы равна:
В предположении, что эта гипотеза имеет место, условная вероятность того, что система S на первом шаге будет в состоянии sj, равна переходной вероятности
По формуле полной вероятности получим:
(4.17)Таким образом, найдено распределение вероятностей системы S на первом шаге. Для нахождения распределения вероятностей на втором шаге, которое для цепи Маркова зависит только от распределение вероятностей на первом шаге и матрицы переходных вероятностей, опять сделаем гипотезу, состоящую в том, что на первом шаге система находится в состоянии si; вероятность этой гипотезы нам уже известна и равна
(i=1, 2, …,n).При этой гипотезе условная вероятность того, что на втором шаге система S будет в состоянии sj, равна:
По формуле полной вероятности находим:
(4.18)Таким образом, получено распределение вероятностей (4.18) на втором шаге через распределение на первом шаге и матрицу
. Переходя таким же способом от k=2 к k=3 и т. д., получим рекуррентную формулу:
(4.19)4.3 Примеры решения аудиторных задач
Пример 1. Система S представляет собой техническое устройство (ТУ), а его возможные состояния: s1 – ТУ работает исправно; s2 – ТУ неисправно, но это не обнаружено; s3 – неисправность обнаружена, ведется поиск ее источника; s4 – источник неисправности найден, ведется ремонт ТУ; s5 – проводится послеремонтный осмотр (после этого осмотра, если ТУ восстановлено в прежнем виде, оно возвращается в состояние s1, если нет – признается негодным и списывается); s6 – ТУ списано за негодностью; s7 – ведется профилактический осмотр ТУ (если обнаружена неисправность, ТУ направляется в ремонт). Граф состояний ТУ показан на рисунке 4.3. В дальнейшем мы всегда будем считать (не оговаривая это каждый раз отдельно), что переход («перескок») системы S из состояния si в другое состояние sj осуществляется мгновенно и что в любой момент времени система может находиться только в одном из своих состояний.
Рис. 4. 3
Пример 2. Рассматривается следующий процесс: система представляет собой техническое устройство (ТУ), которое осматривается в определенные моменты времени (скажем, через сутки), и ее состояние регистрируется в отчетной ведомости. Каждый осмотр с регистрацией представляет собой «шаг» процесса. Возможные состояния ТУ следующие:
s1 – полностью исправно;
s2 – частично неисправно, требует наладки;
s3 – обнаружена серьезная неисправность, требует ремонта;
s4 – признано непригодным, списано.
Допустим, что как наладка, так и ремонт продолжаются менее суток и после их выполнения ТУ возвращается в состояние s1 (полностью исправно) или списывается. Граф состояний ТУ имеет вид, изображенный на рис. 4.4. Очевидно, состояние s4 – поглощающее. Если известно, что в начальный момент ТУ полностью исправно, то
в дальнейшем процесс протекает случайным образом: после каждого шага (осмотра, контроля) ТУ с какой-то вероятностью может оказаться в одном из своих состояний. 
Рис. 4.4
Пример 3. В условиях примера 2 задана матрица переходных вероятностей
Этой матрице соответствует размеченный граф состояний ТУ, изображенный на рис. 4.5. В начальный момент (t0=0) ТУ находится в состоянии s1 (исправно). Найти распределение вероятностей состояний ТУ для первых четырех шагов (k=1, 2, 3, 4); убедиться, что вероятность поглощающего состояния
с увеличением k растет. 
P21
P13 P31
P12
P14
P24 P34
Рис. 4.5
Решение. Так как в начальный момент (t0=0) ТУ заведомо находится в состоянии s1, то:
По формуле (4.19), полагая в ней k=1, получим:
(4.11)
(4.12)
(4.13)
(4.14)
