Методические указания к практическим занятиям для студентов специальности 230201 Информационные системы и технологии (стр. 10 из 18)
Sn – в ТУ все n узлов неисправны.
Состояния s0,….., sn организованы по схеме гибели и размножения (рис. 4. 1); стрелки, идущие слева направо, отвечают увеличению числа неисправных узлов; перемещения системы S по этим стрелкам происходят под влиянием отказов узлов, т.е. перехода какого-то узла из исправного состояния в неисправное; стрелки, идущие справа налево – под влиянием ремонтов (восстановлений) узлов. Считается, что «перескок» системы S из состояния si не в соседнее с ним состояние si+1 или si-1, а в какое-то другое из связанных с si состояний, практически невозможен (это связано с ординарностью потоков отказов и восстановлений). Очень многие случайные процессы организованы по схеме гибели и размножения.
Если на графе состояний системы S стрелки, ведущие справа налево, отсутствуют, то говорят о процессе «чистого размножения», а в противоположном случае – о процессе «чистой гибели».
При анализе случайных процессов, протекающих в системах с дискретными состояниями, важную роль играют вероятности состояний.
Обозначим S(t) состояние системы в момент t. Вероятностью i-ого состояния в момент t называется вероятность события, состоящего в том, что в момент t система S будет в состоянии si: обозначим ее pi(t):
(4.2) где S(t) – случайное состояние системы S в момент t.
Очевидно, что для системы с дискретными состояниями s1, s2, s3,…,si,… в любой момент t сумма вероятностей состояний равна единице:
(4.3)как сумма вероятностей полной группы несовместных событий.
Введем очень важное для дальнейшего понятие марковского случайного процесса.
Случайный процесс, протекающий в системе S с дискретными состояниями s1, s2, s3,…,si,…называется марковским, если для любого момента времени t0 вероятность каждого из состояний системы в будущем (при t>t0) зависит только от ее состояния в настоящем (при t=t0) и не зависит от того, когда и как она пришла в это состояние; т.е. не зависит от ее поведения в прошлом (при t<t0).
«Настоящее» может быть задано не одним каким-то состоянием si, а целым подмножеством состояний
, где W – множество всех возможных состояний системы.Марковские случайные процессы с дискретными состояниями и дискретным временем (цепи Маркова).
Реализация случайного процесса блуждания системы по состояниям может иметь, например, такой вид:
что означает, что ТУ в начальный момент исправно; при первом осмотре – также исправно; при втором – частично исправно, требует наладки; при третьем исправно; при четвертом – обнаружена серьезная неисправность, требует ремонта; при пятом – снова исправно; при шестом – признано неисправным, списано (дальнейшее развитие процесса невозможно, так как он дошел до поглощающего состояния s4).Рассмотрим общий случай. Пусть происходит случайный процесс в системе S с дискретными состояниями s1, s2, …,si, …,sn, которые она может принимать в последовательности шагов с номерами 0, 1, 2, …, k, …
Случайный процесс представляет собой последовательность событий вида
(i=1, 2 , …,n; k=0, 1, 2,…). Эта последовательность («цепь») подлежит изучению. Наиболее важной ее характеристикой являются вероятности состояний системы 
(i=1, 2, …,n; k=0, 1, 2, …), (4.4) где 
- вероятность того, что на k-ом шаге система S будет находиться в состоянии si.Распределение вероятностей (4.4) представляет собой не что иное, как одномерный закон распределения случайного процесса S(t), протекающего в системе S с «качественными» дискретными состояниями и дискретным временем t0, t1, t2, …, tk,…
Процесс, протекающий в системе S называется марковским процессом с дискретными состояниями и дискретным временем (или, короче, марковской цепью), если выполняется следующее условие: для любого фиксированного момента времени (любого шага k0) условные вероятности состояний системы в будущем (при k>k0) зависят только от состояния в настоящем (при k=k0) и не зависят от того, когда (на каком шаге, при k<k0) и откуда система пришла в это состояние. Марковская цепь представляет собой разновидность марковского процесса, в котором будущее зависит от прошлого только через настоящее.
Понятие «настоящего» может быть сформулировано по-разному; например, «на k0 -ом шаге система находится в состоянии si», если вероятности состояний системы на последующих шагах зависят только от si, а не от предыдущих состояний системы. Если же эта вероятность зависит еще и от того, откуда (из какого состояния sj) система пришла в состояние si, можно включить это состояние sj в описание «настоящего».
Цепь, в которой условные вероятности состояний в будущем зависят только от состояния на данном, последнем, шаге и не зависят от предыдущих, иногда называют простой цепью маркова, в отличие от такой, где будущее зависит от состояний системы не только в настоящем на данном шаге, но и от ее состояний на нескольких предыдущих шагах; такую цепь называют сложной цепью Маркова.
Из определения марковской цепи следует, что для нее вероятность перехода системы S в состояние sj на (k+1)-м шаге зависит только от того, в каком состоянии si находилась система на предыдущем k-м шаге и не зависит от того, как она вела себя до этого k-ого шага.
Основной задачей исследования марковской цепи является нахождение безусловных вероятностей нахождения системы S на любом (k-м) шаге в состоянии si; обозначим эту вероятность
(i=1, 2, …, n; k=0, 1, 2, …). (4.5)Для нахождения этих вероятностей необходимо знать условные вероятности перехода системы S на k-м шаге в состояние sj , если известно, что она была в состоянии si. Обозначим эту вероятность
(i,j=1, 2, …,n). (4.6)Вероятности
называются переходными вероятностями марковской цепи на k-м шаге. Вероятность 
есть вероятность того, что на k-м шаге система задержится (останется) в состоянии si.Переходные вероятности
можно записать в виде квадратной таблицы (матрицы) размерности 
(k=0, 1, 2, …). (4.7) По главной диагонали матрицы (4.7) стоят вероятности задержки системы в данном состоянии sj (j=1, …, n) на k-ом шаге.p11(k), p22(k), …, pjj(k), …, pnn(k). (4.8)
Так как на каждом шаге система S может находиться только в одном из взаимно исключающих состояний, то для любой i-ой строки матрицы (5.7) сумма всех стоящих в ней вероятностей
равна единице:
(4.9)Матрица, обладающая таким свойством, называется стохастической. Естественно, что все элементы стохастической матрицы отвечают условию
В силу условия (4.9) можно в матрице (4.7) не задавать вероятности задержки, а получать их как дополнения до единицы всех остальных членов строки:
(4.10)Чтобы найти безусловные вероятности
недостаточно знать матрицу переходных вероятностей (4.7); нужно еще знать начальное распределение вероятностей, т. е. вероятности состояний pi(0), соответствующие началу процесса – моменту t0=0: