Рисунок 3.1– Иллюстрация поведения полумарковского процесса
Из приведенного определения следует, что если игнорировать случайный характер времени ожидания и интересоваться только моментами перехода, то процесс
будет представлять собой однородную цепь Маркова (или вложенным марковским процессом). Однако при учете пребывания процесса в разных состояниях в течении случайного отрезка времени процесс не будет удовлетворять уравнению Маркова (если не все времена ожидания распределены экспоненциально). Следовательно, процесс является марковским только в моменты перехода. Сказанное оправдывает название «полумарковский процесс» или «полумарковская цепь».При заданном начальном состоянии дальнейшее поведение полумарковского процесса (полумарковской цепи) полностью определяется матрицей вероятностей перехода
, , , и матрицей функций распределения или (для непрерывных случайных величин ) матрицей плотностей вероятностей [17].В рамках исследований полумарковских процессов с позиций теории массового обслуживания наибольший интерес представляет анализ взаимосвязи времени достижения и времени пребывания в состояниях полумарковского процесса. Согласно [16] данный анализ основывается на реализации элементарного процесса чистой гибели. В качестве примера рассмотрим систему
, т.е. однолинейную систему массового обслуживания с ожиданием (буфером неограниченной емкости), в которую поступает простейший поток запросов (вызовов) интенсивности , а время обслуживания запросов (вызовов) имеет показательное распределение с параметром .Исследуя поведение этой системы, можно установить, что случайный процесс
– число вызовов в системе в момент – является процессом гибели и размножения с вероятностью равной [16]:Анализ данной системы в рамках элементарного процесса чистой гибели основан на исследовании соответствующего графа перехода из одного состояния в другое. Простейший граф перехода имеет вид, показанный на рис. 3.2.
Рисунок 3.2 – Граф переходов элементарного процесса чистой гибели
Обозначим через
, , вероятность пребывания процесса в состоянии с номером , а через функцию распределения времени первого достижения процессом состояния с номером . Тогда между этими функциями можно установить следующие зависимости: , .Подставляя эти выражения в условие формировки
получим . (3.4)Следовательно, в рассматриваемом элементарном процессе чистой гибели вероятность пребывания процесса в промежуточном состоянии оказывается равной разности функций распределения времени первого попадания процесса в это состояние и времени попадания в следующее состояние. Добавляя и вычитая в правой части уравнения (3.4), затем помножив полученное выражение на
и про интегрировав сначала по в бесконечных пределах, а затем по частям, получим [18] , (3.5)где
– -й начальный момент распределения случайной величины времени попадания процесса в -е состояние . В частности, из формулы (3.5) видно. Что при . (3.6)В результате находим, что площадь под кривой
числено равна разности разных средних времен попадания процесса в состояния 2 и 1, а интегральная мера численно равна среднему времени, проведенному процессом в состоянии единицы [18].Физический смысл полученного результата можно пояснить следующим образом. Обозначим через
случайный момент времени попадания процесса в состояние , а через длительность пребывания процесса в этом состоянии. Тогда для процесса с графом переходов на рис. 3.2, можно составить следующее уравнение баланса времени: . (3.7)Возведя выражение (3.21) в квадрат и применив операцию математического ожидания, учитывая при этом независимость случайных величин
и получим аналогичное (3.19) выражение для расчета интегральных мер. Так при находим .Аналогичным образом, возводя уравнение (3.7) в степень
всякий раз будем получать выражения для расчета интегральных мер вида через начальные моменты случайной длительности пребывания процесса в состоянии единицы и первого попадания в нее.В результате определяется полный набор интегральных мер вида
, с помощью которого можно судить о поведении функции .3.2 Аналитические решения для простейших полумарковских процессов
Описание поведения систем массового обслуживания с помощью распределений моментов первого, второго и последующих достижений системой того или иного состояния, показанных на примере элементарного процесса чистой гибели, оказывается очень полезным в целом ряде практических исследований. Поэтому целесообразно рассмотреть примеры полумарковских процессов, для которых возможно получение подобных результатов в аналитической форме или в виде эффективных вычислительных процедур.
Для начала рассмотрим простейших процесс, имеющий только два состояния (рис. 3.3). Обозначим через
функцию плотности распределения времени пребывания процесса в состоянии 0, а через – в состоянии 1.