Прикладная теория информации (стр. 9 из 12)

Необходимость применения статистических методов исследования диктуется и тем, что в большинстве практически важных случаев пренебрежение воздействием помехи в процессах передачи и преобразования информации недопустимо. Считается, что воздействие помехи на полезный сигнал проявляется в непредсказуемых искажениях его формы. Математическая модель помехи представляется также в виде случайного процесса, характеризующегося параметрами, определенными на основе экспериментального исследования. Вероятностные свойства помехи, как правило, отличны от свойств полезного сигнала, что и лежит в основе методов их разделения.

Учитывая, что все фундаментальные выводы теории информации базируются на указанном статистическом подходе при описании сигналов (и помех), уточним основные характеристики случайного процесса как модели сигнала.

Под случайным (стохастическим) процессом подразумевают такую случайную функцию времени U(t), значения которой в каждый момент времени случайны. Конкретный вид случайного процесса, зарегистрированный в определенном опыте, называют реализацией случайного процесса. Точно предсказать, какой будет реализация в очередном опыте, принципиально невозможно. Могут быть определены лишь статистические данные, характеризующие все множество возможных реализаций, называемое ансамблем. Ценность таких моделей сигналов в том, что появляется возможность судить о поведении информационной системы не по отношению к конкретной реализации, а по отношению ко всему ансамблю возможных реализаций.

Основными признаками, по которым классифицируются случайные процессы, являются: пространство состояний, временной параметр и статистические зависимости между случайными величинами U(ti) в разные моменты времени ti.

Пространством состояний называют множество возможных значений случайной величины U(ti). Случайный процесс, у которого множество состояний составляет континуум, а изменения состояний возможны в любые моменты времени, называют непрерывным случайным процессом. Если же изменения состояний допускаются лишь в конечном или счетном числе моментов времени, то говорят о непрерывной случайной последовательности.

Случайный процесс с конечным множеством состояний, которые могут изменяться в произвольные моменты времени, называют дискретным случайным процессом. Если же изменения состояний возможны только в конечном или счетном числе моментов времени, то говорят о дискретных случайных последовательностях.

Примеры реализаций указанных случайных процессов представлены на рис.1.1

Так как в современных информационных системах предпочтение отдается цифровым методам передачи и преобразования информации, то непрерывные сигналы с датчиков, как правило, преобразуются в дискретные, описываемые дискретными случайными последовательностями. Вопросы такого преобразования рассмотрены в гл.2.

Среди случайных процессов с дискретным множеством состояний нас будут интересовать такие, у которых статистические зависимости распространяются на ограниченное число k следующих друг за другом значений. Они называются обобщенными марковскими процессами k-го порядка.

Вероятностные характеристики случайного процесса. В соответствии с определением случайный процесс U(t) может быть описан системой N обычно зависимых случайных величин U1 = U(t1),..., Ui= U(ti),..., UN = U(tN), взятых в различные моменты времени t1... ti... tN. При неограниченном увеличении числа N такая система эквивалентна рассматриваемому случайному процессу U(t).

Исчерпывающей характеристикой указанной системы является N-мерная плотность вероятности pN(U1,..., Ui,..., UN; t1,..., tN). Она позволяет вычислить вероятность РN реализации, значения которой в моменты времени t1,t2,...,tN будут находиться соответственно в интервалах (u1, u1+Δu1),..., (ui, ui+

ui),..., (uN, uN + uN), где ui(1 ) - значение, принимаемое случайной величиной Ui, (рис.1.12).

Если Δui, выбраны достаточно малыми, то справедливо соотношение

Получение N-мерной плотности вероятности на основе эксперимента предполагает статистическую обработку реализаций, полученных одновременно от большого числа идентичных источников данного случайного процесса. При больших N это является чрезвычайно трудоемким и дорогостоящим делом, а последующее использование результатов наталкивается на существенные математические трудности.

На практике в таком подробном описании нет необходимости. Обычно ограничиваются одно - или двумерной плотностью вероятности.

Одномерная плотность вероятности p1(U1; t1) случайного процесса U(t) характеризует распределение одной случайной величины U1, взятой в произвольный момент времени t1. В ней не находит отражения зависимость случайных величин в различные моменты времени.

Двумерная плотность вероятности p2 = p2(U1, U2; t1, t2) позволяет определить вероятность совместной реализации любых двух значений случайных величин U1 и U2 в произвольные моменты времени t1 и t2 и, следовательно, оценить динамику развития процесса. Одномерную плотность вероятности случайного процесса U(t) можно получить из двумерной плотности, воспользовавшись соотношением

Использование плотности вероятности даже низших порядков в практических приложениях часто приводит к неоправданным усложнениям. В большинстве случаев оказывается достаточно знания простейших характеристик случайного процесса, аналогичных числовым характеристикам случайных величин. Наиболее распространенными из них являются моментные функции первых двух порядков: математическое ожидание и дисперсия, а также корреляционная функция.

Математическим ожиданием случайного процесса U(t) называют неслучайную функцию времени mu(t1), которая при любом аргументе t1 равна среднему значению случайной величины U(t\) по всему множеству возможных реализаций:

Степень разброса случайных значений процесса U(t1) от своего среднего значения mu(t1) для каждого t1 характеризуется дисперсией Du(t1):

где

(t1) = U(t1) - mu(t1) - центрированная случайная величина.

Дисперсия Du(t1) в каждый момент времени t1 равна квадрату среднеквадратического отклонения su(t1):

Случайные процессы могут иметь одинаковые математические ожидания и дисперсии (рис.1.13, а, б), однако резко различаться по быстроте изменений своих значений во времени.

Для оценки степени статистической зависимости мгновенных значений процесса U(t) в произвольные моменты времени t1 и t2 используется неслучайная функция аргументов Ru(t1,t2), называемая автокорреляционной или просто корреляционной функцией.

При конкретных аргументах t1 и t2 она равна корреляционному моменту значений процесса U(t1) и U(t2):

Через двумерную плотность вероятности выражение (1.71) представляется в виде

В силу симметричности этой формулы относительно аргументов справедливо равенство

Для сравнения различных случайных процессов вместо корреляционной функции удобно пользоваться нормированной функцией автокорреляции:

Из сравнения (1.69) и (1.70) следует, что при произвольном t1 = t2 автокорреляционная функция вырождается в дисперсию:

а нормированная функция автокорреляции равна единице:

Следовательно, дисперсию случайного процесса можно рассматривать как частное значение автокорреляционной функции.

Аналогично устанавливается мера связи между двумя случайными процессами U(t) и V(t). Она называется функцией взаимной корреляции:

§ 1.9 Стационарные и эргодические случайные процессы

Случайные процессы различаются по степени однородности протекания их во времени. В общем случае процесс может иметь определенную тенденцию развития и характеристики, зависящие от начала отсчета времени. Такие случайные процессы называются нестационарными.

Для описания сигнала математическая модель в виде нестационарного случайного процесса подходит наилучшим образом, но неконструктивна в силу своей чрезмерной сложности.