Информационные характеристики систем передачи сообщений (стр. 1 из 2)

БЕЛОРУССКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ИНФОРМАТИКИ И РАДИОЭЛЕКТРОНИКИ

кафедра ЭТТ

РЕФЕРАТ на тему:

«Информационные характеристики систем передачи сообщений»

МИНСК, 2008

Информационные характеристики дискретных сообщений. Краткие теоретические сведения.

Системы передачи дискретной информации – системы, в которых реализации сообщений представляют собой последовательности символов алфавита источника. Если m – объем алфавита источника дискретных сообщений, то совокупность элементарных сообщений (символов)

- алфавит источника. Априорная вероятность появления символа при независимость его от предыдущих – .

В общем случае априорная вероятность появления

будет условной:

, где - символы, сформированные источником до символа . Количество информации, которое несет символ , определяется формулой: .

Масштабный коэффициент

зависит от выбора единицы измерения количества информации. Если единица количества информации выбирается двоичной, то и соответственно (бит)

Основные информационные свойства дискретных сообщений:

1.Свойство аддитивность:

,

где q – количество символов

в сообщении,

а

принимает одно из значений в пределах от 1 до m.

2. Среднее количество информации, приходящейся на один символ источника сообщений, при условном характере априорной вероятности:

3. Среднее количество информации, приходящейся на один символ источника сообщений, при зависимости вероятности появления очередного символа

только от вероятности появления предыдущего символа :

4. Среднее количество информации, приходящейся на один символ, при независимости символов источника сообщений:

является определением энтропии источника дискретных сообщений.

5. Максимальная энтропия источника имеет место при независимости и равновероятности символов сообщения (

):

6. Коэффициент избыточности:

,

где

и – относительная скорость передачи информации, характеризует возможность оптимизации скорости передаваемой информации.

Устранение избыточности позволяет сократить объем сообщения, а следовательно, повысить скорость передачи информации.

В канале с помехой передаваемая информация частично искажается.

Рис. 1

Как показано на рис. 1, передаваемой сообщение

под влиянием помехи n(t) на выходе канала связи преобразуется в сообщение . Если дискретный стационарный канал без памяти, то и длительности символов на выходе и входе канала одинаковы. Тогда скорость передачи информации как среднее количество информации, получаемое в единицу времени, определяется выражением:

,

где

– частота посылки символов, а – среднее количество взаимной информации в множестве символов относительно множества символов :

В формуле

– условная энтропия множества символов X при данном множестве Y, определяющая среднее количество потерянной информации из-за влияния помех; - условная энтропия множества символов Y при данном множестве X, определяющая шумовую энтропию; - энтропия множества символов Y:

,

,

,

Где

- вероятность ошибки воспроизведения символа .

Скорость передачи информации определяется формулой:

(бит/с)

Пропускная способность дискретного канала связи определяется следующим выражением:

,

где

В каналах без помех

.

Информационные характеристики непрерывных сообщений. Краткие теоретические сведения.

Источник непрерывных сообщений характеризуется тем, что в каждый момент времени

сообщение может принимать бесконечное множество значений с бесконечно малой вероятностью каждого и них, и, если бы сообщение могло передаваться абсолютно точно без искажений, оно несло бы бесконечное количество информации. Однако на практике при передаче информации всегда имеют место искажения и количество информации, содержащееся в принятом непрерывном сообщении, определяется разностью значений энтропий сообщения до и после получения информации. Эта разность является конечной величиной.

Пусть

- реализация непрерывного сообщения на входе канала связи, – реализация выходного сообщения; - одномерная плотность вероятности входных сообщений, - одномерная плотность вероятности выходных сообщений, - условная плотность вероятности при известном (апостериорная вероятность); - условная плотность вероятности при известном , - совместная плотность вероятности. Тогда будут иметь место следующие выражения:

1. Энтропия источника непрерывных сообщений:

,

где

- интервал квантования (точность измерения);