Расчет информационных характеристик источников сообщений сигналов и кодов (стр. 2 из 4)
Найдем переходные вероятности:
В таком канале каждый кодовый символ может быть принят с ошибочной вероятностью:
.Но не все информация, переедающаяся по каналу, может быть ошибочной. Таким образом, правильно переданная информация описывается следующим распределением вероятностей:
.По формуле Байеса определим апостериорные вероятности:
;
Ответ: априорные вероятности в данном канале равны: P(U1/Z1) = 0,96; P(U1/Z2) = 0,23; P(U2/Z1) = 0,04; P(U2/Z2) = 0,77.
2.2 Задача № 2.58
По каналу связи передаётся сообщение из ансамбля
.Средняя длительность передачи одного элемента сообщения в канале τ = 0,44 мс. Шум в канале отсутствует. Определить пропускную способность канала и скорость передачи информации.
Решение:
В соответствии с (1.25.а) лекции, в случае, когда шум в канале отсутствует
Скорость рассчитаем по формуле
.Объем алфавита данного сообщения равно восьми, т.е. М = 8. найдем пропускную способность
.Скорость передачи информации по каналу есть произведения количества информации, передаваемого по каналу на скорость:
.Количество информации будем искать по формуле (1.13) лекции
.Так как шум в канале отсутствует, то
.Тогда, количество информации
.Определим энтропию заданного распределения. Для нахождении энтропии данного ансамбля воспользуемся формулой (1.4):
. 
Подставляя в полученную ранее формулу, получим
.Ответ: пропускная способность канала С = 18184(бит/с); скорость передачи информации V, = 5546,12.
3. Согласование дискретного источника с дискретным каналом без шума. Эффективное кодирование
3.1 Задача № 3.24
Закодировать двоичным кодом Фано ансамбль сообщений
| А1 | А2 | А3 | А4 | А5 | А6 | А7 | А8 | А9 | А10 | А11 | А12 |
| 0,088 | 0,065 | 0,035 | 0,062 | 0,06 | 0,059 | 0,097 | 0,3 | 0,068 | 0,044 | 0,054 | 0,122 |
Закодировать произвольную комбинацию, состоящую из пяти символов ансамбля А; Определить потенциальный минимум среднего количества символов кода, приходящихся на одно сообщение ансамбля А; Определить среднее количество символов разработанного кода Фано, приходящихся на одно сообщение из ансамбля А; Рассчитать эффективность разработанного кода.
Решение:
Для удобства расположим вероятности появления сообщений в порядке убывания:
| А8 | 0,3 | 0 |
| А12 | 0,122 | 10 |
| А7 | 0,097 | 100 |
| А1 | 0,088 | 101 |
| А9 | 0,068 | 110 |
| А2 | 0,065 | 1110 |
| А4 | 0,062 | 11110 |
| А6 | 0,059 | 111110 |
| А11 | 0,054 | 1111110 |
| А10 | 0,044 | 1111110 |
| А3 | 0,035 | 11111110 |
| А5 | 0,006 | 11111111 |
Выберем из ансамбля А произвольную комбинацию из пяти символов и закодируем их полученным кодом Фано:
А9А3А5А7А4
110111111101111111110011110.
Потенциальный минимум будем искать по формуле (2.12) лекции:
;Так как код является двоичным, тогда основание кода N = 2. Следовательно:
.Тогда потенциальный минимум будет равен энтропии источника:
.Найдем энтропию источника, пользуясь мерой Шеннона:
; 
Рассчитаем среднее количество символов, приходящихся на одно сообщение:
, гдеМ – объем алфавита кода (М = 2);
Pi – вероятность появления события;
n – количество символов в коде.
| P1 = 0,088 | n1 = 3 |
| P2 = 0,065 | n2 = 4 |
| P3 = 0,035 | n3 = 8 |
| P4 = 0,062 | n4 = 5 |
| P5 = 0,006 | n5 = 8 |
| P6 = 0,059 | n6 = 6 |
| P7 = 0,097 | n7 = 3 |
| P8 = 0,3 | n8 = 1 |
| P9 = 0,068 | n9 = 3 |
| P10 = 0,044 | n10 = 7 |
| P11 = 0,054 | n11 = 7 |
| P12 = 0,122 | n12 = 2 |
Согласно (2.12.а) лекции эффективность кода находим, как:
.Ответ: потенциальный минимум
; среднее количество символов, приходящихся на одно сообщение 
; эффективность кода 
.3.2 Задача № 3.54
Закодировать кодом Фано, с объемом алфавита М=5, ансамбль
| А1 | А2 | А3 | А4 | А5 | А6 | А7 | А8 | А9 | А10 | А11 | А12 |
| 0,082 | 0,122 | 0,503 | 0,04 | 0,012 | 0,002 | 0,005 | 0,034 | 0,124 | 0,006 | 0,0395 | 0,0305 |
Закодировать произвольную комбинацию, состоящую из пяти символов ансамбля А; Определить потенциальный минимум среднего количества символов кода, приходящихся на одно сообщение ансамбля А; Определить среднее количество символов разработанного кода Фано, приходящихся на одно сообщение из ансамбля А; Рассчитать эффективность разработанного кода.
Решение:
Для удобства расположим вероятности появления сообщений в порядке убывания:
| А3 | 0,503 | 0 |
| А9 | 0,124 | 10 |
| А2 | 0,122 | 210 |
| A1 | 0,082 | 3210 |
| А4 | 0,04 | 43210 |
| А11 | 0,0395 | 443210 |
| А8 | 0,034 | 4443210 |
| А12 | 0,0305 | 44443210 |
| А5 | 0,012 | 44444321 |
| А10 | 0,006 | 44444432 |
| А7 | 0,005 | 44444443 |
| А6 | 0,002 | 44444444 |
Выберем из ансамбля А произвольную комбинацию из пяти символов и закодируем их полученным кодом Фано:
А1А2А3А4А5
321021004321044444321
Потенциальный минимум будем искать по формуле (2.12) лекции:
;Так как код является четверичным, тогда основание кода N = 5. Следовательно:
.Найдем энтропию источника, пользуясь мерой Шеннона:
; 
Тогда потенциальный минимум
.Рассчитаем среднее количество символов, приходящихся на одно сообщение:
, гдеМ – объем алфавита кода (М = 5);
Pi – вероятность появления события;
n – количество символов в коде.
| P1 = 0,82 | n1 = 4 |
| P2 = 0,122 | n2 = 3 |
| P3 = 0,503 | n3 = 1 |
| P4 = 0,004 | n4 = 5 |
| P5 = 0,012 | n5 = 8 |
| P6 = 0,002 | n6 = 8 |
| P7 = 0,005 | n7 = 8 |
| P8 = 0,034 | n8 = 7 |
| P9 = 0,124 | n9 = 2 |
| P10 = 0,006 | n10 = 8 |
| P11 = 0,0395 | n11 = 6 |
| P12 = 0,0305 | n12 = 8 |
Согласно (2.12.а) лекции эффективность кода находим, как: