Определение основных характеристик цифровой системы передачи сообщ (стр. 3 из 4)
(5.2) 
Основное техническое преимущество цифровых систем передачи перед аналоговыми системами состоит в их высокой помехоустойчивости.
6. Помехоустойчивое кодирование
При передаче дискретных сигналов для уменьшения вероятности ошибок можно применить помехоустойчивое кодирование. Помехоустойчивое кодирование заключается во введении избыточности при кодировании с целью обнаружения и исправления ошибок. Принципиальная возможность обнаружения и исправления ошибок появляется, если для передачи знаков сообщения использовать лишь часть из возможных последовательностей, называемых в этом случае разрешенными. При декодировании принятая кодовая последовательность тестируется на предмет разрешенности. Принятие неразрешенной последовательности является признаком ошибки.
Существует множество помехоустойчивых кодов. Их можно классифицировать по различным признакам. Одним из них является основание кода m или число используемых символов. Наиболее простыми являются бинарные коды (m=2).
Далее коды можно разделить на блочные и непрерывные. Блочные – в которых последовательность элементарных сообщений источника разбивается на отрезки и каждый из них преобразуется в определенную последовательность (блок) кодовых символов. Непрерывные коды образуют последовательность символов не разделяемые на последовательные кодовые комбинации.
Блочные коды подразделяются на равномерные и неравномерные. В равномерных- все кодовые комбинации содержат одинаковое число разрядов.
Двоичные блочные коды называются линейными, если сумма по модулю двух любых разрешенных кодовых комбинаций также принадлежит данному коду. Существует подкласс линейных двоичных кодов, названных циклическими. В них каждая новая комбинация, получаемая путем перестановки кодовых символов разрешенных кодовых комбинаций, также является разрешенной.
Корректирующую способность кода определяет расстояние между двумя кодовыми комбинациями. Кодовое расстояние(dij) – это суммарный результат сложения по модулю m их одноименных кодовых символов. Для двоичных кодов это число разрядов, в которых символы кодовых комбинаций не совпадают. Кодовое расстояние кода, содержащее более двух кодов комбинации, есть минимальное расстояние из совокупности расстояний между различными парами кодовых комбинаций кода d=min{dij}. Код является корректирующим только при условии d>1. Чем больше кодовое расстояние, тем лучше корректирующая способность кода. Кратность гарантированно обнаруживаемых и исправляемых кодом ошибок определяется отношениями
(6.1) 
(6.2)На практике применяется как блочное, так и непрерывное кодирование. При блочном кодировании последовательный цифровой код символов разбивается на блоки по k символов в каждом. Затем каждому такому k–значному блоку сопоставляется n–значный блок, в котором k кодовых символов называется информационными, а r=(n-k) – корректирующими. Простейшим вариантом такого кода является код с проверкой на четность. Если число единиц в информационном блоке четное, то добавляется 0, если нечетное, то –1.
Вероятность ошибки, необнаруженной этим кодом при независимых ошибках, определяется биноминальным законом:
(6.3)где р – вероятность искажения одного элемента кода.
В нашем случае число информационных элементов k=7, код с параметрами (n,k) = (8,7) и по формуле (6.3) имеем:
Избыточностью равномерного кода
называют величину 
(6.4)для нашего кода
Цели помехоустойчивого и статистического кодирования различны. При помехоустойчивом кодировании увеличивается избыточность за счет введения дополнительных элементов в кодовые комбинации. При статистическом кодировании, наоборот, уменьшается избыточность, благодаря чему повышается производительность источника сообщений.
Количественной мерой информации является логарифмическая функция вероятности сообщения:
(7.1)Основание логарифма чаще всего берется 2. При этом единица информации называется двоичной единицей или бит. Она равна количеству информации в сообщении, происходящем с вероятностью 0,5, т.е. таком, которое может с равной вероятностью произойти или не произойти.
В теории информации чаще всего необходимо знать не количество информации
, содержащееся в отдельном сообщении, а среднее количество информации в одном сообщении, создаваемом источником сообщений.Если имеется ансамбль (полная группа) из k сообщений
с вероятностями 
то среднее количество информации, приходящееся на одно сообщение и называемое энтропией источника сообщений Н(х), определяется формулой 
(7.2) 
(7.3)Размерность энтропии - количество единиц информации на символ. Энтропия характеризует источник сообщений с точки зрения неопределённости выбора того или другого сообщения. Неопределённость максимальна при равенстве вероятностей выбора каждого сообщения:
В этом случае
(7.4)Вычислим энтропию данного источника:
Чтобы судить насколько близка энтропия источника к максимальной вводят понятие избыточности источника сообщений
(7.5)Производительность источника определяется количеством информации, передаваемой в единицу времени. Измеряется производительность количеством двоичных единиц информации (бит) в секунду.
Если все сообщения имеют одинаковую длительность t, то производительность
. (7.6) 
если же различные элементы сообщения имеют разную длительность, то в приведенной формуле надо учитывать среднюю длительность
, равную математическому ожиданию величины t: 
(7.7)а производительность источника будет равна
(7.8)Максимально возможная производительность дискретного источника будет равна
. (7.9)для двоичного источника, имеющего одинаковую длительность элементов сообщения (k=2,
) имеем 
(бит/с).Сопоставив формулы (7.5) и (7.8) получим
(7.10)Увеличить производительность можно путем уменьшения длительности элементов сообщения, однако возможность эта ограничивается полосой пропускания канала связи. Поэтому производительность источника можно увеличить за счет более экономного использования полосы пропускания, например, путем применения сложных многоуровневых сигналов.
Основой статистического (оптимального) кодирования сообщений является теорема К. Шеннона для каналов связи без помех. Кодирование по методу Шеннона-Фано-Хаффмена называется оптимальным. так как при этом повышается производительность дискретного источника, и статистическим, так как для реализации оптимального кодирования необходимо учитывать вероятности появления на выходе источника каждого элемента сообщения (учитывать статистику сообщений). Идея такого кодирования заключается в том, что применяя неравномерный неприводимый код, наиболее часто встречающиеся сообщения (буквы или слова) кодируются короткими комбинациями этого кода, а редко встречающиеся сообщения кодируются более длительными комбинациями.
Перед осуществлением статистического кодирования образуем трехбуквенную комбинацию, состоящую из элементов двоичного кода 1 и 0. Число возможных кодовых слов определяется выражением m=kn , где k- алфавит букв первичного сообщения, n- длина кодового слова