Информационный процесс в автоматизированных системах (стр. 3 из 12)

2.2. Измерение информации в технике

В технике информацией считается любая хранящаяся, обрабатываемая или передаваемая последовательность знаков, символов. В технике под количеством информации понимают количество кодируемых, передаваемых или хранимых символов.

Определить понятие «количество информации» сложно. В решении этой проблемы существуют два основных подхода. Исторически они возникли почти одновременно. В конце 40-х годов XX века Клод Шеннон развил вероятностный подход к измерению количества информации, работы по созданию ЭВМ привели к «объемному» подходу. В технике используют простой способ определения количества информации, названный объемным, основанный на подсчете числа символов в сообщении, не связан с его длиной и не учитывает содержания.

Пример: собака – 6 символов, dog – 3 символа.

Человеку привычно работать с символами, а компьютеру - с кодами. Каждый символ кодируется двоичным кодом, длиной в 8 знаков (восьмибитный код).

Прежде чем измерить информацию в битах, вы определяете количество символов в этом сообщении. Каждый символ не случайно кодируется 8-битным кодом. Для удобства введена более "крупная" единица информации в технике – байт, с помощью которой легче подсчитать количество информации в техническом сообщении - оно совпадает с количеством символов в нем.

В вычислительной технике: бит (binary digit) - двоичный знак двоичного алфавита {0, 1}, минимальная единица измерения информации.

Байт (byte) - единица количества информации в системе СИ. Байт - восьмиразрядный двоичный код, с помощью которого можно представить один символ.

Единицы измерения информации в вычислительной технике:

Бит	Элементарная единица информации
Байт (б)	8 бит
Килобайт (Кбайт)	210 байт = 1024 байт
Мегабайт (Мбайт)	210 Кбайт = 220 байт
Гигабайт (Гбайт)	210 Мбайт = 230 байт
Терабайт (Тбайт)	1024 Гбайт = 240 байт
Петабайт (Пбайт)	1024 Тбайт = 250 байт
Эксабайт (Эбайт)	1024 Пбайт = 260 байт

Информационный объем сообщения (информационная емкость сообщения) - количество информации в сообщении, измеренное в битах, байтах, производных единицах (Кб, Мб и т.д.) [2].

Длина сообщения зависит от числа различных символов, употребляемых для записи сообщения. Например, слово "мир" в русском алфавите записывается тремя знаками, в английском - пятью (peace), а в КОИ-8 - двадцатью четырьмя битами (111011011110100111110010).

2.3. Измерение информации в теории информации (информация как снятая неопределенность)

В теории информации количеством информации называют числовую характеристику сигнала, не зависящую от его формы и содержания и характеризующую неопределенность, которая исчезает после получения сообщения в виде данного сигнала - в этом случае количество информации зависит от вероятности получения сообщения о том или ином событии.

Для абсолютно достоверного события (событие обязательно произойдет, поэтому его вероятность равна 1) количество вероятности в сообщении о нем равно 0. Чем вероятнее событие, тем больше информации о нем несет сообщение.

Лишь при равновероятных ответах ответ "да" или "нет" несет 1 бит информации. Оценка количества информации основывается на законах теории информации. Сообщение имеет ценность, несет информацию, когда мы узнаем и понимаем смысл данного сообщения.

Какое количество информации содержится, к примеру, в тексте романа "Война и мир", в фресках Рафаэля или в генетическом коде человека? Ответа на эти вопросы наука не даёт и, по всей вероятности, даст не скоро.

А возможно ли объективно измерить количество информации? Важнейшим результатом теории информации является вывод: в определенных, весьма широких условиях можно пренебречь качественными особенностями информации, выразить её количество числом, а также сравнить количество информации, содержащейся в различных группах данных.

Теория информации как самостоятельная научная дисциплина была основана Клодом Шенноном в конце 40-х годов 20 века. Предложенная им теория основывалась на фундаментальном понятии количественной меры неопределенности – энтропии и связанного с нею понятия количества информации.

Сигнал – это материальный носитель информации (предмет, явление, процесс) в пространстве и во времени. Любой сигнал неразрывно связан с определенной системой, которая является системой связи или системой передачи информации и состоит из следующих модулей: источник, передатчик, канал связи, приемник и адресат. Источник информации задает некоторое множество сообщений. Генерация определенного сообщения заключается в выборе его из множества всех возможных. Сообщения бывают дискретными и непрерывными. Светофор или передача сообщения с помощью азбуки Морзе – примеры дискретного сигнала.

Особым видом сигналов являются знаки, которые в отличие от сигналов естественного происхождения создаются самоорганизующимися системами и предназначаются для передачи и хранения информации. Есть знаки, входящие в четко организованную систему, и внесистемные знаки. Например: знаки дорожного движения, система цветов светофора, музыка, речь и языки, как естественные, так и искусственные. Внесистемные знаки – это или остатки некогда существовавших знаковых систем, или знаки, созданные временно, обычно в небольших коллективах людей. Например, языки жестов и поз.

В теории информации и кодировании принят энтропийный подход к измерению информации, который основан на том, что факт получения информации всегда связан с уменьшением разнообразия или неопределенности (энтропии) системы. Неопределенность может быть интерпретирована в смысле того, насколько мало известно наблюдателю о данной системе, энтропия системы снизилась, так как для наблюдателя система стала более упорядоченной.

При энтропийном подходе под информацией понимается количественная величина исчезнувшей в ходе какого-либо процесса (испытания, измерения и т.д.) неопределенности. При этом в качестве меры неопределенности вводится энтропия [1].

Энтропия – мера внутренней неупорядоченности информационной системы.

Энтропия увеличивается при хаотическом распределении информационных ресурсов и уменьшается при их упорядочении.

На основе понятий энтропии и количества информации в теории информации введены важные характеристики сигналов и информационных систем:

скорость создания информации;

скорость передачи информации;

избыточность;

пропускная способность каналов связи.

Одним из самых замечательных результатов теории информации является доказательство, что при любых помехах и шумах можно обеспечить передачу информации без потерь.

Первая теорема Шеннона гласит, что при скорости создания информации меньшей пропускной способности канала можно передавать информацию со сколь угодно малой вероятностью ошибок, несмотря на шумы.

Шеннон сформулировал энтропию как меру хаоса в противовес количеству информации как меры упорядоченности структур.

Рассмотрим некоторую сложную систему и проследим ее эволюцию. Пусть эта система представляет собой находящийся в сосуде газ, состоящий из огромного числа беспорядочно движущихся молекул. Мы не знаем точного положения и скорости в каждый момент времени каждой частицы газа, но нам известны макропараметры: давление, объем, температура и состав газа. Фактически мы должны рассчитать число способов, которыми можно осуществить внутренние перестройки в системе, чтобы наблюдатель не заметил изменений макросостояния системы. При этом предполагается неотличимость атомов друг от друга.

Если в системе, состоящей из одного атома, произошло его энергетическое возбуждение, нам это может стать известно по значению температуры. При этом возможно только одно распределение возбуждения в системе равному единице. Энтропия связана с распределением следующим образом:

. В нашем случае , а значит, система обладает нулевой энтропией.

В системе из ста атомов, распределение возбуждения может быть осуществлено ста способами, т.е.

, . Энтропия системы выросла и стала хаотичной, поскольку мы не знаем, где находится в каждый момент возбужденный атом.

Принято считать, что любая система стремится к состоянию равновесия, т.е. растет энтропия системы. Однако второе начало термодинамики (закон сохранения энтропии и информации) требует компенсировать рост энтропии. Информация и является средством компенсации.

В настоящее время получили распространение подходы к определению понятия "количество информации", основанные на том, что информацию, содержащуюся в сообщении, можно нестрого трактовать в смысле её новизны или, иначе, уменьшения неопределённости наших знаний об объекте.