Уменьшение (увеличение) Н может свидетельствовать об уменьшении (увеличении) разнообразия состояний N системы.
Обратное, как это следует из формулы Хартли (основание логарифма берётся больше 1!), - также верно.
Мера К. Шеннона. Формула Шеннона дает оценку информации независимо, отвлеченно от ее смысла:
n I = — å pi log2 pi . i=1
где n - число состояний системы; рi - вероятность (или относительная частота) перехода системы в i-ое состояние, причем сумма всех pi равна 1.
Если все состояния равновероятны (т.е. рi=1/n), то I=log2n.
К. Шенноном доказана теорема о единственности меры количества информации. Для случая равномерного закона распределения плотности вероятности мера Шеннона совпадает с мерой Хартли. Справедливость и достаточная универсальность формул Хартли и Шеннона подтверждается и данными нейропсихологии.
Пример. Время t реакции испытуемого на выбор предмета из имеющихся N предметов линейно зависит от log2N: t=200+180log2N (мс). По аналогичному закону изменяется и время передачи информации в живом организме. В частности, один из опытов по определению психофизиологических реакций человека состоял в том, что перед испытуемым большое количество раз зажигалась одна из n лампочек, которую он должен указать. Оказалось, что среднее время, необходимое для правильного ответа испытуемого, пропорционально не числу n лампочек, а именно величине I определяемой по формуле Шеннона, где pi - вероятность зажечь лампочку номер i. .
Легко видеть, что в общем случае:
n I = — å pi log2 pi £ log2n. i=1Если выбор i - го варианта предопределен заранее (выбора, собственно говоря, нет, pi=1), то I=0.
Сообщение о наступлении события с меньшей вероятностью несёт в себе больше информации, чем сообщение о наступлении события с большей вероятностью. Сообщение о наступлении достоверно наступающего события несёт в себе нулевую информацию (и это вполне ясно, - событие всё равно произойдёт когда-либо).
Пример. Если положение точки в системе известно, в частности, она - в k-ой клетке, т.е. âñå рi=0, кроме рk=1, то тогда I=log21=0 и мы здесь новой информации не получаем.
Пример. Выясним, сколько бит информации несет каждое двузначное число со всеми значащими цифрами (отвлекаясь при этом от его конкретного числового значения). Так как таких чисел может быть всего 90 (10 - 99), то информации будет количество I=log290 или приблизительно I=6.5. Так как в таких числах значащая первая цифра имеет 9 значений (1- 9), а вторая - 10 значений (0-9), то I=log290=log29+log210. Приблизительное значение log210 равно 3.32. Итак, сообщение в одну десятичную единицу несет в себе в 3.32 больше информации, чем в одну двоичную единицу (чем log22=1), а вторая цифра в, например, числе аа несёт в себе больше информации, чем первая (если цифры разряда а неизвестны; если же эти цифры а известны, то выбора нет - информация равна нулю).
Если в формуле Шеннона обозначить fi = —n log2 pi , то получим, что I можно понимать как среднеарифметическое величин fi .
Отсюда,fi можно интерпретировать как информационное содержание символа алфавита с индексом i и величиной pi вероятности появления этого символа в сообщении, передающем информацию.
Пусть сообщение состоит из n различных символов, mi - количество символов номер i=1, 2, .... n в этом сообщении, а N - длина сообщения в символах. Тогда вероятность появления i-го символа в сообщении равна pi=mi/N. Число всех различных сообщений длины n будет равно
n
p=N! / Õ mi! .
i=1
Информация в одном таком сообщении равна
n
I=log2 p=ln p / ln 2 = ln ( N! / Õ mi!)/ln 2 .
i=1
Используя формулу Стирлинга (достаточно точна, например, при N>100) - N!» (N/e)N , а точнее, её следствие - ln N! » N(ln N — 1) получаем (в битах):
n n
I » (N ln N — å mi ln mi ) / ln 2=— (N / ln 2) å pi ln pi .
i=1 i=1
Пример. Пусть рассматривается алфавит из двух символов русского языка - “к” и “а”. Относительные частоты встречаемости этих букв в частотном словаре русского языка равны соответственно p1=0.028, p2=0.062. Возьмем произвольное слово p длины N из k букв “к” и m (k+m=N) букв “а” над этим алфавитом. Число всех таких возможных слов, как это следует из комбинаторики, равно n=N!/(k! m!). Оценим количество информации в таком слове: I=log2 n=ln n / ln2=log2e [ln N! — ln k! — ln m!]. Воспользовавшись следствием приведённой выше формулой Стирлинга получаем оценку количества информации (в битах) на 1 символ любого слова:
I1=I/N» (log2e/N)[(k+m)( ln N —1) — k(ln k—1) — m(ln m —1)]=
=(log2e/N)[k ln(N/k) — m ln(N/m)]=
=— log2e[(k/N) ln(k/N) + (m/N) ln(m/N)]£
£ —log2e [p1 ln p1+p2 ln p2]=—log2e[0.028 ln0.028+0.062 ln0.062]» 0.235.
Пример. В сообщении 4 буквы “a”, 2 буквы “б”, 1 буква “и”, 6 букв “р”. Определим количество информации в одном таком (из всех возможных) сообщений. Число N различных возможных сообщений длиной в 13 букв будет равно величине: N=13!/(4!´ 2!´ 1!´ 6!)=180180. Количество информации I в одном сообщении будет равно величине: I=log2(N)=log2180180» 17.5 (бит).
Если k- коэффициент Больцмана, известный в физике как k=1.38´ 10-16 эрг/град, то выражение
n S = —k å pi ln pi i=1в термодинамике известно как этропия или мера хаоса, беспорядка в системе. Сравнивая выражения I и S видим, что I можно понимать как информационную энтропию (энтропию из-за нехватки информации о/в системе).
Нулевой энтропии соответствует максимальная информация. Основное соотношение между энтропией и информацией:
I+S(log2e)/k=const
или в дифференциальной форме
dI/dt= —((log2e)/k)dS/dt.
Основными положительными сторонами формулы Шеннона является её отвлечённость от семантических и качественных, индивидуальных свойств системы, а также то, что в отличие от формулы Хартли она учитывает различность, разновероятность состояний - формула имеет статистический характер (учитывает структуру сообщений), делающий эту формулу удобной для практических вычислений. Основные отрицательные стороны формулы Шеннона: она не различает состояния (с одинаковой вероятностью достижения, например), не может оценивать состояния сложных и открытых систем и применима лишь для замкнутых систем, отвлекаясь от смысла информации.
Увеличение (уменьшение) меры Шеннона свидетельствует об уменьшении (увеличении) энтропии (организованности) системы. При этом энтропия может являться мерой дезорганизации систем от полного хаоса (S=Smax) и полной информационной неопределённости (I=Imin) до полного порядка (S=Smin) и полной информационной определённости (I=Imax) в системе.
Пример. Чем ближе движущийся объект к нам, тем полнее информация обрабатываемая нашими органами чувств, тем чётче и более структурирован (упорядочен) объект. Чем больше информации мы имеем о компьютерной технике, тем меньше психологический барьер перед ним (согласно основному соотношению между энтропией и информацией).
3. Термодинамическая мера. Информационно-термодинамический подход связывает величину энтропии системы с недостатком информации о её внутренней структуре (не восполняемым принципиально, а не нерегистрируемым). При этом число состояний определяет, по существу, степень неполноты наших сведений о системе.
Пусть дана термодинамическая система (процесс) S, а Н0, Н1 - термодинамические энтропии системы S в начальном (равновесном) и конечном состояниях термодинамического процесса, соответственно. Тогда термодинамическая мера информации (негэнтропия) определяется формулой:
Н(Н0,Н1)=Н0 — Н1.
Эта формула универсальна для любых термодинамических систем. Уменьшение Н(Н0,Н1) свидетельствует о приближении термодинамической системы S к состоянии статического равновесия (при данных доступных ей ресурсах), а увеличение - об удалении.
Поставим некоторый вопрос о состоянии некоторой термодинамической системы. Пусть до начала процесса можно дать p1 равновероятных ответов на этот вопрос (ни один из которых не является предпочтительным другому), а после окончания процесса - p2 ответов. Изменение информации при этом:
D I = k ln(p1 / p2) = k (ln p1 — ln p2 ).
Если p1 > p2 (D I >0) - прирост информации, т.е. сведения о системе стали более определёнными, а при p1<p2 (D I<0)- менее определёнными. Универсально то, что мы не использовали явно структуру системы (механизм протекания процесса).
Пример. Предположим, что имеется термодинамическая система - газ в объёме 10 (м3), который расширяется до объёма 20 (м3). Нас интересует вопрос о координате некоторой молекулы газа. В начале мы знали ответ на вопрос и поэтому p1=1 (lnp1=0). Число ответов было пропорционально [ln10]. После поднятия заслонки мы знаем координату, микросостояние, т.е. изменение информации о состоянии системы равно D I=—kln(20/10)=—kln2 (нат). Это известное в термодинамике выражение для прироста энтропии в расчёте на одну молекулу и оно подтверждает второе начало термодинамики. Энтропия - мера недостатка информации о микросостоянии статической системы.
Величина D I может быть интерпретирована как количество информации, необходимой для перехода от одного уровня организации системы к другой (при D I>0 - более высокой, а при D I>0 - более низкой организации).