Понятие энтропии как меры неопределенности, неполноты знаний

Окружающие нас объекты (под это понятие подпадают и системы) обладают множеством свойств, параметров, состояний (в дальнейшем просто свойств), что характеризуется таким всеобщим свойством материи, как разнообразие. Живые организмы воспринимают свойства объектов благодаря способности материи к отражению. В этой связи воспринимаемые свойства о бъектов можно трактовать как отраженное разнообразие. Каждое свойство конкретного объекта проявляет себя по-разному: одни свойства наблюдаются чаще, а другие реже. Имеющие место подобные статистические закономерности описываются математическим аппаратом теории вероятностей. Действия, которые приводят к выявлению свойств объектов, в теории вероятностей называются опытом. К опытам относят, например, чтение текста, измерение какого-либо параметра измерительным прибором и т. д. Считается, что до проведения опыта известно все множество возможных его исходов, но не известно, каким из этих исходов он завершится. Таким образом, до проведения опыта имеется некоторая неопределенность (неполнота знаний) относительно его исхода, то есть относительно того, какое свойство объекта проявится (какое значение примет величина, какое событие произойдет и пр.). Но поскольку известны частоты или вероятности проявления отдельных свойств объекта, то перед проведением опыта могут быть высказаны некоторые предположения относительно его исхода. По окончании опыта неопределенность относительно его результата или совсем исчезает, или уменьшается. Уменьшение неопределенности относительно исхода опыта после его проведения, то есть переход от неопределенности к частичной или полной определенности (от незнания - к знанию) понимается в теории информации как получение информации.

Имеется дискретный ИИ (рис.3), характеризуемый первичным алфавитом

X с конечным множеством элементов {x₁, x₂,…, x_К1}, образующих выборочное пространство. В результате проведения опыта на выходе ИИ случайным образом может появиться один из элементов x_i, который отождествляется с одним сообщением. Здесь и в дальнейшем, если не будет сделано особой оговорки, каждый элемент первичного алфавита рассматривается как одно сообщение. Пусть эти сообщения независимы и несовместны. Вероятность появления i - го сообщения, то есть x_i, известна и равна p_i [или p(x_i)], где i = 1, 2,…,к₁, и пусть они образуют полную группу событий, то есть

Множество сообщений, удовлетворяющее перечисленным условиям, называется ансамблем сообщений (в рассматриваемом случае ансамблем сообщений ИИ). Часто для записи ансамбля сообщений применяют одномерный ряд распределения вероятностей сообщений в виде форм (2), которые используются в дальнейшем на равных основаниях,

Введем меру неопределенности исхода опыта, то есть появления на выходе ИИ сообщения x_i ансамбля X [2]. Ее можно рассматривать и как меру количества информации, получаемой при полном устранении неопределенности относительно исхода опыта. Обоснование вывода предлагаемой меры неопределенности построим на ряде естественных предположений

Значение меры должно монотонно возрастать с увеличением количества элементов первичного алфавита ИИ, то есть с увеличением количества свойств объекта, моделью которого является рассматриваемый ИИ. Если ограничиться только этим предположением, то за меру неопределенности можно было бы взять количество элементов первичного алфавита, предположив, что они появляются на выходе ИИ с равной вероятностью. Однако при к₁ = 1, когда неопределенность отсутствует, она принимала бы значение, равное единице, что противоречит интуитивным представлениям.

В основе другого предположения лежит свойство аддитивности. Оно состоит в следующем. Пусть имеется два независимых ИИ с ансамблями X₁ и X₂ равновероятных сообщений, количество которых соответственно равно к₁₁ и к₁₂. Если рассматривать эти источники как один объединенный источник, на выходе которого появляются сообщения в виде пары x_i1x_j2 сообщений исходных источников, то естественно предположить, что неопределенность появления одного сообщения объединенного источника должна равняться сумме неопределенностей появления сообщений на выходах исходных источников. Поскольку количество сообщений объединенного источника равно к₁₁ к₁₂, то искомая функция должна удовлетворять условию

F(к₁₁ к₁₂) = f(к₁₁) + f(к₁₂). (3)

Соотношение (3) выполняется, если в качестве меры неопределенности появления сообщения на выходе источника с равновероятными сообщениями ансамбля X принять логарифм количества элементов первичного алфавита

H(X) = log к₁, (4)

тогда при к₁ = 1 H(X) = 0 и требования аддитивности выполняются. Следует учитывать, что X - не аргумент функции, а обозначение ансамбля сообщений.

Мера, подобная (4), была предложена Р. Хартли в 1928 году в результате исследования им информационных свойств источника информации, формирующего последовательность элементов ограниченной длины с неслучайным характером появления элементов на различных позициях последовательности. Такой моделью можно описать некоторые реальные объекты, встречающиеся в жизни. Примером служат числа и результаты выполнения математических операций на ними (тоже числа), записи типа "дата" и пр. В самом деле, при фиксированном количестве разрядов числа или при заданном формате даты конкретные цифры в каждом разряде числа или на позиции даты появляются в результате действия каких-либо закономерностей. Пусть ИИ, характеризующийся ансамблем из к₁ элементов, формирует последовательность фиксированной длины из n элементов. Максимальное количество возможных комбинаций из n элементов рано N_max = к₁ⁿ. В свою очередь, количество разрешенных комбинаций N может лежать в пределах от 1 до N_max. Свойство данной последовательности отражать разнообразие проявлений материального мира, то есть нести информацию, связано с ее комбинационными возможностями: чем больше длина последовательности и количество разрешенных комбинация, тем выше отражающая способность. Поэтому за меру количества информации, приходящейся на одну комбинацию последовательности, Р. Хартли была взята функция

I(N) = I = log N, (5)

аргументом которой является количество разрешенных комбинаций N. Если разрешены все комбинации, то

I(N) = I = log N_max = log к₁ⁿ = n log к₁, (6)

и для крайнего случая, когда длина последовательности n = 1, получается

I(N) = I = n log к₁ = log к₁, (7)

что полностью совпадает с мерой (4). Выбор логарифмической функции от N в качестве меры количества информации объясняется тем, что, как следует из (6), при удвоении длины последовательности удваивается и переносимое ею количество информации, то есть

I₁ = log к₁²ⁿ = 2n log к₁ = 2*I. (8)

Основание логарифма не имеет принципиального значения и определяет только масштаб или размерность единицы неопределенности (количества информации). Если выбрано основание 2, то неопределенность выражается в двоичных единицах или битах (бит - binary digit - двоичная единица), если основание логарифма 10, то неопределенность выражается в дитах (этой единице присвоили еще название "Хартли"), если основание логарифма натуральное число е, то неопределенность выражается в натах. Так как современные СПИ оснащены цифровой вычислительной техникой, обрабатывающей двоичные сигналы, то в качестве единицы измерения неопределенности и количества информации выбирают бит.

Задача 1. Сообщение "дата" передается с помощью десятичных цифр в формате, составленном из трех блоков, разделенных друг от друга пробелом

ДД_ММ_ГГГГ,

где ДД - две позиции для дня; ММ - две позиции для месяца; ГГГГ - четыре позиции для года; появление цифр на позициях не является случайным, а подчиняется порядку смены дат.

Определить:
а) неопределенность (количество информации), приходящуюся на один элемент первичного алфавита, бит;
б) количество информации, содержащейся в каждой позиции сообщения "дата", за исключением пробелов, бит;
в) количество информации и максимальное количество информации, содержащейся в каждом из трех блоков сообщения, бит;
г) количество информации и максимальное количество информации, содержащейся в сообщении, бит.

Решение:

а) из условия задачи известно, что сообщение "дата" передается с помощью десятичных цифр. Следовательно, формируемый это сообщение ИИ имеет алфавит, состоящий из десяти равновероятных элементов - цифр - от 0 до 9 или к₁ = 10. Поскольку оценивается неопределенность на один элемент первичного алфавита, то для ее вычисления применима формула (7), то есть
I_И = log₂ к₁ = log₂10 = 3,32 бита;
б) будем условно нумеровать позиции сообщения "дата" слева-направо (исключая пробелы):
- на первой позиции блока ДД могут находиться цифры 0,1,2,3, то есть к_Д1 = 4. Тогда на основании (7)
I_Д1 = log₂ к_Д1 = log₂ 4 = 2 бита;
- на второй позиции блока ДД могут находиться все цифры, то есть кД2 = 10. Тогда на основании (7)
I_Д2 = log₂ к_Д2 = log₂ 10 = 3,32 бита;
- на первой позиции блока ММ могут находиться цифры 0,1, то есть к_М1 =. Тогда на основании (7)
I_М1 = log₂ к_М1 = log₂ 2 = 1 бит;
- на второй позиции блока ММ могут находиться все цифры, то есть к_М2 = 10. Тогда на основании (7)
I_М2 = log₂ к_М2 = log₂ 10 = 3,32 бита;
- на каждой из четырех позиций блока ГГГГ могут находиться все цифры, то есть к_Г1 = к_Г2 = к_Г3 = к_Г4 = 10. Тогда на основании (7)
I_Г1 = I_Г2 = I_Г3 = I_Г4 = log₂ к_Г1 = log₂ к_Г2 = log₂ к_Г3 = log₂ к_Г4 = log₂ 10 = 3,32 бита;

в) блок ДД представляет собой последовательность из двух элементов, то есть n_ДД = 2. Максимальное количество комбинаций равно N_{ДД max} = к₁ⁿ = 10² = 100. Разрешенное количество комбинаций равно N_ДД = 31. Тогда на основании (5)
I_ДД = log₂ N_ДД = log₂ 31 = 4,954 бита;
блок ММ также представляет собой последовательность из двух элементов, то есть n_ММ = 2. Максимальное количество комбинаций равно N_{ММ max} = к₁ⁿ = 10₂ = 100. Разрешенное количество комбинаций равно N_ММ = 12. Тогда на основании (5)
I_ММ = log₂ N_ММ = log₂ 12 = 3,585 бит;
блок ГГГГ представляет собой последовательность из четырех элементов, то есть n_ГГГГ = 4. Количество разрешенных комбинаций и максимальное количество комбинаций равны, то есть N_ГГГГ = N_{ГГГГ max} = к₁ⁿ = 10⁴ = 10000 комбинаций. Тогда на основании (5)
I_ГГГГ = log₂ N_ГГГГ= log₂ 10⁴ = 13,28 бит;
г) количество разрешенных комбинаций в сообщении "дата" равно N_ДАТА = N_ДД*N_ММ* N_ГГГГ = 31*12*10000, тогда на основании (5)
I_ДАТА=log₂ N_ДАТА= log₂N_ДД*N_ММ*N_ГГГГ = log₂ 31*12*104 = = log₂ N_ДД + log₂ N_ММ + log₂ N_ГГГГ = I_ДД + I_ММ + I_ГГГГ = 4,954 + 3,585 + 13,28 = 21,819 бит.

Вернемся к выражениям (4) - (6). Они позволяют вычислить неопределенность появления на выходе ИИ одного сообщения (одного элемента первичного алфавита или одной комбинации). Если информация передается блоками (например, абзацами, страницами и т. п.) по m сообщений в каждом блоке, а за один сеанс передачи передается s блоков, то суммарная неопределенность (количество переданной информации) может быть вычислена

H(X) = s*m*log к₁, или I = s*m*log N, или I = s*m*n*log к₁. (9)

Рассмотренная мера, хотя и позволяет решать некоторые практические задачи, имеет ограниченную область применения. Это обусловлено тем, что она основана на достаточно грубой модели ИИ, который характеризуется равными вероятностями появления сообщений на выходе. В действительности, неопределенность появления на выходе ИИ сообщений зависит не только от количества элементов первичного алфавита, но и от вероятностей их появления. Очевидным подтверждением этому служат тексты, написанные на любом языке, в которых любая буква появляется с различной частотой. При разновероятном появлении сообщений на выходе ИИ неопределенность уменьшается, и чем больше разброс вероятностей, тем меньше неопределенность. Например, если ансамбль конкретного ИИ содержит два сообщения с вероятностями их появления p(x₁) = 0,9 и p(x₂) = 0,1, то до проведения очередного опыта можно с большой уверенностью утверждать, что его исходом будет появление на выходе ИИ сообщения x₁, то есть неопределенность относительно исхода опыта меньше по сравнению с тем ИИ, у которого ансамбль имеет два равновероятных сообщения. Получим меру неопределенности появления на выходе ИИ сообщений, учитывающую отмеченную особенность.

Представим выражение (4) в виде

H(X) = log к₁ = - log(1/к₁) = H(x_i). (10)

Величину 1/к₁ можно рассматривать как вероятность p(x_i) появления одного (любого) сообщения на выходе ИИ с ансамблем равновероятных сообщений. Тогда, по аналогии с (4) и (10), для ИИ с ансамблем разновероятных сообщений выражение

H(x_i) = - log p(x_i) = H_i (11)
можно рассматривать как индивидуальную неопределенность появления с вероятностью p(x_i) на выходе рассматриваемого ИИ конкретного сообщения x_i из ансамбля X. Индивидуальная неопределенность всегда положительная, поскольку значение вероятности появления любого сообщения меньше единицы. Однако выражение (11) не может служить характеристикой ИИ в целом, так как индивидуальные неопределенности сообщений отличаются друг от друга. В качестве меры неопределенности появления на выходе ИИ одного сообщения ансамбля X К. Шеннон предложил функцию

которую назвал энтропией (полное название H(X) - безусловная энтропия. В дальнейшем понятия "безусловная энтропия" и "энтропия" будут использоваться на равных основаниях).

Запишем (12) в виде выражения

которое есть не что иное, как среднее значение (математическое ожидание) индивидуальной неопределенности.

Энтропия - это средняя (удельная) неопределенность появления на выходе ИИ одного из сообщений исходного ансамбля. Но так как исходный ансамбль выражен через элементы первичного алфавита, то справедливо следующее определение: энтропия - это средняя (удельная) неопределенность на элемент первичного алфавита и характеризует алфавит в целом.

Справедливость (13) и приведенных определений можно доказать на таком примере. Пусть имеется ИИ с ансамблем сообщений из трех чисел:

или x₁ =1, x₂ = 2, x₃ = 3. По результатам проведения статистических испытаний оказалось, что десять сообщений на выходе ИИ появились в такой последовательности: 2, 1, 1, 2, 3, 1, 3, 3, 1, 2. Математическое ожидание полученной числовой последовательности

Термин "энтропия" заимствован из физики и был введен задолго до появления теории информации. Он характеризует степень беспорядка молекул газа, заключенного в замкнутом объеме. H(X) в виде (12) формально совпадает с формулой Больцмана - вторым законом термодинамики. Совпадение имеет глубокий физический смысл, так как в обоих случаях энтропия характеризует степень разнообразия состояний объектов (систем).

Как и ИИ приемник информации (ПИ) может быть описан подобными характеристиками.

Ансамбль сообщений на входе ПИ, обозначаемый как Y, называется ансамблем сообщений ПИ, имеет выборочное пространство {y₁, y₂,…,y_К2} и записывается в виде:

В отношении его должно выполняться условие

ПИ также характеризуется безусловной энтропией - средней неопределенностью появления на входе ПИ одного сообщения после его появления на выходе ИИ, то есть

при этом для СПИ соблюдается соотношение

к₂ = к₁ = к, (17)

в то время как для систем, характеризующихся количеством принимаемых состояний, соотношение между к₁ и к₂ может быть любым.

Если при передаче сообщений потери информации в канале связи отсутствуют, то всегда сообщение y₁ соответствует сообщению x₁, y₂ соответствует x₂ и т. д. В этом случае

H(Y) = H(X). (18)

Как было отмечено выше, H(X) характеризует среднюю неопределенность появления на выходе ИИ одного сообщения из ансамбля X, то есть является характеристикой ИИ, а точнее, его алфавита. Если сообщения с выхода ИИ без искажений доходят до получателя и при этом с получением одного сообщения полностью устраняется всякая неопределенность относительно его содержания, то при таких условиях H(X) может служить мерой количества переданной и принятой информации (подробности смотри ниже)

I(X) = H(X). (19)

Дата добавления: 2015-07-11