Энтропия как мера неопределенности выбора

Ранее отмечалось, что факт получения информации всегда связан с уменьшением разнообразия или неопределенности. Рассмотрим источник информации, который может в каждый момент времени случайным образом принять из конечного множества возможных состояний. Такой источник называют дискретным источником информации. При этом принято говорить, что различные состояния реализуются вследствие выбора их источником. Каждому состоянию источника ставится в соответствие условное обозначение в виде знака (в частности, буквы) из алфавита данного источника: .

Для получения результата выбора источником конкретного состояния можно высказать ряд предположений, которые базируются на априорных сведения об источнике информации. Поскольку одни состояния выбираются чаще, а другие реже, то в общем случае он характеризуется ансамблем , т.е. полной совокупности состояний с вероятностями их появления, составляющими в сумме единицу:

или

причём

или

.

Обе формы записи используются в дальнейшем на равных основаниях.

Опираясь на эти сведения, введём сначала меру неопределенности выбора состояния источника. Её можно рассматривать и как меру количества информации, получаемой при полном устранении неопределенности относительно состояния источника. Мера должна удовлетворять ряду естественных условий. Одним из них является необходимость монотонного состояния возрастания с увеличением возможных состояний источника , причём недопустимые состояния (состояния с вероятностями, равными нулю) не должны учитываться, так как они не меняют неопределенности.

Ограничиваясь только этим условиям, за меру неопределенности можно было бы взять число состояний, предположив, что они равновероятны. Однако такая мера противоречит некоторым интуитивным представлениям. Например, при , когда неопределенность отсутствует, она давала бы значение, равное единице, кроме того, такая мера не отвечает требованию аддитивности, которое заключается в следующем.

Если два независимых источника с числом равновероятных состояний и рассматривать как один источник, который одновременно реализует пары состояний , то естественно предположить, что неопределенность объединенного источника должна равняться сумме неопределенностей исходных источников. Поскольку общее число состояний объединенного источника равно , то искомая функция должна удовлетворять условию

.

Это соотношение выполняется, если в качестве меры неопределенности источника с равновероятными состояниями и характеризующего его ансамбля принять логарифм числа состояний:

Тогда при и требование аддитивности выполняется.

Указанная мера была предложена американским ученым Р. Хартли в 1928 г. Основание логарифма не имеет принципиального значения и определяет только масштаб или единицу неопределенности. Так как современная информационная техника базируется на элементах, имеющих два устойчивых состояния, то обычно выбирают основание логарифма равным двум. При этом единица неопределенности называется двоичной единицей или битом и представляет собой неопределенность выбора из двух равновероятных событий (bit – сокращение от англ. binary digit – двоичная единица). Если основание логарифма выбрать равным десяти, то неопределенность получим в десятичных единицах на одно состояние (дитах).

Предложенная мера позволяет решать определенные практические задачи. Однако она не получила широкого применения, поскольку была рассчитана на слишком грубую модель источника информации, которая приписывает всем его возможным состояниям одинаковую вероятность.

Таким образом, степень неопределенности реализации состояния источника информации зависит не только от числа состояний, но и от вероятности этих состояний. При неравновероятных состояниях свобода выбора источника ограничивается, что должно приводить к уменьшению неопределенности. Если источник информации имеет, например, два возможных состояния с вероятностями 0,99 и 0,01, то неопределенность выбора у него значительно меньше, чем у источника, имеющего два равновероятных состояния. Действительно, в первом случае результат практически предрешён (реализация состояния, вероятность которого равна 0,99), а во втором случае неопределенность максимальная, поскольку никакого обоснованного предположения о результате выбора сделать нельзя. Отметим, что весьма малое изменение вероятностей состояний вызывает соответственно изменение неопределенности выбора.

Это позволяет сформулировать следующее требование к искомой мере неопределенности : она должна быть непрерывной функцией вероятностей состояний источника с соблюдением условием

.

Наибольшее её значение должно достигаться при равенстве вероятностей всех её состояний.

Кроме того, так как мера неопределенности связывается только с фактом выбора, а не с множеством конкретных значений наблюдаемых явлений, то должна быть функцией от функции распределения случайной величины и не должна зависеть от её конкретных значений. Иначе говоря, должна являться функционалом распределения вероятностей.

Ещё одно условие состоит в том, что мера неопределенности не должна зависеть от пути выбора состояния в ансамбле. Выбор может быть как непосредственным, так и многоступенчатым. В последнем случае неопределенность выбора состояния складывается из неопределенности выбора группы состояний и неопределенностей выбора состояния в каждой группе, рассчитанных с учётом вероятности выбора данной группы:

где и вероятности состояний, которые образуют соответственно группы и , причём и .

Мера неопределенности выбора дискретным источником состояния из ансамбля , удовлетворяющая указанным условиям, была предложена американским ученым К. Шенноном. Её называют энтропией дискретного источника информации или энтропией конечного ансамбля:

,

где произвольное положительное число.

К. Шенноном высказано утверждение, а советским ученым Л. Я. Хинчиным математически строго доказано, что это единственный функционал, удовлетворяющий сформулированным условиям.

Если вновь ориентироваться на измерение неопределенности в двоичных единицах, то основание логарифма следует принять равным двум. Примем также . Из (36.5)

.

Предложенная мера была названа энтропией не случайно. Дело в том, что формальная структура выражения (36.5) совпадает с энтропией физической системы, определенной ранее Больцманом. Согласно второму закону термодинамики энтропия замкнутого пространства определяется выражением

,

где число молекул в данном пространстве; число молекул, обладающих скоростью .

Так как есть вероятность того, что молекула имеет скорость , то (36.7) можем записать в виде

.

Совпадение имеет глубокий физический смысл, так как в обоих случаях величина характеризует степень разнообразия состояний системы.

Рассмотрим взаимосвязь меры К. Шеннона с мерой Хартли. Если в источнике может быть реализовано равновероятных состояний, то вероятность каждого из них равна , и неопределенность по Хартли, которая приходится на каждое состояние, выражается числом

.

Будем теперь считать вероятности событий различными, а неопределенность, которая приходится на одно конкретное состояние источника, характеризовать по аналогии величиной

.

Это частная неопределенность представляет собой случайную величину, которая зависит от того, какое состояние источника в действительности реализуется. Усреднив по всему ансамблю состояний источника, найдём неопределенность, которая приходится в среднем на одно состояние:

.

Следовательно, мера К. Шеннона является естественным обобщением меры Хартли на случай ансамбля с неравновероятными состояниями. Она позволяет учесть статистические свойства источника информации.

Дата добавления: 2015-12-01