Свойства энтропии

Рассмотрим основные свойства энтропии, обратив внимание на то, что сформулированные условия для меры неопределенности выполняются.

1.Энтропия является вещественной и неотрицательной величиной, так как для любого изменяется в интервале от 0 до 1, отрицателен и, следовательно, положительна.

2.Энтропия – величина ограниченная. Для слагаемых в диапазоне ограниченность очевидна. Остаётся определить предел, к которому стремится слагаемое при . Так как при этом неограниченно возрастает:

Обозначив и воспользовавшись правилом Лопиталя, получим

.

3.Энтропия обращается в нуль лишь в том случае, если вероятность одного из состояний равна единице; тогда вероятности всех остальных состояний, естественно равны нулю. Это положение соответствует случаю, когда состояние источника полностью определенно.

4.Энтропия максимальна, когда все состояния равновероятны, что можно доказать методом неопределенных множителей Лагранжа:

.

5.Энтропия источника с двумя состояниями и изменяется от нуля до единицы, достигая максимума при равенстве их вероятностей:

.

График зависимости в функции

приведен на рис.... При частная неопределенность, которая приходится на состояние , велика, однако такие состояния источника весьма редки. Состояния реализуется часто, но неопределенность, которая приходится на такое состояние, очень мало. Поэтому энтропия, которая характеризует среднюю неопределенность на одно состояние ансамбля, также мала. Аналогичная ситуация наблюдается при .

Отметим, что энтропия непрерывно зависит от вероятностей отдельных состояний, что непосредственно вытекает из непрерывности функции .

6.Энтропия объединения нескольких статистически независимых источников информации равна сумме энтропий исходных источников.

Не теряя общности, ограничимся рассмотрением объединения, которое включает два источника информации и . Под объединением двух источников и понимают обобщенный источник информации , который характеризуется вероятностями всех возможных состояний комбинаций источника и источника . Аналогично трактуется и объединение ансамблей.

В соответствии с определением энтропия объединения

.

Здесь вероятность совместной реализации состояний

и .

В случае статистической независимости источников информации и запишем

.

Тогда

.

Учитывая, что

и ,

получим

.

Соответственно для энтропии объединения нескольких независимых источников имеем

.

В дальнейшем для придания общности получаемым результатам о неопределенности выбора будем говорить в основном применительно к математическим моделям источников информации в виде ансамблей.

7.Энтропия характеризует среднюю неопределенность выбора одного состояния из ансамбля. При её определении используют только вероятности состояний, полностью игнорируя их содержательную сторону. Поэтому энтропия не может служить средством решения любых задач, связанных с неопределенностью. Например, при использовании этой меры для оценки неопределенности действия лекарства, приводящего к полному выздоровлению больных в 90% и улучшению самочувствия в остальных 10% случаев, она получится такой же, как и у лекарства, вызывающего в 90% случаев смерть, а в 10% - ухудшение состояния больных.

8.Энтропия как мера неопределенности согласуется с экспериментальными данными, полученными при изучении психологических реакций человека, в частности реакции выбора. Установлено, что время безошибочной реакции на последовательность беспорядочно чередующихся равновероятных раздражителей (например, загорающихся лампочек) растёт с увеличением их числа так же, как энтропия. Это время характеризует неопределенность выбора одного раздражителя.

Замена равновероятных раздражителей неравновероятными приводит к снижению среднего времени реакции настолько, насколько уменьшается энтропия.

38.УСЛОВНАЯ ЭНТРОПИЯ И ЕЁ СВОЙСТВА

При оценке неопределенности выбора часто необходимо учитывать статистические связи, которые в большинстве случаев имеют место как между состояниями двух или нескольких источников, объединенных в рамках одной системы, так и между состояниями, последовательно выбираемыми одним источником.

Определим энтропию объединения двух статистически связанных ансамблей и . Объединение ансамблей характеризуется матрицей вероятностей всех возможных комбинаций состояний ансамбля и состояний ансамбля :

.

Суммируя столбцы и строки этой матрицы, получим информацию об ансамблях и исходных источников и :

,

.

Вероятности совместной реализации взаимозависимых состояний и можно выразить через условные вероятности или в соответствии с тем, какие состояния принять за причину, а какие- за следствие:

,

где вероятность реализации состояний ансамбля при условии, что реализовалось состояние ансамбля ; вероятность реализации состояния ансамбля при условии, что реализовалось состояние ансамбля . Тогда выражение (37.3), т.е.

для энтропии объединения принимает вид

.

Сумма

представляет собой случайную величину, которая характеризует неопределенность, приходящуюся на одно состояние ансамбля при условии, что реализовалось конкретное состояние из ансамбля .

Назовём её частной условной энтропией ансамбля и обозначим :

.

При усреднении по всем состояниям ансамбля получаем среднюю неопределенность, которая приходится на одно состояние ансамбля при известных состояниях ансамбля :

,

или

.

Величину называют полной условной или просто условной энтропией ансамбля по отношению к ансамблю .

Подставляя (38.6) в (38.3), получаем

.

Выражая в (37.3), т.е.

через другую условную вероятность в соответствии с (38.2), найдём

,

где

и

.

Таким образом, энтропия объединения двух статистически связанных ансамблей и равна безусловной энтропии одного ансамбля плюс условная энтропия другого относительно первого.

Распространяя правило (38.6) на объединение любого числа зависимых ансамблей, получим

.

Покажем теперь, что в объединении ансамблей условная энтропия любого ансамбля всегда меньше или равна безусловной энтропии того же ансамбля.

Для объединения двух ансамблей и данное утверждение принимает вид соотношения

,

.

Из (38.7) и (38.12) следует, что объединение двух произвольных ансамблей удовлетворяет соотношению

.

Для объединения нескольких произвольных ансамблей собственно имеем

.

Действительно, наличие сведения о результатах реализации состояний одного ансамбля никак не может увеличить неопределенность выбора состояния из другого ансамбля. Эта неопределенность может только уменьшиться, если существует взаимосвязь в реализациях состояний из обоих ансамблей.

В случае отсутствия статистической связи в реализациях состояниях из ансамбля и из ансамбля сведения о результатах выбора состояний из одного ансамбля не снижают неопределенности выбора состояний из другого ансамбля, что находит отражение в равенствах

, .

Если имеет место однозначная связь в реализациях состояний из ансамбля и из ансамбля , то условная энтропия любого из ансамблей равна нулю:

, .

Действительно, условные вероятности и в этом случае принимают значения, равные нулю или единице.

Поэтому все слагаемые, которые входят в выражения (38.4) и (38.10) для частных условных энтропий, равны нулю. Тогда в соответствии с (38.5) и (38.9) условные энтропии также равны нулю.

Равенства (38.17) отражают факт отсутствия дополнительной неопределенности при выборе события из второго ансамбля.

Уяснению соотношений между рассмотренными энтропиями источников информации (ансамблей) способствует их графическое отображение (рис. 38.1).

Рис. 38.1

Дата добавления: 2015-12-01