Свойства безусловной энтропии

Ниже приведены основные свойства.

Свойство 1. Если элементы алфавита ИИ равновероятны, то его энтропия максимальна.

Доказательство свойства методом неопределенных множителей Лагранжа приведено в [3]. Для заданного к₁ вероятность появления любого элемента равна 1/к₁. Тогда

что совпадает с мерой Хартли при длине последовательности элементов n = 1.

Свойство 2. Энтропия ИИ с конечным множеством элементов первичного алфавита всегда положительна.

В выражении для энтропии (12) присутствует вероятность p_i, которая является правильной дробью, то есть p_i <= 1. Так как логарифмы правильных дробей всегда отрицательные, то значение выражения Н(X) всегда положительное.

Свойство 3. Если вероятность появления на выходе ИИ одного из сообщений равна единице, то энтропия такого источника обращается в нуль.

В этом случае вероятности появления на выходе данного ИИ остальных сообщений равны нулю, так как они входят в полную группу, для которой соблюдается условие (1). В любом опыте с таким ансамблем сообщений X результат опыта заранее известен, поэтому неопределенность относительно исхода опыта отсутствует.

Свойство 4. Энтропия объединения нескольких статистически независимых ИИ равна сумме энтропий исходных источников.

Предположим, что имеются два ИИ с ансамблями сообщений А{а_i} и В{b_j} и с энтропиями H(A) и H(B), соответственно. На основании теории вероятностей для независимых событий а_i и b_j вероятность совместного события а_ib_j равна произведению вероятностей событий а_i и b_j. Обозначим через p_i, p_j и p_i,j вероятности появления событий а_i, b_j и а_ib_j, соответственно. Используем формулу для энтропии случайного сообщения (12), чтобы получить выражение для энтропии сообщения а_ib_j:

Так как

то окончательно получим

Это свойство энтропии, или правило сложения энтропий, хорошо согласуется со смыслом энтропии как меры неопределенности. Действительно, неопределенность сообщения АВ должна быть больше неопределенности отдельных сообщений А и В. Правило сложения энтропий распространяется и на n сообщений при n > 2, что доказывается по аналогии с предыдущим.

Свойство 5 [2]. Энтропия характеризует среднюю неопределенность появления одного сообщения из ансамбля. При ее определении используют только вероятности сообщений, полностью игнорируя их семантику. Поэтому энтропия не может служить средством решения любых задач, связанных с неопределенностью. Например, при использовании этой меры для оценки неопределенности действия лекарства, приводящего к полному выздоровлению больных в 90 % случаев и улучшению самочувствия в остальных 10 % случаев, она получится такой же, как и у лекарства, вызывающего в 90 % случаев смерть, а в 10 % - ухудшение состояния больных.

Свойство 6 [2]. Энтропия как мера неопределенности согласуется с экспериментальными данными, полученными при изучении психологических реакций человека, в частности реакции выбора. Установлено, что время безошибочной реакции на последовательность беспорядочно чередующихся равновероятных раздражителей (например, загорающихся лампочек) растет с увеличением их числа так же, как энтропия. Это время характеризует неопределенность выбора одного раздражителя. Замена равновероятных раздражителей неравновероятными приводит к снижению среднего времени реакции ровно настолько, насколько уменьшается энтропия.

Задача 2. Генератор вырабатывает четыре частоты f₁, f₂, f₃, f₄, с равными вероятностями. В шифраторе из этих частот формируются сообщения путем их комбинирования по три частоты в одном сообщении.

Определить:
а) количество информации на один элемент первичного алфавита;
б) максимальное количество сообщений, составленных из этих частот;
3) количество информации, которое несет в себе одно сообщение - одна любая комбинация из трех частот.

Решение:
а) источником информации является генератор. Он характеризуется первичным алфавитом X с элементами f_i. Тогда к₁ = 4. В соответствии с (4) и (7)
I₁ = H₁ = log₂ к₁ = log₂ 4 = 2 бит/элемент (бит/частоту);
б) максимальное количество сообщений, содержащих по три частоты каждое из четырех, равно
к₁ = 4, n = 3; N_max = к₁ⁿ = 4³ = 64 сообщения (кодовых комбинаций);
в) количество информации (неопределенность), приходящееся на одно сообщение, формируемое шифратором, определяется по формуле Хартли (6)
I₂ = log₂ N_max = n log₂ к₁ = 3 log₂ 4 = 6 бит/сообщение.

Задача 3. Первичный алфавит ИИ состоит из букв A, B, C, D. Вероятности появления букв на выходе ИИ соответственно равны p_A = p_B = 0,25; p_C = 0,34; p_D = 0,16.

Определить неопределенность появления на выходе ИИ одного (любого) элемента такого алфавита.

Решение
Неопределенность появления на выходе ИИ одного (любого) элемента первичного алфавита есть энтропия данного алфавита. Так как символы алфавита неравновероятны, то энтропия определяется с помощью (12)

Задача 4. Система состоит из k взаимонезависимых подсистем. Каждая подсистема состоит из разного количества элементов. Количество состояний, в которых может находиться каждый элемент, различное. Вероятности, с которыми элементы принимают одно из возможных состояний, различные.

Определить энтропию такой системы.

Решение:
а) введем обозначения: - k - количество подсистем по условию. (u - текущая переменная, u = 1, 2, …, k);
- n_i - количество элементов в i- й подсистеме (w - текущая переменная, w = 1,2,…, ni);
- m_j,i - число состояний, в которых может находиться j - й элемент i- й подсистемы, причем j = 1, 2, …, n_i (r - текущая переменная, r = 1, 2, …, m_j,i);
- p_r,j,u - вероятность нахождения j - го элемента u - й подсистемы в r - м состоянии;
- H_j,u - энтропия j - го элемента u - й подсистемы;
б) определяем энтропию на один элемент подсистемы 1 (i = 1):
определяем энтропию на один элемент подсистемы 2 (i = 2):

и так далее;
в) определяем энтропию отдельных подсистем

г) общая энтропия системы

Задача 5 [2]. Заданы ансамбли А и В двух дискретных случайных величин А₁ и В₁:

Сравнить энтропии ансамблей А и В.

Решение
Так как энтропия не зависит от конкретных значений случайной величины (семантики), а вероятности их появления у обоих величин одинаковые, то на основании (7)

Дата добавления: 2015-07-11