Свойства условной энтропии

Свойство 1. Если ансамбли сообщений X и Y взаимонезависимы, то условная энтропия X относительно Y равна безусловной энтропии X (или наоборот):

Имеется общее выражение для полной условной энтропии

Если сообщения x_i и y_j взаимонезависимы, то условные вероятности отдельных сообщений равны безусловным

тогда

Свойство 2. Если ансамбли сообщений X и Y настолько жестко статистически связаны, что появление одного из них непременно подразумевает появление другого, то их условные энтропии равны нулю:

Воспользуемся свойствами вероятностей, согласно которым при полной статистической зависимости p(y_j|x_i) = 1 слагаемые p(y_j|x_i)log p(y_j|x_i) равны нулю. Если нулю равны отдельные слагаемые, то и сумма равна нулю, откуда

Задача 6. Известны энтропии двух зависимых ИИ: H(X) = 5 бит/элемент, H(Y) = 10 бит/элемент.

Определить, в каких пределах будет изменяться условная энтропия H(Y|X) при изменении H(X|Y) в максимально возможных пределах.

Решение
Воспользуемся графическим изображением связи между энтропиями. На рисунке видно, что максимального значения H(Y|X) достигнет при отсутствии взаимосвязи и будет равна H(Y), то есть 10 бит/элемент. По мере увеличения взаимосвязи H(Y|X) будет уменьшаться до значения H(Y) - H(X) = 10 - 5 = 5 бит/элемент. При этом H(X|Y) = 0.

Задача 7. Даны две взаимодействующие системы X и Y. Известны вероятности состояний элементов системы Y: p(y₁) = 0,2; p(y₂) = 0,3; p(y₃) = 0,4; p(y₄) = 0,1 и условные вероятности, описывающие взаимную зависимость систем,

Определить полную условную энтропию двух взаимодействующих систем.

Решение
Полная условная энтропия

Дата добавления: 2015-07-11