Свойства условной энтропии

1. Очень существенно, что условная энтропия Н_α( β ) заключается между нулем и энтропией Н (β ) (безусловной):

.

Это свойство хорошо согласуется со смыслом энтропии как меры неопределенности. Очевидно, что предварительное выполнение опыта α может лишь уменьшить степень неопределенности β, а в случае независимости опытов α и β степень неопределенности не изменится. Однако опыт α не может увеличить неопределенность опыта β.

2. Второе свойство =0

Если опыт действительно имеет вероятности исходов = Р (А₁), Р (А₂), …, Р (А_к) и сумма этих вероятностей = 1, то = 0, если все величины Н _А1 () = Н _А2 () = … = Н _Ак () = 0

Суммарная энтропия такого опыта Н() = Н( )

Если мы имеем также вероятности исходов опыта (Р( )), то в этом случае величины энтропии опыта при условии опыта в сумме будут стремиться к энтропии Н(), т.е. в этом случае мы приходим к формуле суммирования энтропий независимых опытов.

3. Третье свойство:

учитывая, что опыты и ничем не отличаются друг от друга в своей постановке Н()=Н() следовательно: Н( )+Н ()=Н()+Н ( )

_______________

Дата добавления: 2015-10-21