Энтропия сложных событий

Если требуется оценить неопределенность сложных событий, например, состоящих из нескольких опытов, то необходимо иметь правила сложения энтропии.

Если мы меем дело с 2 опытами и , имеющими таблицы вероятностей

Исходы	А1	А2	…	Ак
Вероятности	Р(А1)	Р(А2)	…	Р(А к)

Исходы	В1	В2	…	Вn
Вероятности	Р(В1)	Р(В2)	…	Р(В n)

То, в случае независимости исходов опытов, мы можем записать, что при одновременном выполнении условий опытов и сочетания исходов м.б. следующими:

А₁ В₁, А₁ В₂, …, А₁ В_n

А₂ В₁, А₂ В₂, …, А₂ В_n

……

А_k В₁, А_k В₂, …, А_k В_n

Следовательно, в этом случае Н() = Н( )+Н()

Если исходы опытов зависят друг от друга, то энтропия такого сложного опыта записывается по другой формуле Н() = Н( )+Н ()

Н ()- условная энтропия (энтропия при условии выполнения )

Н () = Р (А₁) Н _А1 () + Р (А₂) Н _А2 () + … + Р (А_к) Н _Ак ()

_______________

Дата добавления: 2015-10-21