Вычисление совместной энтропии

. (8)

Учитывая формулу (8), вычислим совместную энтропию систем A и B:

H(A,B) =-(0.1600* log₂ (0.1600)+0.0110* log₂ (0.0110) + 0.0190* log₂ (0.0190) + +0.0400*log₂(0.0400)+0.2590* log₂(0.2590) + 0.0910* log₂ (0.0910)+

+0.0500* log₂(0.0500)+ 0* log₂ (0.0000) + 0.3700* log₂ (0.3700)) =

=-(0.1600*log(0.1600)/log(2)+ 0.0110* log(0.0110)/log(2)+

+0.0190* log(0.0190)/ log(2) +0.0400*log(0.0400)/log(2)+

+ 0.2590*log(0.2590)/log(2)+ 0.0910* log(0.0910)/log(2) +

+0.0500* log(0.0500)/ log(2)+ 0* log(0.0000)/log(2)+

+0.3700* log(0.3700)/ log(2))=

=-(0.1600*(-0.7959)/0.3010+ 0.0110*(-1.9586)/ 0.3010+

+0.0190* (-1.7212)/0.3010+0.0400*(-1.3979)/ 0.3010+

+ 0.2590*(-0.5867)/ 0.3010+ 0.0910*(-1.0410)/ 0.3010+

+0.0500* (-1.3010)/0.3010+0.0000+

+0.3700* (-0.4318)/0.3010)=-(-0.4230-0.0716 - 0.1086 - 0.1858-0.5048-0.3147-

-0.2161+0.0000-0.5307)=2.3553 (бит/2символа).

Вычисление частной условной энтропии

; . (9)

; , (10)

где - условная частная энтропия источника A относительно события ;

- условная вероятность появления события относительно события в сложной системе;

- условная частная энтропия источника B относительно события ;

- условная вероятность появления события относительно события в сложной системе.

Зная формулу (9), вычислим частную условную энтропию H(A/bj):

H(A/b1) =-(0.6400* log₂ (0.6400)+0.1600* log₂ (0.1600)+0.2000* log₂ (0.2000))=

=-(0.6400* log(0.6400)/log(2)+0.1600* log(0.1600)/log(2)+

+0.2000* log(0.2000)/log(2))=-(0.6400* (-0.1938)/0.3010+

+0.1600*(-0.7959)/0.3010+0.2000* (-0.6990)/0.3010)=

=-(-0.4121-0.4230-0.4644)=1.2995(бит/символ);

H(A/b2) =-(0.0400* log₂ (0.0400)+0.9600* log₂ (0.9600)+0.0000* log₂ (0.0000))=

=-(0.0400*log(0.0400)/log(2)+0.9600*log(0.9600)/log(2)+

+0.0000* log(0.0000)/log(2))=

=-(0.0400*(-1.3979)/0.3010+0.9600*(-0.0177)/0.3010+

+0.0000)= -(-0.1858-0.0565+0.0000)= 0.2423 (бит/символ);

H(A/b3) =-(0.0400* log₂ (0.0400)+0.1900* log₂ (0.1900)+ 0.7700* log₂ (0.7700))=

=-(0.0400*log(0.0400)/log(2)+0.1900*log(0.1900)/log(2)+

+0.7700*log(0.7700)/log(2))=-(0.0400*(-1.3979)/0.3010+

+0.1900*(-0.7212)/0.3010+0.7700*(-0.1135)/0.3010)=

=-(-0.1858-0.4552-0.2903)= 0.9313 (бит/символ).

Зная формулу (10) и матрицу p(b_j/a_i), вычисленную по формуле (5), вычислим частную условную энтропию H(B/a_i):

H(B/a1)= -(0.8420* log₂(0.8420)+0.0580* log₂(0.0580)+0.1000* log₂(0.1000)) =

=-(0.8420* log(0.8420)/log(2)+0.0580*log(0.0580)/log(2)+

+0.1000* log(0.1000)/log(2))=-(0.8420*(-0.0747)/0.3010+

+0.0580*(-1.2366)/0.3010+0.1000*(-1.0000)/0.3010) =

=-(-0.2089-0.2383-0.3322)= 0.7794 (бит/символ);

H(B/a2)=-(0.1030*log₂ (0.1030)+0.6640*log₂(0.6640)+0.2330*log₂(0.2330)) =

=-(0.1030*log(0.1030)/log(2)+0.6640*log(0.6640)/log(2)+

+0.2330*log(0.2330)/log(2) =-(0.1030*(-0.9872)/0.3010+

+0.6640*(-0.1778)/0.3010+0.2330*(-0.6326)/0.3010=

=-(-0.3378-0.3923-0.4897)= 1.2198 (бит/символ);

H(B/a3)= -(0.1190* log₂ (0.1190)+0.0000* log₂ (0.0000)+0.8810* log₂ (0.8810))=

=-(0.1190*log(0.1190)/log(2)+0.0000*log(0.0000)/log(2)+

+0.8810*log(0.8810)/log(2))=-(0.1190*(-0.9245)/0.3010+0.0000+

+0.8810*(-0.0550)/0.3010)=-(-0.3654-0.1610)=0.5264 (бит/символ).

Дата добавления: 2015-11-30