Задача 2.14. Задана матрица вероятностей системы, объединенной в одну систему из двух взаимозависимых систем В и А:

Задача 2.14. Задана матрица вероятностей системы, объединенной в одну систему из двух взаимозависимых систем В и А:

р(А, В)= .

Определить полные условные энтропии Н (В/А) и Н (А/В).

Решение. Вычисляем безусловные вероятности как суммы совместных вероятностей по строкам и столбцам исходной матрицы:

р()

р(А, В)=

р(b) 0,5 0,4 0,1

Определяем условные вероятности и составляем матрицу условных вероятностей:

p( / ) = ; p() = = 0,6; p() = = 0,4;

p() = = 0,75; p() = = 0,25; p() = = 1;

p() = p() = p() = p() = 0;

p() = .

H (A/B) = - =

= -[ + ]≈ 0,485+0,324=0,809 бит/состояние,

или

H (A/B) = - = - (0,3 +

+ 0,2 + 0,3 + 0,1 ) = 0,3∙0,736 + 0,2∙1,31 + +0,3∙0,415 + 0,1∙2 ≈0,809 бит/состояние.

Аналогично для H (B/A)

p ( / ) = ; p ( / ) = =1; p ( / ) = = 0,333;

p ( / ) = = 0,5; p ( / ) = = 1;

p ( / ) = = 0,167; p ( / ) = p ( / ) = p ( / ) = p ( / ) = 0;

p ( / ) =

H (B/A) = - / ) =

= - 0,6(0,333 + 0,51 + 0,167 ) ≈

≈0,6(0,5283 + 0,5 + 0,4318) ≈ 0,876 бит/состояние.

или

H (B/A) = - ) ) =

=- (0,2 + 0,3 + 0,1 )≈

≈0,2∙1,586 + 0,3∙1 + 0,1∙2,582≈0,8754 бит/состояние.

Задача 2.16. Сообщения создаются двумя источниками и передаются по одному каналу связи. Известно, что на выходе источника i сигналы появляются с вероятностями = 0,5; = 0,333; = 0,167. Условные вероятности появления сигналов D, E, F и G источника j при условии, что были переданы сигналы A, B, C источника i, соответственно равны:

p (D/A) = p (E/A) = p (F/A) = p (G/A) = 0,25; p (D/B) = 0,3;

p (E/B) = 0,2; p (F/B) = 0,2; p (G/B) = 0,3; p (D/C) = 0,166;

p (E/C) = 0,5; p (F/C) = 0,167; p (G/C) = 0,167.

Определить совместную энтропию источников i, j, условную энтропию H (j/i), энтропию второго источника, а также максимальное значение энтропии H (i, j).

Решение. Определяем вероятность совместного проявления сигналов обоих источников, используя выражение p (i, j) = p (j/i):

p (AD) = p (AE) = p (AF) = p (AG) = 0,5∙0,25 = 0,125;

p (BD) = p (BG) = 0,33∙0,3 = 0,1; p (BE) = p (BF) = 0,333∙0,2 = 0,0666;

p (CD) = p (CF) = p (CG) = 0,167∙0,167≈0,028; p (CE) = 0,167∙0,5 = 0,083.

Совместная энтропия источников

H (i, j) = - = - (4∙0,125 +

+ 2∙0,11 + 2∙0,0666 + 3∙0,028 +

+ 0,083 ) = 4∙0,3375 + 2∙0,332 + 2∙0,26 + 3∙0,144 +

+ 0,298 = 1,5 + 0,664 + 0,52 + 0,432 + 0,298 =

= 3,415 бит/два символ.

Условная энтропия

H (j/ i) = - = - (4∙0,125 +

+ 2∙0,11 + 2∙0,0666 + 3∙0,028 +

+ 0,0835 ) = 0,5∙2 + 0,2∙1,731 + 2∙0,0666∙2,32 +

+ 0,084∙2,58 + 0,0835∙1 ≈ 1,9578 бит/знак.

Энтропия первого источника

H (i) = - = - (0,5 + 0,333 +

+ 0,167 ) = 1,459 бит/знак.

Энтропия объединения

H (i, j) = H (i) + H (i/j) = 1,459 + 1,957 = 3,416 бит/два символа.

Энтропия второго источника

H (j) = - [p (D) + p (E) + p (F) +

+ p (G) ].

p (D) = = p (A) p (D/A) + p (B) p (D/B) + p (C) p (D/C) =

=0,5∙0,25 + 0,333∙0,3 + 0,167∙0,166 ≈ 0,253;

p (E) = = 0,5∙0,25 + 0,333∙0,2 + 0,167∙0,5 ≈ 0,275;

p (F) = = 0,5∙0,25 + 0,333∙0,2 + 0,167∙0,167 ≈ 0,219;

p (G) = = 0,5∙0,25 + 0,333∙0,3 + 0,167∙0,167 ≈ 0,253;

p (D) + p (E) + p (F) + p(G) = 0,253 + 0,275 + 0,219 + 0,253 = 1,

т. е. = 1.

H (j) = - (2∙0,253 + 0,275 + 0,219 ) =

=1,995 бит/знак.

Максимальное значение энтропии объединения H будет при отсутствии взаимосвязи между символами, т. е. при H (i/j) = 0.

H = H (i) + H (j) = 1,459 + 1,995 = 3,454 бит/два символа.

Задача 2.19. Определить полные условные энтропии двух систем A и B, если известна матрица вероятностей некоторой системы, полученной в результате объединения систем А и В:

P (A, B) = .

Найти также энтропию объединения H (A, B) и H (B, A).

Решение. Вычисляем безусловные вероятности p () и p ():

p ()

p (A, B) =

p () 0,3 0,3 0,4

Определяем условные вероятности и составляем матрицу условных вероятностей.

Так как p () = p () p () = p () p (), то

p () = ; p () = ;

p () = ≈ 0,67; p () = ≈0,33;

p () = ≈ 0,67; p () = ≈ 0,33;

p () = = 1; p () = p () = p () = p () = 0;

p () = .

H (A/B) = - ) =

= - [0,3 (0,67 + 0,33 ) +

+ 0,3 (0,67 + 0,33 ) + 0,4∙ 1 ] =

= (0,387 104 + 0,527 822)0,3 ∙ 2 = 0,914 926 ∙0,6 =

=0,5489556 бит/символ.

p () = = 1; p () = ≈0,33;

p () = ≈ 0,67; p () = = 0,2;

p () = = 0,8; p () = p () = p () = p () = 0;

p () = .

H (B/A) = - ) ) =

= - [0,2∙ 1 + 0,3 (0,33 + 0,67 ) +

+ (0,2 + 0,8 )] = 0,3(0,527 822 + 0,387 104) +

+ 0,5(0,464 386 + 0,257 542) = 0,3 ∙ 0,914 926 + 0,5 ∙ 0,721 928 =

= 0,2 744 778 + 0,3 609 640 = 0,6 354 418 бит/символ;

H (A) = - = - (0,2 + 0,3 +

+ 0,5 ) = 0,464386 + 0,521090 + 0,500000 =

= 1,485 476 бит/символ;

H (A, B) = H (A) + H (B/A) = 1,485 476 + 0,635 442 = 2,120 918 ≈

≈ 2,12 бит/символ;

H (B) = 0,3 + 0,3 + 0,4 =

= 0,521 090 + 0,521 090 + 0,528 771 = 1,57 095 бит/символ;

H (B, A) = H (B) + H (A/B) = 1,570 951 + 0,549 956 = 2,119 907 ≈

≈ 2,12 бит/символ.

Задача 2.21. Построить матрицу вероятностей состояний объединенной системы АВ, если безусловные вероятности системы А: p () = 0,1;

p () = 0,4; p () = 0,5; безусловные вероятности системы В: p ()= =0,2; p () = 0,4; p () = 0,4; матрицы условных вероятностей:

p (a/b) = ; p (b/a) = .

Решение. Определяем вероятности совместных событий вида

p () = p () p () = 0,1∙1 = 0,1;

p (, ) = p () p ( / ) = 0,4∙0,25 = 0,1;

p (, ) = p () p ( / ) = 0,5∙0 = 0;

p (, ) = p () p ( / ) = 0,1∙0 = 0;

p (, ) = p () p ( / ) = 0,4∙0,75 = 0,3;

p (, ) = p () p ( / ) = 0,5∙0,2 = 0,1;

p (, ) = p () p ( / ) = 0,1∙0 = 0;

p (, ) = p () p ( / ) = 0,4∙0 = 0;

p (, ) = p () p ( / ) = 0,5∙0,8 = 0,4,

или

p (, ) = p () p ( / ) = 0,2∙0,5 = 0,1;

p (, ) = p () p ( / ) = 0,4∙0 = 0;

p (, ) = p () p ( / ) = 0,4∙0 = 0;

p (, ) = p () p ( / ) = 0,2∙0,5 = 0,1;

p (, ) = p () p ( / ) = 0,4∙0,75 = 0,3;

p (, ) = p () p ( / ) = 0,4∙0 = 0;

p (, ) = p () p ( / ) = 0,2∙0 = 0;

p (, ) = p () p ( / ) = 0,4∙0,25 = 0,1;

p (, ) = p () p ( / ) = 0,4∙1 = 0,4.

Матрица вероятностей объединенной системы

p (A, B) = .

Дата добавления: 2015-10-21