Вычисление энтропии систем

Вычисление вероятностей исходных систем

Исходная канальная матрица:

p(а/b)= (1)

; (2)

; (3)

; (4)

, (5)

где — вероятности появления события ;

— вероятности появления события ;

— вероятности совместного появления событий и в сложной системе;

— условная вероятность появления события относительно события в сложной системе;

— условная вероятность появления события относительно события в сложной системе.

Зная канальную матрицу (1) и формулу (4), вычислим P(a_i,b_j):

p(a₁,b₁) = p(a₁/b₁) p(b₁) = 0.640*0,250 = 0.160;

p(a₁,b₂) = p(a₁/b₂) p(b₂) = 0.040*0,270 = 0.011;

p(a₁,b₃) = p(a₁/b₃) p(b₃) = 0.040*0,480 = 0.019;

p(a₂,b₁) = p(a₂/b₁) p(b₁) = 0.160*0,250 = 0.040;

p(a₂,b₂) = p(a₂/b₂) p(b₂) = 0.960*0,270 = 0.259;

p(a₂,b₃) = p(a₂/b₃) p(b₃) = 0.190*0,480 = 0.091;

p(a₃,b₁) = p(a₃/b₁) p(b₁) = 0.200*0,250 = 0.050;

p(a₃,b₂) = p(a₃/b₂) p(b₂) = 0.000*0,270 = 0.000;

p(a₃,b₃) = p(a₃/b₃) p(b₃) = 0.770*0,480 = 0.370.

Зная матрицу и формулу (2), вычислим :

p(a ₁) = p(a₁,b₁) + p(a₁,b₂) + p(a₁,b₃) = 0.160 + 0.011 + 0.019 = 0.190;

p(a ₂) = p(a₂,b₁) + p(a₂,b₂) + p(a₂,b₃) = 0.040+0.259+ 0.091= 0.390;

p(a ₃) = p(a₃,b₁) + p(a₃,b₂) + p(a₃,b₃) = 0.050+ 0.000 + 0.370 = 0.420.

Зная матрицы , и формулу (5), вычислим :

p(b₁/a₁) = p(a₁/b₁)/ p(a ₁) = 0.160/0.190 = 0.842;

p(b₁/a₂) = p(a₂/b₁)/ p(a ₂) = 0.040/0.390= 0.103;

p(b₁/a₃) = p(a₃/b₁)/ p(a ₃) = 0.050/0.420= 0.119;

p(b₂/a₁) = p(a₁/b₂)/ p(a ₁) = 0.011/0.190 = 0.058;

p(b₂/a₂) = p(a₂/b₂)/ p(a ₂) = 0.259/0.390 = 0.664;

p(b₂/a₃) = p(a₃/b₂)/ p(a ₃) = 0.000/0.420= 0.000;

p(b₃/a₁) = p(a₁/b₃)/ p(a ₁) = 0.019/0.190 = 0.100;

p(b₃/a₂) = p(a₂/b₃)/ p(a ₂) = 0.091/0.390= 0.233;

p(b₃/a₃) = p(a₃/b₃)/ p(a ₃) = 0.370/0.420= 0.881.

Проверка

Считаем, что вектор рассчитан верно, если сумма его элементов равна единице. Это утверждение справедливо и для матрицы P(A,B). В случае матриц P(ai/bj)/P(bj/ai), единице должна равняться сумма каждого столбца/строки матрицы.

Проверка вектора P(a):

0.190+ 0.390+ 0.420 = 1.000.

Проверка вектора P(b):

0.250+ 0.270+ 0.480= 1.000.

Проверка матрицы P(A,B):

0.160 + 0.011 + 0.019 + 0.040 + 0.259 + 0.091 + 0.050 + 0.000 + 0.370 = 1.000.

Проверка матрицы P(ai/bj):

0.640+ 0.160+ 0.200 = 1.000;

0.040 + 0.960 + 0.000 = 1.000;

0.040 + 0.190 + 0.770 = 1.000.

Проверка матрицы P(bj/ai):

0.842 + 0.058 + 0.100 = 1.000;

0.103 + 0.664 + 0.233= 1.000;

0.119 + 0.000 + 0.881 = 1.000.

Вычисление энтропии систем

; (6)

. (7)

Зная вероятности p(a_i) и формулу (6), вычислим энтропию системы А:

H(A) =-(0.1900 * log₂ (0.1900) + 0.3900 * log₂(0.3900) + 0.4200 *log₂ (0.4200))=

= 0.4552 +0.5298+0.5256 = 1.5106 (бит/символ).

Зная вероятности p(b_j) и формулу (7), вычислим энтропию системы B:

H(B) = -(0.2500 * log₂ (0.2500) + 0.2700 * log₂ (0.2700) +0.4800*log₂ (0.4800)) = = 0.5000+0.5100+0.5083 = 1.5183 (бит/символ).

Дата добавления: 2015-11-30