Задана матрица вероятностей системы, объединенной в одну систему из двух взаимосвязанных систем B и A:

ЗАДАЧИ

Задача 1

Задана матрица вероятностей системы, объединенной в одну систему из двух взаимосвязанных систем B и A:

p(A,B)=

0,3 0 0 0,2 0,3 0,1 0 0,1 0

Определить полную условную энтропию Н(A/B)

Решение:

P(A,B)=

0,3 0 0 0,2 0,3 0,1 0 0,1 0

--------------------------

p(bj) |0,5 0,4 0,1|

Определяем условные вероятности и составляем матрицу условных вероятностей:

P(ai/bj)=

0,6 0 0 0,4 0,75 1 0 0,25 0

[0,5(0,6log₂0,6+0,4log₂0,4)+0,4(0,75log₂0,75+0,25log₂0,25)+0,1(1log₂1)]=0,485+0,324=0,809 бит/состояние

Задача 2

Сообщения передаются в двоичном коде (m=2),время передачи 0 t₀=1 сек.,длительность импульса, соответствующего 1, t₁=5 сек. Оп­ределить скорость передачи информации, если вероятность появления символа 0 p₀=0,37, вероятность появления символа 1 p₁=0,63.

Решение:

С=Н/t= -(0,37*log0,37+0,63*log0,63)/5*0,63+1*0,37=0,27

Задача 3

Построить график постоянного напряжения:

Ответ:

Есть в лекциях

Задача 4

Построить график гармонического колебания (непрерывная модуляция):

Ответ:

Есть в лекциях

Задача 5

Построить график периодической последовательности импульсов:

Ответ:

Есть в лекциях

Задача 6

Сообщения составлены из алфавита a,b,c,dp(a)=0,2;p(b)=0,3;p(c)=0,4; p(d)=0,1. Hайти избыточность сообщений. D?

Решение:

H

D=1 - -------;

Hмакс

Для алфавита из четырех букв максимальная энтропия:

Средняя энтропия на символ сообщения:

Задача 7

Задано распределение вероятностей случайной дискретной

двумерной величины:

Таблица Закон распределения Х и Y

Y X
	0,17	0,10
	0,13	0,30
	0,25	0,05

Найти законы распределения составляющих Х и Y.

Решение:

1) Сложив вероятности “по строкам”, получим вероятности

возможных значений Х:

Р(3) = 0,17 + 0,10 = 0,27

P(10) = 0,13 +0,30 = 0,43

P(12) = 0,25 + 0,05 = 0,30

Запишем закон распределения составляющей Х:

Таблица Закон распределения составляющей Х

X
P(xi)	0,27	0,43	0,30

Контроль: 0,27 + 0,43 + 0,30 = 1

2) Сложив вероятности “по столбцам”, аналогично найдем распределение

составляющей Y:

Таблица Закон распределения составляющей Y

Y
P(yj)	0,55	0,45

Контроль: 0,55 + 0,45 = 1

Задача 8

Заданы ансамбли U и V двух дискретных случайных величин. Определить энтропию:

Ответ:

Задача 9

В тексте из 500 символов буква А появилась 37 раз. Подсчитать:

а) вероятность появления этой буквы;

б) энтропию для этой буквы;

в) количество информации для этой буквы в тексте из 500 знаков

а) P(а)=37/500=0.074

б) H= -(P(а)Iog2P(a)=-0.074*Iog20.074=0.278

в) I=n*H=37*0.278=10.286

Задача 10

В тексте из 500 символов буква Д появилась 16 раз. Подсчитать:

а) вероятность появления этой буквы;

б) энтропию для этой буквы;

в) количество информации для этой буквы в тексте из 500 знаков

а) P(д)=16/500=0.032

б) H= -(P(а)Iog2P(a)=-0.032*Iog20.032=0.159

в) I=n*H=16*0.159=2.544

---

Дата добавления: 2015-09-30