Дискретные каналы связи и их основные характеристики

Дискретный канал связи СПИ можно описать с помощью условной энтропии. Примем, что ансамбли ИИ и ПИ имеют вид, соответственно, где к₁= к₂= к:

Тогда понятие частной условной энтропии H(Y|x_i) выражает неопределенность того, что, в результате отправки x_i, может быть получено любое сообщение из ансамбля Y. Понятие частной условной энтропии H(X|y_j) выражает неопределенность того, что в результате получения y_j могло быть отправлено любое сообщение из ансамбля X. Отмеченное представим в виде графической модели рис.4.

При передаче посылается сообщение x_i. Если в канале связи присутствуют помехи, то с различной степенью вероятности может быть принято любое из сообщений y_j. И наоборот, при приеме сообщение y_j может появиться в результате отправки любого из сообщений x_i. Если в канале связи помехи отсутствуют, то всегда посланному сообщению x_i соответствует принятое сообщение y_j, x₁ - y₁,…, x_К - y_К. При этом энтропия ПИ равна энтропии ИИ. Если в канале связи присутствуют помехи, то они уничтожают или искажают часть передаваемых сообщений. Статистическое описание каналов связи удобно производить при помощи канальных матриц.

Если канал связи описывается со стороны ИИ (то есть известно посланное сообщение), то вероятность того, что при передаче сообщения x_i будет принято сообщение y_j обозначается как условная вероятность p(y_j|x_i), а канальная матрица имеет вид (44).

Расположенные по диагонали вероятности определяют вероятности правильного приема, остальные - ложного. Если помехи отсутствуют, то диагональные вероятности равны единице, а внедиагональные - нулю. Вероятности каждой строки матрицы описывают события, состоящие в прохождении конкретного сообщения со стороны ИИ и составляющие полную группу событий с присущим ей свойством - равенством единице всех вероятностей, то есть

По вероятностям каждой строки (44) вычисляютя частные условные энтропии

Полная условная энтропия, которая характеризует канал связи со стороны ИИ, при известных вероятностях появления сообщений на выходе ИИ равна

В выражении (47) учитываются вероятности появления каждого сообщения на выходе ИИ (на входе канала связи). Это соответствует среднему значению множества частных условных энтропий. Если ансамбль сообщений ИИ равновероятный, то есть:

то выражение (47) примет вид

Деление на к отражает суть энтропии как неопределенности на один элемент.

Если канал связи описывается со стороны ПИ (то есть известно принятое сообщение), то вероятность того, что при приеме сообщения y_j было передано сообщение x_i обозначается как условная вероятность p(x_i|y_j), а канальная матрица примет вид (50).

Как и в матрице (44) расположенные по диагонали вероятности соответствуют правильному приему, остальные - ложному, а если помехи отсутствуют, то диагональные вероятности равны единице, а внедиагональные - нулю. Вероятности каждого столбца матрицы описывают события, состоящие в приеме конкретного сообщения на стороне ПИ и составляющие полную группу событий с присущим ей свойством - равенством единице всех вероятностей, то есть

Частные и полная условные энтропии для рассматриваемого случая будут иметь вид, соответственно:

и при равновероятном ансамбле сообщений ПИ

Следует иметь в виду, что все канальные матрицы квадратные, то есть выборочные пространства ИИ и ПИ одинаковые.

Задача 9. При передаче 100 элементов, соответствующих числу 7, статистика принятых элементов распределилась следующим образом: число 7 было принято 90 раз; число 5 - 4 раза; число 9 - 3 раза; число 10 - 2 раза; число 4 - 1 раз.

Определить, чему равна неопределенность того, что при передаче числа 7 будет принято число 7?

Решение Обозначим ансамбль сообщений ИИ через X{x_i} и ансамбль ПИ через Y{y_j}. Судя по условию, требуется вычислить частную условную энтропию H(Y|x_i), а для этого требуется определить условные вероятности p(y_j|x_i), то есть:
p(y₇|x₇) = 0,9; p(y₅|x₇) = 0,04; p(y₉|x₇) = 0,03; p(y₁₀|x₇) = 0,02; p(y₄|x₇) = 0,01, тогда частная условная энтропия будет равна

Пусть сообщения ансамбля X передаются с выхода ИИ на вход канала связи, подверженного влиянию помех. Принимаемые на входе ПИ сообщения являются лишь отражением истинных сообщений. Поэтому принимаемые сообщения можно рассматривать как некоторый ансамбль Y. До начала процесса передачи средняя неопределенность появления любого одного сообщения ансамбля X характеризуется энтропией первичного алфавита

H_{ДО ПЕРЕДАЧИ} = H(X). (55)

После передачи о посланном сообщении ансамбля X судят по принятому сообщению ансамбля Y. Например, принято сообщение y₁. При отсутствии помех в канале связи с уверенностью можно утверждать, что было послано соответствующее ему сообщение x₁. Но наличие помех не позволяет делать такой однозначный вывод. Можно все еще предполагать, что, было послано x₁, но и одновременно допускать возможность посылки любого другого сообщения, то есть после получения y₁ остается некоторая доля неопределенности (неуверенности) относительно истинности принятого сообщения. Полученная при этом информация меньше той, которая была бы получена при отсутствии помех, на величину этой остаточной неопределенности (неуверенности). Остаточная неопределенность характеризует потерю информации в результате воздействия помех на переданное ИИ сообщение. Эта потеря информации определяется средней условной энтропией ансамбля X

H_{ПОСЛЕ ПЕРЕДАЧИ} = H(X|Y). (56)

С другой стороны, если известно переданное сообщение x₁, то можно предполагать, что на приемной стороне будет получено соответствующее ему сообщение y₁, и одновременно допускать возможность приема любого другого сообщения из ансамбля Y, то есть после отправки x₁ остается доля неопределенности в получения на приемной стороне истинного сообщения. Эта остаточная неопределенность характеризует потерю информации в канале связи с помехами, которая определяется средней условной энтропией ансамбля Y

H_{ПОСЛЕ ПЕРЕДАЧИ} = H(Y|X). (57)

Дата добавления: 2015-07-11