Вычисление количества информации при передаче сообщений от дискретного источника информации по дискретному каналу связи

Алгоритм вычисления количества информации зависит от того, какие применяются модели объектов, как источников информации, и СПИ. Простейший алгоритм предложен Р. Хартли. Согласно его подходу моделью объекта служит источник информации без памяти с ограниченным множеством элементов первичного алфавита, на выходе которого сообщения появляются с равной вероятностью. Каждое сообщение представляет собой ограниченную последовательность элементов в виде их комбинации, длина которой постоянна и может лежать в пределах от 1 до n элементов. Появление любого элемента на любой позиции последовательности не зависит от того, какие элементы расположены на других позициях, а определяется исключительно особенностями объекта. Таким образом, многообразие свойств объекта отображается с помощью множества комбинаций элементов. Каждому конкретному свойству ставится в соответствие конкретная комбинация: количество элементов и их местоположение в последовательности. Свойство данной последовательности отражать разнообразие проявлений материального мира, то есть нести информацию, связано с ее комбинаторными возможностями. Очередное допущение рассматриваемого подхода предполагает отсутствие искажений в передаваемых сообщениях. Это означает, что сообщения воспринимаются получателем как истинные, достоверные, которые действительно были посланы, как бы непосредственно с выхода ИИ. По сути дела, такой подход охватывает процессы появления информации, нежели процессы ее передачи и отображения. Если для исследования информационных характеристик объекта достаточно будет представить его модель, соответствующую перечисленным выше условиям, то можно воспользоваться мерой Хартли в виде выражений (5) - (7) с учетом выбранной единицы измерения количества информации:

Подход к оценке количества информации при использовании более сложных моделей ИИ и СПИ изложен в подразделе 3.7. Его суть характеризует выражение (39)

Введем такое понятие, как "количество информации, полученной в со-общениях ансамбля Y об информации, заключенной в сообщениях ансамбля X", и обозначим указанное количество информации через I(Y,X). Рассмотрим следующие случаи:
а) сообщения передаются от ИИ с неравновероятным ансамблем и в канале связи СПИ помехи отсутствуют, то есть H_{ПОСЛЕ ПЕРЕДАЧИ} = 0, тогда:

- для ИИ без памяти

- для ИИ с памятью на один элемент

где H(X) и H(X|X) вычисляются соответственно по формулам (12) и (25);

б) сообщения передаются от ИИ без памяти и в канале связи СПИ присутствуют помехи, то есть H_{ПОСЛЕ ПЕРЕДАЧИ} <> 0. Если рассматривть процесс передачи сообщений со стороны ПИ, когда H_{ПОСЛЕ ПЕРЕДАЧИ} = H(X|Y), то

где H(X|Y) при наличии ПИ с неравновероятным ансамблем вычисляется по формуле (53), а при наличии ПИ с равновероятным ансамблем - по формуле (54);

в) для описания СПИ применяется матрица совместных вероятностей (27), которая, как известно, обладает свойством симметрии (36) - (38) или

откуда справедливо такое выражение

Это позволяет записать (65) в виде

что соответствует описанию процесса передачи сообщений со стороны ИИ без памяти по каналу связи с помехами, когда H_{ПОСЛЕ ПЕРЕДАЧИ} = H(Y|X), где H(Y) вычисляется по формуле (16); H(Y|X) при наличии ИИ с неравновероятным ансамблем вычисляется по формуле (47), а при наличии ИИ с равновероятным ансамблем - по формуле (49).

После подстановки выражения H(X|Y) = H(X,Y) - H(Y) из (38) в (65) получится

Выражения (65), (66), (67) приводят к одним и тем же результатам, а их выбор диктуется только имеющимися исходными данными.

Задача 11. Система передачи информации описана матрицей совместных вероятностей

Определить количество принятой информации относительно переданной I(Y,X).

Решение
В данном случае воспользуемся формулой (67):
- вычислим безусловные вероятности вида p(x_i) и p(y_j), воспользовавшись формулами (29):
p(x₁) = 0,1 + 0,1 + 0 = 0,2; p(x₂) = 0 + 0,2 + 0,1 = 0,3; p(x₃) = 0 + 0,2 + 0,3 = 0,5;
p(y₁) = 0,1 + 0 + 0 = 0,1; p(x₂) = 0,1 + 0,2 + 0,2 = 0,5; p(x₃) = 0 + 0,1 + 0,3 = 0,4;
- по формулам (12) и (16) вычислим энтропии ИИ и ПИ, соответственно:
H(X) = - [p(x₁)log₂ p(x₁) + p(x₂)log₂ p(x₂) + p(x₃)log₂ p(x₃)] = - (0,2log₂0,2 + 0,3log₂0,3 + 0,5log₂0,5) = 0,4644 + 0,5211 + 0,5000 = 1,4855 бит/сооб.;
H(Y) = - [p(y₁)log₂ p(y₁) + p(y₂)log₂ p(y₂) + p(y₃)log₂ p(y₃)] = - (0,1log₂0,1 + 0,5log₂0,5 + 0,4log₂0,4) = 0,3321 + 0,5000 + 0,5287 = 1,3608 бит/сооб.;
- вычислим совместную энтропию, воспользовавшись формулой (32),
H(X,Y) = - (3 0,1log₂0,1 + 2 0,2log₂0,2 + 0,3log₂0,3) = 0,9963 + 0,9288 + 0,5211 = 2,4462 бит/два сооб.;
- среднее количество принятой информации относительно переданной, приходящейся на одно сообщение, равно
I(Y,X) = H(X) + H(Y) - H(X,Y) = 1,4855 + 1,3608 - 2,4462 = 0,4 бит.

Дата добавления: 2015-07-11