Дискретные источники информации и их основные характеристики

Ранее было указано на то обстоятельство, что все современные СПИ построены на основе средств цифровой обработки сигналов и содержат дискретные каналы связи. В связи с чем непрерывные сообщения преобразуются в дискретные с помощью специальных преобразователей, которые без нарушения логики переработки информации можно считать составной частью ИИ. В рамках задач, решаемых учебным пособием, такое допущение вполне оправдано и позволяет причислить все ИИ к типу дискретных. В свою очередь, все дискретные ИИ разделим на два класса:
- дискретные ИИ без памяти (далее просто ИИ без памяти);
- дискретные ИИ с памятью (далее просто ИИ с памятью).

К дискретным ИИ без памяти относятся те, у которых значение очередного элемента на выходе статистически не зависит от значений предыдущих элементов. Если значение очередного элемента на выходе ИИ статистически зависит от значений предыдущих элементов, то говорят, что такой дискретный ИИ обладает памятью.

Значение элемента на выходе ИИ без памяти полностью определяется одномерным рядом распределения вероятностей вида (2), то есть

а средняя неопределенность, приходящаяся на один элемент, равна безусловной энтропии (12), то есть

В общем случае у ИИ с памятью значение очередного элемента на его выходе может зависеть от значений любого количества предыдущих элементов. Ограничимся рассмотрением ИИ, у которых имеется зависимость только между двумя соседними элементами. Работа такого ИИ характеризуется матрицей условных вероятностей элементов (23). Формула полной вероятности и условные вероятности p(x_j|x_i) позволяют найти одномерное распределение вероятностей p(x_i) элементов в выдаваемой ИИ последовательности как решение системы к₁ уравнений:

а затем, с помощью известной формулы p(x_i,x_j) = p(x_i)p(x_j|x_i), можно получить вероятности всех возможных пар соседних символов последовательности.

Для ИИ с памятью на один элемент средняя неопределенность появления на его выходе любого очередного элемента после любого другого равна полной условной энтропии (25), то есть

Для рассмотренных ИИ энтропии H(X) и H(X|X) характеризуют неопределенность того, какой очередной элемент последовательности из множества элементов первичного алфавита появится на выходе источника до передачи. После появления на выходе ИИ очередного элемента нет причин сомневаться в истинности его значения, то есть неопределенность значения элемента полностью снимается. Тогда H_{ПОСЛЕ ПЕРЕДАЧИ} = 0 и среднее количество информации, которое переносит один элемент первичного алфавита, поступающий с выхода ИИ на вход канала связи, вычисляется по формулам:
- для источника без памяти

- для источника с памятью на один элемент

Количество информации, переносимой ограниченной последовательностью из m сообщений (элементов), вычисляется по формуле, аналогичной (9),

Формулы (41) и (42) можно использовать и для вычисления количества принятой информации, при условии, что она воспринимается получателем непосредственно с выхода ИИ, либо передается получателю по идеальному каналу связи без помех.

Дата добавления: 2015-07-11