Оценка избыточности представления информации дискретного ИИ

В качестве меры избыточности представления информации в случае учета статистических характеристик ансамбля сообщений дискретного ИИ используется величина И, которая также показывает, насколько экономно множество элементов первичного алфавита представляет определенное количество информации I(X). Эта величина может быть определена как для отдельного элемента, так и для их последовательности.

Пусть сообщения, принадлежащие ансамблю X{xi} (i = 1,2,…,к₁), с разной вероятностью передаются от ИИ. Избыточность элемента определяется как величина

где I(X)_{Э МАКС} - максимальное среднее количество информации, которое может нести элемент;

I(X)_Э - среднее количество информации, которое действительно несет элемент.

Величина I(X)_{Э МАКС} вычисляется с учетом двух условий:
- не учитывается взаимная зависимость между элементами первичного алфавита, то есть считается, что они принадлежат ИИ без памяти, тогда
I(X)_{Э МАКС} = H(X);
- появление любого элемента на выходе ИИ равновероятно, тогда
H(X)_МАКС = log к₁,
следовательно, с учетом обоих условий
I(X)_{Э МАКС} = log к₁.

Действительное среднее количество информации, которое содержится в одном элементе алфавита равно:
- для ИИ без памяти
I(X)_Э = H(X)_Э = H(X);
- для ИИ с памятью на один элемент
I(X)_Э = H(X)_Э = H(X|X).

Принимая во внимание приведенные рассуждения, выражение (70) можно записать в виде

Из (71) видно, что 0 <= ИЭ <= 1. ИЭ = 0, когда элементы выдаются ИИ без памяти с равными вероятностями.

Рассмотрим последовательность элементов длины n, выдаваемую ИИ. Избыточность последовательности определяется как величина

где I(X)_{П МАКС} - максимальное количество информации, которое может нести последовательность;

I(X)П - количество информации, которое действительно несет последовательность.

Поскольку каждый элемент в среднем содержит одно и то же количество информации, то
I(X)_П = n * I(X)_Э = n * H(X)_Э,
а
I(X)_{П МАКС} = n * I(X)_{П МАКС} = n * log к₁,
и подстановка этих значений в (72) приводит к результату

Из полученного выражения следует, что избыточность последовательности равна избыточности элемента.

Если И_Э > 0 (И_П > 0), то это означает, что для представления того количества информации, которое заключено в элементе (последовательности), можно:
- обойтись меньшим количеством различных элементов (тем самым уменьшится значение знаменателя дроби (73));
- применить первичный алфавит с равновероятными элементами и отсутствием взаимной зависимости между ними (тем самым увеличится значение числителя дроби (73)).

Дата добавления: 2015-07-11