Оценка избыточности представления информации при использовании меры Хартли

Величина И может быть определена как для одного любого элемента последовательности, так и для последовательности в целом.

Если элементами последовательности могут быть элементы некоторого множества, состоящего из к₁ элементов, а на i - й позиции последовательности может стоять только один из к₁¹ элементов этого множества, причем к₁¹ <= к₁, то избыточность i - го элемента определяется как величина

где I_{Э МАКС} - максимальное количество информации, которое может быть заключено в элементе;

I_{Э i} - количество информации в i - м элементе.

Отношение logк₁¹/logк₁ называют коэффициентом сжатия или относительной информацией. Избыточность И_{Э i} определяет недогруженность конкретного элемента, стоящего на i - й позиции последовательности. Неравенство к₁¹ < к₁ означает, что на i - й позиции последовательности могут стоять не все элементы из множества к₁ (смотри задачу 1). Из (68) видно, что 0 <= И_Эi < 1. И_Эi = 0 только тогда, когда на i - й позиции последовательности может стоять любой из к₁ элементов множества, то есть к₁¹ = к₁.

Рассмотрим теперь последовательность длиной n, элементами которой могут быть элементы того же множества. Избыточность последовательности определяется как величина

где I_{П МАКС} - максимальное количество информации, которое может содержаться в последовательности (см. формулу (6));

I_П - количество информации, заключенное в последовательности при заданном ограничении на количество комбинации ее элементов (см. формулу (5)).

Избыточность И_П определяет недогруженность последовательности за счет ограничений на количество комбинаций элементов, принадлежащих множеству к₁. Из (69) видно, что 0 <= И_П <= 1. И_П = 0, когда допустимы любые комбинации элементов.

Если И_Эi > 0, то это означает, что для представления того количества информации, которое заключено в i - м элементе, можно обойтись множеством, состоящим из меньшего, чем к₁, количества элементов, то есть множество с к₁ элементами для i - й позиции последовательности - избыточно.

Когда И_П > 0, это значит, что количество информации, заключенное в последовательности, может быть при том же количестве элементов к₁ и при допустимости всех возможных комбинаций представлено последовательностью меньшей длины, то есть что исходная последовательность является избыточной для того количества информации, которое она содержит.

Задача 12. Сообщение "дата" передается с помощью десятичных цифр в формате, составленном из трех блоков, разделенных друг от друга пробелом
ДД_ММ_ГГГГ,
где ДД - две позиции для дня; ММ - две позиции для месяца; ГГГГ - четыре позиции для года; появление цифр на позициях не является случайным, а подчиняется порядку смены дат.

Определить:
а) избыточность информации, приходящуюся на каждую позицию сообщения "дата", за исключением пробелов;
б) избыточность информации, приходящуюся на каждый из трех блоков сообщения;
в) избыточность информации, приходящуюся на сообщение в целом.

Решение: (исходные данные для решения задачи позаимствуем из решения задачи 1)
а) будем условно нумеровать позиции сообщения "дата" слева-направо (исключая пробелы):
- из условия задачи известно, что сообщение "дата" передается с помощью десятичных цифр. Следовательно, формируемый это сообщение ИИ имеет алфавит, состоящий из десяти равновероятных элементов - цифр - от 0 до 9 или к₁ = 10. Максимальное количество информации, заключенной в одном элементе, будет равно неопределенности на один элемент первичного алфавита и для ее вычисления применима формула (7), то есть
I_{Э МАКС} = log₂ к₁ = log₂10 = 3,32 бита;
- избыточность информации на элемент первой позиции блока ДД равна
И_ЭД1 = 1 - I_Д1 / I_{Э МАКС} = 1 - 2 / 3,32 = 0,398;
- избыточность информации на элемент второй позиции блока ДД равна
И_ЭД2 = 1 - I_Д2 / I_{Э МАКС} = 1 - 3,32 / 3,32 = 0;
- избыточность информации на элемент первой позиции блока ММ равна
И_ЭМ1 = 1 - I_М1 / I_{Э МАКС} = 1 - 1 / 3,32 = 0,699;
- избыточность информации на элемент второй позиции блока ММ равна
И_ЭМ2 = 1 - I_М2 / I_{Э МАКС} = 1 - 3,32 / 3,32 = 0;
- избыточность информации на элемент каждой и четырех позиций блока ГГГГ равна
И_ЭГ1 = И_ЭГ2 = И_ЭГ3 = И_ЭГ4 = 1 - I_Г / I_{Э МАКС} = 1 - 3,32 / 3,32 = 0;
б) блок ДД представляет собой последовательность из двух элементов, то есть n_ДД = 2. Максимальное количество комбинаций равно N_{ДД max} = к₁ⁿ = 10² = 100. Разрешенное количество комбинаций равно N_ДД = 31. Тогда на основании (69)
И_ПДД = 1 - log₂ N_ДД / log₂N_{ДД max} = 1 - log₂31 / log₂100 = 0,2545;
блок ММ также представляет собой последовательность из двух элементов, то есть n_ММ = 2. Максимальное количество комбинаций равно N_{ММ max} = к₁ⁿ = 10² = 100. Разрешенное количество комбинаций равно N_ММ = 12. Тогда на основании (69)

И_ПММ = 1 - log₂ N^ММ / log₂ N_{ММ max} = 1 - log₂ 12 / log₂100 = 0,4605; блок ГГГГ представляет собой последовательность из четырех элементов, то есть n_ГГГГ = 4. Количество разрешенных комбинаций и максимальное количество комбинаций равны, то есть N_ГГГГ = N_{ГГГГ max} = к₁ⁿ = 10⁴ = 10000 комбинаций. Тогда на основании (69)
И_ПГГГГ = 1 - log₂ N_ГГГГ / log₂ N_{ГГГГ max} = 1 - log₂ 10000 / log₂10000 = 0;
в) разрешенное количество комбинаций в сообщении "дата" равно N_ДАТА = N_ДД * N_ММ * N_ГГГГ = 31 * 12 * 10000 и максимальное количество комбинаций равно N_{ДАТА max} = N_{ДД max} * NММ max * N_{ГГГГ max} = 100 * 100 * 10000, тогда на основании (69)
И_ПДАТА = 1 - log₂ N_ДАТА / log₂ N_{ДАТА max} = = 1 - log₂ (31 * 12 * 10000) / log₂(100 * 100 * 10000) = 0,179.

Дата добавления: 2015-07-11