Общие сведения. Кодирование, обеспечивающее уменьшение избыточности в закодированном сообщении

Кодирование, обеспечивающее уменьшение избыточности в закодированном сообщении, называют эффективным. Избыточность источника может быть вызвана статистическими свойствами сообщений (наличие статистических связей между сообщениями и/или различные вероятности появления отдельных сообщений), психофизиологическими особенностями восприятия звука и изображения органами чувств человека и другими причинами.

Количественно избыточность источника дискретных сообщений определяется коэффициентом избыточности æ

где − максимальная энтропия источника, формирующего М независимых равновероятных сообщений;

− энтропия источника, вычисленная на основе статистических характеристик М разновероятных сообщений.

Коэффициент æпоказывает, какая доля максимально возможной энтропии не используется источником. Максимальная энтропия двоичного источника дискретных сообщений определяется по формуле . Фактическая энтропия источника определяется выражением ,

где р(а_i)- вероятность появления сообщения а_i.

Сокращение избыточности возможно путем сжатия (компрессии) объема передаваемой источником информации. Сокращение статистической избыточности проводится без потери информации. Энтропия источника при этом не уменьшается. При сокращении психофизиологической избыточности происходит необратимая потеря части информации, несущественной для получателя и энтропия источника уменьшается. Оставшуюся часть сообщения, существенную для получателя, подвергают далее повторному кодированию с целью уменьшения статистической избыточности.

Для характеристики эффективности сжатия применяют коэффициент сжатия или обратную ему величину − степень сжатия.

Коэффициент сжатия − это отношение длины сжатых данных к длине соответствующих им несжатых данных.

Степень сжатия − отношение длины несжатых данных к длине соответствующих им сжатых данных.

Эффективные коды можно использовать в тех случаях, когда кодовая последовательность не подвергается воздействию помех. При наличии помех ошибочный прием всего лишь одного кодового символа может изменить переданное сообщение до неузнаваемости. Поэтому эффективными кодами кодируют только источники сообщения. Эффективное статистическое кодирование без потери информации можно реализовать путем создания специальных словарей или используя неравномерные коды (в зависимости от причин избыточности). Для сокращения психо - физиологической избыточности разработаны специальные стандарты сжатия информации с потерями.

Дата добавления: 2015-08-13