Понятие избыточности информации

Как известно, мерой количества информации служит снятая неопределенность. Начальное количество передаваемой информации целиком определяется энтропией ИИ: чем больше энтропия, тем больше начальное количество информации. В свою очередь, величина энтропии ИИ зависит от свойств ансамбля сообщений: количества и взаимной зависимости элементов выборочного пространства, их вероятностных характеристик. Из нескольких ансамблей сообщений максимальную среднюю информационную нагрузку на элемент алфавита имеет тот, у которого больше выборочное пространство, элементы алфавита равновероятны и отсутствует взаимная зависимость между элементами. С другой стороны, добиваясь равновероятности и отсутствия взаимной зависимости между элементами, ту же информационную нагрузку на элемент можно обеспечить, используя алфавит с меньшим по объему выборочным пространством. Таким образом, ряд факторов, типичных для выбранного первичного алфавита, могут привести к недоиспользованию его элементов как переносчиков информации. В связи с этим говорят об избыточности алфавита или просто об избыточности ИИ. Однако избыточным может быть и вторичный алфавит. Поэтому различают избыточность естественную и искусственную. Естественная избыточность характерна для первичных алфавитов, а искусственная - для вторичных.

Естественная избыточность подразделяется на семантическую и статистическую.

Семантическая избыточность состоит в том, что для выражения конкретной мысли можно подобрать более короткую фразу по сравнению с имеющейся. Если сложное сообщение можно сократить без изменения смысла, а затем на приемной стороне восстановить содержание, то оно обладает семантической избыточностью. Например, рассмотрим сообщение: "Отправка заявленной Вами продукции в предусмотренные контрактом сроки не может быть осуществлена по причине возникшей чрезвычайной ситуации в нашей местности и, в связи с этим, мобилизации всех грузовых транспортных средств на проведение спасательных работ". Очевидно, что без особой потери ценности информации это сообщение может быть передано в виде: "Отправка заявленной Вами продукции временно задерживается по причине мобилизации всех транспортных средств на проведение спасательных работ". Второе предложение короче, с большей информационной нагрузкой на каждое слово, то есть первое предложение обладает семантической избыточностью по отношению ко второму. В данном учебном пособии проблема уменьшения семантической избыточности не рассматривается.

Статистическая избыточность обусловливается неравновероятностью элементов первичного алфавита и их взаимной зависимостью. Именно она взята за основу изучаемых вопросов.

Введем величину И и назовем ее "избыточность представления информации".

Дата добавления: 2015-07-11