Читайте также:
|
|
Следствием ограничений на выбор источником знаков является также недоиспользование их как переносчиков информации. Известная априорная информация о вероятностях выбора отдельных знаков и их сочетаний приводит к уменьшению средней неопределенности выбора источником знака, а, следовательно, и переносимого им количества информации. При равновероятном и некоррелированном выборе ту же информационную нагрузку на знак можно обеспечить, используя алфавит меньшего объема. в связи с этим говорят об избыточности алфавита источника сообщений.
Мерой избыточности служит величина , показывающая, насколько хорошо используются знаки данного источника:
,
где - максимально возможная энтропия, равная ; - энтропия источника.
Если избыточность источника равна нулю, то формируемые им сообщения оптимальны в смысле наибольшего количества переносимой информации. Для передачи определенного количества информации при отсутствии помех в этом случае необходимо знаков.
Поскольку энтропия сообщений, формируемых реальным источником, обладающим избыточностью, меньше максимальной, то для передачи того же количества информации знаков требуется больше: . Поэтому говорят так же об избыточности знаков в сообщении или просто об избыточности сообщения, характеризуя ее параметром :
.
Избыточность нельзя рассматривать как признак несовершенства источника сообщений. Обычно она является следствием его физических свойств. Ограничения, существующие в любом естественном языке, связаны, например, с особенностями артикуляции, не позволяющими формировать слова, состоящие из произвольных сочетаний букв.
Последствия от наличия избыточности сообщений неоднозначны. С одной стороны, избыточные сообщения требуют дополнительных затрат на передачу, например, увеличение длительности передач или расширения практической ширины спектра канала связи, что нежелательно. С другой стороны, при использовании сообщений, подчиняющихся известным ограничениям, появляется возможность обнаружения и исправления ошибок, которые приводят к нарушению этих ограничений. Следовательно, наличие избыточности способствует повышению помехоустойчивости сообщений.
Однако при обмене информацией в автоматических системах естественная избыточность подлежит устранению.
Это объясняется тем, что алгоритмы обнаружения и исправления ошибок, основанные на статистических закономерностях функционирования источника, оказываются слишком сложными для реализации их техническими средствами. В случае необходимости для повышения помехоустойчивости вводится специальная избыточность, позволяющая обеспечить обнаружение и исправление ошибок простыми техническими средствами. При низком уровне помех в канале связи устранение избыточности приводит к увеличению скорости передачи информации и может дать значительный экономический эффект.
Дата добавления: 2015-07-08; просмотров: 327 | Нарушение авторских прав
<== предыдущая страница | | | следующая страница ==> |
Определение общего числа возможных последовательностей, учитываемых в практических расчетах для эргодического источника сообщений с заданными параметрами. | | | Определение скорости передачи информации, пропускной способности дискретного канала связи без помех. |