Студопедия
Случайная страница | ТОМ-1 | ТОМ-2 | ТОМ-3
АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатика
ИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханика
ОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторика
СоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансы
ХимияЧерчениеЭкологияЭкономикаЭлектроника

Оценка избыточности представления информации дискретного ИИ

Читайте также:
  1. Cостав и расчетные показатели площадей помещений центра информации - библиотеки и учительской - методического кабинета
  2. E. Организм контактирует с внутренними объектами — например, воспоминаниями, эротическими фантазиями, мысленными представлениями — субъективными образами.
  3. I. Виды угроз информации.
  4. II. Этапы преобразования информации стратегического менеджмента.
  5. II. Этапы преобразования информации стратегического менеджмента.
  6. III. Назначение криптографических методов защиты информации.
  7. IV по V информации

В качестве меры избыточности представления информации в случае учета статистических характеристик ансамбля сообщений дискретного ИИ используется величина И, которая также показывает, насколько экономно множество элементов первичного алфавита представляет определенное количество информации I(X). Эта величина может быть определена как для отдельного элемента, так и для их последовательности.

Пусть сообщения, принадлежащие ансамблю X{xi} (i = 1,2,…,к1), с разной вероятностью передаются от ИИ. Избыточность элемента определяется как величина

где I(X)Э МАКС - максимальное среднее количество информации, которое может нести элемент;

I(X)Э - среднее количество информации, которое действительно несет элемент.

Величина I(X)Э МАКС вычисляется с учетом двух условий:
- не учитывается взаимная зависимость между элементами первичного алфавита, то есть считается, что они принадлежат ИИ без памяти, тогда
I(X)Э МАКС = H(X);
- появление любого элемента на выходе ИИ равновероятно, тогда
H(X)МАКС = log к1,
следовательно, с учетом обоих условий
I(X)Э МАКС = log к1.

Действительное среднее количество информации, которое содержится в одном элементе алфавита равно:
- для ИИ без памяти
I(X)Э = H(X)Э = H(X);
- для ИИ с памятью на один элемент
I(X)Э = H(X)Э = H(X|X).

Принимая во внимание приведенные рассуждения, выражение (70) можно записать в виде

Из (71) видно, что 0 <= ИЭ <= 1. ИЭ = 0, когда элементы выдаются ИИ без памяти с равными вероятностями.

Рассмотрим последовательность элементов длины n, выдаваемую ИИ. Избыточность последовательности определяется как величина

где I(X)П МАКС - максимальное количество информации, которое может нести последовательность;

I(X)П - количество информации, которое действительно несет последовательность.

Поскольку каждый элемент в среднем содержит одно и то же количество информации, то
I(X)П = n * I(X)Э = n * H(X)Э,
а
I(X)П МАКС = n * I(X)П МАКС = n * log к1,
и подстановка этих значений в (72) приводит к результату

Из полученного выражения следует, что избыточность последовательности равна избыточности элемента.

Если ИЭ > 0 (ИП > 0), то это означает, что для представления того количества информации, которое заключено в элементе (последовательности), можно:
- обойтись меньшим количеством различных элементов (тем самым уменьшится значение знаменателя дроби (73));
- применить первичный алфавит с равновероятными элементами и отсутствием взаимной зависимости между ними (тем самым увеличится значение числителя дроби (73)).


Дата добавления: 2015-07-11; просмотров: 78 | Нарушение авторских прав


Читайте в этой же книге: Понятие энтропии как меры неопределенности, неполноты знаний | Свойства безусловной энтропии | Условная энтропия | Свойства условной энтропии | Совместная энтропия или энтропия объединения | Дискретные источники информации и их основные характеристики | Дискретные каналы связи и их основные характеристики | Бинарные (двоичные) каналы связи | Вычисление количества информации при передаче сообщений от дискретного источника информации по дискретному каналу связи | Понятие избыточности информации |
<== предыдущая страница | следующая страница ==>
Оценка избыточности представления информации при использовании меры Хартли| Постановка задачи

mybiblioteka.su - 2015-2024 год. (0.006 сек.)