Студопедия
Случайная страница | ТОМ-1 | ТОМ-2 | ТОМ-3
АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатика
ИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханика
ОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторика
СоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансы
ХимияЧерчениеЭкологияЭкономикаЭлектроника

Вычисление количества информации при передаче сообщений от дискретного источника информации по дискретному каналу связи

Читайте также:
  1. A) Необходимые соглашения об эффективной связи между различными звеньями сети, реализованные в виде библиотек процедур, соответствующих уровню обработки сообщения
  2. A) философское понятие, которое отражает единство качества и количества
  3. Cостав и расчетные показатели площадей помещений центра информации - библиотеки и учительской - методического кабинета
  4. Gt;§ 2. Действия, производимые изменением количества денег (M). Количественная теория в причинном смысле
  5. I. Виды угроз информации.
  6. II. Определение для каждого процесса изменения внутренней энергии, температуры, энтальпии, энтропии, а также работы процесса и количества теплоты, участвующей в процессе.
  7. II. Этапы преобразования информации стратегического менеджмента.
Помощь ✍️ в написании учебных работ
1500+ квалифицированных специалистов готовы вам помочь

Алгоритм вычисления количества информации зависит от того, какие применяются модели объектов, как источников информации, и СПИ. Простейший алгоритм предложен Р. Хартли. Согласно его подходу моделью объекта служит источник информации без памяти с ограниченным множеством элементов первичного алфавита, на выходе которого сообщения появляются с равной вероятностью. Каждое сообщение представляет собой ограниченную последовательность элементов в виде их комбинации, длина которой постоянна и может лежать в пределах от 1 до n элементов. Появление любого элемента на любой позиции последовательности не зависит от того, какие элементы расположены на других позициях, а определяется исключительно особенностями объекта. Таким образом, многообразие свойств объекта отображается с помощью множества комбинаций элементов. Каждому конкретному свойству ставится в соответствие конкретная комбинация: количество элементов и их местоположение в последовательности. Свойство данной последовательности отражать разнообразие проявлений материального мира, то есть нести информацию, связано с ее комбинаторными возможностями. Очередное допущение рассматриваемого подхода предполагает отсутствие искажений в передаваемых сообщениях. Это означает, что сообщения воспринимаются получателем как истинные, достоверные, которые действительно были посланы, как бы непосредственно с выхода ИИ. По сути дела, такой подход охватывает процессы появления информации, нежели процессы ее передачи и отображения. Если для исследования информационных характеристик объекта достаточно будет представить его модель, соответствующую перечисленным выше условиям, то можно воспользоваться мерой Хартли в виде выражений (5) - (7) с учетом выбранной единицы измерения количества информации:

Подход к оценке количества информации при использовании более сложных моделей ИИ и СПИ изложен в подразделе 3.7. Его суть характеризует выражение (39)

Введем такое понятие, как "количество информации, полученной в со-общениях ансамбля Y об информации, заключенной в сообщениях ансамбля X", и обозначим указанное количество информации через I(Y,X). Рассмотрим следующие случаи:
а) сообщения передаются от ИИ с неравновероятным ансамблем и в канале связи СПИ помехи отсутствуют, то есть HПОСЛЕ ПЕРЕДАЧИ = 0, тогда:

- для ИИ без памяти

- для ИИ с памятью на один элемент

где H(X) и H(X|X) вычисляются соответственно по формулам (12) и (25);

б) сообщения передаются от ИИ без памяти и в канале связи СПИ присутствуют помехи, то есть HПОСЛЕ ПЕРЕДАЧИ <> 0. Если рассматривть процесс передачи сообщений со стороны ПИ, когда HПОСЛЕ ПЕРЕДАЧИ = H(X|Y), то

где H(X|Y) при наличии ПИ с неравновероятным ансамблем вычисляется по формуле (53), а при наличии ПИ с равновероятным ансамблем - по формуле (54);

в) для описания СПИ применяется матрица совместных вероятностей (27), которая, как известно, обладает свойством симметрии (36) - (38) или

откуда справедливо такое выражение

Это позволяет записать (65) в виде

что соответствует описанию процесса передачи сообщений со стороны ИИ без памяти по каналу связи с помехами, когда HПОСЛЕ ПЕРЕДАЧИ = H(Y|X), где H(Y) вычисляется по формуле (16); H(Y|X) при наличии ИИ с неравновероятным ансамблем вычисляется по формуле (47), а при наличии ИИ с равновероятным ансамблем - по формуле (49).

После подстановки выражения H(X|Y) = H(X,Y) - H(Y) из (38) в (65) получится

Выражения (65), (66), (67) приводят к одним и тем же результатам, а их выбор диктуется только имеющимися исходными данными.

Задача 11. Система передачи информации описана матрицей совместных вероятностей

Определить количество принятой информации относительно переданной I(Y,X).

Решение
В данном случае воспользуемся формулой (67):
- вычислим безусловные вероятности вида p(xi) и p(yj), воспользовавшись формулами (29):
p(x1) = 0,1 + 0,1 + 0 = 0,2; p(x2) = 0 + 0,2 + 0,1 = 0,3; p(x3) = 0 + 0,2 + 0,3 = 0,5;
p(y1) = 0,1 + 0 + 0 = 0,1; p(x2) = 0,1 + 0,2 + 0,2 = 0,5; p(x3) = 0 + 0,1 + 0,3 = 0,4;
- по формулам (12) и (16) вычислим энтропии ИИ и ПИ, соответственно:
H(X) = - [p(x1)log2 p(x1) + p(x2)log2 p(x2) + p(x3)log2 p(x3)] = - (0,2log20,2 + 0,3log20,3 + 0,5log20,5) = 0,4644 + 0,5211 + 0,5000 = 1,4855 бит/сооб.;
H(Y) = - [p(y1)log2 p(y1) + p(y2)log2 p(y2) + p(y3)log2 p(y3)] = - (0,1log20,1 + 0,5log20,5 + 0,4log20,4) = 0,3321 + 0,5000 + 0,5287 = 1,3608 бит/сооб.;
- вычислим совместную энтропию, воспользовавшись формулой (32),
H(X,Y) = - (3 0,1log20,1 + 2 0,2log20,2 + 0,3log20,3) = 0,9963 + 0,9288 + 0,5211 = 2,4462 бит/два сооб.;
- среднее количество принятой информации относительно переданной, приходящейся на одно сообщение, равно
I(Y,X) = H(X) + H(Y) - H(X,Y) = 1,4855 + 1,3608 - 2,4462 = 0,4 бит.

Доверь свою работу ✍️ кандидату наук!
1500+ квалифицированных специалистов готовы вам помочь

Дата добавления: 2015-07-11; просмотров: 230 | Нарушение авторских прав


 

 

Читайте в этой же книге: Обобщенная структура системы передачи информации | Понятие линии и канала связи | Постановка задачи | Понятие энтропии как меры неопределенности, неполноты знаний | Свойства безусловной энтропии | Условная энтропия | Свойства условной энтропии | Совместная энтропия или энтропия объединения | Дискретные источники информации и их основные характеристики | Дискретные каналы связи и их основные характеристики |
<== предыдущая страница | следующая страница ==>
Бинарные (двоичные) каналы связи| Понятие избыточности информации

mybiblioteka.su - 2015-2022 год. (0.013 сек.)