Студопедия
Случайная страница | ТОМ-1 | ТОМ-2 | ТОМ-3
АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатика
ИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханика
ОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторика
СоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансы
ХимияЧерчениеЭкологияЭкономикаЭлектроника

Совместная энтропия или энтропия объединения

Читайте также:
  1. Влияние условий объединения производителей и потребителей на торговлю и тем самым на цены
  2. Депутатские объединения в Государственной Думе. Фракции и депутатские группы
  3. Завершение объединения русских земель вокруг Москвы. Иван III и Василий III
  4. Конституционно-правовой статус религиозного объединения
  5. Общественные объединения как субъекты АП
  6. Общественные объединения, общественные организации и общественные движения
  7. Общественные объединения. Понятия, виды.
Помощь в написании учебных работ
1500+ квалифицированных специалистов готовы вам помочь

Совместная энтропия используется для определения энтропии совместного появления статистически зависимых сообщений либо энтропии взаимосвязанных систем. Рассмотрим два ансамбля сообщений X и Y с к1 и к2 сообщениями, соответственно:

При проведении опыта только с ансамблем X или Y средняя неопределенность появления на выходе соответствующего ИИ одного сообщения вычисляется как энтропия (12) или (16). Пусть проводится сложный опыт одновременно с ансамблями X и Y. Исход такого опыта трактуется как совместное событие (xi,yj), заключающееся в совместном появлении в опыте по одному из сообщений ансамблей X и Y. Количество совместных событий равно к12. В общем случае к1 <> к2, а для канала связи СПИ к1 = к2. Если через p(xi,yj) обозначить вероятность совместного события (xi,yj), то все множество таких событий можно рассматривать как некоторый новый ансамбль (X,Y), для характеристики которого удобно использовать матрицу совместных вероятностей p(xi,yj) всех возможных комбинаций элементов xi (1 <= i <= к1) ансамбля X и элементов yj (1 <= j <= к2) ансамбля Y:

Совместные вероятности можно выразить через безусловные и условные вероятности:

Независимо от соотношения количества строк и столбцов матрица (27) обладает такими свойствами:

в свою очередь

то есть

Эти свойства позволяют вычислять энтропию каждого ансамбля сообщений непосредственно по матрице совместных вероятностей:

Условные вероятности при помощи матрицы (27) находятся следующим образом:

Совместная энтропия ансамблей X и Y при помощи матрицы (27) вычисляется путем последовательного суммирования по строкам или столбцам всех вероятностей p(xi,yj), умноженных на логарифм этих же вероятностей

Размерность "бит/два элемента" объясняется тем, что совместная энтропия представляет собой неопределенность одновременного появления пары элементов, то есть неопределенность на два элемента.

Исследуем (32) с учетом (28). Можно записать

Согласно (29) первое слагаемое из (33) примет вид

Второе слагаемое (33) подобно (25) и представляет собой полную условную энтропию H(Y|X), что позволяет записать (33) в виде

Так как совместная энтропия есть неопределенность относительно пары элементов (состояний) взаимосвязанных выборочных пространств X и Y, то вид пары (xi,yj) или (yj,xi) не имеет значения, поскольку неопределенность возникновения такого сочетания одинакова. В связи с этим совместная энтропия обладает свойством симметрии, которое позволяет записать:



Если построена матрица совместных вероятностей (27), описывающая взаимную связь двух выборочных пространств, то остальные информационные характеристики могут не задаваться. Говорят, что матрица p(xi,yj) обладает информационной полнотой.

Задача 8. Задана матрица вероятностей системы, представляющей собой объединение двух взаимозависимых систем B и A:

Определить:
а) безусловную энтропию системы А;
б) совместную энтропию H(A,B).

Решение:
а) безусловная энтропия системы А вычисляется по формуле (12). С этой целью по (29) определим безусловные вероятности p(ai) как суммы совместных вероятностей по строкам:



б) полная совместная энтропия вычисляется по формуле (32)


Дата добавления: 2015-07-11; просмотров: 587 | Нарушение авторских прав


 

 

Читайте в этой же книге: Цикл переработки информации | Обобщенная структура системы передачи информации | Понятие линии и канала связи | Постановка задачи | Понятие энтропии как меры неопределенности, неполноты знаний | Свойства безусловной энтропии | Условная энтропия | Дискретные каналы связи и их основные характеристики | Бинарные (двоичные) каналы связи | Вычисление количества информации при передаче сообщений от дискретного источника информации по дискретному каналу связи |
<== предыдущая страница | следующая страница ==>
Свойства условной энтропии| Дискретные источники информации и их основные характеристики

mybiblioteka.su - 2015-2022 год. (0.032 сек.)