Совместная энтропия или энтропия объединения

Совместная энтропия используется для определения энтропии совместного появления статистически зависимых сообщений либо энтропии взаимосвязанных систем. Рассмотрим два ансамбля сообщений X и Y с к₁ и к₂ сообщениями, соответственно:

При проведении опыта только с ансамблем X или Y средняя неопределенность появления на выходе соответствующего ИИ одного сообщения вычисляется как энтропия (12) или (16). Пусть проводится сложный опыт одновременно с ансамблями X и Y. Исход такого опыта трактуется как совместное событие (x_i,y_j), заключающееся в совместном появлении в опыте по одному из сообщений ансамблей X и Y. Количество совместных событий равно к₁*к₂. В общем случае к₁ <> к₂, а для канала связи СПИ к₁ = к₂. Если через p(x_i,y_j) обозначить вероятность совместного события (x_i,y_j), то все множество таких событий можно рассматривать как некоторый новый ансамбль (X,Y), для характеристики которого удобно использовать м атрицу совместных вероятностей p(x_i,y_j) всех возможных комбинаций элементов x_i (1 <= i <= к1) ансамбля X и элементов y_j (1 <= j <= к₂) ансамбля Y:

Совместные вероятности можно выразить через безусловные и условные вероятности:

Независимо от соотношения количества строк и столбцов матрица (27) обладает такими свойствами:

в свою очередь

то есть

Эти свойства позволяют вычислять энтропию каждого ансамбля сообщений непосредственно по матрице совместных вероятностей:

Условные вероятности при помощи матрицы (27) находятся следующим образом:

Совместная энтропия ансамблей X и Y при помощи матрицы (27) вычисляется путем последовательного суммирования по строкам или столбцам всех вероятностей p(x_i,y_j), умноженных на логарифм этих же вероятностей

Размерность "бит/два элемента" объясняется тем, что совместная энтропия представляет собой неопределенность одновременного появления пары элементов, то есть неопределенность на два элемента.

Исследуем (32) с учетом (28). Можно записать

Согласно (29) первое слагаемое из (33) примет вид

Второе слагаемое (33) подобно (25) и представляет собой полную условную энтропию H(Y|X), что позволяет записать (33) в виде

Так как совместная энтропия есть неопределенность относительно пары элементов (состояний) взаимосвязанных выборочных пространств X и Y, то вид пары (x_i,y_j) или (y_j,x_i) не имеет значения, поскольку неопределенность возникновения такого сочетания одинакова. В связи с этим совместная энтропия обладает свойством симметрии, которое позволяет записать:

Если построена матрица совместных вероятностей (27), описывающая взаимную связь двух выборочных пространств, то остальные информационные характеристики могут не задаваться. Говорят, что матрица p(x_i,y_j) обладает информационной полнотой.

Задача 8. Задана матрица вероятностей системы, представляющей собой объединение двух взаимозависимых систем B и A:

Определить:
а) безусловную энтропию системы А;
б) совместную энтропию H(A,B).

Решение:
а) безусловная энтропия системы А вычисляется по формуле (12). С этой целью по (29) определим безусловные вероятности p(a_i) как суммы совместных вероятностей по строкам:



б) полная совместная энтропия вычисляется по формуле (32)

Дата добавления: 2015-07-11