Условная энтропия

У объектов, с которыми приходится иметь дело в реальной действительности, наблюдается взаимная зависимость между отдельными свойствами. Аналогично у многих систем состояния отдельных подсистем или элементов зависят друг от друга. Соответствующими зависимостями будут обладать и элементы абстрактных алфавитов источников информации, являющихся моделями этих объектов или систем. В качестве примера таких ИИ можно привести тексты, написанные на всех известных языках, между буквами алфавитов и словами которых существуют взаимные зависимости: одни буквы встречаются чаще, другие реже; одни буквы и слова часто следуют за другими, другие - редко и т. д. В частности, в английском языке наиболее часто употребляется буква "e"; в политических репортажах после слова "президент" следует фамилия конкретного человека. При описании погодных явлений выпадение осадков связывается с наличием облаков. Каналы связи также характеризуются взаимной зависимостью сообщений на их входе и выходе.

В перечисленных выше и других подобных случаях энтропия не может быть определена только на основе безусловных вероятностей вида p(x_i). При вычислении средней неопределенности на одно сообщение ансамбля (или состояние системы) взаимозависимость учитывается через условные вероятности появления одних сообщений относительно других (или принятия одних состояний относительно других), а получаемую при этом энтропию называют условной энтропией. В частности, для одного ансамбля X с взаимной зависимостью между двумя сообщениями условные вероятности имеют вид p(x_j|x_i), а для сообщений двух ансамблей X и Y также с взаимной зависимостью между двумя сообщениями условные вероятности имеют вид p(y_j|x_i) или p(x_i|y_j). При этом для обозначения ансамбля взамозависимых сообщений (состояний) удобно использовать матрицу условных вероятностей:

В качестве примера рассмотрим русский алфавит, и для упрощения вычислений примем количество элементов, включая пробел, равное тридцати двум или к₁ = 32. Если игнорировать все статистические характеристики алфавита и считать элементы равновероятными, то его энтропия согласно (20) будет равна

Если принять во внимание только частоту встречаемости каждого элемента в текстах различного характера, то энтропия русского алфавита, вычисленная по формуле (12), будет равна

Результаты H₁(X) и H₂(X) есть следствие свойства 1 безусловной энтропии. Если известны вероятности появления одного элемента после другого (или двубуквенные сочетания)", то энтропия, характеризующая неопределенность появления элементов алфавита, будет еще меньше и определяется как условная энтропия первого порядка (так как учитывается взаимная зависимость только между двумя элементами).

Неопределенность появления любого элемента х_j (j = 1,2,…,к₁) алфавита после конкретного элемента x_x описывается при помощи частной условной энтропии вида

С помощью (24) можно определить частные условные энтропии для всех элементов алфавита Х, учитывая, что xx = x₁, x₂,…, x_i,…, x_K1, а если известны вероятности p(x_i) их появления, то можно определить и усредненную частную неопределенность по всем элементам, то есть полную (общую) условную энтропию вида

Можно и далее детализировать особенности алфавита, выявляя взаимные зависимости между тремя, четырьмя и т. д. его элементами. С учетом зависимостей между любыми тремя элементами энтропия алфавита (и, следовательно, ИИ) определяется как условная энтропия второго порядк а, с учетом зависимостей между любыми четырьмя элементами - как условная энтропия третьего порядк а и т. д. Однако, детальное изучение этого материала выходит за рамки поставленных в учебном пособии задач.

Формулы (24) и (25) справедливы для любого объекта, системы или их объединений, между любыми двумя свойствами или состояниями которых наблюдается взаимная зависимость. И совсем неважно, как будут обозначены абстрактные алфавиты моделирующих их источников информации: X, или Y, или Z и пр.

Дата добавления: 2015-07-11