Студопедия
Случайная страница | ТОМ-1 | ТОМ-2 | ТОМ-3
АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатика
ИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханика
ОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторика
СоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансы
ХимияЧерчениеЭкологияЭкономикаЭлектроника

Условная энтропия

Читайте также:
  1. Совместная энтропия или энтропия объединения
  2. Условная вероятность
  3. Условная вероятность, теоремы умножения вероятностей
  4. Условная вероятность. Сложение и умножение вероятности.
Помощь в написании учебных работ
1500+ квалифицированных специалистов готовы вам помочь

У объектов, с которыми приходится иметь дело в реальной действительности, наблюдается взаимная зависимость между отдельными свойствами. Аналогично у многих систем состояния отдельных подсистем или элементов зависят друг от друга. Соответствующими зависимостями будут обладать и элементы абстрактных алфавитов источников информации, являющихся моделями этих объектов или систем. В качестве примера таких ИИ можно привести тексты, написанные на всех известных языках, между буквами алфавитов и словами которых существуют взаимные зависимости: одни буквы встречаются чаще, другие реже; одни буквы и слова часто следуют за другими, другие - редко и т. д. В частности, в английском языке наиболее часто употребляется буква "e"; в политических репортажах после слова "президент" следует фамилия конкретного человека. При описании погодных явлений выпадение осадков связывается с наличием облаков. Каналы связи также характеризуются взаимной зависимостью сообщений на их входе и выходе.

В перечисленных выше и других подобных случаях энтропия не может быть определена только на основе безусловных вероятностей вида p(xi). При вычислении средней неопределенности на одно сообщение ансамбля (или состояние системы) взаимозависимость учитывается через условные вероятности появления одних сообщений относительно других (или принятия одних состояний относительно других), а получаемую при этом энтропию называют условной энтропией. В частности, для одного ансамбля X с взаимной зависимостью между двумя сообщениями условные вероятности имеют вид p(xj|xi), а для сообщений двух ансамблей X и Y также с взаимной зависимостью между двумя сообщениями условные вероятности имеют вид p(yj|xi) или p(xi|yj). При этом для обозначения ансамбля взамозависимых сообщений (состояний) удобно использовать матрицу условных вероятностей:

В качестве примера рассмотрим русский алфавит, и для упрощения вычислений примем количество элементов, включая пробел, равное тридцати двум или к1 = 32. Если игнорировать все статистические характеристики алфавита и считать элементы равновероятными, то его энтропия согласно (20) будет равна

Если принять во внимание только частоту встречаемости каждого элемента в текстах различного характера, то энтропия русского алфавита, вычисленная по формуле (12), будет равна

Результаты H1(X) и H2(X) есть следствие свойства 1 безусловной энтропии. Если известны вероятности появления одного элемента после другого (или двубуквенные сочетания)", то энтропия, характеризующая неопределенность появления элементов алфавита, будет еще меньше и определяется как условная энтропия первого порядка (так как учитывается взаимная зависимость только между двумя элементами).

Неопределенность появления любого элемента хj (j = 1,2,…,к1) алфавита после конкретного элемента xx описывается при помощи частной условной энтропии вида

С помощью (24) можно определить частные условные энтропии для всех элементов алфавита Х, учитывая, что xx = x1, x2,…, xi,…, xK1, а если известны вероятности p(xi) их появления, то можно определить и усредненную частную неопределенность по всем элементам, то есть полную (общую) условную энтропию вида

Можно и далее детализировать особенности алфавита, выявляя взаимные зависимости между тремя, четырьмя и т. д. его элементами. С учетом зависимостей между любыми тремя элементами энтропия алфавита (и, следовательно, ИИ) определяется как условная энтропия второго порядка, с учетом зависимостей между любыми четырьмя элементами - как условная энтропия третьего порядка и т. д. Однако, детальное изучение этого материала выходит за рамки поставленных в учебном пособии задач.

Формулы (24) и (25) справедливы для любого объекта, системы или их объединений, между любыми двумя свойствами или состояниями которых наблюдается взаимная зависимость. И совсем неважно, как будут обозначены абстрактные алфавиты моделирующих их источников информации: X, или Y, или Z и пр.


Дата добавления: 2015-07-11; просмотров: 402 | Нарушение авторских прав


 

 

Читайте в этой же книге: Цикл переработки информации | Обобщенная структура системы передачи информации | Понятие линии и канала связи | Постановка задачи | Понятие энтропии как меры неопределенности, неполноты знаний | Совместная энтропия или энтропия объединения | Дискретные источники информации и их основные характеристики | Дискретные каналы связи и их основные характеристики | Бинарные (двоичные) каналы связи | Вычисление количества информации при передаче сообщений от дискретного источника информации по дискретному каналу связи |
<== предыдущая страница | следующая страница ==>
Свойства безусловной энтропии| Свойства условной энтропии

mybiblioteka.su - 2015-2022 год. (0.031 сек.)