Студопедия
Случайная страница | ТОМ-1 | ТОМ-2 | ТОМ-3
АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатика
ИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханика
ОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторика
СоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансы
ХимияЧерчениеЭкологияЭкономикаЭлектроника

Понятие энтропии как меры неопределенности, неполноты знаний

Читайте также:
  1. A) философское понятие, которое отражает единство качества и количества
  2. I. Понятие издержек производства, стоимости и себестоимости продукции. Виды себестоимости.
  3. I. Семинар. Тема 1. Понятие и методологические основы системы тактико-криминалистического обеспечения раскрытия и расследования преступлений
  4. I.1. Понятие корпоративной культуры и ее уровни.
  5. II. Определение для каждого процесса изменения внутренней энергии, температуры, энтальпии, энтропии, а также работы процесса и количества теплоты, участвующей в процессе.
  6. III тон сердца. Понятие о ритме галопа. Диагностическое значение.
  7. V. ИТОГОВЫЕ ТЕСТЫ ДЛЯ ПРОВЕДЕНИЯ САМОСТОЯТЕЛЬНОГО КОНТРОЛЯ ЗНАНИЙ
Помощь в написании учебных работ
1500+ квалифицированных специалистов готовы вам помочь

Окружающие нас объекты (под это понятие подпадают и системы) обладают множеством свойств, параметров, состояний (в дальнейшем просто свойств), что характеризуется таким всеобщим свойством материи, как разнообразие. Живые организмы воспринимают свойства объектов благодаря способности материи к отражению. В этой связи воспринимаемые свойства о бъектов можно трактовать как отраженное разнообразие. Каждое свойство конкретного объекта проявляет себя по-разному: одни свойства наблюдаются чаще, а другие реже. Имеющие место подобные статистические закономерности описываются математическим аппаратом теории вероятностей. Действия, которые приводят к выявлению свойств объектов, в теории вероятностей называются опытом. К опытам относят, например, чтение текста, измерение какого-либо параметра измерительным прибором и т. д. Считается, что до проведения опыта известно все множество возможных его исходов, но не известно, каким из этих исходов он завершится. Таким образом, до проведения опыта имеется некоторая неопределенность (неполнота знаний) относительно его исхода, то есть относительно того, какое свойство объекта проявится (какое значение примет величина, какое событие произойдет и пр.). Но поскольку известны частоты или вероятности проявления отдельных свойств объекта, то перед проведением опыта могут быть высказаны некоторые предположения относительно его исхода. По окончании опыта неопределенность относительно его результата или совсем исчезает, или уменьшается. Уменьшение неопределенности относительно исхода опыта после его проведения, то есть переход от неопределенности к частичной или полной определенности (от незнания - к знанию) понимается в теории информации как получение информации.

Имеется дискретный ИИ (рис.3), характеризуемый первичным алфавитом

X с конечным множеством элементов {x1, x2,…, xК1}, образующих выборочное пространство. В результате проведения опыта на выходе ИИ случайным образом может появиться один из элементов xi, который отождествляется с одним сообщением. Здесь и в дальнейшем, если не будет сделано особой оговорки, каждый элемент первичного алфавита рассматривается как одно сообщение. Пусть эти сообщения независимы и несовместны. Вероятность появления i - го сообщения, то есть xi, известна и равна pi [или p(xi)], где i = 1, 2,…,к1, и пусть они образуют полную группу событий, то есть

Множество сообщений, удовлетворяющее перечисленным условиям, называется ансамблем сообщений (в рассматриваемом случае ансамблем сообщений ИИ). Часто для записи ансамбля сообщений применяют одномерный ряд распределения вероятностей сообщений в виде форм (2), которые используются в дальнейшем на равных основаниях,

Введем меру неопределенности исхода опыта, то есть появления на выходе ИИ сообщения xi ансамбля X [2]. Ее можно рассматривать и как меру количества информации, получаемой при полном устранении неопределенности относительно исхода опыта. Обоснование вывода предлагаемой меры неопределенности построим на ряде естественных предположений

Значение меры должно монотонно возрастать с увеличением количества элементов первичного алфавита ИИ, то есть с увеличением количества свойств объекта, моделью которого является рассматриваемый ИИ. Если ограничиться только этим предположением, то за меру неопределенности можно было бы взять количество элементов первичного алфавита, предположив, что они появляются на выходе ИИ с равной вероятностью. Однако при к1 = 1, когда неопределенность отсутствует, она принимала бы значение, равное единице, что противоречит интуитивным представлениям.

В основе другого предположения лежит свойство аддитивности. Оно состоит в следующем. Пусть имеется два независимых ИИ с ансамблями X1 и X2 равновероятных сообщений, количество которых соответственно равно к11 и к12. Если рассматривать эти источники как один объединенный источник, на выходе которого появляются сообщения в виде пары xi1xj2 сообщений исходных источников, то естественно предположить, что неопределенность появления одного сообщения объединенного источника должна равняться сумме неопределенностей появления сообщений на выходах исходных источников. Поскольку количество сообщений объединенного источника равно к11 к12, то искомая функция должна удовлетворять условию

F(к11 к12) = f(к11) + f(к12). (3)

Соотношение (3) выполняется, если в качестве меры неопределенности появления сообщения на выходе источника с равновероятными сообщениями ансамбля X принять логарифм количества элементов первичного алфавита

H(X) = log к1, (4)

тогда при к1 = 1 H(X) = 0 и требования аддитивности выполняются. Следует учитывать, что X - не аргумент функции, а обозначение ансамбля сообщений.

Мера, подобная (4), была предложена Р. Хартли в 1928 году в результате исследования им информационных свойств источника информации, формирующего последовательность элементов ограниченной длины с неслучайным характером появления элементов на различных позициях последовательности. Такой моделью можно описать некоторые реальные объекты, встречающиеся в жизни. Примером служат числа и результаты выполнения математических операций на ними (тоже числа), записи типа "дата" и пр. В самом деле, при фиксированном количестве разрядов числа или при заданном формате даты конкретные цифры в каждом разряде числа или на позиции даты появляются в результате действия каких-либо закономерностей. Пусть ИИ, характеризующийся ансамблем из к1 элементов, формирует последовательность фиксированной длины из n элементов. Максимальное количество возможных комбинаций из n элементов рано Nmax = к1n. В свою очередь, количество разрешенных комбинаций N может лежать в пределах от 1 до Nmax. Свойство данной последовательности отражать разнообразие проявлений материального мира, то есть нести информацию, связано с ее комбинационными возможностями: чем больше длина последовательности и количество разрешенных комбинация, тем выше отражающая способность. Поэтому за меру количества информации, приходящейся на одну комбинацию последовательности, Р. Хартли была взята функция

I(N) = I = log N, (5)

аргументом которой является количество разрешенных комбинаций N. Если разрешены все комбинации, то

I(N) = I = log Nmax = log к1n = n log к1, (6)

и для крайнего случая, когда длина последовательности n = 1, получается

I(N) = I = n log к1 = log к1, (7)

что полностью совпадает с мерой (4). Выбор логарифмической функции от N в качестве меры количества информации объясняется тем, что, как следует из (6), при удвоении длины последовательности удваивается и переносимое ею количество информации, то есть

I1 = log к12n = 2n log к1 = 2*I. (8)

Основание логарифма не имеет принципиального значения и определяет только масштаб или размерность единицы неопределенности (количества информации). Если выбрано основание 2, то неопределенность выражается в двоичных единицах или битах (бит - binary digit - двоичная единица), если основание логарифма 10, то неопределенность выражается в дитах (этой единице присвоили еще название "Хартли"), если основание логарифма натуральное число е, то неопределенность выражается в натах. Так как современные СПИ оснащены цифровой вычислительной техникой, обрабатывающей двоичные сигналы, то в качестве единицы измерения неопределенности и количества информации выбирают бит.

Задача 1. Сообщение "дата" передается с помощью десятичных цифр в формате, составленном из трех блоков, разделенных друг от друга пробелом

ДД_ММ_ГГГГ ,

где ДД - две позиции для дня; ММ - две позиции для месяца; ГГГГ - четыре позиции для года; появление цифр на позициях не является случайным, а подчиняется порядку смены дат.

Определить:
а) неопределенность (количество информации), приходящуюся на один элемент первичного алфавита, бит;
б) количество информации, содержащейся в каждой позиции сообщения "дата", за исключением пробелов, бит;
в) количество информации и максимальное количество информации, содержащейся в каждом из трех блоков сообщения, бит;
г) количество информации и максимальное количество информации, содержащейся в сообщении, бит.

Решение:

а) из условия задачи известно, что сообщение "дата" передается с помощью десятичных цифр. Следовательно, формируемый это сообщение ИИ имеет алфавит, состоящий из десяти равновероятных элементов - цифр - от 0 до 9 или к1 = 10. Поскольку оценивается неопределенность на один элемент первичного алфавита, то для ее вычисления применима формула (7), то есть
IИ = log2 к1 = log210 = 3,32 бита;
б) будем условно нумеровать позиции сообщения "дата" слева-направо (исключая пробелы):
- на первой позиции блока ДД могут находиться цифры 0,1,2,3, то есть кД1 = 4. Тогда на основании (7)
IД1 = log2 кД1 = log2 4 = 2 бита;
- на второй позиции блока ДД могут находиться все цифры, то есть кД2 = 10. Тогда на основании (7)
IД2 = log2 кД2 = log2 10 = 3,32 бита;
- на первой позиции блока ММ могут находиться цифры 0,1, то есть кМ1 = . Тогда на основании (7)
IМ1 = log2 кМ1 = log2 2 = 1 бит;
- на второй позиции блока ММ могут находиться все цифры, то есть кМ2 = 10. Тогда на основании (7)
IМ2 = log2 кМ2 = log2 10 = 3,32 бита;
- на каждой из четырех позиций блока ГГГГ могут находиться все цифры, то есть кГ1 = кГ2 = кГ3 = кГ4 = 10. Тогда на основании (7)
IГ1 = IГ2 = IГ3 = IГ4 = log2 кГ1 = log2 кГ2 = log2 кГ3 = log2 кГ4 = log2 10 = 3,32 бита;

в) блок ДД представляет собой последовательность из двух элементов, то есть nДД = 2. Максимальное количество комбинаций равно NДД max = к1n = 102 = 100. Разрешенное количество комбинаций равно NДД = 31. Тогда на основании (5)
IДД = log2 NДД = log2 31 = 4,954 бита;
блок ММ также представляет собой последовательность из двух элементов, то есть nММ = 2. Максимальное количество комбинаций равно NММ max = к1n = 102 = 100. Разрешенное количество комбинаций равно NММ = 12. Тогда на основании (5)
IММ = log2 NММ = log2 12 = 3,585 бит;
блок ГГГГ представляет собой последовательность из четырех элементов, то есть nГГГГ = 4. Количество разрешенных комбинаций и максимальное количество комбинаций равны, то есть NГГГГ = NГГГГ max = к1n = 104 = 10000 комбинаций. Тогда на основании (5)
IГГГГ = log2 NГГГГ= log2 104 = 13,28 бит;
г) количество разрешенных комбинаций в сообщении "дата" равно NДАТА = NДД*NММ* NГГГГ = 31*12*10000, тогда на основании (5)
IДАТА=log2 NДАТА= log2NДД*NММ*NГГГГ = log2 31*12*104 = = log2 NДД + log2 NММ + log2 NГГГГ = IДД + IММ + IГГГГ = 4,954 + 3,585 + 13,28 = 21,819 бит.

Вернемся к выражениям (4) - (6). Они позволяют вычислить неопределенность появления на выходе ИИ одного сообщения (одного элемента первичного алфавита или одной комбинации). Если информация передается блоками (например, абзацами, страницами и т. п.) по m сообщений в каждом блоке, а за один сеанс передачи передается s блоков, то суммарная неопределенность (количество переданной информации) может быть вычислена

H(X) = s*m*log к1, или I = s*m*log N, или I = s*m*n*log к1. (9)

Рассмотренная мера, хотя и позволяет решать некоторые практические задачи, имеет ограниченную область применения. Это обусловлено тем, что она основана на достаточно грубой модели ИИ, который характеризуется равными вероятностями появления сообщений на выходе. В действительности, неопределенность появления на выходе ИИ сообщений зависит не только от количества элементов первичного алфавита, но и от вероятностей их появления. Очевидным подтверждением этому служат тексты, написанные на любом языке, в которых любая буква появляется с различной частотой. При разновероятном появлении сообщений на выходе ИИ неопределенность уменьшается, и чем больше разброс вероятностей, тем меньше неопределенность. Например, если ансамбль конкретного ИИ содержит два сообщения с вероятностями их появления p(x1) = 0,9 и p(x2) = 0,1, то до проведения очередного опыта можно с большой уверенностью утверждать, что его исходом будет появление на выходе ИИ сообщения x1, то есть неопределенность относительно исхода опыта меньше по сравнению с тем ИИ, у которого ансамбль имеет два равновероятных сообщения. Получим меру неопределенности появления на выходе ИИ сообщений, учитывающую отмеченную особенность.

Представим выражение (4) в виде

H(X) = log к1 = - log(1/к1) = H(xi). (10)

Величину 1/к1 можно рассматривать как вероятность p(xi) появления одного (любого) сообщения на выходе ИИ с ансамблем равновероятных сообщений. Тогда, по аналогии с (4) и (10), для ИИ с ансамблем разновероятных сообщений выражение

H(xi) = - log p(xi) = Hi (11)
можно рассматривать как индивидуальную неопределенность появления с вероятностью p(xi) на выходе рассматриваемого ИИ конкретного сообщения xi из ансамбля X. Индивидуальная неопределенность всегда положительная, поскольку значение вероятности появления любого сообщения меньше единицы. Однако выражение (11) не может служить характеристикой ИИ в целом, так как индивидуальные неопределенности сообщений отличаются друг от друга. В качестве меры неопределенности появления на выходе ИИ одного сообщения ансамбля X К. Шеннон предложил функцию

которую назвал энтропией (полное название H(X) - безусловная энтропия. В дальнейшем понятия "безусловная энтропия" и "энтропия" будут использоваться на равных основаниях).

Запишем (12) в виде выражения


которое есть не что иное, как среднее значение (математическое ожидание) индивидуальной неопределенности.

Энтропия - это средняя (удельная) неопределенность появления на выходе ИИ одного из сообщений исходного ансамбля. Но так как исходный ансамбль выражен через элементы первичного алфавита, то справедливо следующее определение: энтропия - это средняя (удельная) неопределенность на элемент первичного алфавита и характеризует алфавит в целом.

Справедливость (13) и приведенных определений можно доказать на таком примере. Пусть имеется ИИ с ансамблем сообщений из трех чисел:

или x1 =1, x2 = 2, x3 = 3. По результатам проведения статистических испытаний оказалось, что десять сообщений на выходе ИИ появились в такой последовательности: 2, 1, 1, 2, 3, 1, 3, 3, 1, 2. Математическое ожидание полученной числовой последовательности

Термин "энтропия" заимствован из физики и был введен задолго до появления теории информации. Он характеризует степень беспорядка молекул газа, заключенного в замкнутом объеме. H(X) в виде (12) формально совпадает с формулой Больцмана - вторым законом термодинамики. Совпадение имеет глубокий физический смысл, так как в обоих случаях энтропия характеризует степень разнообразия состояний объектов (систем).

Как и ИИ приемник информации (ПИ) может быть описан подобными характеристиками.

Ансамбль сообщений на входе ПИ, обозначаемый как Y, называется ансамблем сообщений ПИ, имеет выборочное пространство {y1, y2,…,yК2} и записывается в виде:

В отношении его должно выполняться условие

ПИ также характеризуется безусловной энтропией - средней неопределенностью появления на входе ПИ одного сообщения после его появления на выходе ИИ, то есть

при этом для СПИ соблюдается соотношение

к2 = к1 = к, (17)

в то время как для систем, характеризующихся количеством принимаемых состояний, соотношение между к1 и к2 может быть любым.

Если при передаче сообщений потери информации в канале связи отсутствуют, то всегда сообщение y1 соответствует сообщению x1, y2 соответствует x2 и т. д. В этом случае

H(Y) = H(X). (18)

Как было отмечено выше, H(X) характеризует среднюю неопределенность появления на выходе ИИ одного сообщения из ансамбля X, то есть является характеристикой ИИ, а точнее, его алфавита. Если сообщения с выхода ИИ без искажений доходят до получателя и при этом с получением одного сообщения полностью устраняется всякая неопределенность относительно его содержания, то при таких условиях H(X) может служить мерой количества переданной и принятой информации (подробности смотри ниже)

I(X) = H(X). (19)


Дата добавления: 2015-07-11; просмотров: 214 | Нарушение авторских прав


 

 

Читайте в этой же книге: Цикл переработки информации | Обобщенная структура системы передачи информации | Понятие линии и канала связи | Условная энтропия | Свойства условной энтропии | Совместная энтропия или энтропия объединения | Дискретные источники информации и их основные характеристики | Дискретные каналы связи и их основные характеристики | Бинарные (двоичные) каналы связи | Вычисление количества информации при передаче сообщений от дискретного источника информации по дискретному каналу связи |
<== предыдущая страница | следующая страница ==>
Постановка задачи| Свойства безусловной энтропии

mybiblioteka.su - 2015-2022 год. (0.042 сек.)