Меры количества информации

В теории информации выделяются три основных направления: синтаксическое, семантическое и прагматическое.

Синтаксическое - свойство, определяющее способ представления информации на носителе и учитывает только дискретное строение информации. Элементами информационного комплекса являются кванты - неделимые части информации.

На этом уровне полностью абстрагируются от смыслового содержания сообщений и их целевого предназначения, информацию, рассматривают только с синтаксических позиций и информацию обычно называют данными

Для измерения информации вводятся два параметра: количество информации I и объем данных V_Д. Эти параметры имеют разные выражения и интерпретацию в зависимости от рассматриваемой формы.

Количество информации (I) на синтаксическом уровне определяется в связи с понятием неопределенности состояния системы (энтропии системы). Считается что получение информации о какой-либо системе всегда связано с изменением степени неосведомленности получателя о состоянии этой системы.

Пусть до получения информации потребитель имеет некоторые предварительные (априорные ) сведения о системе a. Мерой его неосведомленности о системе является функция H (a), которая в то же время служит и мерой неопределенности состояния системы.

После получения некоторого сообщения B получатель приобрел некоторую дополнительную информацию I_B(a), уменьшившую его априорную неосведомленность так, что апостериорная (после получения сообщения B неопределенность состояния системы стала H_B(a).

Тогда количество информации I_B(a) о системе, полученной в сообщении B, определится как I_B(a)=H(a)-H_B(a) т.е. мерой количества информации изменение (уменьшение) неопределенности состояния системы.

Вероятностный подход в измерении информации.

В качестве моделей получения количества информации могут выступать электрическая лампочка, диод, двухпозиционный выключатель и т.д. включенное состояние этих объектов обычно обозначают 1, а выключенное – 0.

Пример: Рассмотрим систему двух лампочек, которые независимо друг от друга могут включаться или выключаться. Для такой системы возможны следующие состояния.

ЛампаА 0 0 1 1

ЛампаВ 0 1 0 1

Чтобы получить полную информацию о состоянии этой системы надо задать два вопроса типа «да – нет» по лампочке А и лампочке В соответственно. В этом случае количество информации, содержащейся в этой системе, определяется уже в 2 байта, а число возможных состояний системы – 4. Если взять три лампочки будет задано три вопроса и получено 3 бита информации, количество состояний такой системы –8.

Второй пример: Допустим, нам требуется что-либо найти или определить в той или иной системе. Есть такой способ поиска как «деление пополам». Например, кто-то загадывает число от 1 до 100, а другой должен отгадать его, получая лишь ответы «да» или «нет». Задается вопрос: число меньше? Ответ и «да» и «нет» сократит область поиска вдвое. Далее по той же схеме диапазон снова делится пополам. В конечном итоге, загаданное число будет найдено.

Посчитаем сколько вопросов надо задать, чтобы найти задуманное число. Допустим загаданное число 27. Начали:

Больше 50? Нет

Больше 25? Да

Больше 38? Нет

Меньше 32? Да

Меньше 29? Да

Больше 27? Нет

Это число 26? Нет

Ура! если число не 26 и не больше 27, то это явно 27.
Чтобы угадать методом «деления пополам» число от 1 до 100 нам потребовалось 7 вопросов.

«Деление пополам» самый короткий рациональный способ найти число. Объем информации заложенный в ответ «да» или «нет» равен одному биту.

В 1928 г. американский инженер Ральф Хартли установил связь между количеством информации и числом состояний системы. Предложенная им формула имела следующий вид:

I=log ₂ N

Количество информации (I), необходимой для определения конкретного элемента, есть логарифм по основанию 2 общего количества элементов (N).

Где i – количество информации,

N – число возможных состояний,

Ту же формулу можно представить в другом виде:

N=2ⁱ

Такой формулой можно представить, сколько вопросов (бит информации) потребуется, чтобы определить одно из возможных значений. N – это количество значений, а I – количество бит.

Иногда формулу Хартли записывают так:

I = log₂N = log₂ (1/р) = - log₂ р,

т. к. каждое из N событий имеет равновероятный исход р = 1 / N, то N = 1 / р.

Пример 3: Сколько вопросов надо задать, чтобы отгадать одну из 32 карт (колода без шестерок), если ответами могут быть лишь “да” или “нет”?

Оказывается достаточно всего лишь 5 вопросов, но задавать их надо так, чтобы после каждого ответа можно было “отбрасывать” из рассмотрения ровно половину карт, среди которых задуманной не может быть. Такими, например, являются вопросы о цвете масти карты (“Задуманная карта красной масти?”), о типе карты (“Задуманная карта - “картинка”?”) и т.п.

То есть сообщение о том, какая карта из 32 задумана несет 5 бит информации.

В первом и третьем приведенных примерах число равновероятных исходов события, о котором идет речь в сообщении, было кратным степени числа 2 (4 = 2², 32 = 2⁵). Поэтому сообщение “несло” количество бит информации всегда было целым числом. Но в реальной практике могут встречаться самые разные ситуации.

Как пользоваться этими формулами для вычислений:

· если количество возможных вариантов N является целой степенью числа 2, то производить вычисления по формуле N = 2' достаточно легко. Вернемся к примеру: N = 32; —► I = 5, т.к. 32 = 2⁵;

· если же количество возможных вариантов информации не является целой степенью числа 2, т.е. если количество информации число вещественное, то необходимо воспользоваться калькулятором или следующей таблицей

Количество информации в сообщении об одном из N равновероятных событий:

I — log₂N.

N	I	N	I	N	I	N	I
	0,00000		4,08746		5,04439		5,61471
	1,00000		4,16993		5,08746		5,64386
	1,58496		4,24793		5,12928		5,67243
	2,00000		4,32193		5,16993		5,70044
	2,32193		4,39232		5,20945		5,72792
	2,58496		4,45943		5,24793		5,75489
	2,80735		4,52356		5,28540		5,78136
	3,00000		4,58496		5,32193		5,80735
	3,16993		4,64386		5,35755		5, 83289
	3,32193		4,70044		5,39232		5 85798
	3,45943		4.75489		5,42626		5,88264
	3,58496		4,80735		5,45943		5,90689
	3,70044		4,85798		5,49185		5, 93074
	3,80735		4,90689		5,52356		5,95420
	3,90689		4,95420		5,55459		5,97728
	4,00000		5,0000		5,58496		6,00000

Например: Какое количество информации можно получить при угадыва­нии числа из интервала от 1 до 11? В этом примере N=11. Чтобы найти I (количество информации), необходимо воспользоваться таблицей. По таб­лице I = 3,45943 бит.

Неравновероятные события.

На самом деле рассмотренная нами формула является частным случаем, так как применяется только к равновероятным событиям. В жизни же мы сталкиваемся не только с равновероятными событиями, но и событиями, которые имеют разную вероятность реализации.

Например:

1. Когда сообщают прогноз погоды, то сведения о том, что будет дождь, более вероятно летом, а сообщение о снеге — зимой.

2. Если вы — лучший ученик в классе, то вероятность сообщения о том, что за контрольную работу вы получили 5, больше, чем вероятность получения двойки.

3. Если на озере живет 500 уток и 100 гусей, то вероятность подстрелить на охоте утку больше, чем вероятность подстрелить гуся.

4. Если в мешке лежат 10 белых шаров и 3 черных, то вероятность до­стать черный шар меньше, чем вероятность вытаскивания белого.

5. Если одна из сторон кубика будет более тяжелой, то вероятность вы­падения этой стороны будет меньше, чем других сторон.

В 1948 г. американский инженер и математик Клод Э́лвуд Ше́ннон предложил формулу для вычисления количества информации для событий с различными вероятностями:
Если I - количество информации,
N - количество возможных событий,
рi - вероятности отдельных событий,
то количество информации для событий с различными вероятностями можно определить по формуле:

.

На памятнике немецкому ученому Л. Больцману высечена формула, выведенная в 1877 году и связывающая вероятность состояния физической системы и величину энтропии этой системы.

Энтропия (греч. en - в, внутрь + trope - превращение, буквально смысловой перевод: то, что внутри, неопределенно) - физическая величина, характеризующая тепловое состояние тела или системы, мера внутренней неупорядоченности системы.

Так вот, формула для энтропии Больцмана совпадает с формулой, предложенной Шенноном для среднего количества информации, приходящейся на один символ в сообщении. Совпадение это произвело столь сильное впечатление, что Шеннон назвал количество информации энтропией. С тех пор слово “энтропия” стало чуть ли не синонимом слова “информации”.

Эту формулу еще называют формулой расчета Информационной энтропии для независимых случайных событий

Формулу Хартли теперь можно рассматривать как частный случай формулы Шеннона:

При равновероятных событиях получаемое количество информации максимально.

Пример:

В коробке лежат кубики: 10 красных, 8 зеленых, 5 желтых, 12 синих. Вы­числите вероятность доставания кубика каждого цвета и количество ин­формации, которое при этом будет получено.

Для этого необходимо использовать следующую формулу. I = log₂(l/p),

где I - это количество информации,

р - вероятность собы­тия.

Вероятность события выражается в долях единицы и вычисляется по формуле: р = К / N,

где К - величина, показывающая, сколько раз произошло ин­тересующее нас событие,

N - общее число возможных исходов какого-то процесса.

Решение:

1. Всего кубиков в коробке N = 10 + 8 + 5 + 12 = 35.

2. Найдем вероятности: р_к = 10 / 35 = 0,29,

3. рз = 8 / 35 = 0,22,

рс= 12/35 = 0,34,

рж = 5/35 = 0,14.

3. Найдем количество информации:

1к = log2(1/0,29) = log23,4 = 1,85695 бит,

Ic = log2(1/0,34) = log22,9 = 1,71498 бит,

Iз = log2(1/0,22) = Iog24,5 = 2,132007 бит,

Iж = log2(1/0,14) = log27,l = 2,672612 бит.

Сравните количества информации.

Ответ: наибольшее количество информации мы получим при доставании желтого кубика по причине качественной связи между вероятностью и количеством информации.

Задача

В озере обитает 12500 окуней, 25000 пескарей, а карасей и щук по 6250. Сколько информации мы получим, когда поймаем какую-нибудь рыбу. Решение:

1. Найдем общее количество рыб в озере:

К = 12500 + 25000 + 2*6250 = 50000.

2. Найдем вероятность попадания на удочку каждого вида рыб:

р_о = 12500/50000 = 0,25,

р_п= 25000/50000 = 0,5,

р_к = 6250 /50000 = 0,125,

р_щ = 6250 /50000 = 0,125.

3. Найдем количество информации:

I = - (0,25*log₂0,25 + 0,5*log₂0,5 + 0,125*1og₂0,125 + 0,125*log₂0,125) = 1,75 бит.

Ответ: мы получим 1,75 бит информации.

Самостоятельно:

1. В корзине лежат белые и черные шары. Среди них 18 черных шаров. Со­общение о том, что из корзины достали белый шар, несет 2 бита информа­ции. Сколько всего в корзине шаров?

Дано: К_ч = 18, I₆ = 2бита.

Найти: N -?

Р₆ ⁼ 2ⁱ, 1/р₆ = 2² = 4, р₆ = 1/4 - вероятность доставания белого шара;

р₆ = K_б/N = K_б/(K_б+K_ч), 1/4= К_б(K₆+18), К₆ + 18 = 4• К₆, 18 = 3 • К_б,

K_б = 6 — белых шаров;

N = К_ч+К₆ = 18 + 6 = 24 шара было в корзине.
Ответ: 24 шара лежало в корзине.

2. Какое количество информации несет сообщение о том, что встреча назначена на 3 июля в 18.00 часов?

Объем данных Vд в сообщении измеряется количеством символов (разрядов) в этом сообщении. В различных системах счисления один разряд имеет различный вес и соответственно меняется единица измерения данных:

Дата добавления: 2015-07-11