Практическая работа. «Содержательный подход к измерению информации»

«Содержательный подход к измерению информации»

Цель работы: научиться вычислять количество информации, используя содержательный подход.

Пусть в некотором сообщении содержатся сведения о том, что произошло одно из N равновероятных событий. Тогда количество информации i, содержащееся в сообщении о том, что произошло одно из N равновероятных событий, можно определить из формулы Хартли: N=2ⁱ.

Данная формула является показательным уравнением относительно неизвестного i. Из математики известно, что решение такого уравнения имеет вид:

i=log₂N - логарифм N по основанию 2.

Если N равно целой степени двойки (2,4,8,16 и т. д.), то такое уравнение можно решить «в уме».

Пример1:

Шахматная доска состоит из 64 полей: 8 столбцов на 8 строк.

Какое количество бит несет сообщение о выборе одного шахматного поля?

Решение.

Поскольку выбор любой из 64 клеток равновероятен, то количество бит находится из формулы: 2ⁱ=64, i=log₂64=6, так как 2⁶=64.

Следовательно, i=6 бит.

В противном случае количество информации становится нецелой величиной, и для решения задачи придется воспользоваться таблицей двоичных логарифмов (см. ниже).

Также, если N не является целой степенью 2, то можно выполнить округление i в большую сторону. При решении задач в таком случае i можно найти как log₂K, где K - ближайшая к N степень двойки, такая, что K>N.

Пример2:

При игре в кости используется кубик с шестью гранями.

Сколько битов информации получает игрок при каждом бросании кубика?

Решение.

Выпадение каждой грани кубика равновероятно. Поэтому количество информации от одного результата бросания находится из уравнения: 2ⁱ=6.

Решение этого уравнения: i=log₂6

Из таблицы двоичных логарифмов следует (с точностью до 3-х знаков после запятой):

i=2,585 бита.

Данную задачу также можно решить округлением i в большую сторону:

2ⁱ=6<8=2³,i=3 бита.

Пример3:

Сообщение о том, что ваш друг живет на 6 этаже несет 4 бита информации. Сколько этажей в доме.

Решение: i=4 => 24=16 => N=16 этажей

Пример4:

Вычислить количество информации в сообщении о том, что встреча состоится 15 сентября.

Решение:

а) Найдем количество информации сообщения о встрече в сентябре. Т.к. сентябрь – один из месяцев года, то неопределенность N1 = 12, а значит количество информации i1 ≈ 3,58 бит

б) Т.к. встреча состоится в один из дней сентября, то N2 = 31, а i2 ≈ 4,95 бит

в) Значит количество информации заданного события

i = i1 + i2 = 3,58 + 4,95 = 8,53 бит

Задачи для самостоятельного решения:

1. "Вы выходите на следующей остановке?" - спросили человека в автобусе. "Нет", - ответил он. Сколько информации содержит ответ?

2. Какой объем информации содержит сообщение, уменьшающее неопределенность знаний в 2 раза?

3. Какой объем информации содержит сообщение, уменьшающее неопределенность знаний в 4 раза?

4. Вы подошли к светофору, когда горел желтый свет. После этого загорелся зеленый. Какое количество информации Вы при этом получили?

5. Вы подошли к светофору, когда горел красный свет. После этого загорелся желтый. Какое количество информации Вы при этом получили?

6. Группа школьников пришла в бассейн, в котором 4 дорожки для плавания. Тренер сообщил, что группа будет плавать на дорожке № 3. Сколько информации получили школьники из этого сообщения?

7. В корзине 8 шаров. Все шары разного цвета. Сколько информации несет сообщение о том, что из корзины достали красный шар?

8. Телеграмма: "Встречайте, вагон 7" несет 4 бита информации. Сколько вагонов в составе поезда?

9. В библиотеке 16 стеллажей. На каждом стеллаже по 8 полок. Библиотекарь сказала Оле, что интересующая ее книга, находится на 3 стеллаже, на 2-ой сверху полке. Какое количество информации получила Оля?

10. При угадывании целого числа в диапазоне от 1 до N было получено 4 бита информации. Чему равно N?

11. При угадывании целого числа в некотором диапазоне было получено 6 бит информации. Сколько чисел содержит этот диапазон?

12. Сообщение о том, что ваш друг живет на 10 этаже, несет 4 бита информации. Сколько этажей в доме?

13. Сообщение о том, что Петя живет во втором подъезде, несет 3 бита информации. Сколько подъездов в доме?

14. В коробке лежат 7 разноцветных карандашей. Какое количество информации содержит сообщение, что из коробки достали красный карандаш?

15. Какое количество информации несет сообщение: «Встреча назначена на сентябрь»?

16. Какое количество информации несет сообщение о том, что встреча назначена на 15-е число?

17. Какое количество информации несет сообщение о том, что встреча назначена на 23 октября в 15.00?

18. В барабане для розыгрыша лотереи находится 32 шара. Сколько информации содержит сообщение о первом выпавшем номере (например, выпал номер 15)?

19. Сообщение о том, что интересующая Вас книга находится на 5 полке, несет 3 бита информации. Сколько полок на книжном стеллаже?

20. Какое количество информации несет в себе сообщение о том, что нужная Вам программа находится на одной из восьми дискет?

21. Ученик за контрольную работу может получить одну из четырех оценок (2,3,4 или 5). Какое количество информации получил Петя, узнав, что написал работу на два?

Таблица 1. Таблица двоичных логарифмов целых чисел от 1 до 64

Содержание отчета: отчет по практической работе должен содержать: рассуждения по решению задач, необходимые вычисления, ответ; вывод по работе

Контрольные вопросы:

1 Какие подходы к измерению информации вам известны?

2 Что такое неопределенность?

3 Какое сообщение является информативным?

4 Какова основная единица измерения информации?

5 Приведите формулу подсчета количества информации при уменьшении неопределенности знания.

Дата добавления: 2015-10-24