Решение задач на измерение информации.

Решение задач на измерение информации.

Введение

Данное электронное пособие содержит группу задач по теме «Измерение количества информации». Сборник задач разбит на типы задач исходя из указанной темы. Каждый тип задач рассматривается с учетом дифференцированного подхода, т. е. рассматриваются задачи минимального уровня (оценка «3»), общего уровня (оценка «4»), продвинутого уровня (оценка «5»). Приведенные задачи взяты из различных учебников (список прилагается). Подробно рассмотрены решения всех задач, даны методические рекомендации для каждого типа задач, приведен краткий теоретический материал. Для удобства пользования пособие содержит ссылки на закладки.

1. Содержательный (вероятностный)

подход к измерению количества информации.

2.Алфавитный подход к измерению информации.

1. Содержательный (вероятностный)

подход к измерению количества информации.

Типы задач:

1. Формула Хартли.

2. Формула Шеннона.

1. Формула Хартли.

Методические рекомендации:

В задачах такого типа используются понятия:

· Равновероятные события

· Неопределенность знаний

· Количество информации

Во всех подобных задачах требуется найти ту или иную величину.

1928 год, американский инженер Хартли процесс получения информации рассматривает как выбор одного сообщения из конечного заданного множества N равновероятных событий. Для равновероятных событий используется формула Хартли I = log₂ N, где N – количество возможных равновероятных событий, I – количество информации.

Единицы измерения количества информации.

За единицу количества информации принят 1 бит — количество информации, содержащееся в сообщении, уменьшающем неопределенность знаний в два раза.

Для вычисления выражений, содержащих логарифмы, воспользуемся компьютерным калькулятором, программой Wise Calculator.

Уровень «3»

1. В барабане для розыгрыша лотереи находится 32 шара. Сколько информации содержит сообщение о первом выпавшем номере (например, выпал номер 15)?

([1], стр. 16, пример 2)

Решение:

т.к. вытаскивание любого из шаров равновероятно, то количество информации вычисляется по формуле 2^I=N, где I – количество информации, а N – количество шаров. Тогда 2^I=32, отсюда I = 5 бит.

Ответ: 5 бит

2. Какое количество информации несет в себе сообщение о том, что нужная вам программа находится на одной из восьми дискет? ([2], стр. 35, № 2.1)

Решение:

Решаем задачу аналогично задаче №1 2^I=8, I=3 бит.

Ответ: 3 бит

3. Какое количество информации получит второй игрок при игре в крестики-нолики на поле 8 х 8, после первого хода первого игрока, играющего крестиками? ([2], стр. 35, №2.2)

Решение:

Поле содержит 64 клетки, все ходы равновероятны.

2^I=64, I=6 бит.

Ответ: 6 бит

4. В рулетке общее количество лунок равно 128. Какое количество информации мы получаем в зрительном сообщения об остановке шарика в одной из лунок? ([2], стр. 35, №2.3)

Решение:

2^I=128, I=7 бит.

Ответ: 7 бит

5. Какой объем информации содержит сообщение, уменьшающее неопределенность знаний в 4 раза? ([1], стр. 17, №4)

Решение:

1 бит – это количество информации, уменьшающее неопределенность знаний в 2 раза.

I бит – это количество информации, уменьшающее неопределенность знаний в 2^I раз. отсюда, 4=2^I, I = 2 бит.

Ответ: 2 бит

6. Группа школьников пришла в бассейн, в котором 4 дорожки для плавания. Тренер сообщил, что группа будет плавать на дорожке номер 3. Сколько информации получили школьники из этого сообщения? ([1], стр. 17, №7)

Решение:

Поскольку выбор одной дорожки из 4-х равновероятен, то количество информации определяется по формуле: 2^I=N, где I – количество информации, а N=4 – количество дорожек. Тогда 2^I=4, отсюда I=2 бита.

Ответ: 2 бит

7. В корзине лежат 8 шаров. Все шары разного цвета. Сколько информации несет сообщение о том, что из корзины достали красный шар? ([1], стр. 17, №8)

Решение:

Поскольку все шары разного цвета, то вытаскивание одного шара из восьми равновероятно. Количество информации определяется по формуле: 2^I=N, где I – количество информации, а N=8 – количество шаров. Тогда 2^I=8, отсюда I=3 бита.

Ответ: 3 бита

8. Была получена телеграмма: «Встречайте, вагон 7». Известно, что в составе поезда 16 вагонов. Какое количество информации было получено? ([1], стр. 17, №9)

Решение:

Поскольку номер вагона равновероятно может быть выбран из 16 вагонов, то количество информации определяется по формуле: 2^I=N, где I – количество информации, а N=16 – количество вагонов. Тогда 2^I=16, отсюда I=4 бита.

Ответ: 4 бита

9. При угадывании целого числа в некотором диапазоне было получено 6 бит информации. Сколько чисел содержит этот диапазон? ([1], стр. 18, №12)

Решение:

Поскольку выбор числа равновероятен из заданного диапазона, то количество информации определяется по формуле 2^I=N, где I=6 бит, а N – количество чисел в искомом интервале. Отсюда: 2⁶=N, N=64.

Ответ: 64 числа

10. При угадывании целого числа в диапазоне от 1 до N было получено 7 бит информации. Чему равно N? ([1], стр. 18, №11)

Решение:

Поскольку выбор числа равновероятен из заданного диапазона, то количество информации определяется по формуле 2^I=N, где I=7 бит, а N – количество чисел в искомом интервале. Отсюда 2⁷=N, N=128

Ответ: N=128

11. Сообщение о том, что ваш друг живет на 10 этаже, несет 4 бита информации. Сколько этажей в доме? ([1], стр. 18, №13)

Решение:

Поскольку появление в сообщении номера этажа равновероятно из общего числа этажей в доме, то количество информации определяется по формуле: 2^I=N, где I = 4 – количество информации, N – число этажей в доме. Отсюда: 2⁴=N, N=16.

Ответ: в доме 16 этажей

9. Сообщение о том, что Петя живет во втором подъезде, несет 3 бита информации. Сколько подъездов в доме? ([1], стр. 18, №14)

Решение:

Поскольку появление в сообщении номера подъезда равновероятно из общего числа подъездов в доме, то количество информации определяется по формуле: 2^I=N, где I = 3 – количество информации, N – число подъездов в доме. Отсюда: 2³=N, N=8.

Ответ: в доме 8 подъездов

Уровень «4»

Используем ПО Wise Calculator

10. Какое количество информации несет сообщение: «Встреча назначена на сентябрь». ([1], стр. 18, №16)

Решение:

Поскольку появление в сообщении месяца сентябрь равновероятно из 12 месяцев, то количество информации определяется по формуле: 2^I=N, где I – количество информации, N – количество месяцев. Отсюда: 2^I=12, I=log₂12≈3.584962501 бит.

Ответ: 3.584962501 бит.

11. Какое количество информации несет сообщение о том, что встреча назначена на 15 число? ([1], стр. 18, №17)

Решение:

Поскольку появление в сообщении определенного числа равновероятно из общего числа дней в месяце, то количество информации определяется по формуле: 2^I=N, где I – количество информации, N=31 – количество дней в месяце. Отсюда: 2^I=31, I=log₂31≈4.954196310 бит.

Ответ: 4.954196310 бит

12. В коробке лежат 7 разноцветных карандашей. Какое количество информации содержит сообщение, что из коробки достали красный карандаш? ([1], стр. 18, №15)

Решение:

Поскольку все карандаши разного цвета, то вытаскивание одного карандаша из семи равновероятно. Количество информации определяется по формуле: 2^I=N, где I – количество информации, N=7 – количество карандашей. Тогда 2^I=7, отсюда I=log₂7≈2.807354922 бита.

Ответ: 2.807354922 бита.

13. При игре в кости используется кубик с шестью гранями. Сколько бит информации получает игрок при каждом бросании кубика? ([1], стр. 16, пример №3)

Решение:

Поскольку каждая грань кубика выпадает с равной вероятностью, то количество информации определяется по формуле: 2^I=N, где I – количество информации, N=6 – количество граней кубика. Отсюда: 2^I=6, I=log₂6≈2.584962501 бит.

Ответ: 2.584962501 бит

Уровень «5»

14. Какое количество информации несет сообщение о том, что встреча назначена на 23 октября в 15.00? ([1], стр. 18, №18)

Решение:

Поскольку появление в сообщении определенного числа месяца, определенного месяца и определенного часа равновероятно из общего числа дней в месяце, общего числа месяцев, общего числа часов, то количество информации определяется по формуле: 2^I=N, где I – количество информации, N=31*12*24 – (количество дней в месяце)*(количество месяцев)*(количество часов в сутках). Отсюда: 2^I=31*12*24, I=log₂(31*12*24)≈13.12412131 бит.

Ответ: 13.12412131 бит.

15. В школьной библиотеке 16 стеллажей с книгами. На каждом стеллаже 8 полок. Библиотекарь сообщил Пете, что нужная ему книга находится на пятом стеллаже на третьей сверху полке. Какое количество информации библиотекарь передал Пете? ([1], стр. 18, №10)

Решение:

Поскольку книга равновероятно может оказаться на любой из полок, то количество информации определяется по формуле: 2^I=N, где I – количество информации, N=16*8=128 – количество полок. Отсюда: 2^I=128, I=7 бит.

Ответ: 7 бит

16. Какое количество вопросов достаточно задать вашему собеседнику, чтобы наверняка определить месяц, в котором он родился? ([2], пример 2.3., стр. 35)

Решение:

Будем рассматривать 12 месяцев как 12 возможных событий. Если спрашивать о конкретном месяце рождения, то, возможно, придется задать 11 вопросов (если на 11 первых вопросов был получен отрицательный ответ, то 12-й задавать не обязательно, так как он и будет правильным).

Правильно задавать «двоичные» вопросы, т.е. вопросы, на которые можно ответить только «Да» или «Нет». Например, «Вы родились во второй половине года?». Каждый такой вопрос разбивает множество вариантов на два подмножества: одно соответствует ответу «Да», а другое — ответу «Нет».

Правильная стратегия состоит в том, что вопросы нужно задавать так, чтобы количество возможных вариантов каждый раз уменьшалось вдвое. Тогда количество возможных событий в каждом из полученных подмножеств будет одинаково и их отгадывание равновероятно. В этом случае на каждом шаге ответ («Да» или «Нет») будет нести максимальное количество информации (1 бит).

По формуле Хартли и с помощью калькулятора получаем:

I = log₂12» 3,6 бит

Количество полученных бит информации соответствует количеству заданных вопросов, однако количество вопросов не может быть нецелым числом. Округляем до большего целого числа и получаем ответ: при правильной стратегии необходимо задать не более 4 вопросов. Какие же это могут быть вопросы?

Первый вопрос: «Вы родились во второй половине года?»

Варианты ответов: (вариант1) Нет (значит это могут быть месяцы с 1 по 6),

(вариант 2) Да (значит это могут быть месяцы с 7 по 12).

Второй вопрос: (вариант 1) «Вы родились весной?», (вариант 2) «Вы родились осенью?».

Варианты ответов: (вариант1) Нет (значит остаются месяцы 1, 2, 6),

(вариант 2) Да (значит остаются месяцы 7, 8, 12).

Третий вопрос (вариант 1) «Вы родились зимой?», (вариант 2) «Вы родились летом?»

Варианты ответов: (вариант1) Нет (остается 6-ой месяц), (вариант 2) Да «Остается 7 или 8 месяц»

Четвертый вопрос: (вариант 1) «Вы родились в июне?», (вариант 2) «Вы родились в августе?»

Ответ: не более 4 вопросов.

17. Какое количество вопросов достаточно задать вашему собеседнику, чтобы точно определить день и месяц его рождения? ([2], № 2.6., стр. 35)

Решение:

Для определения месяца потребуется не более 4 вопросов (см. задачу выше), для определения дня рождения потребуется не более 5 вопросов, так как N – количество дней в месяце лежит в промежутке от 28 до 31, а значит 28 £ 2^I £ 31. log₂31» 4.954196310 бит.

Ответ: 5 вопросов для дня рождения, 4 вопроса для месяца. Всего 9 вопросов.

2. Формула Шеннона.

(Вероятностный подход)

Так как наступление каждого из N событий имеет одинаковую вероятность P, то Р=1/N. Если событий 6, то вероятность появления одного события равно 1/6, если событий 100, то вероятность равна 0,01 => N=1/P.

Американский ученый Клод Шеннон, что формулу Хартли можно записать иначе:
I=log₂(1/P)= log₂P^-1= - log₂P, так как p<1, то log₂P<0, а I >0 (минус на минус дает плюс)

В 1948 год он предложил другую формулу определения количества информации, учитывая возможную неодинаковую вероятность событий в наборе.

Для событий с различными вероятностями количество информации определяется по формуле Шеннона: , где I – количество информации, N – количество возможных не равновероятных событий, P_i – вероятности отдельных событий.

При решении задач необходимо подчеркнуть, что при равновероятных событиях мы получаем большее количество информации, чем при неравно вероятных событиях.

Уровень «3»

16. В корзине лежат 8 черных шаров и 24 белых. Сколько информации несет сообщение о том, что достали черный шар? ([1], стр. 24, №1)

Решение:

Вероятность достать черный шар равна p_ч=8/(24+8)=0.25
Количество информации в сообщении о том, что достали черный шар, вычисляется по формуле: I_ч=log₂1/p_ч. Отсюда I=log₂1/0.25=2 бита.

Ответ: 2 бита.

17. В корзине лежат 32 клубка шерсти. Среди них — 4 красных. Сколько информации несет сообщение о том, что достали клубок красной шерсти? ([1], стр. 24, №2)

Решение:

Вероятность достать красный клубок равна p_к=4/32=0.125
Количество информации в сообщении о том, что достали красный клубок, вычисляется по формуле: I_к=log₂1/p_к. Отсюда I=log₂1/0.125=3 бита.

Ответ: 3 бита.

Уровень «4»

18. В коробке лежат 64 цветных карандаша. Сообщение о том, что достали белый карандаш, несет 4 бита информации. Сколько белых карандашей было в корзине? ([1], стр. 24, №3)

Решение:

Пусть вероятность того, что достали белый карандаш - p_б. Количество информации в сообщении о том, что достали белый карандаш, вычисляется по формуле I=log₂1/p_б. I=4, отсюда log₂1/p_б=4, -log₂pб=4, log₂pб=-4, p_б=2^-4, p_б=1/16= 0.0625. Количество белых карандашей в коробке вычисляется по формуле: N_б=1/p_б, отсюда N_б=1/0.0625=16 штук.

Ответ: 16 штук.

Уровень «5»

19. В коробке имеется 50 шаров. Из них 40 белых и 10 черных. Сколько информации в сообщении о том, что вытащили белый (черный) шар. ([1], стр. 22, пример №1)

Решение:

Вероятность появления белого шара равна: p_w=40/50=0.8. Вероятность появления черного шара равна: p_b=10/50=0.2. Количество информации в сообщении о том, что вытащили белый шар, вычисляется по формуле: I=-log₂p_w=-log₂0.8≈0.3219280949 бит. Количество информации в сообщении о том, что вытащили черный шар, вычисляется по формуле: I=-log₂p_b=-log₂0.2≈2.321928095 бит.

Ответ: для белого шара 0.3219280949 бит, для черного шара 2.321928095 бит

20. После экзамена по информатике, который сдавали ваши друзья, объявляются оценки («2», «3», «4», «5»). Какое количество информации будет нести сообщение об оценке учащегося А,, который выучил лишь половину билетов, и сообщение об оценке учащегося B, который выучил все билеты.([2], пример 2.1, стр.33)

Решение:

Для учащегося A все четыре оценки (события) равновероятны и тогда количество информации, которое несет сообщение об оценке можно вычислить по формуле Хартли I = log₂ N:

I = log₂4 = 2 бит, где N – число оценок

Для учащегося B наиболее вероятной оценкой является «5» (p1 = 1/2), вероятность оценки «4» в два раза меньше (p2 = 1/4), а вероятности оценок «2» и «3» еще в два раза меньше (p3 = p4 = 1/8). Так как события не равно вероятны, воспользуемся для подсчета количества информации в сообщении формулой Шеннона: ,:

I = -(1/2·log₂1/2 + 1/4·log₂1/4 + 1/8·log₂1/8 + 1/8·log₂1/8) бит = 1,75 бит

Ответ: 2 бит и 1,75 бит

20. Сережа — лучший ученик в классе. Сколько информации в сообщении о том, что за контрольную работу по математике Сережа получит "5", если за несколько лет учебы он получил по математике 100 оценок, из них: 60 пятерок, 30 четверок, 8 троек и 2 двойки. ([1], стр. 22, пример №2)

Решение:

Вероятность появления: пятерки равна: p₅=60/100=0.6.
четверки равна: p₄=30/100=0.3.
тройки равна: p₃=8/100=0.08.
двойки равна: p₂=2/100=0.02.
Количество информации в сообщении о том, что за контрольную работу по математике Сережа получит "5" вычисляется по формуле I=log₂1/p₅= - log₂p₅= - log₂(0.6)≈0.7369655942 бит.
Количество информации в сообщении о том, что за контрольную по математике Сережа получит "4" вычисляется по формуле I=log₂1/p₄= - log₂p₄= - log₂(0.3)≈1.736965594 бит. получит "3" вычисляется по формуле I=log₂1/p₃= - log₂p₃= - log₂(0.08)≈3.643856190 бит. получит "2" вычисляется по формуле I=log₂1/p₂= - log₂p₂= - log₂(0.02)≈5.643856190 бит.

Ответ: Количество информации в сообщении о том, что за контрольную работу по математике Сережа получит "5" ≈0.7369655942 бит.

21. В пруду живут 8000 карасей, 2000 щук и 40 000 пескарей. Сколько информации в сообщении о том, что рыбак поймал в этом пруду пескаря (карася, щуку)? ([1], стр. 22, пример №3)

Решение:

Всего рыб в пруду: 8000+2000+40000=50000
Вероятность поймать карася равна: p_к=8000/50000=0.16
Вероятность поймать щуку равна: p_щ=2000/50000=0.04
Вероятность поймать пескаря равна: p_п=40000/50000=0.8
Количество информации в сообщении о том, что рыбак поймал в этом пруду пескаря вычисляется по формуле I=log₂1/p_п= - log₂p_п= - log₂(0.8)≈0.3219280949 бит.
Количество информации в сообщении о том, что рыбак поймал в этом пруду карася вычисляется по формуле I=log₂1/p_к= - log₂p_к= - log₂(0.16)≈2.643856190 бит.
Количество информации в сообщении о том, что рыбак поймал в этом пруду щуку вычисляется по формуле I=log₂1/p_щ= - log₂p_щ= - log₂(0.04)≈4.643856190 бит.

Ответ: количество информации в сообщении о том, что рыбак поймал в этом пруду пескаря)≈0.3219280949 бит, карася ≈ 2.643856190 бит, щуку ≈ 4.643856190 бит.

22. В ящике лежат перчатки (белые и черные). Среди них — 2 пары черных. Сообщение о том, что из ящика достали пару черных перчаток, несет 4 бита информации. Сколько всего пар перчаток было в ящике? ([1], стр. 24, №4)

Решение:

Количество информации в сообщении о том, что достали пару черных перчаток, вычисляется по формуле: I_ч=log₂1/p_ч. I=4 бита.

Отсюда 4=log₂1/p_ч= - log₂p_ч, p_ч=2-4=0.0625, где p_ч – вероятность появления пары черных перчаток. p_б – вероятность появления пары белых перчаток равна p_б=1-p_ч=0.9375.

N – общее количество пар перчаток, N_ч – количество пар черных перчаток, N_б – количество пар белых перчаток. N=N_ч+N_б.

p_ч=N_ч/(N_ч+N_б), p_б=N_б/(N_ч+N_б), причем N_ч=2. Решая первое уравнение, получаем: N_б=30. Отсюда N=32.

Ответ:32 пары.

23. В классе 30 человек. За контрольную работу по математике получено 6 пятерок, 15 четверок, 8 троек и 1 двойка. Какое количество информации в сообщении о том, что Иванов получил четверку? ([1], стр. 24, №5)

Решение:

Вероятность того что назвали именно Иванова равна: p_и=1/30≈0.03333333333
Вероятность того что получена четверка равна: p₄=15/(6+15+8+1)=0.5
Вероятность того что именно у Иванова четверка равна p=p_и*p₄≈0.01666666667
Количество информации в сообщении о том, что Иванов получил четверку равно I=log₂1/p,

I≈5.906890596.

Ответ: ≈5.906890596 бит.

24. Известно, что в ящике лежат 20 шаров. Из них 10 — черных, 5 — белых, 4 — желтых и 1 — красный. Какое количество информации несут сообщения о том, что из ящика случайным образом достали черный шар, белый шар, желтый шар, красный шар? ([1], стр. 25, №6,)

Решение:

N=20.
Вероятность того что достали черный шар равна p_ч=10/20=0.5
белый шар равна p_б=5/20=0.25
желтый шар равна p_ж=4/20=0.2
красный шар равна p_к=1/20=0.05
Количество информации в сообщении о том, что из ящика случайным образом: достали черный шар равно: I_ч=log₂1/p_ч. I_ч=1
достали белый шар равно: I_б=log₂1/p_б. I_б=2
достали желтый шар равно: I_ж=log₂1/p_ж. I_ж≈2.321928095
достали красный шар равно: I_к=log₂1/p_к. I_к≈4.321928095

Ответ: количество информации в сообщении о том, что из ящика случайным образом: достали черный шар равно 1 бит, достали белый шар равно 2 бит, достали желтый шар ≈2.321928095 бит, достали красный шар ≈4.321928095 бит.

25. В непрозрачном мешочке хранятся 10 белых, 20 красных, 30 синих и 40 зеленых шариков. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика? ([2], пример 2.2, стр. 34)

Решение:

Так как количество шариков различных цветов неодинаково, то зрительные сообщения о цвете вынутого из мешочка шарика также различаются и равны количеству шариков данного цвета деленному на общее количество шариков:

pб = 0,1; pк = 0,2; pз = 0,3; pс = 0,4

События неравновероятны, поэтому для определения количества информации, содержащимся в сообщении о цвете шарика, воспользуемся формулой Шеннона:

I = -(0,1·log₂ 0,1+ 0,2·log₂ 0,2 + 0,3·log₂ 0,3 + 0,4·log₂ 0,4) бит=1.846439344671015 бит

Ответ: 1.846439344671015 бит

26. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика, если в непрозрачном мешочке хранятся:

а) 25 белых, 25 красных, 25 синих и 25 зеленых шариков;

б) 30 белых, 30 красных, 30 синих и 10 зеленых шариков.

Решение:

А) Так как всего 4 цвета и количество шариков каждого цвета одинаково, сообщения о цвете вынутого шарика равновероятны, значит, применяя формулу Хартли получим 2ⁱ =4, отсюда I=2 бита.

Б) Так как количество шариков различных цветов неодинаково, то зрительные сообщения о цвете вынутого из мешочка шарика также различаются и равны количеству шариков данного цвета деленному на общее количество шариков 100:

pб = 0,3; pк = 0,3; pс = 0,3; pз = 0,1

События неравновероятны, поэтому для определения количества информации, содержащимся в сообщении о цвете шарика, воспользуемся формулой Шеннона:

I = -(0,3·log₂ 0,3+ 0,3·log₂ 0,3 + 0,3·log₂ 0,3 + 0,1log₂ 0,1) бит»1.9 бит

Ответ: 2 бита и 1.9 бит

27. За четверть ученик получил 100 оценок. Сообщение о том, что он получил четверку, несет 2 бита информации. Сколько четверок ученик получил за четверть? ([1], стр. 25, №7)

Решение:

Количество информации в сообщении о том, что ученик получил четверку вычисляется: I=log₂1/p, где p – вероятность получить четверку. Отсюда 2=log₂1/p, p=2^-2, p=0.25. Количество четверок определяется по формуле N_ч=p*N, т.к. p=N_ч/N, где N=100 – общее количество оценок. Отсюда N_ч=0.25*100=25.

Ответ: 25 четверок.

28. В алфавите племени МУМУ всего 4 буквы (А, У, М, К), один знак препинания (точка) и для разделения слов используется пробел. Подсчитали, что в популярном романе "Мумука" содержится всего 10000 знаков, из них: букв А – 4000, букв У – 1000, букв М – 2000, букв К – 1500, точек – 500, пробелов – 1000. Какой объем информации содержит книга? ([1], стр. 23, пример №5)

Решение:

Вероятность появления: буквы А равна p_а=4000/10000=0.4.
буквы У равна p_у=1000/10000=0.1.
буквы М равна p_м=2000/10000.=0.2
буквы К равна p_к=1500/10000=0.15.
пробела равна p_п=1000/10000=0.1.
точки равна p_т=500/10000=0.05.
Количество информации в сообщении о том, что в тексте появилась:

буква А (информационный вес буквы) равно: I_а=log₂1/p_а=log₂1/0.4≈1.321928095
буква У (информационный вес буквы) равно: I_у=log₂1/p_у=log₂1/0.1≈3.321928095
буква М (информационный вес буквы) равно: I_м=log₂1/p_м=log₂1/0.2≈2.321928095
буква К (информационный вес буквы) равно: I_к=log₂1/p_к=log₂1/0.15≈2.736965594
пробел (информационный вес буквы) равно: I_п=log₂1/p_п=log₂1/0.1≈3.321928095
точка (информационный вес буквы) равно: I_т=log₂1/p_т=log₂1/0.05≈4.321928095
Общий объем информации в книге вычисляется как сумма произведений информационного веса каждого символа на количество символов в книге: I=I_а*N_а+I_у*N_у+I_м*N_м+I_к*N_к+I_п*N_п+I_т*N_т≈ 1.321928095*4000 + 3.321928095*1000 + 2.321928095*2000 + 2.736965594*1500 + 3.321928095*1000 + 4.321928095*500≈22841.83721 бит.

Ответ: ≈22841.83721 бит.

29. Для ремонта школы использовали белую, синюю и коричневую краски. Израсходовали одинаковое количество банок белой и синей краски. Сообщение о том, что закончилась банка белой краски, несет 2 бита информации. Синей краски израсходовали 8 банок. Сколько банок коричневой краски израсходовали на ремонт школы? ([1], стр. 25, №5)

Решение:

I_б=log₂1/p_б, I_б=2, p_б=0.25, p_c=p_б=0.25, p_k=1-p_c-p_б=0.5, p_k=N_k/(N_k+N_c+N_б), N_c=N_б=8. Решая уравнение получаем N_k=16.

Ответ: 16 банок.

2.Алфавитный подход к измерению информации.

Задача № 30 ([1], стр. 19 №19)

Алфавит племени Мульти состоит из 8 букв. Какое количество информации несет одна буква этого алфавита?

Решение:

Количество информации, которое несет каждый символ алфавита мощностью N равно: I=log₂N, N=2^I, 8=2^I, I=3 (бит)

Задача № 31 ([1], стр. 20 №20)

Сообщение, записанное буквами из 64-х символьного алфавита, содержит 20 символов. Какой объем информации оно несет?

Решение:

Количество информации, которое несет каждый символ алфавита мощностью N равно: I=log₂N, N=2^I, 64=2^I, I=6 (бит). Объем всего сообщения равен: I*20=6*20=120 бит.

Задача № 32([1], стр. 20 №21)

Племя Мульти имеет 32-х символьный алфавит. Племя Пульти использует 64-х символьный алфавит. Вожди племен обменялись письмами. Письмо племени Мульти содержало 80 символов, а письмо племени Пульти – 70 символов. Сравните объемы информации, содержащейся в письмах.

Решение:

Количество информации, которое несет каждый символ алфавита мощностью N равно: I=log₂N, N=2^I.
Количество информации которое несет каждый символ в алфавите племени Мульти: I=log₂32, I=5.
Количество информации которое несет каждый символ в алфавите племени Пульти: I=log₂64, I=6.
Объем сообщения письма племени Мульти: 5 * 80 = 400 (бит)
Объем сообщения письма племени Пульти: 6 * 70 = 420 (бит)
Во сколько раз отличается количество информации в этих текстах: 420: 400 = 1,05 (раз)

Задача № 33 ([1], стр. 20 №22)

Информационное сообщение объемом 1,5 Кбайта содержит 3072 символа. Сколько символов содержит алфавит, при помощи которого было записано это сообщение?

Решение:

Объем сообщения в битах: 1,5 *1024*8 =12288 (бит)
Количество информации которое несет каждый символ в алфавите: 12288/3072 = 4 (бит)
Мощность алфавита: N=2^I, N=2⁴ =16 (символов)

Задача № 34 ([1], стр. 20 №23)

Объем сообщения, содержащего 2048 символов, составил 1/512 часть Мбайта. Каков размер алфавита, с помощью которого записано сообщение?

Решение:

Объем сообщения в битах: 1024*1024*8/512=16384 (бит)
Количество информации которое несет каждый символ в алфавите: 16384/2048 = 8 (бит)
Мощность алфавита: N=2^I, N=2⁸ = 256 (символов)

Задача № 35 ([1], стр. 20 №24)

Сколько символов содержит сообщение, записанное с помощью 16-ти символьного алфавита, если объем его составил 1/16 часть Мбайта?

Решение:

Объем сообщения в битах: 1024*1024*8/16= 524288 (бит)
Количество информации, которое несет каждый символ алфавита мощностью N равно: I=log₂N, N=2^I, 16=2^I, I = 4 (бита)
Сколько символов содержит сообщение: 524288/4 = 131072 (символа)

Задача № 36 ([1], стр. 20 №25)

Сколько килобайт составляет сообщение, содержащее 12288 битов?

Решение:

1 байт = 8 бит.
1 кбайт = 2¹⁰ байт = 1024 байт.
12288 бит = 12288 / 8 байт = 1536 байт = 1536 / 1024 кбайт = 1,5 кбайт.

Задача № 37 ([1], стр. 20 №26)

Сколько килобайтов составит сообщение из 384 символов 16-ти символьного алфавита?

Решение:

Количество информации, которое несет каждый символ алфавита мощностью N равно: I=log₂N, N=2^I, 16=2^I, I=4 (бит)
Объем сообщения: 4 * 384 = 1536 (бит)=192(байта)= 0,1875(Кбайт)

Задача № 38 ([1], стр. 20 №27)

Для записи текста использовался 256-символьный алфавит. Каждая страница содержит 30 строк по 70 символов в строке. Какой объем информации содержат 5 страниц текста?

Решение:

Количество информации, которое несет каждый символ алфавита мощностью N равно: I=log₂N, N=2^I, 256=2^I, I=8 (бит)
Количество символов на 5 страницах: 70 * 30 * 5 = 10500 (символов)
Объем информации 5 страниц: 8 * 10500= 84000 (бит)=10500(байт)

Задача № 39 ([1], стр. 20 №28)

Сообщение занимает 3 страницы по 25 строк. В каждой строке записано по 60 символов. Сколько символов в использованном алфавите, если все сообщение содержит 1125 байтов?

Решение:

Количество символов на странице: 60 * 25 * 3 = 4500 (символов)
Объем сообщения в битах: 1125 * 8 = 9000 бит
Информационный вес одного символа I = 9000/4500 = 2 (бита)
Мощность алфавита: N=2^I, N=2²= 4 (символа)

Задача № 40 ([1], стр. 20 №29)

Для записи сообщения использовался 64-х символьный алфавит. Каждая страница содержит 30 строк. Все сообщение содержит 8775 байтов информации и занимает 6 страниц. Сколько символов в строке?

Решение:

Количество информации, которое несет каждый символ алфавита мощностью N равно: I=log₂N, N=2^I, 64=2^I, I=6 (бит)
Объем сообщения в битах: 8775*8 = 70200 бит
Количество символов в тексте: 70200/6 = 11700
Количество символов на странице: 11700/6 = 1950 (символов)
Количество символов в строке: 1950/30 = 65 (символов)

Задача № 41 ([1], стр. 21 №30)

Сообщение занимает 2 страницы и содержит 1/16 Кбайта информации. На каждой станице записано 256 символов. Какова мощность использованного алфавита?

Решение:

Всего символов в тексте: 2*256=512
Объем информации в битах: 1/16*1024*8=512 бит
Количество информации, которое несет каждый символ: I=512 (бит)/512 (симовлов)=1 бит
Мощность алфавита: N=2^I, N=2.

Задача № 42 ([1], стр. 21 №31)

Два сообщения содержат одинаковое количество символов. Количество информации в первом тексте в 1,5 раза больше, чем во втором. Сколько символов содержат алфавиты, с помощью которых записаны сообщения, если известно, что число символов в каждом алфавите не превышает 10, и на каждый символ приходится целое число битов?

Решение:

Пусть k - количество символов в собщении.
Пусть J - количество информации во втором тексте.
Тогда 1,5*J - количество информации в первом тексте.
Пусть I₁ и I₂ количество информации, которое несет каждый символ в первом и втором алфавите соответственно.
J=k*I₂
1,5*J=k*I₁
Отсюда I₁/I₂=3/2
Пуст I₁=3, I₂=2
Тогда N₁=2^I1=8, N₂=2^I2=4
При больших I₁, I₂ значения N₁, N₂ окажутся большими 10.
Таким образом получили ответ: N₁=8, N₂=4.

Задача № 43 ([1], стр. 21 №32)

Два сообщения содержат одинаковое количество информации. Количество символов в первом тексте в 2,5 раза меньше, чем во втором. Сколько символов содержат алфавиты, с помощью которых записаны сообщения, если известно, что размер каждого алфавита не превышает 32 символов, и на каждый символ приходится целое число битов?

Решение:

Пусть J - количество информации.
Пусть k - количество символов в первом тексте
Тогда 2,5*k - количество символов во втором тексте
Пусть I₁ и I₂ количество информации, которое несет каждый символ в первом и втором алфавите соответственно.
J=k*I₁
J=2,5*k*I₂
Отсюда I₁/I₂=5/2
Пуст I₁=5, I₂=2
Тогда N₁=2^I1=32, N₂=2^I2=4
При больших I₁, I₂ значения N₁, N₂ окажутся большими 32.
Таким образом получили ответ: N₁=32, N₂=4.

Задача № 44 ([1], стр. 21 №33)

ДНК человека (генетический код) можно представить себе как некоторое слово в четырехбуквенном алфавите, где каждой буквой помечается звено цепи ДНК, или нуклеотид. Сколько информации (в битах) содержит ДНК человека, содержащий примерно 1,5*10²³ нуклеотидов?

Решение:

Количество информации, которое несет каждая буква: I=log₂N, N=2^I, 2=2^I, I=2.
Сколько информации содержит ДНК человека: 2*(1,5*10²³) = 3*10²³ бит.

Задача № 45([1], стр. 2 №34)

Выяснить, сколько бит информации несет каждое двухзначное число (отвлекаясь от его конкретного числового значения).

Решение:

Мощность алфавита десятичных цифр равна 10.
Количество информации, которое несет каждая цифра: I=log₂N, I≈3.321928095 бит
Количество информации, которое несет двузначное число: 2*I≈6.643856190 бит.

Литература:

---

Дата добавления: 2015-10-21