Количество информации, получаемой в процессе сообщения

До сих пор были приведены формулы для расчета энтропии (неопределенности) H, указывая, что H в них можно заменять на I, потому что количество информации, получаемое при полном снятии неопределенности некоторой ситуации, количественно равно начальной энтропии этой ситуации.

Но неопределенность может быть снята только частично, поэтому количество информации I, получаемой из некоторого сообщения, вычисляется как уменьшение энтропии, произошедшее в результате получения данного сообщения.

(4)

Для равновероятного случая, используя для расчета энтропии формулу Хартли, получим:

(5)

Второе равенство выводится на основании свойств логарифма. Таким образом, в равновероятном случае I зависит от того, во сколько раз изменилось количество рассматриваемых вариантов выбора (рассматриваемое разнообразие).

Исходя из (5) можно вывести следующее:

Если , то - полное снятие неопределенности, количество полученной в сообщении информации равно неопределенности, которая существовала до получения сообщения.

Если , то - неопределенности не изменилась, следовательно, информации получено не было.

Если , то => , если , => . Т.е. количество полученной информации будет положительной величиной, если в результате получения сообщения количество рассматриваемых альтернатив уменьшилось, и отрицательной, если увеличилось.

Если количество рассматриваемых альтернатив в результате получения сообщения уменьшилось вдвое, т.е. , то I=log2(2)=1 бит. Другими словами, получение 1 бита информации исключает из рассмотрения половину равнозначных вариантов.

Рассмотрим в качестве примера опыт с колодой из 36 карт.

Рис. 4. Иллюстрация к опыту с колодой из 36-ти карт.

Пусть некто вынимает одну карту из колоды. Нас интересует, какую именно из 36 карт он вынул. Изначальная неопределенность, рассчитываемая по формуле (2), составляет H=log2(36)@5,17 бит. Вытянувший карту сообщает нам часть информации. Используя формулу (5), определим, какое количество информации мы получаем из этих сообщений:

Вариант A. “Это карта красной масти”.

I=log2(36/18)=log2(2)=1 бит (красных карт в колоде половина, неопределенность уменьшилась в 2 раза).

Вариант B. “Это карта пиковой масти”.

I=log2(36/9)=log2(4)=2 бита (пиковые карты составляют четверть колоды, неопределенность уменьшилась в 4 раза).

Вариант С. “Это одна из старших карт: валет, дама, король или туз”.

I=log2(36)–log2(16)=5,17-4=1,17 бита (неопределенность уменьшилась больше чем в два раза, поэтому полученное количество информации больше одного бита).

Вариант D. “Это одна карта из колоды".

I=log2(36/36)=log2(1)=0 бит (неопределенность не уменьшилась - сообщение не информативно).

Вариант D. “Это дама пик".

I=log2(36/1)=log2(36)=5,17 бит (неопределенность полностью снята).

Количество информации как мера уменьшения неопределённости.

Информация – это знания человека. Отсюда следует вывод, что сообщение информативно (содержит ненулевую информацию), если оно пополняет знания человека. Например, прогноз погоды на завтра – информативное сообщение, а сообщение о вчерашней погоде неинформативно: нам это уже известно.

Вы открыли и прочитали определение в учебнике:

Лемниската Бернулли есть геометрическое место точек, для которых произведение расстояний до концов данного отрезка F₁F₂=2c равно c²

Пополнил этот текст ваши знания? Нет!

Получение всяких знаний должно идти от простого к сложному. И тогда каждое новое сообщение будет понятным, а значит, будет нести информацию для человека.

Сообщение несёт информацию для человека, если содержащиеся в нём сведения являются для него новыми и понятными.

Единица измерения информации была определена в науке, которая называется теорией информации. Эта единица называется «бит». Её определение звучит так:

Сообщение, уменьшающее неопределённость знаний в два раза, несёт 1 бит информации.

Что такое «неопределённость знаний»?

Допустим, вы бросаете монету, загадывая, что выпадет: орёл или решка? Есть всего два варианта возможного результата бросания монеты. Причём, ни один из этих вариантов не имеет преимущества перед другим. В таком случае говорят, что они равновероятны.

Так вот, в этом случае перед подбрасыванием монеты неопределённость знаний о результате равна двум. Игральный кубик с шестью гранями может с равной вероятностью упасть на любую из них. Значит, неопределённость знаний о результате бросания кубика равна шести.

Неопределённость знаний о некотором событии – это количество возможных результатов события (бросания монеты, кубика).

После того как вы бросили монету, произошло одно из двух возможных событий. Неопределённость знаний уменьшилась в два раза: было два варианта, остался один. Значит, узнав результат бросания монеты, вы получили 1 бит информации.

Сообщение о том, что произошло одно событие из двух равновероятных, несёт 1 бит информации.

Студент на экзамене может получить одну из четырёх оценок: «5», «4», «3», «2» с равной вероятностью. На ваш вопрос: «Ну, что получил?» -- ответил: «Четвёрку!». Вопрос: Сколько бит информации содержится в его ответе?

Будем отгадывать оценку, задавая вопросы, на которые можно ответить только «да» или «нет».

Вопросы будем ставить так, чтобы каждый уменьшал количество вариантов в два раза и, следовательно, приносил 1 бит информации.

1). Оценка выше тройки? – Да.

После этого ответа число вариантов уменьшилось в два раза. Остались 4 и 5. Получен 1 бит информации.

2). Ты получил пятёрку? – Нет.

Выбран один вариант из двух оставшихся: оценка – «4». Получен ещё 1 бит информации. В сумме имеем 2 бита.

Метод поиска, на каждом шаге которого отбрасывается половина вариантов, называется методом половинного деления.

Решите задачу: в книжном стеллаже 8 полок. Книга может быть поставлена на любую из них. Сколько бит информации содержит сообщение о том, где находится книга?

1). Книга лежит выше 4 полки? Нет

2). Книга лежит ниже 3 полки? Да

3). Книга – на второй полке? Нет à1

Каждый ответ уменьшал неопределённость в два раза. Всего 3 вопроса à 3 бита информации. И если бы сразу было сказано, что книга лежит на первой полке, то этим сообщением были бы переданы те же 3 бита информации.

Выведем формулу, по которой вычисляется количество информации, содержащееся в сообщении о том, что произошло одно из множества равновероятных событий.

Обозначим буквой N количество возможных событий или, как мы это ещё называли, -- неопределённость знаний. Буквой i будем обозначать количество информации в сообщении о том, что произошло одно из N событий.

Монеты N=2, i=1 2¹=2

Оценки N=4,i=2 2²=4

Книги N=8,i=3 2ⁱ=N 2³=8

Количество информации i, содержащееся в сообщении о том, что произошло одно из N равновероятных событий, определяется из решения показательного уравнения:

2ⁱ=N.

В математике существует функция, с помощью которой решается показательное уравнение. Эта функция называется логарифмом, и решение нашего уравнения записывается следующим образом: i=log₂N.

Например, вычислим количество информации в сообщении о том, что из колоды карт случайным образом достали даму пик (в колоде 36 карт) i=log₂36=5,16993 бит.

Для определения количества информации, содержащийся в сообщении о том, что произошло одно из N равновероятных событий, используется формула i=log₂N.

Эта формула была получена американским инженером Ричардом Хартли в 1928 году и поэтому известна под названием формулы Хартли.

До сих пор речь шла о равновероятных событиях. Но в реальности очень часто это предположение не выполняется. Для того, чтобы разобраться что такое вероятность рассмотрим школьные оценки, чтобы определить, какова вероятность получения каждой оценки, нужно посчитать общее количество разных оценок, полученных учеником за достаточно большой период времени, и определить, сколько из них двоек, троек, четвёрок и пятёрок. Если допустить, что такое же распределение оценок сохранится и в будущем, то можно рассчитать вероятности получения каждой из оценок. Определив, какую часть составляют двойки, найдём вероятность получения двойки. Затем, определив, какую часть составляют тройки, найдём вероятность получения тройки. Доля четвёрок среди всех оценок – это вероятность получения четвёрки, а доля пятёрок – это вероятность получения пятёрки.

Предположим, мы посчитали, что за два года ученик получил 100 оценок. Среди них:

60 – «5» вероятность пятёрки P₅=60/100=0,6 60%

25 – «4» P₄=25/100=0,25 25%

10 – «3» P₃=10/100=0,1 10%

5 – «2» P₂=5/100=0,05 5%

Обозначение:

N – это общее число возможных исходов какого-то процесса (кол-во всех шаров)

n – из них интересующее нас событие (кол-во белых шаров)

p=n/N

Теперь, зная вероятности событий, можно определить количество информации в сообщении о каждом из них. Согласно теории информации, для этого нужно решить показательное уравнение 2ⁱ=1/p i=log₂1/p

I ^«5»=log₂(1/0,6)=log₂(5/3)=0,737 бит

I ^«4»=log₂(1/0,25)=log₂(4)=2 бита

I ^«3»=log₂(1/0,1)=log₂(10)=3,322 бита

I ^«2»=log₂(1/0,05)=log₂(20)=4,322 бита

Чем меньше вероятность события, тем больше информации несёт сообщение о нём.

Количество информации в сообщении о некотором событии зависит от вероятности этого события. Чем меньше вероятность, тем больше информации.

На первый взгляд, кажется, что мы имеем две совсем разные формулы для вычисления информации. Первая – через количество событий, вторая – через вероятность:

1) i=log₂N 2) i=log₂(1/p)

На самом деле это не разные формулы! Первая формула является частным случаем второй, когда вероятность событий одинакова.

Представьте себе, что у нашего ученика было бы всех оценок поровну: пятёрок, четвёрок, троек, двоек – по 25 штук. Тогда вероятность каждой оценки равна 25/100=1/4. Значит, и количество информации будет одинаковым.

i₅=i₄=i₃=i₂=log₂(1/0,25)log₂4=2 бита.

Но это та же задача о четырёх равновероятных оценках, которую мы решали раньше! И там тоже 4 бита.

Дата добавления: 2015-07-10