Методические указания. Санкт-Петербургский колледж телекоммуникаций

Санкт-Петербургский колледж телекоммуникаций

«УТВЕРЖДАЮ»

ЗАМ. Директора по Э и Р

____________________________

«» ____________2015 г.

Практическое занятие 5

Использование закона аддитивности информации при решении задач на определение количества информации

по дисциплине: «Основы теории информации»

для специальностей:

230111 «Компьютерные сети»

среднего профессионального образования

(базовый уровень)

Каждая работа рассчитана

на 2 часа

Санкт-Петербург

Описание практического занятия составлено в соответствии с рабочей программой по учебной дисциплине «Основы теории информации»

Составитель: К.В. Лебедева, К.Д. Волкова

Рассмотрено и одобрено на заседании цикловой комиссии № (цикловая комиссия общепрофессиональных дисциплин электросвязи)

Утверждено на заседании методического совета

_______________ 2015 г. Протокол №_

Председатель цикловой (предметной) комиссии:

______________________

Практическое занятие №5

Использование закона аддитивности информации при решении задач на определение количества информации

Цель занятия:

В соответствии с рабочей программой по дисциплине «Основы теории информации», в результате выполнения заданий ПЗ, студент должен:

уметь:

- измерять количество информации;

знать:

- основные понятия теории информации;

- виды информации и способы представления ее в электронно-вычислительных машинах (ЭВМ);

- свойства информации;

- меры и единицы измерения информации;

Таким образом, студент во время проведения ПЗ и самостоятельной работы по теме должен:

- закрепить навыки подсчёта количества информации с помощью закона аддитивности

Краткие теоретические сведения

Аддитивность — свойство величин, состоящее в том, что значение величины, соответствующее целому объекту, равно сумме значений величин, соответствующих его частям, в некотором классе возможных разбиений объекта на части. Например, аддитивность объёма означает, что объём целого тела равен сумме объёмов составляющих его частей.

Закон аддитивности информации

Количество информации H(x1, x2), необходимое для установления пары (x1, x2), равно сумме количеств информации H(x1) и H(x2), необходимых для независимого установления элементов x1, x2: H(x1, x2) = H(x1) + H(x2).

Методические указания

Пусть необходимо отгадать сразу два независимых предмета х₁ и х₂, про которые известно, что х₁ принадлежит множеству Х₁, содержащему N₁ элементов, а х₂ принадлежит множеству Х₂, содержащему N₂ элементов. Вполне допустимо считать, что необходимо угадать пару (х₁,х₂) где х₁ принадлежит множеству Х₁, а где х₂ принадлежит множеству Х₂. Тогда по ф. Хартли для угадывания задуманной пары необходимо задать log₂N₁N₂ вопросов, т.е. получить бит информации. Для угадывания х₁ понадобится log₂N₁ вопросов, для х₂ - log₂N₂. Всего понадобится log₂N₁ + log₂N₂ вопросов (бит информации).

Мы получили два выражения для одного и того же количеств информации. Согласно основному логарифимическому тождеству, обе величины равны:

log₂N₁N_{2 =} log₂N₁ + log₂N_2. Получаем закон аддитивности информации.

Используя закон аддитивности информации и ф. Хартли, подсчитаем, какое количество информации несёт достоверный прогноз погоды.

.

Решение.

Предположим, что прогноз погоды на следующий день заключается в предсказании дневной температуры (обычно выбор делается из 16 возможных для данного сезона значений) и одного из четырех значений облачности (солнечно, переменная облачность, пасмурно, дождь). Получаемое при этом количество информации равно

I=log₂16 +log₂4 = 4 + 2 = 6 (бит)

Ответ: 6 бит.

Дата добавления: 2015-12-08