Энтропия. Формула Шеннона

Стремление ученых дать количественную меру оценке неопределенности привели к возможности исполнения статистических подходов к построению расчетных методик, позволяющих вести количественные оценки.

Рассмотрим статистическое рассуждение, позволившее Клоду Шеннону заложить теоретические основы новой науки о информации.

Клод Шеннон предложил считать неопределенность в виде функции f, которая зависит от числа исходов k, т.е. f(k).

Если число исходов k будет равно 1, значит функция f(k)=0. Функция f(k) должна быть возрастающей функцией, если k возрастает.

Мы имеем дело со сложным опытом (). Опыт имеет n исходов, - m исходов. Неопределенность сложного процесса () м.б. оценена суммой неопределенности опыта + неопределенности опыта

f() = f()+f().В теории информации неопределенность оценивается логарифмом по основанию 2, т.е. log₂. Единицей неопределенности принято считать log₂2=1 – это бит. Бит – минимальное количество информации, которое соответствует неопределенности опыта, имеющего 2 исхода.

Дата добавления: 2015-10-21