Студопедия
Случайная страница | ТОМ-1 | ТОМ-2 | ТОМ-3
АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатика
ИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханика
ОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторика
СоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансы
ХимияЧерчениеЭкологияЭкономикаЭлектроника

Энтропия. Формула Шеннона

Читайте также:
  1. Возможные ошибки при использовании функций в формулах
  2. Вот эта формула: «Я не есть это тело – я свобода и воля. Мое тело – машина, подчиненная мне».
  3. Второй учебный вопрос. Пределы применимости формулы Эйлера. Формула Ясинского
  4. Глава 8. Формула, которая будет творить для вас чудеса
  5. Глава 8. Формула, которая будет творить для вас чудеса.
  6. Глава 8.Формула, которая будет творить для вас чудеса.
  7. Классическая формула сложения вероятностей

Стремление ученых дать количественную меру оценке неопределенности привели к возможности исполнения статистических подходов к построению расчетных методик, позволяющих вести количественные оценки.

Рассмотрим статистическое рассуждение, позволившее Клоду Шеннону заложить теоретические основы новой науки о информации.

Клод Шеннон предложил считать неопределенность в виде функции f, которая зависит от числа исходов k, т.е. f(k).

Если число исходов k будет равно 1, значит функция f(k)=0. Функция f(k) должна быть возрастающей функцией, если k возрастает.

Мы имеем дело со сложным опытом (). Опыт имеет n исходов, - m исходов. Неопределенность сложного процесса () м.б. оценена суммой неопределенности опыта + неопределенности опыта

f() = f()+f().В теории информации неопределенность оценивается логарифмом по основанию 2, т.е. log2. Единицей неопределенности принято считать log22=1 – это бит. Бит – минимальное количество информации, которое соответствует неопределенности опыта, имеющего 2 исхода.


Дата добавления: 2015-10-21; просмотров: 58 | Нарушение авторских прав


Читайте в этой же книге: Свойства энтропии | Энтропия сложных событий | Свойства условной энтропии | Информация в сложном опыте | Избыточность в языке | Код Шеннона-Фано | Анализ экономичности кода | Решение |
<== предыдущая страница | следующая страница ==>
Термины и определения| Формула Шеннона

mybiblioteka.su - 2015-2024 год. (0.006 сек.)