Студопедия
Случайная страница | ТОМ-1 | ТОМ-2 | ТОМ-3
АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатика
ИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханика
ОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторика
СоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансы
ХимияЧерчениеЭкологияЭкономикаЭлектроника

Определение по Шеннону

Читайте также:
  1. A. Определение
  2. I. ОПРЕДЕЛЕНИЕ ИНТУИЦИИ
  3. I. ОПРЕДЕЛЕНИЕ НАВИГАЦИОННЫХ ЭЛЕМЕНТОВ
  4. II. Определение возможного способа разработки системы.
  5. II. Терминология и определение понятий
  6. III – 2. Расчёт теплового баланса, определение КПД и расхода топлива
  7. III. Определение параметров новой системы

Клод Шеннон предположил, что прирост информации равен утраченной неопределённости, и задал требования к её измерению:

мера должна быть непрерывной; то есть изменение значения величины вероятности на малую величину должно вызывать малое результирующее изменение функции;

в случае, когда все варианты (буквы в приведённом примере) равновероятны, увеличение количества вариантов (букв) должно всегда увеличивать значение функции;

должна быть возможность сделать выбор (в нашем примере букв) в два шага, в которых значение функции конечного результата должно являться суммой функций промежуточных результатов.

Поэтому функция энтропии должна удовлетворять условиям:

определена и непрерывна для всех , где для всех и . (Нетрудно видеть, что эта функция зависит только от распределения вероятностей, но не от алфавита.)

1. Для целых положительных , должно выполняться следующее неравенство:

2. Для целых положительных , где , должно выполняться равенство:

Шеннон показал,[ источник не указан 633 дня ] что единственная функция, удовлетворяющая этим требованиям, имеет вид:

где — константа (и в действительности нужна только для выбора единиц измерения).

Шеннон определил, что измерение энтропии (), применяемое к источнику информации, может определить требования к минимальной пропускной способности канала, требуемой для надёжной передачи информации в виде закодированных двоичных чисел. Для вывода формулы Шеннона необходимо вычислитьматематическое ожидание «количества информации», содержащегося в цифре из источника информации. Мера энтропии Шеннона выражает неуверенность реализации случайной переменной. Таким образом, энтропия является разницей между информацией, содержащейся в сообщении, и той частью информации, которая точно известна (или хорошо предсказуема) в сообщении. Примером этого является избыточность языка — имеются явные статистические закономерности в появлении букв, пар последовательных букв, троек и т. д. (см. цепи Маркова).Определение энтропии Шеннона связано с понятием термодинамической энтропии. Больцман и Гиббс проделали большую работу по статистической термодинамике, которая способствовала принятию слова «энтропия» в информационную теорию. Существует связь между термодинамической и информационной энтропией. Например, демон Максвеллатакже противопоставляет термодинамическую энтропию информации, и получение какого-либо количества информации равно потерянной энтропии.

ВОПРОС 6. Системы счисления. Позиционные и непозиционные системы счисления. Система счисления - это совокупность правил и приемов записи чисел с помощью набора цифровых знаков. Количество цифр, необходимых для записи числа в системе, называют основанием системы счисления.

Различают два вида систем счисления: позиционные и непозиционные системы

Позиционные, когда значение каждой цифры числа определяется ее позицией в записи числа;

Непозиционные, когда значение цифры в числе не зависит от ее места в записи числа.

Примером непозиционной системы счисления является римская: числа IX, IV, XV и т.д. Примером позиционной системы счисления является десятичная система, используемая повседневно. Позиционная система счисленияПозиционная система счисления это система счисления в которой значение цифры зависит от разряда.


Дата добавления: 2015-11-26; просмотров: 83 | Нарушение авторских прав



mybiblioteka.su - 2015-2024 год. (0.008 сек.)