Формула Шеннона для оценки количества информации и следствия из нее.

Формула Шеннона (1948):

H = - Sumn(рi log2 рi)

H – среднее количество информации при многократном выборе
n – количество альтернатив
рi – вероятности альтернатив
i = 1….n

H = - log2 р
H – количество информации
при однократном выборе
р – вероятность выбранной альтернативы

В двоичном коде каждый двоичный символ несет 1 бит информации.
Кодовое слово длиной в H двоичных символов несет H бит информации
(при условии равной вероятности появления двоичных символов).
Общее количество разных кодовых слов
длиной H бит равно:
N = 2^H
H=8 N = 2^8 = 256
1 байт = 8 бит

1 байт - количество информации, которое соответствует сообщению о выборе одной из 256 равновероятных альтернатив

Кодовая таблица Unicode - используется 2 байта (16 бит) на каждый символ
Количество возможных символов равно 216, примерно 64000 символов

Единицы измерения информации. Связь между длиной двоичного кода и количеством возможных кодируемых альтернатив. Варианты кодирования текстовых символов.

Для информации существуют свои единицы измерения информации. Если рассматривать сообщения информации как последовательность знаков, то их можно представлять битами, а измерять в байтах, килобайтах, мегабайтах, гигабайтах, терабайтах и петабайтах.

Бит

Единицей измерения количества информации является бит –это наименьшая (элементарная) единица.

1бит – это количество информации, содержащейся в сообщении, которое вдвое уменьшает неопределенность знаний о чем-либо.

Байт

Байт – основная единица измерения количества информации.

Байтом называется последовательность из 8 битов. 1 символ – это 1 байт.

Производные единицы измерения количества информации

приставка КИЛО в информатике – это не 1000, а 1024, то есть 2¹⁰.

1 байт - количество информации, которое соответствует сообщению о выборе одной из 256 равновероятных альтернатив

Для представления текстовой информации достаточно 256 различных символов. N = 2I, 256 = 2I, 2^8 = 2I,I = 8 битов Для кодирования каждого знака требуется количество информации, равное 8 битам. Для представления текста в памяти компьютера необходимо представить его в двоичной знаковой системе. Каждому знаку необходимо поставить в соответствие уникальный двоичный код в интервале от 00000000 до 11111111 (в десятичном коде от 0 до 255)

Для представления символов и соответствующих им кодов используется кодовая таблица. В качестве стандарта во всем мире принята таблица ASCII (American Standard Code for Information Interchange – Американский стандартный код для обмена информацией). Условно таблица разделена на части:

от 0 до 32 коды соответствуют операциям;

с 33 по 127 соответствуют символам латинского алфавита, цифрам, знакам арифметических операций и знакам препинания;

со 128 по 255 являются национальными.

знаков В настоящее время существуют пять различных кодировок для русских букв (Windows, MS-DOS, КОИ-8, Mac, ISO), поэтому тексты созданные в одной кодировке не будут правильно отображаться в другой. В последние годы широкое распространение получил новый международный стандарт кодирования текстовых символов Unicode, который отводит на каждый символ 2 байта (16 битов), что позволило закодировать многие алфавиты в одной таблице. N = 2I, N = 216, N = 65536

Принцип работы кодировки KOI-8R такой— каждый символ текста кодируется одним единственным байтом.

Дата добавления: 2015-08-17