Статистическая мера информации

Энтропия группы событий – есть количественная мера его неопределенности и следовательно информативности количественно выражаемая как средняя функция множества вероятностей каждого из возможных исходов опыта.

Пусть N – количество возможных исходов

k – количество типов

n – количество повторений i-го исхода

– количество информации типа исхода

Количество информации в каждом исходе связано с его вероятностью типа и выражается как

– энтропия

Свойства энтропии:

1. Энтропия всегда неотрицательна.

2. Энтропия равна нулю, когда одно из p_i =1, а остальные равны 0

3. Энтропия имеет наибольшее значение, когда все вероятности равны между собой.

4. Энтропия объекта, состояние которого образуется совместной реализацией состояний двух других объектов, равна сумме энтропии исходных объектов.

Дата добавления: 2015-07-20