Читайте также: |
|
Основой современного представления о информации является энтропия. Если исследуемый объект, не содержит информации, то очевидно, что его энтропия = 0.
Предположим, что опыту имеющему энтропию Н(
) предшествует опыт
. Очевидно, что в некоторых случаях опыт
может снизить энтропию опыта
.
Если опыты и
связаны между собой, то это обстоятельство может привести к уменьшению энтропии
, причем, если опыт
полностью исчерпает неопределенность опыта
, то Н(
) м.б. = 0. если же опыт
и
не связаны между собой, то Н(
) останется без изменений. В этом случае мы не получим никакой информации.
Исходя из этих рассуждений, можем записать, что информация
I() = Н(
) - Н
(
)
Данное определение является не единственным определением информации, но его удобство заключается в том, что при исследовании мы получаем информацию, используя вспомогательные понятия или опыт.
Дата добавления: 2015-10-21; просмотров: 86 | Нарушение авторских прав
<== предыдущая страница | | | следующая страница ==> |
Свойства условной энтропии | | | Избыточность в языке |