Читайте также: |
|
Основой современного представления о информации является энтропия. Если исследуемый объект, не содержит информации, то очевидно, что его энтропия = 0.
Предположим, что опыту имеющему энтропию Н() предшествует опыт . Очевидно, что в некоторых случаях опыт может снизить энтропию опыта .
Если опыты и связаны между собой, то это обстоятельство может привести к уменьшению энтропии , причем, если опыт полностью исчерпает неопределенность опыта , то Н() м.б. = 0. если же опыт и не связаны между собой, то Н() останется без изменений. В этом случае мы не получим никакой информации.
Исходя из этих рассуждений, можем записать, что информация
I() = Н() - Н ()
Данное определение является не единственным определением информации, но его удобство заключается в том, что при исследовании мы получаем информацию, используя вспомогательные понятия или опыт.
Дата добавления: 2015-10-21; просмотров: 86 | Нарушение авторских прав
<== предыдущая страница | | | следующая страница ==> |
Свойства условной энтропии | | | Избыточность в языке |