Прирост информации

Научный закон сжимает множество, даже потенциально бесконечное множество, наблюдений в простую формулу. Это машина для получения информации. В таком контексте мы снова вернемся к предсказаниям и простоте. Информация, полученная из закона, равна информации, полученной при применении закона, минус вложенная информация. Мы можем вложить информацию или в виде набора данных, к которому применяется закон, или в виде формулы, с помощью которой закон закодирован 1. Хотя кодирование формулы должно, в принципе, включаться в любое измерение информационной стоимости теории, в рассматриваемой нами теории ценности мы будем считать длину всех формул примерно одинаковой, а длину входных данных - различной.

Будем рассматривать применение закона как применение функции , где означает закон, - данные, к которым он применяется, а - полученные предсказания. Для правильного закона информационное содержание должно превышать сумму информационного содержания и . Первый критерий указывает, что предсказания не должны быть включены во входные данные; они должны быть новой информацией, не должно быть просто повторением . Теория может предсказывать входные данные, но она должна предсказывать еще что-то помимо них. Наш второй критерий, простота, гарантирует, что в сам закон не заложены заранее все его предсказания. Критерий прироста информации дает более строгую форму обоим критериям: сумма информации во входных данных и формулировке закона должна быть меньше, чем информация в полученных предсказаниях. Только тогда можно получить прирост информации (Solomonoff, 1964).

Дата добавления: 2015-08-26