Информация и алфавит.

I.Алфавитный подход. (опред-ся) заключ-ся в опред-ии кол-ва инф-ции на один знак алфавита.Кол-во знаков алф. наз-ся мощностью. Мщность рус.алф=33. Мощность алф:А→m, . Энтропийным подходом на практике пользоваться неудобно. Для технических устр-в более подходит алф-ый подход, причем считается, что знаки алфавита равновероятны.Вводится единица-среднее кол-во инф-циина знак . С помощью алф-ого подхода не посчитать кол-во инф-ии. II.Вероятностный подход. Исходим из того, что буквы алфавита выстраиваются с разной вероятностью P_i пусть для равновероятных знаков алф-та . Для подсчета ср.значения кол-ва инф. – ф-ла Шеннона. В этой ф-ле логарифм означает кол-во инф-ции на знак с учетом, что знаки имеют разную вероятность.Тогда вводим множитель Р_i перед log₂, кот.означает долю, вес, кол-во инф-ции в сред.знач. кол-ва инф-ции на знак. n – мощность алф. III. Статистический подход. Буквы естественного алф-та встречаются с частотой, котор опред-ся эксперементально и носит название статистич.вер-ти. В русских текстах чаще всего встречается пробел с вер-стью 0,175; затем «о» - 0,090: «е,ё» - 0,072; «а,ч» - 0,062;реже всего «ф» - 0,002; «э,щ» - 0,003. В общем случае инф-ция, кот.содержится в сообщении может зависеть от того, в какой момент времени оно достигается.В рус.языке ср.знач. I₁=4,31 бит; в англ.I₂=4,04 бит; для франц.I=3,96 бит; для нем.I=4,10 бит.В любом естественном языке может рассмотреть частоту появления не однобуквенных, а 2-3буквенных сочетаний. Ав-нокогда не встретится.Др.сочетания встречаются часто он,ов,она,ова.Относительно одно-и много-буквенных выражений справедливо след.соотношение ;I₀ -среднее кол-во инф-ции на знак алфавита, когда знаки равновероятны; I₁- ср.кол-во при статистически равновероятных однообразных сочетаниях; I₂-среднестатистическое разновероятные двухбуквенных сочетаний. Источник порождает мн-во 6-знаковых сообщений, любой из кот.содержит: 1)знак * 2) знак % 3) знак!;пример: %!!%*!

Т1.(первая Т.Шеннона). При алфавитном кодировании сигналами равной длительности без учета помех всегда найдется такой вариант кодирования при котором средняя длина кода будет макс-но приближаться к мин-ой ср.длине кода.

Дата добавления: 2015-08-02