Лабораторная работа №6. Типичные и нетипичные комбинации источника дискретных сообщений

Все последовательности, длинной выдаваемые дискретным источником сообщений можно разделить на типичные и не типичные. Например, типичная комбинация для дискретного источника сообщений, выдающий осмысленный текст на русском языке, это слова с средней длинной символов. Не типичная комбинация, в этом случае будет бессмысленный набор символов длинной .

Если, в качестве выходной информации источника рассматривать типичные комбинации (обозначим его как ), то максимально возможная энтропия такого источника будет равна

В этом случае энтропию исходного источника сообщений, через количество типичных комбинаций можно записать как

Исходя из (6.1) количество типичных комбинаций можно выразить как

(6.2)

С учетом того, что избыточность источника , , формулу (6.2) можно переписать как

.

Общее количество комбинаций источника дискретных сообщений длиной равно

Соотношение между типичными и нетипичными комбинациями можно выразить как

, (6.3)

. (6.4)

Например, если в качестве источника дискретных сообщений рассмотреть текст, написанный на русском языке, то средняя длинна слова будет равна шести символам. Будем рассматривать в качестве типичной комбинации рассматривать осмысленные слова, а в качестве нетипичной комбинации бессмысленный набор символов длинной в шесть символов.

В этом случае при и

,

.

Исходя из выше изложенного можно утверждать, что всего в русском языке можно построить возможных слов, но осмысленными из них будет только слов.

Дата добавления: 2015-10-21