Исследование источника сообщений на эргодичность.

Под эргодическим источником сообщений понимается такой источник, который создает сообщения, математически описываемые в виде эргодической случайной последовательности. Такая последовательность должна удовлетворять условиям стационарности и эргодичности. Первое означает, что вероятности отдельных знаков и их сочетаний не зависят от расположения последних по длине сообщения. Из второго следует, что статические закономерности, полученные при исследовании одного достаточно длинного сообщения с вероятностью, близкой к единице, справедливы для всех сообщений, создаваемых источником. Из статических характеристик в данном случае нас интересует средняя неопределенность в расчете на один знак последовательности.

Стационарный источник сообщений, выбирающий каждый знак формируемой последовательности независимо от других знаков, всегда является эргодическим. Его также называют источником без памяти.

На практике, однако, чаще встречаются источники, у которых вероятность выбора одного знака сообщения зависит от того, какие знаки были выбраны источником до этого (источники с памятью). Поскольку такая связь, как правило, распространяется на ограниченное число предыдущих знаков, для описания функционирования источника целесообразно использовать цепи Маркова.

Цепь Маркова порядка характеризует последовательность событий, вероятности которых зависят от того, какие событий предшествовали данному. Эти конкретных событий определяют состояние источника, в котором он находится при выдаче очередного знака. При объеме алфавита знаков число различных состояний источника не превышает . Обозначим эти состояния через , а вероятности выбора в состоянии знака - через . При определении вероятности можно предположить, что к моменту выдачи источником очередного знака известны все знаки, созданные им ранее, а, следовательно, и то, в каком состоянии находится источник.

Если источник находится в состоянии , его частная энтропия определяется соотношением:

.

Усредняя случайную величину по всем возможным состояниям , получаем энтропию источника сообщений:

, (4.1.1)

где - вероятность того, что источник сообщений находится в состоянии .

Величина характеризует неопределенность, приходящуюся в среднем на один знак, выдаваемый источником сообщений.

Если статистические связи между знаками полностью отсутствуют, то после выбора источником знака его состояние не меняется . Следовательно, , и для энтропии источника сообщений справедливо выражение:

.

Когда корреляционные связи наблюдаются только между двумя знаками (простая цепь Маркова), максимальное число различных состояний источника равно объему алфавита. Следовательно, и , где . При этом, выражение (4.1.1) принимает вид:

.

При наличии корреляционной связи между тремя знаками состояния источника определяются двумя предшествующими знаками. Поэтому для произвольного состояния источника удобно дать обозначение с двумя индексами , где и .

Тогда

и .

Подставляя эти значения в (4.1.1), находим

.

Аналогично можно получить выражения для энтропии источника сообщений и при более протяженной корреляционной связи между знаками.

Дата добавления: 2015-07-08