Поглощающие цепи .

Пример. Пусть переходная матрица имеет вид: P =

Несложно заметить, что состояния и - поглощающие. В каждое них можно перейти из любого непоглощающего состояния. Цепь Маркова, которую предстоит рассмотреть, является поглощающей.

Известно, что в конечной поглощающей цепи Маркова, вероятность поглощения (перехода системы в поглощающее состояние) равна 1. Изучая процесс, можно определить:

- вероятность перехода в поглощающее состояние при условии, что процесс начался в непоглощающем состоянии ;

- среднее время пребывания процесса в в непоглощающем состоянии до его перехода в некоторое поглощающее состояние при условии, что в начальный момент, он находился в непоглощающем состоянии ;

- среднее число шагов до перехода процесса в некоторое поглощающее состояние при условии, что начальное состояние есть непоглощающее состояние .

Запишем переходную матрицу в канонической форме. Для этого необходимо так перенумеровать состояния, чтобы поглощающие состояния получили первые номера.

В рассматриваемом примере каноническая форма матрицы P имеет вид (теперь и – поглощающие состояния, а - непоглощающие):

P=

В общем виде: , где

– единичная матрица размерности – количество поглощающих состояний в цепи;

0 – нулевая матрица размерности ;

– матрица размерности , элементы которой – переходные вероятности, определяющие переходы из непоглощающих состояний в поглощающие;

– матрица размерности , указывающая переходные вероятности из непоглощающих состояний в непоглощающие.

В рассматриваемом примере: , .

Для поглощающей цепи Маркова с переходной матрицей, представленной в канонической форме справедливы утверждения:

1. .

2. Матрица имеет обратную матрицу.

3.

Матрица называется фундаментальной матрицей поглощающей цепи Маркова. Элемент матрицы равен среднему числу попаданий (или среднему времени) цепи до поглощения в непоглощающее состояние при условии, что в начальный момент времени она находилась в непоглощающем состоянии .

Дисперсии величин (элементов фундаментальной матрицы ) являются элементами матрицы , которую находят по формуле:

, где

- диагональная матрица (её диагональные элементы равны диагональным элементам матрицы , остальные – нули);

- матрица, элементы которой равны квадратам соответствующих элементов матрицы .

Обозначим за - среднее число шагов до поглощения, определяемое при условии, что в начальный момент времени процесс находился в непоглощающем состоянии , равное сумме элементов -строки матрицы . - элементы вектора , который находят умножая фундаментальную матрицу на вектор размерности , составленный из единиц:

, где .

Дисперсии величин являются элементами вектора который находят по формуле:

где - вектор, элементами которого являются квадраты элементов вектора .

Вероятности попадания цепи в поглощающее состояние при условии, что в начальный момент времени процесс находился в непоглощающем состоянии являются элементами матрицы B размерности , которую находят по формуле: , где определяется канонической матрицей поглощающей цепи.

Вычислим фундаментальную матрицу элементы которой равны среднему числу попаданий цепи до поглощения в непоглощающее состояние при условии, что в начальный момент времени она находилась в непоглощающем состоянии.

- =

=

Вероятности попадания цепи в поглощающее состояние , при условии, что в начальный момент времени процесс находился в непоглощающем состоянии , являются элементами матрицы :

= =

Например, если в начальный момент процесс находился в непоглощающем состоянии , то он будет поглощён поглощающим состоянием с вероятностью .

Элементы вектора , – это среднее число шагов до поглощения, определяемое при условии, что в начальный момент времени процесс находился в непоглощающем состоянии , ( равно сумме элементов -строки матрицы ):

= =

Например, если в момент процесс находился в непоглощающем состоянии , то он проведёт в непоглощающем состоянии в среднем шагов.

Дата добавления: 2015-08-05