Приложения. Приложение I. Цепи Маркова

Приложение I. Цепи Маркова

Для изучения многих объектов экономики, экологии, биологии широко применяется математический аппарат марковских цепей, одного из частных случаев конечных стохастических процессов.

Пусть имеется последовательность экспериментов, к которых исход -го эксперимента зависит от действия случайных факторов. Однако, если исходы первых экспериментов известны, то можно определить все возможные исходы -го эксперимента и соответствующие вероятности. Если множество исходов при каждом испытании конечно, то такая последовательность называется конечным стохастическим процессом.

Стохастический процесс называется марковской цепью (марковским процессом) если выполняются условия:

- существует конечное множество исходов, включающее все возможные исходы всех испытаний;

- вероятность появления исхода при -м испытании известна, если известен исход -го испытания;

- зависимость вероятности от исхода -го испытания инвариантна относительно .

В марковской цепи информация о предшествующих испытаниях, а также относительно номера проводимого испытания не влияет на вероятности будущих событий, если известен последний исход.

Чтобы описать марковскую цепь, содержащую конечное дискретное множество исходов (и включающую всю совокупность исходов при всех возможных испытаниях), необходимо составить матрицу переходов – элементами которой являются числа , называемые переходными вероятностями ( - это вероятность перехода цепи из состояния в состояние ). Элементы матрицы удовлетворяют условию: = 1, то есть векторы-строки матрицы – это вероятностные векторы, а – стохастическая матрица.

Одна из основных задач, решаемая при изучении цепей Маркова - определение переходных вероятностей высших порядков . Переходная вероятность порядка , обозначаемая - это вероятность того, что цепь находится в состоянии в момент времени t = t, если в начальный момент t=0 она находилась в состоянии .

Вычисление сводится к возведению в степень переходной матрицы . Элемент матрицы равен вероятности .

Если начальное состояние выбирается случайным образом, то можно говорить о векторе вероятностей начальных условий , где компонента определяет вероятность нахождения цепи в начальный момент времени в состоянии . Если известно, что начальное состояние цепи , то вектор вероятностей начальных условий имеет вид , где единице равна -я компонента. Чтобы найти - вероятность пребывания цепи в состоянии в момент времени используют формулу:

, где

Пример. Рассмотрим марковскую цепь, заданную переходной матрицей , . Чтобы найти - вероятности того, что цепь находится в состоянии в момент времени , если в начальный момент она находилась в состоянии , вычислим , и :

, ,

Можно заметить, что вероятности стабилизируются, приближаясь к предельному значению . При . Стационарное распределение цепи – это вектор . При достаточно большом числе шагов цепь с вероятностью может находиться в одном из трёх имеющихся состояний.

Если в начальный момент времени марковская цепь находилась в состоянии , то вектор вероятностей начальных условий имеет вид . Для того, чтобы ответить на вопрос с какими вероятностями марковская цепь будет находиться в состоянии в момент находят произведение :

(0, 1, 0) = (, , )

Дата добавления: 2015-08-05