Общие понятия. Марковские процессы

Простейшие стохастические процессы

С непрерывным временем

Общие понятия. Марковские процессы

Цепи Маркова могут быть описаны очень грубо как стохастические процессы, в которых будущее зависит лишь от настоящего состояния, но не от прошлой истории, или того способа, которым было достигнуто настоящее состояние. Эти процессы имеют только счетное множество значений (состояний) и зависят от дискретного временного параметра, т.е. изменения могут происходить лишь в фиксированные моменты времени . Мы рассмотрим такие явления как телефонные вызовы, радиоактивный распад и расщепление хромосом, в которых изменения могут происходить в любой момент времени. С математической точки зрения мы будем иметь дело со стохастическими процессами со счетным множеством состояний, но зависящими уже от непрерывного временного параметра. В рамках дискретных вероятностей описание таких процессов невозможно, и мы на самом деле не в состоянии формально определить интересующий нас класс марковских процессов.

Выражение “будущее развитие не зависит от прошлой истории” имеет очевидное интуитивное значение (по крайней мере по аналогии с дискретными цепями Маркова), но для формального определения потребуется понятие условной вероятности, но для формального определения потребуется понятие условной вероятности, лежащее за пределами настоящего изложения. Однако, многие задачи, связанные с такими процессами, можно изучать отдельно при помощи довольно элементарных методов, если принять на веру, что эти процессы действительно существуют.

Переходной вероятности для цепей Маркова теперь соответствует переходная вероятность , а именно условная вероятность состояния в момент при условии, что в момент система находилась в состоянии . Как показывает обозначение, предполагается, что эта вероятность зависит только от продолжительности временного интервала, но не от его положения на оси времени. Такие переходные вероятности называются стационарными или однородными по времени. Основным соотношением является уравнение Колмогорова-Чепмена

, (1.1)

которое основано на следующем рассуждении. Предположим, что в момент времени 0 система находится в состоянии . Тогда -й член в правой части представляет вероятность сложного события, состоящего в том, что система в момент времени находится в состоянии , а в более поздний момент – в состоянии . Но переход из состояния в момент времени 0 в состояние в момент с необходимостью происходит через некоторое промежуточное состояние в момент времени , и, суммируя по всем возможным состояниям , мы видим, что (1.1) должно выполняться для произвольных (фиксированных) и .

Мы будем изучать решения основного уравнения (1.1). Будет показано, что простые постулаты, приспособленные к конкретным ситуациям, приводят к системам дифференциальных уравнений для и что из этих уравнений, даже не решая их можно получить интересные результаты. И эти результаты имеют смысл, потому что наши решения действительно являются переходными вероятностями марковского процесса, который однозначно определяется этими вероятностями и начальным положением в момент времени 0. Этот интуитивно очевидный факт мы примем без доказательства.

Для фиксированных и переходные вероятности определяют обычное дискретное распределение вероятностей. Оно зависит от непрерывного параметра , однако мы уже встречались со многими семействами распределений, зависящих от непрерывного параметра. Технически рассуждения последующих параграфов остаются в рамках дискретных вероятностей, но это искусственное ограничение является для многих целей слишком строгим. Этот момент может проиллюстрировать распределение Пуассона . Нулевой член этого распределения можно интерпретировать как вероятность того, что за интервал времени фиксированной длины не поступило ни одного телефонного вызова. Но тогда будет также вероятностью того, что время ожидания первого вызова превышает , и поэтому мы косвенно имеем дело с непрерывным распределением вероятностей на оси времени.

2. ПУАССОНОВСКИЙ ПРОЦЕСС

Пуассоновский процесс можно рассматривать с различных точек зрения, и здесь мы рассмотрим его в качестве прототипа всех процессов из этой главы. Последующий вывод распределения Пуассона наилучшим образом подходит для наших обобщений, однако он никоим образом не является лучшим и в других контекстах.

В качестве эмпирических предпосылок возьмем такие случайные события, как распад частиц, поступающие телефонные вызовы, расщепление хромосом под воздействием вредной радиации. Предполагается, что все наблюдаемые события однотипны, и мы интересуемся полным числом событий, происшедших в течение произвольного интервала времени длины . Каждое событие представляется точкой на оси времени, и поэтому мы в действительности рассматриваем некоторые случайные размещения точек на прямой. Лежащие в основе нашей математической модели физические предположения состоят в том, что силы и воздействия, управляемые процессом, остаются постоянными, так, что вероятность любого отдельного события одна и та же для всех интервалов времени продолжительности и не зависит от прошлого развития процесса. Математически это означает, что наш процесс является однородным по времени марковским процессом в смысле, описанном в предыдущем параграфе. Как уже говорилось, мы не стремимся к полной теории таких процессов, а удовольствуемся выводом основных вероятностей

. (2.1)

Они могут быть выведены из простых постулатов без обращения к более глубоким теоретическим соображениям.

Чтобы ввести понятия, подходящие и для других процессов из этой главы, мы выберем начало отсчета времени и будем говорить, что в момент времени система находится в состоянии , если между 0 и произошло ровно скачков функции . Тогда равняется вероятности состояния в момент , однако может быть также описана как вероятность перехода из произвольного состояния в произвольный момент времени в состояние к моменту . Теперь наше нестрогое описание процесса мы преобразуем в свойства вероятностей .

Разобьем временной интервал единичной длины на подинтервалов длины . Вероятность скачка внутри любого из этих подинтервалов равна , и поэтому математическое ожидание числа интервалов, содержащих скачки, равно . Интуитивно представляется, что при это число должно стремиться к математическому ожиданию числа скачков внутри произвольного интервала времени единичной длины, и поэтому естественно предположить, что существует число такое, что

. (2.2)

Физическая картина процесса требует также, чтобы скачок обязательно приводил из состояния в соседнее состояние , и отсюда вытекает, что математическое ожидание числа подинтервалов (длины ), содержащих более чем один скачок, должно стремиться к 0. Поэтому мы должны предположить, что при

. (2.3)

Чтобы окончательно сформулировать постулаты, запишем (2.2) в виде , где (как обычно) обозначает величину, по порядку меньшую чем . (Точнее говоря, означает такую величину, что при ). С учетом этого (2.3) эквивалентно соотношению . Сформулируем теперь следующие постулаты.

Постулаты пуассоновского процесса. Процесс начинается в момент времени 0 в состоянии (). Непосредственный переход из состояния возможен только в состояние (). Каково бы ни было состояние процесса в момент времени , (условная) вероятность скачка внутри последующего короткого интервала времени между и равна , тогда как (условная) вероятность наличия в нем более чем одного скачка есть .

Как было объяснено в предыдущем параграфе, эти условия слабее нашего исходного предположения об отсутствии влияния прошлой истории процесса на его будущую эволюцию. С другой стороны, наши постулаты носят чисто аналитический характер, и их достаточно, чтобы показать, что мы должны иметь

. (2.4)

Для доказательства этого возьмем сперва и рассмотрим событие, состоящее в том, что в момент времени система находится в состоянии . Вероятность этого события равна , и осуществиться оно может тремя взаимоисключающими способами.

Во-первых, в момент времени система может находиться в состоянии , и между и не произойдет ни одного скачка. Вероятность этой возможности равна

.

Вторая возможность состоит в том, что в момент времени система находится в состоянии и между и происходит в точности один скачок. Вероятность этого равна .

Любое другое состояние в момент более одного скачка в интервале между и , и вероятность подобного события есть .

Следовательно, мы должны иметь

, (2.5)

а это соотношение можно переписать в виде

. (2.6)

При последний член стремится к нулю; следовательно, предел левой части существует и равен

. (2.7)

При вторая и третья из упомянутых выше возможностей не возникают, и поэтому (2.5) следует заменить на

, (2.8)

что приводит к

. (2.9)

Отсюда и из получаем . Подставляя это значение в (2.7) при , мы получим обыкновенное дифференциальное уравнение для . Поскольку , мы легко находим, что , а это полностью согласуется с (2.4). Продолжая таким же образом, мы последовательно находим все члены (2.4).

Список литературы:

1. Феллер В. Введение в теорию вероятностей и ее приложения. Т. 1. – М.: Мир, 1984.

1. Вентцель Е.С., Овчаров Л.А. Теория случайных процессов и ее инженерные приложения – М.: Высш. шк., 2007

Дата добавления: 2015-07-15