Математическая статистика

.

Эту формулу называют равенством Маркова.

Зная все переходные вероятности , т.е. зная матрицу перехода из состояния в состояние за один шаг, можно найти вероятности перехода из состояния в состояние за два шага, а значит, и саму матрицу перехода , далее - по известной матрице - найти и т.д.

Действительно, полагая в равенстве Маркова n=2, m=1 получим:

или . В матричном виде это можно записать, как .

Полагая n=3, m=2, получим . В общем случае справедливо соотношение .

Пример. Пусть матрица перехода равна .

Требуется найти матрицу перехода:

.

Умножая матрицу саму на себя, получим .

Для практических применений чрезвычайно важным является вопрос о расчете вероятности нахождения системы в том или ином состоянии в конкретный момент времени. Решение этого вопроса требует знания начальных условий, т.е. вероятностей нахождения системы в определенных состояниях в начальный момент времени. Начальным распределением вероятностей марковской цепи называется распределение вероятностей состояний в начале процесса .

Здесь через обозначена вероятность нахождения системы в состоянии в начальный момент времени. В частном случае, если начальное состояние системы в точности известно (например ), то начальная вероятность , а все остальные равны нулю.

Если для однородной цепи Маркова заданы начальное распределение вероятностей и матрица перехода, то вероятности состояний системы на n-м шаге вычисляются по рекуррентной формуле:

.

Для иллюстрации приведем простой пример. Рассмотрим процесс функционирования некоторой системы (например, прибора). Пусть прибор в течение одних суток может находиться в одном из двух состояний - исправном () и неисправном (). В результате массовых наблюдений за работой прибора составлена следующая матрица перехода:

,

где - вероятность того, что прибор останется в исправном состоянии;

- вероятность перехода прибора из исправного в неисправное состояние;

- вероятность перехода прибора из неисправного в исправное состояние;

- вероятность того, что прибор останется в состоянии «неисправен».

Пусть вектор начальных вероятностей состояний прибора задан соотношением , т.е. (в начальный момент прибор был неисправен). Требуется определить вероятности состояния прибора через трое суток.

Решение: Используя матрицу перехода, определим вероятности состояний после первого шага (после первых суток):

.

Вероятности состояний после второго шага (вторых суток) равны:

Наконец, вероятности состояний после третьего шага (третьих суток) равны:

.

Таким образом, вероятность того, что прибор будет находиться в исправном состоянии равна 0,819, и того, что в неисправном - соответственно 0,181.

Цепи Маркова с непрерывным временем

Марковский случайный процесс называется цепью Маркова с непрерывным временем, если переходы системы из состояния в состояние происходят не в фиксированные, а в случайные моменты времени.

Время наступления событий часто предсказать заранее невозможно. Например, любая деталь устройства или агрегат могут выйти из строя в любой, непредсказуемый момент времени. Описание таких, и гораздо более сложных ситуаций возможно при использовании формализма непрерывных цепей Маркова.

Пусть система характеризуется состояниями , и переход из состояния в состояние может происходить в любой момент времени. Обозначим через вероятность того, что в момент времени система будет находиться в состоянии . Требуется определить для любого момента времени вероятности состояний . При этом, очевидно, должно выполняться условие нормировки:

.

Для процесса с непрерывным временем вместо переходных вероятностей рассматриваются плотности вероятностей перехода , представляющие собой предел отношения вероятности перехода системы за время из состояния в состояние к величине :

,(1)

где - вероятность того, что система, пребывавшая в момент в состоянии , за время перейдет из него в состояние ; при этом всегда .

Если , то процесс называется однородным, если же , то - неоднородным.

При рассмотрении непрерывных марковских процессов принято считать, что переходы системы происходят под влиянием некоторых потоков событий.

Потоком событий называется последовательность событий, следующих одно за другим через какие-то случайные интервалы времени. Плотность вероятности перехода интерпретируется, как интенсивность соответствующих потоков событий. Если все эти потоки пуассоновские, то процесс, протекающий в системе, является марковским.

Марковские процессы удобно иллюстрировать с помощью графа состояний (Рис. 1), где кружками обозначены состояния системы, а стрелками - возможные ее переходы. Задержки в прежнем состоянии изображают «петлей», т.е. стрелкой, направленной из данного состояния в него же. Число состояний системы может быть как конечным, так и бесконечным.

Размещено на http://www.allbest.ru/

Как правило, в графе состояний над стрелками проставляют соответствующие переходам интенсивности . Такой граф называют размеченным.

Марковский процесс с дискретными состояниями называется процессом гибели и размножения, если все состояния можно вытянуть в цепочку, в которой каждое из промежуточных состояний может переходить только в соседние состояния, а крайние состояния переходят лишь в состояния и соответственно. Граф состояний такой системы приведен на рис.4.

Название схемы взято из биологических задач, где состояние популяции означает наличие в ней особей.

На рис.4 переход вправо соответствует увеличению популяции, влево - ее уменьшению. Таким образом, можно определить как интенсивности размножения, а - как интенсивности гибели. Используется следующее соглашение: буквам и приписывается индекс того состояния, из которого выходит стрелка.

Марковским процессом гибели и размножения с непрерывным временем называется такой случайный процесс, исследуемый параметр которого может принимать только целые неотрицательные значения. Изменения рассматриваемого параметра могут происходить в любой момент времени, т.е. в любой момент времени он может либо увеличиться, либо уменьшиться на единицу.

Процессом чистого размножения называется такой процесс, у которого интенсивности всех потоков гибели равны нулю; аналогично процессом чистой «гибели» называется процесс, у которого равны нулю интенсивности всех потоков размножения.

Предельные (финальные) вероятности состояний для простейшего эргодического процесса гибели и размножения, находящегося в стационарном режиме, определяются по следующим формулам:

В качестве примера решения системы уравнений схемы гибели и размножения рассмотрим эксплуатацию автомобилей в крупной транспортной фирме.

Интенсивность поступления автомобилей на предприятие равна . Каждый поступивший на предприятие автомобиль списывается через случайное время . Срок службы автомобиля распределен по показательному закону с параметром . Процесс эксплуатации автомобилей является случайным процессом. - число автомобилей данной марки, находящихся в эксплуатации в момент времени .

Рассмотрим два случая: 1) нет ограничений на число эксплуатируемых автомобилей, 2) на предприятии может эксплуатироваться не более автомобилей.

Если в начальный момент на предприятии не было ни одного автомобиля, то решать систему уравнений нужно при начальных условиях:

.

Аналогично, если при эксплуатировалось автомобилей, то начальные условия имеют вид:

Решение системы дифференциальных уравнений Колмогорова при произвольном виде функции не может быть найдено в аналитическом виде. Однако при постоянных интенсивностях потоков гибели и размножения и конечном числе состояний будет существовать стационарный режим. Система в этом случае является простейшей эргодической системой.

Если интенсивности потока поступления и списания автомобилей постоянны, то оказываются справедливы формулы:

1. Максимальное число автомобилей не ограничено:

.

2. Математическое ожидание (среднее значение) числа эксплуатируемых автомобилей:

;

При ограниченном

В этом случае математическое ожидание равно:

Предельные вероятности

Следующей важной задачей является исследование вероятностей переходов системы при неограниченном увеличении числа .

Теорема Маркова. Пусть существует такое число шагов, при которых все вероятности строго положительны (отличны от нуля). Тогда для каждого состояния существует предельная вероятность его наступления, т.е. такое число , что независимо от исходного состояния имеет место равенство .

Смысл содержащегося в теореме утверждения интуитивно понятен: вероятность того, что система окажется в состоянии не зависит от предыстории системы и мало отличается от предельной величины . Найти эти вероятности можно следующим образом. Воспользуемся доказанным ранее равенством Маркова . Если перейти к пределу при , то получим . Если дополнить это уравнение условием нормировки , то получится система уравнений, решениями которой и будут искомые величины . Причем, несложно показать, что эта система определяет величины однозначно, т.е. полученные значения единственны.

Размещено на Allbest.ru