Марковский процесс - важный специальный вид случайных процессов.

Пусть всевозможными состояниями изучаемой системы являются в конечном или бесконечном числе. В каждый момент времени система может находиться в одном из этих состояний, и с течением времени происходят случайные переходы из одного состояния в другое. Процесс называется Марковским, если состояние системы в некоторый момент времени определяет лишь вероятность того, что через промежуток времени система будет находиться в состоянии , причём эта вероятность не зависит от течения процесса в предыдущий период. Вероятности называют переходными вероятностями.

При очень широких условиях переходные вероятности Марковского процесса удовлетворяют конечной или бесконечной системе линейных однородных обыкновенных дифференциальных уравнений.

Дискретные случайные процессы, обладающие Марковским свойством, называются цепями Маркова. Обычно рассматриваются цепи Маркова с дискретным временем и с непрерывным временем.

В теории цепей Маркова рассматриваются такие системы, которые могут переходить из одного состояния в другое лишь во вполне определённые моменты времени . Пусть обозначает вероятность того, что система в момент времени находится в состоянии , если известно, что в момент времени она находилась в состоянии . Исследование цепей Маркова можно свести к изучению матриц переходных вероятностей .

Традиционно цепь Маркова определяется не для случайных величин, а для исходов случайных испытаний. Пусть - случайные испытания с исходами . Последовательность испытаний называется цепью Маркова с дискретным временем, если выполнено любое из следующих эквивалентных условий:

1) при известном исходе n-го испытания исход (n+1)-го испытания не зависит от совокупности исходов 0-го, 1-го, …, (n-1)-го испытаний;

2) при известном исходе n-го испытания любое событие, определяемое исходами 0-го, 1-го, …, (n-1)-го испытаний, не зависит от любого события, определяемого исходами (n+1)-го, (n+2)-го, … испытаний. Данное свойство, называемое Марковским свойством, кратко выражают так: "при фиксированном настоящем будущее не зависит от прошлого".

2. Определение переходов в результате окончания операций. Обычно в результате выполнения любой операции, действительной или фиктивной, происходит детерминированный переход из данного состояния в другое, вполне определенное. Такие переходы можно отменить стрелочками на схеме, где в виде кружочков изображены различные состояния их множества . Для общности будем считать, что переход из одного состояния в другое при окончании операции случаен. Именно, обозначим через вероятность того, что процесс перейдет в состояние , если в состоянии в момент закончилась - я операция. Если введённые характеристики не зависит от , будем писать короче: .

3. Определение темпа выполнения операций. Действительные операции связаны с выполнением того или иного вида работы. Величина работы выражена в определённых единицах измерения (например, в требуемых затратах времени). В каждом состоянии из будет своё значение темпа выполнения операций, т. е. скорости убывания оставшейся величины работы, связанной с той или иной операцией.

Если - случайный процесс, который мы строим, - число операций, длящихся в данном состоянии процесса, то темп выполнения -й операции обозначим символом . В случае (наиболее часто встречающемся), когда темп постоянен, обозначим его .

Если величина работы, связанная с выполнением операции, выражена в единицах времени, то принимает два значения - единица, когда операция выполняется, и нуль, когда требование находится в состоянии ожидания либо выполнение операции остановлено (скажем, ввиду поступления приоритетного требования). Однако при описании реальных систем иногда приходится вводить и большее число возможных значений , как, например, в случае высокопроизводительной, но ненадёжной автоматизированной системы управления каким-либо объектом, дублируемой ручным управлением.

4. Определение распределения величины работы. Как было отмечено, каждая операция связана с выполнением некоторой работы. Вводится условие, согласно которому величины работы, соответствующие различным операциям, независимы в совокупности. Без этого условия построение Марковской модели было бы затруднительным. Если имеется фактическая зависимость операций, свойственных некоторой физической системе, то можно попытаться исключить её путём расчленения данных операций на более мелкие. (Может случиться, что зависимость наблюдается вследствие того, что в состав исходных операций входит некоторая общая операция.)

Далее, принимается следующее предположение. Если и - величина остаточной работы, связанной с выполнением -й операции. То при любой фиксированной траектории процесса в интервале - независимые случайные величины, имеющие экспоненциальное распределение с параметрами соответственно.

Принятое предположение следует из условия экспоненциальности распределения величины по выполнению длящихся в системе операций. Данный подход применим также в ситуации, когда распределение величины работы эрланговское или гиперэрланговское с плотностью вида

 (*)

для эрланговского и

(**)

для гиперэрланговского распределения

.

При построении Марковской модели функционирования системы, в которой имеется операция с величиной работы, распределённой по закону (*), эту операцию можно заменить последовательно производимыми фиктивными операциями, так что каждой из них будет соответствовать экспоненциально распределённая величина с параметром . Эти операции называются фиктивными фазами и нумеруются во времени в порядке убывания фаз - от -й до первой. При окончании первой фиктивной фазы заканчиваются и вся операция, которой соответствует распределение величины работы вида (*).

В случае, когда плотность величины работы имеет вид (**), в начале операции выбираются номер фиктивной фазы: номер выпадает с вероятностью , . После этого всё происходит точно так же, как и в предыдущем случае.

Теоремы о возможности аппроксимации произвольного распределения неотрицательной случайной величиной гиперэрланговским распределением в некоторой метрике приведены в [2].

5. Расчёт интенсивностей перехода. Пусть - два состояние процесса . Тогда интенсивность перехода из состояния в состояние в момент равна:

. (***)

При детерминированном характере перехода из одних состояний в другие при окончании в сумме, записанной в правой части (***), как правило, имеется не более одного ненумерованного слагаемого. В результате выполнения указанных пяти этапов Марковская модель построена полностью.

Размещено на Allbest.ru