Стохастическая полумарковская модель

Размещено на http://www.allbest.ru/

Содержание

Введение

Глава 1. Стохастическая полумарковская модель управления запасом непрерывного продукта

1.1 Описание стохастической полумарковской модели управления запасом непрерывного продукта. Основные исходные характеристики

1.2 Постановка задачи оптимального управления в полумарковской модели

Глава 2. Аналитические представления для вероятностных характеристик полумарковской модели и решение задачи оптимального управления

2.1 Вероятностные характеристики полумарковской модели

2.2 Аналитические представления для характеристик стоимостного аддитивного функционала

2.3 Аналитические преобразования вероятностных и стоимостных характеристик полумарковской модели

2.4 Теорема о структуре стационарного стоимостного показателя качества управления

2.5 Решение задачи оптимального управления

Заключение

Список использованных источников



Введение

Анализ функционирования экономических систем пожалуй самое востребованное в современном мире направление стохастической теории управления. Например, в экономической среде крайне важной является проблема хранения и поставка товаров непосредственному потребителю.

В таких системах задача оптимального управления обычно формулируется как задача по определению оптимальных значений параметров вероятностных распределений или случайных процессов, доставляющих экстремум некоторому заданному показателю качества управления.

Существует множество работ над стохастической теорией запасов. Стоит отметить несколько изданий, посвященных данной проблеме, в том числе работы [1-4]. Также, исследование некоторых общих полумарковских моделей управления запасом проводилось в работах [5,6].

Стохастическая модель регенерирующего процесса с управлением, описывающая некоторую систему, которая предназначена для хранения и поставки потребителю непрерывного продукта, была исследована в работах [7-9]. Эти базовые для данной работы статьи имеют особенность в том, что в результате пополнения запаса непрерывный параметр, характеризующий объем продукта, фиксировано задается максимальным значением возможного объема хранения запаса в момент его пополнения. Благодаря этой особенности было возможно использовать для описания модели регенерационный процесс, с моментами регенерации, представляющими непосредственный момент пополнения запаса некоего продукта. В данном случае, показателями качества управления были стационарные функционалы, напрямую связанные с регенерирующим процессом: средняя удельная прибыль и средние удельные затраты. Было установлено, что в данном случае детерминированная стратегия является оптимальной стратегией управления, а так же, что оптимальное значение параметра управления является точкой глобального экстремума некоторой заданной функции одной переменной, которая соответствует исходному показателю качества управления.

Основные результаты такого исследования, как и в данной работе, были сформулированы в виде теорем. Было доказано, что для рассматриваемой задачи при нормальных условиях существует явное аналитическое решение, и, более того, было приведено конкретное численное решение оптимизационной задачи.

В этой работе, в отличие от приведенных выше, исследуется более сложная система управления запасом, которая тем не менее базируется на предыдущей. Так же как и в работах [7, 8], потребление некоторого продукта идет с заранее заданной неизменной скоростью ; параметром управления является случайное время между моментами пополнения запаса продукта и заказа на очередное пополнение. Так же как в работе [9] пополнение запаса происходит по сложной схеме, c учетом состояния системы до и после пополнения момента регенерации, а также учитываются отклонения на случайную величину от планируемого объема поставки. Однако, в данной работе учитываются дополнительные стоимостные характеристики, а точнее оплата за поставку продукта. Данные изменения делают необходимым пересмотр результатов предыдущих работ и уточнения итогового аналитического решения.

Во всех из вышеперечисленных работ вводится дополнительный случайный процесс для сведения задачи к полумарковскому случаю. Таким образом, в итоге, в описываемой системе используются следующие случайные процессы:

1) Главный (основной) процесс , значение которого является характеристикой объема запаса товара, который находится в системе непосредственно в момент времени .

2) Сопровождающий управляемый полумарковский процесс с конечным множеством состояний (t).

Использование сопровождающего процесса является стандартным ходом и служит для того, что бы можно было применить для решения данной задачи известные результаты по управлению полумарковским процессом с конечным множеством состояний стационарными стоимостными показателями качества управления. В итоге было установлено, что оптимальной стратегией управления является детерминированная стратегия, задаваемая набором фиксированных значений параметра управления, которые соответствуют каждому из состояний введенного случайного процесса. Этот набор оптимальных значений параметра управления является точкой глобального экстремума функции от нескольких вещественных переменных. В настоящем исследовании указано явное представление для функции, которая соответствует стационарному стоимостному функционалу средней удельной прибыли. Для описания данной функции используются вероятностные и стоимостные характеристики модели. Их явные представления определены и представлены в виде теорем. Всего есть три такие характеристики:

1) Вероятности перехода цепи Маркова, вложенной в сопровождающий полумарковский процесс;

2) Математические ожидания длительностей пребывания сопровождающего полумарковского процесса в различных состояниях.

3) Математические ожидания прибыли, связанной с пребыванием сопровождающего полумарковского процесса в различных состояниях.

Последняя характеристика претерпевает наибольшие изменения в данной работе, так как основные нововведения сосредоточены на уточнении функционала прибыли и добавления новых переменных.

Полученный в ходе работы результат позволяет воплотить численный алгоритм по определения оптимальных значений параметров управления для любых заданных исходных характеристик рассматриваемой модели.

полумарковский стохастический вероятностный управление



Глава 1. Стохастическая полумарковская модель управления запасом непрерывного продукта

1.1 Описание стохастической полумарковской модели управления запасом непрерывного продукта. Основные исходные характеристики

Рассмотрим основные вероятностные характеристики системы. Обозначим через , случайный процесс с множеством состояний где -- заданная положительная величина. Параметр соответствует объему продукта в момент времени t, отрицательное значение параметра -- наличию в системе неудовлетворенного спроса (дефицита).

Проведем дискретизацию модели -- разобьем множество возможных значений объема запаса на конечное число подмножеств

Если в момент очередного пополнения уровень запаса в системе , то последующий заказ планируется через время

где -- случайная величина с функцией распределения

.

Введем следующие обозначения:

1) -- случайная величина, описывающая длительность периода задержки поставки, если состояние системы в момент заказа



;

2) -- случайная величина, характеризующая длительность периода задержки поставки, если состояние системы в момент заказа .

-функции распределения случайных величин .

4) ==

-- заданные величины, которые представляют собой математические ожидания длительности периода задержки поставки.

За время задержки поставки происходит формирование заказа и его выполнение. В рамках рассматриваемой модели непосредственное пополнение запаса осуществляется мгновенно в конечный момент данного периода задержки.

Непосредственное пополнение запаса формально представляет собой переход процесса из одного подмножества в другое. Для описания этого перехода введем следующие системы вероятностных характеристик:

1) -- вероятности перехода из в ,

где;

2) -- вероятности перехода из в ,

где;

В принятой модели предполагается, что в результате пополнения дефицит запаса в системе всегда ликвидируется. Если после пополнения процесс, описывающий уровень запаса, оказывается в подмножестве состояний , то состояние внутри этого подмножества(точный уровень запаса) определяется в соответствии с распределением вероятностей , заданном на множестве . Такие вероятностные распределения описывают случайные отклонения объема поставки продукта. Принимается, что вероятностные характеристики , известны.

Эволюция процесса после момента очередного заказа зависит только от номера подмножества состояний, в котором оказался этот процесс в момент заказа. Кроме того, эволюция процесса после момента очередного пополнения запаса не зависит от прошлого и зависит только от номера подмножества состояний, в котором оказался этот процесс в результате пополнения запаса. В этом смысле случайный процесс описывающий объем запаса в системе, в моменты заказа и моменты непосредственного пополнения запаса обладает марковским свойством.

Введем сопровождающий (вспомогательный) полумарковский случайный процесс , с конечным множеством состояний с помощью вложенной цепи Маркова.

Пусть -- случайные моменты завершения пополнения запаса, . Предполагается, что объем запаса в начальный момент времени является заданной величиной , принадлежащей одному из возможных интервалов разбиения ,. В частности, .

Пусть -- номер подмножества состояний, в котором оказался процесс в момент времени (непосредственно после очередного пополнения запаса). Другими словами, если ) , то . Последовательность случайных величин образует цепь Маркова. Случайный процесс связанный с последовательностью , определим с помощью соотношения

, .

Случайный процесс , представляет собой управляемый полумарковский процесс с конечным множеством состояний траектории которого непрерывны справа. Последовательность является цепью Маркова, вложенной в этот процесс. Управление процессом осуществляется в моменты времени (после определения значения процесса

Параметр управления -- случайная величина, характеризующая длительность периода времени до момента следующего заказа на пополнение запаса. Если , то = (равенство случайных величин понимается как совпадение функций распределения). Множество допустимых значений параметра управления совпадает с множеством неотрицательных чисел,

Задача оптимизации управления запасом в этой стохастической модели, или задача управления построенным сопровождающим полумарковским процессом, заключается в выборе управляющих вероятностных распределений

доставляющих экстремум некоторому показателю качества управления



1.2 Постановка задачи оптимального управления в полумарковской модели

Поставим формальную задачу оптимального управления в стохастической модели. Для этого понадобится задать целевой функционал или показатель качества управления. Нужно рассмотреть некоторый аддитивный стоимостной функционал, который связан с заданными выше случайными процессами.

Воспользуемся стандартной схемой, которую используют в теории управления полумарковскими процессами, в качестве целевого функционала как характеристику эффективности управления в данной модели, будем использовать стационарный показатель вида:

где -- математическое ожидание значения стоимостного функционала в момент времени ; -- стационарное распределение цепи Маркова, которая вложена во введенный полумарковский процесс; -- математическое ожидание изменения исходного аддитивного стоимостного функционала за все время нахождения сопровождающего процесса (t) в состоянии , -- математическое ожидание времени пребывания процесса (t) в состоянии до перехода в следующее состояние .

Заметим, что величина зависит от вероятностных распределений, определяющих стратегию управления в стохастической полумарковской модели. В данной задаче эта величина является функционалом управляющих распределений . Функционал может, например, характеризовать средние удельные издержки или среднюю удельную прибыль в стационарном режиме функционирования системы.

Что бы определить вероятностную и стоимостную характеристики нужно построить дополнительную конструкцию. Введем группу событий, которые непосредственно связаны с состоянием исследуемой системы в момент заказа на пополнение некоторого продукта. Зафиксируем состояние процесса (t) в момент очередного пополнения запаса: . Далее, рассмотрим некоторые вероятностные характеристики с учетом того, что реализуется данное событие ( = i).

Момент следующего заказа на пополнение продукта будем обозначать как . Рассмотрим группу событий.

Видно, что эти события попарно несовместны и образуют полную группу.

Для дальнейших рассуждений нам понадобится ввести несколько вспомогательных характеристик:

-- условная вероятность того, что в момент заказа процесс находится в подмножестве состояний при условии, что в момент начала данного периода эволюции реализовалось событие ()

=

-- описывается формулой и является математическим ожиданием, определяемым совместным распределением времени пребывания случайного процесса (t) в состоянии и события ;

-- описывается формулой и является математическим, определяемым совместным распределением времени пребывания случайного процесса (t) в состоянии и события ,;

-- математическое ожидание совместного распределению прибыли, которая была получена за время пребывания случайного процесса (t) в состоянии , и события ;

-- математическое ожидание совместного распределению прибыли, которая была получена за время пребывания случайного процесса (t) в состоянии , и события ,.

Тогда основные характеристики полумарковской модели (как вероятностные, так и стоимостные) можно выразить с помощью введенных вспомогательных величин:

Формула является вероятностной характеристикой характеризующая вероятности перехода для вложенной цепи Маркова полумарковского процесса (t) из состояния в состояние ; формула так же является вероятностной характеристикой и означает математическое ожидание времени пребывания процесса (t) в состоянии до очередного перехода в другое состояние; формула является стоимостной характеристикой и означает математическое ожидание прибыли, полученной за время пребывания (t) в состоянии до перехода.

Далее нужно получить аналитическое представление для каждой из представленных вспомогательных величин (1)-(3).



Глава 2. Аналитические представления для вероятностных характеристик полумарковской модели и решение задачи оптимального управления

2.1 Вероятностные характеристики полумарковской модели

Формулы для условных вероятностей

Обозначим

Теорема 1. В рассматриваемой стохастической полумарковской модели формулы для условных вероятностных имеют вид:

где ,

Доказательство теоремы.

Обоснуем формулу (1). Фиксируем условие, которое гласит, что в результате нового пополнения запаса некоторого продукта основной процесс принимает значение . При этом условии событие будет реализовано только в случае, если объем запаса товара, который потребили за время начиная от момента пополнения и заканчивая моментом нового заказа, будет удовлетворять двойному неравенству

Следовательно, соответствующая условная вероятность события определяется как

Усредняя эту условную вероятность по распределению , получаем формулу (1), формулы (2) (4) выводятся аналогично.

Формулы для математических ожиданий.

Теорема 2.

Формулы условных математических ожиданий для описанной задачи имеют вид:

\Доказательство теоремы.

Докажем формулу (5). Зафиксируем условие, состоящее в том, что в результате очередного пополнения запаса процесс принял значение . Иначе говоря, . При этом сопровождающий случайный процесс принимает значение и сохраняет это значение до момента следующего пополнения запаса

Обозначим через момент заказа на интервале . Случайное время пребывания сопровождающего процесса в состоянии представляет собой сумму случайных величин

По определению

По свойству математических ожиданий

Найдем выражения для обоих слагаемых, входящих в правую часть формулы (9).

Получим выражение для

При дополнительном условии событие реализуется тогда и только тогда, когда объем запаса, потребленного за время удовлетворяет неравенству

Отметим, что величина является параметром управления в данной модели. Итак, при условии , событие совпадает с событием

Можно увидеть, что 

Если проведем усреднение (10) по распределению значений процесса , то получим, что

Получаем выражение для , где промежуток времени между является случайным периодом задержки пополнения запаса.

Из принятой нами модели следует, что

где- задаются.

Также,

Из формулы полной вероятности и свойства математического ожидания из (12) и (13) получим



Из-за того, что в нашей модели присутствует марковское свойство в момент , вероятность не будет зависеть от условия . Значит, и вся характеристика не будет зависимой от него. В таком случае получим, что

Наши мат. ожидания связаны следующим способом:

Ранее уже было показано, что

Из (14)-(16) ясно, что

Таким образом определены все элементы из правой части формулы (9).



2.2 Аналитические представления для характеристик стоимостного аддитивного функционала

Введем вспомогательные стоимостные характеристики для нашей модели:

-- затраты на содержание некоторого продукта объемом в единицу времени;

-- затраты, вызванные дефицитом величины , в единицу времени;

-- цена единицы продукта при условии, что объем имеющегося в системе (оставшегося) продукта равен (положительный запас);

-- цена единицы продукта при условии, что объем имеющегося в

системе (оставшегося) продукта равен (дефицит объема );

Обозначим функцию, характеризующую затраты на непосредственное пополнение запаса (оплату поставки). Пусть определяет затраты на пополнение при условиях, что в момент заказа уровень запаса в системе равен (при этом, этот уровень сохраняется на всем периоде задержки до момента поставки, а в результате поставки запас принимает значение в подмножестве .

Пусть . Тогда величина

представляет собой условное математическое ожидание затрат, связанных с пополнением запаса, при условиях, что в момент заказа объем продукта равен и за время t товар не будет израсходован.

Аналогично, при условии, что величина



представляет собой условное математическое ожидание затрат, связанных с пополнением запаса при условиях, что в момент заказа объем продукта равен , за время товар будет полностью израсходован и в системе возникнет дефицит продукта.

Рассмотрим вспомогательную функцию По своему формальному содержанию данная функция представляет собой условное математическое ожидание прибыли, полученной на одном периоде эволюции системы (между последовательными моментами пополнения запаса которое определяется при выполнении следующих условий:

В момент очередного пополнения запас продукта равен .

В начальный момент периода эволюции принято решение u, то есть параметр управления, определяемый в соответствии с распределением , принимает фиксированное значение .

За фиксированное время t (время от момента пополнения до момента заказа) запас в системе не будет израсходован, и дефицит не образуется.

В момент заказа уровень запаса

Найдем явное представление для условного математического ожидания При указанных условиях, математическое ожидание прибыли, полученной на периоде , то есть до момента заказа на пополнение, выражается формулой:



Далее, заметим, что условное математическое ожидание затрат, связанных с хранением продукта за период задержки поставки, определяемое при указанных условиях, имеет вид:

где = - условное математическое ожидание длительности задержки поставки при условии .

Отдельно выпишем условное математическое ожидание платы поставщику за пополнение запаса, определяемое при указанных выше условиях

Из соображений (1),(2),(3) следует, что общая величина условного математического ожидания прибыли на периоде эволюции системы, определяемой при указанных выше условиях, задается следующей формулой:

Введем теперь другую вспомогательную функцию которая представляет собой условное математическое ожидание прибыли, полученной на одном периоде эволюции системы при условии, что реализуются следующие события:

В момент очередного пополнения запас продукта равен

В начальный момент периода эволюции принято решение u, то есть параметр управления, определяемый в соответствии с распределением , принимает фиксированное значение u.

За фиксированное время t (время от момента пополнения до момента заказа) запас в системе будет полностью израсходован, и образуется дефицит.

В момент заказа уровень запаса в системе

При указанных условиях, математическое ожидание прибыли, полученной до момента образования дефицита, выражается формулой:

Математическое ожидание прибыли, полученной от момента образования дефицита до момента запроса на пополнение запаса выражается формулой:

Далее, заметим, что условное математическое ожидание затрат(штрафов), связанных с дефицитом продукта за период задержки поставки и определяемое при указанных выше условиях, имеет вид:



где = - условное математическое ожидание длительности задержки поставки при условии .

Отдельно выпишем условное математическое ожидание платы поставщику за пополнение запаса, определяемое при указанных выше условиях

Из аддитивного характера функционала прибыли и с учетом соотношений (5)-(8) следует, что функция определяется следующей формулой:

Теорема 3.

В рассматриваемой стохастической полумарковской модели имеют место следующие представления для математических ожиданий приращений функционала прибыли

Доказательство теоремы. Докажем соотношение (9)

По определению, величина представляет собой математическое ожидание, определяемое по совместному распределению случайной прибыли, полученной за время пребывания полумарковского процесса в состоянии , и события Именно,

где - значение функционала прибыли в момент изменения состояния

- приращение функционала прибыли, полученное за время т.е. время пребывания сопровождающего процесса

Основываясь на описанном выше словесном определении функции выпишем его формальное определение при помощи введенных стохастических объектов

(14)

Где - решение, принимаемое в момент

Заметим, что имеет место вложение событий



Кроме того,

Из (15),(16) следует, что выражение (14) можно записать в виде

По свойству математического ожидания

где - множество значений параметра управления , обладающее тем свойством, что для указанных значений параметра управления реализуется событие при этом остается фиксированным внешнее условие

При заданном внешнем условии событие происходит тогда и только тогда, когда выполняется двойное неравенство



Отсюда следует, что

Из (17)(18) с учетом соотношения (19) получаем

Заметим также, что в рассматриваемой модели распределение значения случайного процесса в момент изменения состояния при условии, что задается распределением . В то же время

Таким образом, при условии распределение случайной величины задается функцией .

Но тогда из (20) получаем



Соотношение (9) доказано. Остальные соотношения (10)-(12) доказываются аналогично. Теорема доказана.

2.3 Аналитические преобразования вероятностных и стоимостных характеристик полумарковской модели

Стоимостные характеристики полумарковской модели

Введем следующие обозначения:

Пусть

тогда

Пусть

тогда

Если изменяется от до то изменяется от .

В интересах дальнейшего исследования проблемы оптимального управления запасом в рассматриваемой полумарковской модели необходимо провести аналитические преобразования полученных интегральных представлений для вероятностных характеристик для всех указанных выше множеств индексов. Данные преобразования заключаются в перемене порядка интегрирования. Таким образом, после преобразований во всех указанных характеристиках внутреннее интегрирование должно проводиться по мере, задаваемой распределением а внешнее - по мере, задаваемой распределением Такие преобразования позволят обосновать основные

( рис.1)

теоретические утверждения данного исследования, которые будут получены в следующем разделе работы.

Приведем общую характеристику выполняемых преобразований. Область интегрирования S определяется как множество значений аргументов , удовлетворяющих условиям (i - фиксированное):



Эта область геометрически представляет собой параллелограмм на плоскости . Данный параллелограмм имеет два варианта возможного устройства., определяемые соотношением вспомогательных параметров

Если , то область имеет вид, изображенный на рис.1

(рис.2)

В этом случае область разбивается на три подобласти

Если , то область S также разбивается на три подобласти следующим образом

Таким образом, при проведении интегральных преобразований необходимо учитывать соотношение вспомогательных параметров и характер соответствующей области интегрирования.

Проведем интегральные преобразования для каждого вида вероятностных характеристик исследуемой модели:

Рассмотрим средние характеристики функционала прибыли:

Проведем преобразования интегральных выражений в правых частях соотношений (1) - (4), связанные с изменением порядка интегрирования.

Преобразуем интеграл (1). Остальные интегралы будут преобразованы аналогично.

Рассмотрим структуру области интегрирования в формуле (1).

Первый вариант преобразования:

Область разбивается на три подобласти

Тогда

Второй вариант преобразования:

Область разбивается на три подобласти

Таким образом, в данном случае

Вероятностные характеристики полумарковской модели.

Рассмотрим средние характеристики условных вероятностей.

Преобразуем первую формулу

Если , то



Если , то

Рассмотрим средние характеристики математических ожиданий:

Преобразуем первую формулу

Если , то

Если , то

Аналитические преобразования модели в случае дефицита продукта

Теперь рассмотрим состояние модели в случае образования дефицита продукта. Как было сказано раньше, средние характеристики функционала прибыли в этом случае будут иметь вид:

Данные формулы необходимо преобразовать, проведя в них изменение порядка интегрирования.

Введем обозначения



Заметим, что

Как и в предыдущем случае рассмотрим область S.

Вариант 1.

Область S разбивается на три подобласти (рис.1)



(рис.1)

Тогда



(рис. 2)

Вариант 2.

Область S разбивается на три подобласти (рис.2)

В этом случае

Проведем аналогичные вычисления для условных вероятностей и математических ожиданий.

В первом случае получим

Во втором случае получим

Таким образом, мы получили аналитическое представление формул для основных характеристик модели.

2.4 Теорема о структуре стационарного стоимостного показателя качества управления

Перейдем к завершающей части данного исследования. Для решения задачи оптимального управления запасом в рассматриваемой полумарковской модели необходимо получить явное представление для стационарного показателя качества управления - средней удельной прибыли. Этот показатель может быть представлен в форме интегрального дробно-линейного функционала. Впервые это утверждение было сформулировано В.А.Каштановым [10]. В дальнейшем, в работах П.В.Шнуркова и А.В.Иванова [7-9] оно было доказано в более сильной форме. Именно, были выведены в явном виде аналитические представления для подынтегральных функций в числителе и знаменателе данного дробно-линейного функционала. Приведем соответствующее утверждение, следуя [9].

Пусть - управляемый полумарковский процесс, имеющий конечное множество состояний . Управление процессом производится в моменты изменения состояний (скачков). Если в момент процесс переходит в состояние , то решение об управлении принимается в соответствии с вероятностным распределением , заданным на множестве допустимых уравнений U. Набор распределений {} образует марковскую однородную (стационарную) рандомизированную стратегию управления. Обозначим через - цепь Маркова, вложенную в процесс , а через - последовательность принимаемых решений в моменты соответственно.

Предполагается, что а траекториях полумарковского процесса задан стоимостной аддитивный функционал, природа которого определяется исходной вероятностной моделью, т.е связанный с исходной стохастической системой. Обозначим через значение этого функционала в момент времени t , а через приращение этого функционала на интервале времени между моментами последовательного изменения состояний

Введем обозначения для вероятностных характеристик процесса и аддитивного стоимостного функционала

Вероятности перехода вложенной цепи Маркова

Математические ожидания длительностей пребывания полумарковского процесса в состояниях



Математические ожидания приращений функционала за время пребывания процесса в соответствующих состояниях

Показателем качества управления процессом является стационарный стоимостной функционал

где - стационарные вероятности цепи Маркова, вложенной в полумарковский процесс , то есть цепи Маркова, задаваемой вероятностью перехода , которые определяются соотношениями (1) и соответствуют заданной стратегии управления {}Величины определяются соотношениями (2)Величины соотношениями (3)

Приведем формулировку теоремы о представлении показателя в форме зависимости от вероятностных распределений , доказанной в работах П.В.Шнуркова и А.В.Иванова [9].

Теорема. Стационарный функционал, который является показателем качества управления полумарковского процесса, представим в виде дробно-линейного функционала управляющих вероятностных распределений

Подынтегральные функции числителя и знаменателя имеют следующий вид:

Функции являются вспомогательными и определяются как

где это произвольная перестановка чисел (0,…,j-1, j+1,…,N-1);

- число инверсий в перестановке .

2.5 Решение задачи оптимального управления

Воспользуемся теоремой о структуре стационарного показателя качества управления, сформулированной в предыдущем разделе. Отметим, что рассматриваемая в данной работе стохастическая полумарковская модель полностью укладывается в рамки общей полумарковской модели, описанной в разделе 2.4. Сопровождающий полумарковский процесс в рассматриваемой модели является управляющим полумарковским процессом с конечным множеством состояний. Показателем качества управления в рассматриваемой модели является стационарный стоимостной показатель вида (1)(см. раздел 1.2). Именно такой показатель качества управления рассматривается в общей задаче управления полумарковским процессом, исследованной в разделе 2.4. Таким образом, теорема о структуре стационарного стоимостного показателя качества управления, сформулированная в разделе 2.4, применима в рассматриваемой задаче оптимального управления запасом.

Согласно указанной теореме, стационарный показатель качества управления вида (1)(раздел 1.2) представим в виде интегрального дробно-линейного функционала (см. формулу (5) раздела 2.4). При этом интегральные функции числителя и знаменателя данного функционала определяются формулами (6),(7) раздела 2.4. Вероятностные характеристики, входящие в правые части этих формул, определены для рассматриваемой задачи оптимального управления запасом. Именно, вероятности перехода цепи Маркова, вложенной в полумарковский процесс , задаются соотношением (2) раздела 1.2 с учетом утверждений теорем о задании вспомогательных вероятностных характеристик:

Условные математические ожидания длительностей пребывания полумарковского процесса в соответствующих состояниях определены формулой (3) раздела 1.2 с учетом утверждений теорем о задании вспомогательных вероятностных характеристик

Наконец, условные математические ожидания приращений функционала прибыли за время пребывания полумарковского процесса в соответствующих состояниях определены формулой (4) раздела 1.2 с учетом утверждений теорем о задании вспомогательных вероятностных характеристик

Таким образом, подынтегральные функции дробно-линейного функционала, являющегося показателем качества управления, определяемые формулами (6),(7) раздела 2.4, имеют явные аналитические представления.

Теперь, задача оптимального управления в рассматриваемой стохастической полумарковской модели представлена в форме экстремальной задачи для дробно-линейного интегрального функционала (5), раздел 2.4, для которого известны явные представления для подынтегральных функций числителя и знаменателя. Данная проблема была исследована В.А.Каштановым [10]. В настоящей работе мы используем результат об экстремуме дробно-линейного функционала в усиленной форме, принадлежащий П.В.Шнуркову [9]. Имеет место следующее утверждение.

Теорема.

Предположим, что для дробно-линейного функционала (5) (см. раздел 2.4) выполняются следующие условия:

при любых допустимых управляющих распределениях , принадлежащих множеству распределений неотрицательных случайных величин;

2) B() ? 0

при всех допустимых значениях параметров управления .

Тогда, если основная функция данного дробно-линейного функционала 

достигает глобального экстремума в некоторой точке () то решение исходной экстремальной задачи для дробно-линейного функционала (5) (см. раздел 2.4) существует и достигается на вырожденных распределениях, сосредоточенных в точках то есть распределениях вида

Из данной теоремы следует, что решение задачи оптимального управления в рассматриваемой полумарковской модели сводится к нахождению точки глобального экстремума (максимума) функции

в области для которой известно явное аналитическое представление. Такая задача может быть решена численными методами.



Заключение

Настоящая работа является продолжением исследования общей стохастической полумарковской модели управления запасом непрерывного продукта, предложенной и рассмотренной в работах П.В.Шнуркова и А.В.Иванова [9]. Особенностью данного варианта математической модели управления является наличие дополнительных затрат, связанных с периодическим пополнением запаса, получаемым из системы - поставщика. Наличие указанных дополнительных затрат привело к необходимости проведения нового анализа стоимостных и вероятностных характеристик модели. Такой анализ выполнен в полном объеме. Получены все аналитические представления для характеристик, входящих в выражение для стационарного качества управления - средней удельной прибыли. Как и в основополагающей работе [9], задача оптимального управления в стохастической полумарковской модели сведена к задаче поиска глобального экстремума заданной функции от конечного числа действительных переменных.



Список использованных источников

1. Прабху А. Методы теории массового обслуживания и управления запасами: пер. с англ. М.: Машиностроение, 1969. 324 с.

2. Рыжиков Ю.И. Управление запасами. М.: Наука, 1969. 343 с.

3. Рыжиков Ю.И. Теория очередей и управление запасами. СПб.: Питер, 2001. 384 с.

4. Лотоцкий В.А., Мандель А.С. Модели и методы управления запасами. М.: Наука, 1991. 189 с.

5. Дадуна Г., Кнопов П.С., Тур Л.П. Оптимальные стратегии для системы запасов с с функциями общего вида // Кибернетика и системный анализ. 1999. Вып. 4. С. 106-123.

6. Демченко С.С., Кнопов П.С., Чорней Р.К. Оптимальные стратегии для полу-марковской системы запасов // Кибернетика и системный анализ. 2002. Вып 1. С. 146-160

7. Шнурков П.В., Мельников Р.В. Оптимальное управление запасом непрерывного продукта в модели регенерации // Обозрение прикладной и промышленной математики. 2006. Вып. 3. С. 434-452.

8. Шнурков П.В., Мельников Р.В. Исследование проблемы управления запасом непрерывного продукта при детерминированной задержке поставки // Автоматика и телемеханика. 2008. Вып. 10. С. 93-113

9. Шнурков П.В, Иванов А.В. Исследование задачи оптимизации в дискретной полумарковской модели управления непрерывным запасом // Вестник МГТУ им. Н.Э. Баумана. Сер. “Естественные науки”. 2013. №3. 85 с.

10. Каштанов В.А. Об одном классе оптимальных дискретных управлений полумарковским процессом // Труды МИЭМ. Некоторые теоретические и прикладные вопросы теории вероятностей. 1975. Вып. 44. С. 67-76.

Размещено на Allbest.ru