Управление процессом обновления продукции с помощью цепей Маркова

Вторая покупка А В С

2-й шаг

0,56 0,32 0,12 0,23 0,69 0,08 0,33 0,42 0,25

Третья покупка А В С А В С А В С

Рис. 4 - Иллюстрация переходов из состояния А во все возможные состояния за два шага

Как следует из приведенного рисунка, вероятность покупки товара вида А на 2-м шаге (во время третьей покупки), равна

pAA * pAA + pAB * pBA+ pAC * pCA = 0,56 * 0,56 + 0,32 * 0,23 + 0,12 * 0,33 = 0,4268.

Вероятность покупки товара вида В на 2-м шаге:

pAA * pAB + pAB * pBB+ pAC * pCB = 0,56 * 0,32 + 0,32 * 0,69 + 0,12 * 0,42 = 0,4504 .

Вероятность покупки товара вида С на 2-м шаге:

pAA * pAC + pAB * pBC+ pAC * pCC = 0,56 * 0,12 + 0,32 * 0,08 + 0,12 * 0,25 = 0,1228. Эти значения совпадают с первой строкой матрицы Р, вычисленной по формуле (11).

Р = P2=P*P=

*

Аналогично можно проиллюстрировать получение значений второй и третьей строк матрицы.

Известно, что рано или поздно основная масса потребителей, переходя от покупки одного вида продукции к другому и делая сравнения, останавливается, начиная с определенного момента времени, на предпочтении определенного вида продукции, если на систему до этого момента времени не оказывались внешние воздействия. В этом случае вероятности перехода от покупки продукции вида А к покупке этой же продукции (А); от покупки вида В к покупке вида А; от покупки вида С к покупке вида А становятся одинаковыми. То же самое происходит с вероятностями перехода от А, В, С к покупке товара вида В ; от А, В, С к покупке товара вида С.

Согласно теореме Маркова о предельных вероятностях, при количестве шагов, стремящихся к бесконечности, вероятности переходов перестают изменяться [29,стр.11].Цепь Маркова входит в устойчивый режим, при этом имеет место равенство

(12)

где -- предельная вероятность наступления события. .

Для определения времени (t), необходимого для стабилизации системы и предельной вероятности, удобно пользоваться пошаговым возведением матрицы P в степень.

Как только по строкам матрицы будут получены приближенно одинаковые значения (предельные вероятности), можно говорить о стабилизации поведения потребителей. Результаты умножения представлены в таблице 6.

Таблица 6 Обоснование времени стабилизации системы

В примере на седьмом шаге получены следующие значения предельных вероятностей:

pА* = 0,36; pВ* = 0,526; pС* = 0,114.

Показатель степени, при котором цепь Маркова вошла в устойчивый режим, дает возможность прогнозировать временной момент устойчивого поведения потребителей. Как видно из таблицы 6, матрица достигает состояния стабильности на четвертом шаге (t=7). Шаг охватывает период времени между двумя покупками, которые совершаются через месяц. Таким образом, начиная с седьмого месяца предприятие должно предлагать к продаже товаров вида А (Шоколадный набор "Old collection") - 36 % от общего объема своего выпуска (емкости рынка или сегмента, который оно занимает), вида В (Сувенирный набор конфет "Жорж Гран-При") - 52,6 %, С (Сувенирный набор конфет "Зеркальная струя") -11,4 %.

Необходимо также прогнозировать объемы сбыта по отдельным видам продукции в периоды, предшествующие стабилизации системы.

Обратимся к данным таблицы 4. Суммы по строкам показывают объемы сбыта по товарам А, В, С в периоде, предшествовавшем периоду проведения сбора статистических данных (нулевой шаг). В то же время эти цифры, деленные на общую сумму, дают значения матрицы-строки вероятностей начальных состояний Z(0) = (0,333 0,347 0,32).

Суммы по столбцам показывают объемы сбыта на мини-рынке по видам продукции в первом периоде (на 1 шаге процесса):

по товару А (280 + 120 + 160) = 560 коробок;

по товару В (160 + 360 + 200) = 720 коробок;

по товару С (60 + 40 + 120) = 220 коробок.

Деление этих сумм на общую сумму дает распределение долей продаж по отдельным видам в первом периоде:

доля продаж товара А 560 / 1500 = 0,373;

доля продаж товара В 720 / 1500 = 0,48;

доля продаж товара С 220 / 1500 = 0,147.

Эти значения (0,373 0,48 0,147) выражают матрицу-строку Z(1) безусловных вероятностей. Эти же значения могут быть получены умножением матрицы вероятностей начальных состояний Z(0) = (0,333 0,347 0,32) на матрицу вероятностей перехода P

(Z(1)= Z(0)*P)

zA(1) = 0,33* 0.56+ 0,347* 0.23+ 0,32* 0.33= 0,37;

zB(1) = 0,33* 0.32+ 0,347* 0,69 + 0,32* 0,42= 0,48 ;

zC(1) = 0,33* 0.12+ 0,347* 0,08 + 0,32* 0,25= 0,147.

Аналогично матрица-строка Z (t) = (z1(t), z2(t),..............., zm(t)) безусловных вероятностей после t шагов марковского процесса определяется соотношением:

Z(t) = Z(0) * Pt (13)

На втором шаге (во втором месяце):

Z(2) = Z(0) * P2 = (0,367 0,513 0,12). Можно сказать, что во втором периоде в ассортиментной структуре производства 36,7% выпуска должно приходиться на производство продукции вида А; 51,3% выпуска -- на производство продукции вида В и 12% - вида С.

В третьем месяце: Z(3) = Z(0) * P3 = (0,363; 0,522; 0,115). В четвертом месяце: Z(4) = Z(0) * P4 = (0.361; 0.525; 0.114). В пятом: Z(5) = Z(0) * P5 = (0.36; 0.526; 0.114). В шестом: Z(6) = Z(0) * P6 = (0.36; 0.526; 0.114).

Для планирования объема продаж j-го вида продукции в периоде t необходимо умножить безусловную вероятность по этому виду продукции (zj(t)) на общий объем рынка:

Vпрj(t) = Vобщ(t) * zj(t) (14)

где: Vпрj(t) -- планируемый объем продаж в t-ом периоде по j-му виду продукции;

Vобщ(t) -- общий объем рынка однородной продукции в натуральном или стоимостном выражении в t-ом периоде;

zj(t) -- безусловная вероятность наступления события j в t-ом периоде.

Найдем план производства по месяцам, исходя из условия, что общий объем месячного рынка элитных сувенирных наборов конфет постоянен во времени и составляет 225000 коробок.

Для второго месяца:

VпрA(2) = 225000 х 0,367 = 82575 кор.

VпрB(2) = 225000 х 0,513 = 115425 кор.

VпрC(2) = 225000 х 0,12 = 27000 кор.

Для третьего месяца:

VпрA(3) = 225000 х 0,363 = 81675 кор.

VпрB(3) = 225000 х 0,522= 117450 кор.

VпрC(3) = 225000 х 0,115 = 25875 кор.

Для четвертого:

VпрA(4) = 225000 х 0,361 = 81225 кор.

VпрB(4)= 225000 х 0,525 = 118125 кор.

VпрC(4) = 2250000 х 0,114 = 25650 кор.

Для пятого:

VпрA(5) = 225000 х 0,36 = 81000 кор.

VпрB(5)= 225000 х 0,526 = 118350 кор.

VпрC(5) = 225000 х 0,114 = 25650 кор.

В рыночных условиях объемы продаж определяются не объемами производства, а способностью продукции удовлетворять потребности и соответствовать представлениям покупателей о товаре. Поэтому матрица Р полностью предопределяет стационарные состояния , к которым стремится система. Начальное распределение рынка между видами товаров не влияет на стационарное распределение объемов продаж. Однако оно характеризует изменение объемов сбыта по видам продукции до того момента, когда рынок достигнет равновесного состояния. Рисунки 5,6,7 иллюстрируют, как разные начальные векторы Z(0) задают разные траектории достижения стабильного состояния при неизменной матрице Р.

Рис. 5 - Траектории достижения стабильного состояния при Z(0)= (0,6 0,3 0,1)

Рис. 6 - Траектория достижения стабильного состояния при Z(0)= (0,3 0,4 0,3)

Рис. 7 - Траектория достижения стабильного состояния при Z(0)= (0,37 0,52 0,11)

Важным моментом является проверка исходных данных на марковость, т.е. на зависимость последующего состояния от предшествующего. Статистический критерий основывается на проверке нулевой гипотезы, которая заключается в том, что события, образующие последовательность, независимы, а альтернатива в том, что они зависимы [30, стр.86]. Для проверки нулевой гипотезы вычисляется величина

(15)

где nij - количественная оценка перехода из состояния i в состояние j.

Для проведения расчетов выражение (15) обычно заменяется более удобным в использовании

(16)

Если гипотеза верна, то величина будет распределена асимптотически как 2 с (m-1)2 степенями свободы при заданном уровне значимости. В противном случае нулевая гипотеза отвергается и принимается, что процесс является марковским и обладает свойствами цепей первого порядка.

В цифрах применительно к условному примеру это выглядит так:

Число степеней свободы равно (m-1)2 = (3-1) 2 = 4. Примем, что уровень значимости =0,05. Критическое значение 2 для =0,05 и числа степеней свободы 4 равно 9,49 (приложение 1). Вычисленное значение 456,88 превышает 9,49, поэтому можно говорить о моделировании процесса с помощью математического аппарата марковских цепей первого порядка.

Объем выборки для практических исследований может быть определен исходя из теоремы Бернулли, являющейся составной частью закона больших чисел. Численность выборки (N), вычисляется по формуле [31,стр. 160]:

N = t2 * r * g / 2 (17)

где: t-коэффициент, задаваемый вероятностью близости данных выборки и генеральной совокупности;

r - доля элементов с наличием заданного признака;

g - доля элементов с отсутствием заданного признака;

- ошибка репрезентативности.

Покупки различных видов товаров совершаются с различными, колеблющимися вероятностями. Эти вероятности могут дать максимальное произведение r * g, если один вид продукции будет покупаться с вероятностью 0,5 и все другие - с вероятностью (1-0,5) = 0,5.

Например, примем Р = 0,95. Тогда t = 1,96. Если задать допустимую ошибку репрезентативности (стандартную ошибку) 2,23 %, то объем выборки равен:

N = 1,962 * 0,5 * 0,5 / 0,0223 2 2000 наблюдений. К сожалению, из-за ограниченности времени проведения акции фирмой, в нашем случае количество наблюдений составляет 1500.

Выведение на рынок новых видов продукции и (или) реклама частично отвлекают потребителей от устоявшейся приверженности и побуждают к опробованию других или новых видов еще раз. В результате этого исходная матрица вероятностей перехода изменяется. В процессе стабилизации могут быть достигнуты другие значения предельной вероятности и количество шагов вхождения в устойчивый режим.

Так как предприятие должно своевременно реагировать на изменения стратегий своих конкурентов, исследование мини-рынка нужно проводить периодически по всем видам выпускаемой продукции. Для этого необходимо строить постоянно действующую аналитическую систему оценки перспектив сбыта. Суть ее заключается в автоматизации процесса сбора данных, формировании баз данных, машинной обработке для получения конечных результатов, осуществлении контроля отклонения фактических данных от спрогнозированных. Это позволяет учитывать малейшие колебания рынка.

Удобство применения цепей Маркова в прогнозировании объемов сбыта заключается в быстроте и простоте сбора исходных данных. Это дает возможность оперативно оценивать рыночные изменения, перспективность производства новых видов товаров, исходя из данных о продаже опытных образцов продукции на тестовом рынке; планировать кампании по стимулированию продаж и оценивать их эффективность в "лабораторных условиях"; разрабатывать и оценивать различные варианты стратегии предприятия, а также прогнозировать изменение емкости рынков замещающих товаров. Учитывая специфику рынка, оценку объемов сбыта можно проводить не только исходя из изменения предпочтений потребителей к отдельным видам товаров, но также и на основе изменения предпочтений к продукции определенных предприятий.

3.2. Марковскме процессы с доходами

Предположим, что система, описанная марковским процессом с состояниями, приносит доход гривен, когда совершается переход из состояния i в j. Множество доходов системы образует матрицу доходов

Тогда можно сформулировать следующую задачу. Каков будет средний выигрыш системы за последующих переходов, если в данный момент система находится в состоянии ? Этот выигрыш обозначим через

Несложные рассуждения приводят к следующему

(18)

Обозначим через - ожидаемый (средний) доход за один шаг в момент выхода системы из состояния . В векторной форме уравнение (5.141) можно записать

(19)

где -- вектор полных доходов.

Так как матрица эргодична, то существует

В этом случае матрицу можно представить в виде суммы двух матриц

где: С учётом этого, уравнение (19) можно переписать в виде:

(20)

Или

(21)

Обозначим

где , а .

Подставляя и в (21), получаем

или

Величина называется весом для i-го состояния.

Рассмотрим более детально функционирование корпорации «Бисквит-Шоколад». Специалисты корпорации "Бисквит-Шоколад" постоянно работают над разработкой новых видов сладостей, чтобы удовлетворить самым изысканным вкусам потребителей. В последнее время на рынок были выпущены некоторые новинки. В связи с этим, корпорация может находится в двух состояниях: - выпускается удачная модель (новые конфеты пользующаяся спросом) и - выпускается неудачная модель (новые конфеты не пользующаяся спросом).

Предположим, что если начальное состояние корпорации и на следующей неделе фирма будет оставаться в этом же состоянии с вероятностью 0,5 (), то недельный доход составит 12 тыс. грн., т.е. . Если же очередная модель окажется неудачной с вероятность 0,5 (фирма перейдёт в состояние ), то доход фирмы составит лишь 4 тыс. грн. Т.е. и . Если же после неудачной модели фирма выпустит удачную модель с вероятностью , то доход фирмы составит 4 тыс. грн., а если после неудачной модели фирма снова выпустит неудачную с , то фирма потерпит убыток в размере 9 тыс. грн. Итак, матрица переходных вероятностей имеет вид

а матрица доходов

Тогда

Это означает, что если фирма выпустила удачную модель, то ее средний доход на следующей неделе составит 8 тыс. грн, если же она начинает с неудачной модели, то ее ожидаемые потери -3,8 тыс. грн. Допустим, что фирма планирует свою работу на недель и руководство желает определить ожидаемый доход за это время. Предположим, что Последовательно применяя формулу (20), найдем и эти результаты запишем в таблицу 7.

Таблица 7 Результаты ожидаемого дохода

Исследуем теперь ожидаемый доход системы за шагов.

Так как по предположению

то , а потому

Отсюда:

Итак, найдены выражения для полных ожидаемых доходов, которые получает фирма за недель (шагов), начиная из каждого возможного состояния. При больших и составляют уравнения прямых, которые называются асимптотами:

Выражения для асимптот и могут быть получены минуя вычисления и . Для этого используем значения для и , вычисленные ранее:

Находим средний доход за 1 переход

вектор весов

где:

Тогда уравнения асимптот, очевидно, будут следующие:

что совпадает с найденным ранее.

В заключении нужно отметить, что асимптоты представляют собой параллельные прямые, причем тангенс угла наклона их равен 1. Эта величина равна среднему доходу за неделю, если бы система функционировала бесконечно долго. Наконец разность у. е. с. представляет собой дополнительный (выигрыш) доход, получаемый фирмой, если она начинает функционировать в состоянии 1 (т. е. при удачной модели).

3.3. Управляемые марковские процессы с доходами

Корпорация «Бисквит-Шоколад», находясь в состоянии 1, может увеличить спрос путем организации рекламы. Это требует добавочных затрат и уменьшает доход. В состоянии 2 корпорация может увеличить вероятность перехода в состояние 1 путем увеличения затрат на исследования. Выделим две стратегии. Первая состоит в отказе от затрат на рекламу и исследования, а вторая - в согласии на них. Пусть матрицы переходных вероятностей и матрицы доходов для данных стратегий имеют вид:

В рассмотренной ситуации имеет место управляемая цепь Маркова. Управление соответствует выбору стратегии.

Пусть каждому состоянию соответствует конечное множество решений (или альтернатив), элементы которого обозначим номерами . Пространством стратегий К называется прямое произведение множеств решений .

Пусть в i-м состоянии имеется не одно, а множеств переходных вероятностей . При имеем случай неуправляемой цепи Маркова. Если система находится в состоянии и принимается решение то:

- она получает доход ;

- ее состояние в следующий момент времени определяется вероятностью , где - вероятность того, что система из состояния при выборе решения перейдет в состояние .

Таким образом, смысл -го решения в i-м состоянии заключается в выборе одного набора переходных вероятностей из возможных. Предполагается, что доход ограничен при всех и .

Кроме того:

, при всех и .

Управляемой цепью Маркова называется конструкция, задаваемая параметрами , где К-решения, Р-вероятности переходов, r-доходы. Доход, полученный за несколько шагов, является случайной величиной, зависящей от начального состояния и принимаемых в каждый момент времени решений.

Назовем решение, принимаемое в конкретный момент, частным управлением. Тогда управление есть последовательность решений в моменты n = 1, 2, ... Качество управления можно оценить средним суммарным доходом (при конечном времени) или среднем доходом в единицу времени (при бесконечном времени).

Стратегией называется последовательность решений

где: - вектор вида, i-я компонента которого, обозначаемая через , является решением, принимаемым в состоянии в момент п. Другими словами, задание стратегии означает полное описание в каждый момент времени t =1, 2, ..., п, ... конкретных решений, которые должны были бы приниматься в i-м состоянии , если бы система находилась в нем в рассматриваемый момент.

Стратегия обозначается через и называется стационарной. Стратегия называется марковской, если решение , принимаемое в каждом конкретном состоянии, не зависит от предшествующих состояний и принимавшихся в них решений. В случае марковской стратегии решения могут зависеть только от момента времени п.

Обозначим произвольную конечную часть стратегии через . Пусть зафиксированы произвольная стратегия некоторый момент времени п. Если в этот момент система находилась в состоянии , то в следующий (п+1)-й момент времени она будет находиться в состоянии с вероятностью , где . Тогда матрица переходных вероятностей в момент п имеет вид:

Таким образом, при фиксированной стратегии получаем цепь Маркова с матрицами перехода

Обозначим - вектор суммарных средних доходов, полученных до любого момента n включительно, для некоторой стратегии . Стратегия максимизирующая , то есть удовлетворяющая неравенству ? при любых называется оптимальной.

Верны следующее утверждения:

Утверждение 1. Для бесконечного времени существует оптимальная стационарная стратегия.

Утверждение 2. Для конечного времени существует оптимальная марковская стратегия.

Таким образом, решение (при бесконечном времени) зависит только от состояния, в котором находится система, и не зависит ни от момента времени, ни от всей предыдущей траектории последовательности состояний и принятых решений). В случае конечного времени оптимальная стратегия является марковской, т. е. может зависеть еще и от момента времени принятия решения.

Далее, я рассмотрю модель с помощью рекуррентного метода. Выше было изучено асимптотическое поведение полного ожидаемого дохода для процессов бесконечной длительности.

Применяю метод отыскания оптимальной стратегии на каждом шаге такого процесса. Для этого несколько видоизменяю задачу о корпорации «Бисквит-Шоколад».

Предположим, что в зависимости от обстановки руководство фирмы может принимать решения, которые изменят вероятности и доходы процесса. Например, если изготовленная модель удачна (новые конфеты пользующаяся спросом), то для повышения спроса на нее можно воспользоваться рекламой. Однако реклама связана с дополнительными расходами, поэтому ожидаемые доходы уменьшатся. Предположим, что при использовании рекламы вероятности переходов из 1-го состояния будут , а соответствующее распределение доходов Теперь, находясь в состоянии 1, фирма может либо обойтись без рекламы, либо использовать ее. Эти две возможности будем называть стратегиями 1 и 2 соответственно. Отметим стратегии в каждом состоянии индексом . Таким образом, для состояния 1 произвелись следующие вычисления:

В состоянии 2 также возможны несколько вариантов стратегий. Например, можно увеличить затраты на исследования, что повышает вероятность получения удачной модели, но при этом возрастает и стоимость пребывания системы в данном состоянии (уменьшаются доходы). Эта стратегия (обозначим ее через 2) дает следующее распределение вероятностей состояний и доходов:

и

Число стратегий в каждом состоянии может быть различным, но должно быть конечным. Стратегии руководства фирмы приведены в таблице 8.

Таблица 8Стратегии руководства фирмы