Объектом моделирования является активная система в условиях конкурентной среды. Конкурентная среда означает, что участники системы имеют разные цели и стремятся изменить систему таким образом, чтобы достигалась их собственная цель. Поэтому в этой статье мы будем рассматривать не просто задачу построения модели активной системы, а задачу построения управления этой системой. С технической точки зрения ничего не изменится, мы лишь сразу находим применение искомой модели.

В исследуемой системе присутствуют как минимум двое соперников. Задача рассматривается с точки зрения одного из соперников. Также, помимо двух соперников, принимающих решение произвольно, существует элемент, который преобразует решение двух соперников в результат. Схематично активную систему можно изобразить следующим образом (рис.1).

Рис. 1 - Схема активной системы в условиях конкурентной среды

На схеме, изображенной на рис.1, блок Process представляет собой элемент, который преобразует решения двух соперников в результат. Это могут быть правила игры, законы природы или особенности рынка. Блок Active Element описывает действия соперника, а блок Control - наши действия. На схеме - выходная переменная процесса, - входная контролируемая переменная процесса, - входная неконтролируемая переменная процесса, - случайное воздействие. Переменные и - желаемые траектории для выходной переменной игроков µ и u соответственно.

Действия конкурента, как и его стратегия, никогда неизвестны. Поэтому блок Active Element выделен пунктиром. Цель конкурента обычно можно вывести из правил игры, т.е. она известна, однако эта информация редко используется в известных моделях [6]. К тому же конкурент волен изменять свои предпочтения только для того, чтобы запутать других игроков. В зависимости от задачи блок Process может быть известен, неизвестен или известен с точностью до параметров.

Задачей игрока является разработка стратегии (построение управления), которая приведет его к цели .

Существует несколько подходов к моделированию управления. Сославшись на сложность стратегии человека, мы можем рассматривать как случайную величину, подчиняющуюся равномерному закону распределения. В этом случае, блок Active element будет отсутствовать в схеме. Вторым подходом является построение статистических предпочтений игрока . Здесь мы не учитываем его цель . Еще один подход заключается в том, что в модели стратегия конкурента рассматривается как полноценная система управления. В зависимости от накопленной информации вычисляется оптимальное решение с точки зрения выбранного критерия. После этого вычисляется с учетом спрогнозированного значения .

конкурентная среда активная система моделирование

Задачей настоящего исследования является проверка описанных ранее гипотез с использованием описанных подходов к моделированию управления. Исследуются различные подходы, потому что разные стратегии оказывают разное влияние на стратегию принятия решения конкурента.

Описание эксперимента. Для решения поставленной задачи реализуем эксперимент. Он представляет собой игру для двоих игроков-соперников: компьютера u и человека µ.

Правила игры довольно просты. Задача каждого из игроков набрать сумму очков больше, чем у соперника. Начальные суммы очков равны нулю для каждого игрока. Игра длится заданное количество ходов.

В течение каждого хода оба игрока вводят числа , в пределах [-1; 1], исключая 0. Два числа перемножаются . Если результат , то игрок получает очков. Если результат , то игрок получает очков. Можно ввести в игру порядок округления для упрощения восприятия.

Эксперимент заключается в том, что на одном и том же человеке тестируются все три подхода. В зависимости от выбранного подхода человек по-разному адаптируется к конкурентной среде. Это подтвердят статистические гипотезы, если ходов достаточное количество. Помимо этого в случае, если стратегия одного из игроков является случайной, т.е. его решение является значением случайной величины с равномерным законом распределения с параметрами [-1; 1], исключая 0, то результат игры будет близкий к ничье. Первый подход представляет собой случайную стратегию, два других - нет.

Для соблюдения чистоты эксперимента человек видит лишь информацию о прошлом ходе. Любая другая статистическая и полезная информация ему недоступна. Человек даже не может догадаться, какой подход сейчас используется, т.к. их порядок перемешивается. Однако никто не ограничивает человека использовать крайние стратегии. Например, вводить одно и то же число. Или использовать доступные генераторы случайных чисел: положение стрелки на часах, ловля линейки, бросание монет. Гипотеза говорит о том, что даже в таком случае выбор человека не будет случайным, т.к. рано или поздно человеку захочется изменить выпавшее случайно решение.

В свою очередь алгоритм не использует введенное человеком число для расчета собственного выбора.

Построение модели системы управления. Любая качественная модель объекта основывается на статистических данных. Эта та особенность моделей, которая приближает их к реальному миру. И наш случай не исключение. Поэтому для построения качественного управления потребуется выборка статистических измерений , где s - объем выборки.

Теоретически, чем больше объем выборки, тем качественнее, в отношении абсолютной ошибки управления, будет модель. Но на практике нашим конкурентом является человек, с феноменальной способностью адаптации к сложным условиям [7-10]. В те моменты, когда конкурент начинает подозревать о своем проигрыше, он меняет свою стратегию. Поэтому для моделирования алгоритма, направленного на победу, рекомендуется сделать его чувствительным к нестационарным системам или встроить индикатор, который мог распознать смену стратегии конкурента. Но целью этого исследования является изучение поведения человека, а не построение конкурентоспособного алгоритма. Следовательно, мы не будем далее акцентировать внимание на способности разработанных алгоритмов противостоять стратегии конкурента.

Модель управления активной системой состоит из двух частей. В первую очередь необходимо спрогнозировать следующий шаг конкурента . Ранее мы описывали три подхода к решению этой задачи. Первый подход соответствовал ситуации, когда вся информация о конкуренте отсутствует, тогда все возможные его действия имеют равный приоритет. В этом случае значение следующего шага можно считать любым. Например, можно использовать предыдущее значение в надежде на то, что конкурент не будет изменять своего решения. Или можно использовать суперпозицию значений , т.е. воспринимать в модели как случайную величину.

Другой подход заключается в использовании статистической информации - выборке статистических измерений. Для прогнозирования обычно используют методы прогнозирования рядов [11-12]. В этом случае, следующий шаг находится с помощью построения тенденции ряда . Либо можно использовать модель зависимости:

(1)

где F - некоторый оператор, p - глубина зависимости.

В третьем подходе к прогнозированию мы рассматриваем систему с точки зрения конкурента и ищем наиболее выгодное для него решение. Задача сильно упрощается, если известна цель конкурента . Обычно ее можно вывести из самой задачи. Например, когда известны правила игры. Когда этой информации нет, значение цели можно предположить (много денег, победа в игре и прочее). В крайнем случае, можно использовать хитрый прием. Зафиксировать свое решение в течение нескольких следующих ходов. Если конкурент не использует случайную стратегию для запутывания оппонента, то значение выхода системы будет стремиться к желаемой цели . Для выявления желаемой траектории (не значения) потребуется большее количество шагов.

В случае если известна, то модель (1) примет вид:

(2)

где - временные векторы, - непараметрический оператор. Модель (2) является непараметрической, т.к. структура стратегии принятия решений конкурента неизвестна.

Зная следующий шаг конкурента, можно приступать ко второй части моделирования: вычислению управляющего воздействия . Пусть блок Process описывается уравнением:

(3)

где A - неизвестный оператор.

Управление можно рассчитать путем:

(4)

где - обратный оператор.

Следовательно, для того чтобы вычислить управление, необходимо оценить обратный оператор . В зависимости от уровня априорной информации оценка может быть различной.

Если, например, правила игры таковы, что существует и его можно вывести аналитически, тогда управление можно рассчитать с точность до величины возмущающего воздействия.

В ином случае, априорной информации достаточно только для того, чтобы определить оператор Aс точностью до параметров.

В этом случае мы имеем задачу параметрической идентификации, и модель имеет вид:

(5)

где B - параметрический оператор, б - набор параметров.

Если априорной информации недостаточно для определения структуры зависимости, то имеет место задача непараметрической идентификации:

(6)

где - непараметрический оператор. Примером модели (6) может служить непараметрическая оценка Надарая-Ватсона [13]:

(7)

где - ядерная функция, и - параметры размытости.

Описанные методы не ограничивают исследование. Существует множество других подходов к решению поставленных задач. Также можно комбинировать различные методы и модели. Здесь описаны лишь те алгоритмы, которые были использованы в исследовании.

Результаты экспериментирования. Для проведения экспериментов была создана программа, реализующая процесс игры, описанный ранее, и алгоритмы оценки стратегии конкурента. Первый алгоритм (Random) имел случайную стратегию. Второй (Statistic) оценивал следующий шаг конкурента, как наиболее вероятный, согласно построенной по статистическим данным оценки плотности вероятности [14-15]. Абсолютным значением управления служила оценка вероятности, с которой конкурент сделает следующий шаг . Знак управления, естественно, был обратный знаку у . Третий алгоритм (Control) основывался на расчете управления по формуле (7) с учетом, что стратегия конкурента воспринимается, как полноценная система управления.

В экспериментах приняло участие 20 человек. Каждый испытуемый соревновался со всеми тремя алгоритмами поочередно. Порядок алгоритмов определялся случайным образом. Результаты игры одного из испытуемых приведены далее.

Рис. 2 - Результаты игры одного из испытуемых

На графике, изображенном на рис. 2, по оси ординат располагаются суммарное количество очков, набранные испытуемым и алгоритмом, за 100 туров игры. Левые столбцы соответствуют очкам игрока-человека, а правые - игрока-компьютера.

В целом, результаты игр получились следующие:

· алгоритм Random победил 55% участников;

· алгоритм Statistic проиграл всем участникам;

· алгоритм Control победил 85% участников.

Согласно законам теории вероятности [16-17], если хотя бы один из игроков использует случайную стратегию, то исход игры в большинстве случаях должен быть близок к ничье. В среднем при игре с алгоритмом Random разница между очками игроков была менее 10% от общей суммы. Если никто из игроков, не использует случайную стратегию, то в большинстве случаях выявляется победитель - тот игрок, стратегия которого доминирует. В случаях при игре с алгоритмом Statistic разница между очками игроков в среднем составила более 40% от общей суммы, а с алгоритмом Control - более 25% от общей суммы. В пределах допустимого уровня значимости, результаты говорят о том, что игроки выбирают неслучайную стратегию.

С помощью такого подхода можно только определить случайную или не случайную стратегию использует один человек. Для проверки, выполняется ли эта гипотеза для группы людей, количества участников недостаточно. Однако существует еще один способ узнать, использует ли игрок случайную стратегию или нет.

Участники экспериментов, если судить по их собственным словам, не использовали стратегию, связанную с абсолютной величиной вводимых значений. Многие считали, что важен лишь знак этой величины, т.к. именно он определяет, кому присуждаются победные очки. Приняв этот момент во внимание, можно исследовать стратегию выбора знака вводимой величины.

На первый взгляд, при заданных условиях игры успешной стратегией выбора знака может быть только случайная стратегия. Однако, это не так, и выбор зависит от стратегии оппонента. Таким образом, стратегия выбора знака не будет являться случайной, если текущий ход зависит от предыдущих. В данном случае под зависимостью мы понимаем, что игрок в одинаковых ситуациях сделает одинаковый выбор. Множество таких выборов для различных ситуаций будет определять стратегию игрока.

Рассмотрим множество ситуаций и выборов игроков. В это множество входят переменные, описывающие выбор знака в текущем ходу и ряде предыдущих ходов. Переменная принимает значение "-", если игрок ввел отрицательное число, и "+", если игрок ввел положительное число. В результате, мы имеем пространство всех выборов при всех ситуациях. Если оба игрока имеют абсолютно случайную стратегию, то при достаточно многократном повторении выборов измерения заполнят все пространство. Если в игре будет присутствовать зависимость между выбором и ситуациями, то измерения заполнят лишь часть пространства.

Описанное выше удобнее представить графически. Для этого переведем пространство выборов и ситуаций в двумерное пространство. Для этого поставим в соответствие каждому "+" единицу, а каждому "-" ноль. Сформируем число в двоичной системе измерения из текущего хода и ряда предыдущих. Иными словами, если игрок в текущем ходу выбрал положительное число, а в двух предыдущих ходах вводил отрицательные числа, то число будет равно "100". Переведя двоичные числа в десятеричные, мы сможем получить две переменные, по одной для каждого игрока.

Рис. 3 - Измерения одного игрока в преобразованном пространстве ситуаций и выборов

На рис. 3 изображены измерения одного из участников при играх с тремя алгоритмами. Измерения содержат знаки текущего и двух предыдущих ходов. Измерения заполняют соответственно 44%, 42% и 55% пространства. Значение 25% говорит о том, что оба игрока используют абсолютно неслучайные стратегии. Если измерения заполняют 100%, или близки к 100% с определенным уровнем значимости, то стратегии игроков являются случайными и не зависят от ситуации. Например, при уровне значимости 100 измерений заполнят подобное пространство только на 80%.

В среднем по игрокам измерения заполняют 44%, 36% и 54% пространство соответственно для алгоритмов Random, Statistic и Control. Для последнего алгоритма пространство заполнено больше, потому что стратегии меняются чаще, чем при других алгоритмах, в совокупности у обоих игроков. Другими словами, человек-игрок, сталкиваясь с наиболее "сложной" и непредсказуемой стратегией - Random, перестает изменять свою собственную стратегию.

Для того чтобы оценить, насколько присуща случайная стратегия группе людей, соединим измерения всех игроков и представим их в преобразованном пространстве ситуаций и выборов.

Рис. 4 - Измерения всех игроков в преобразованном пространстве ситуаций и выборов

На рис.4 представлено 100 случайно выбранных измерений всех игроков в пространстве ситуаций и выборов. Представлена не вся выборка для того, чтобы можно было сравнить, насколько случайна стратегия группы людей и одного игрока. Измерения заполнили пространство на 67%, 68% и 79% для соответствующих алгоритмов. Это означает, что группа людей может формировать случайную стратегию, если организовать случайный выбор человека, стратегия которого будет использоваться. Это вполне очевидный вывод. Но из результатов следует, что группа людей не подчиняется каким-либо определенным законам в смоделированной конкурентной среде. Для построения конкурентоспособного алгоритма требуется, чтобы он мог адаптироваться к любому из игроков в процессе самой игры.

Вывод