Исследование и разработка методов планирования поведения интеллектуальных агентов в обучающих системах

Реализация результатов работы. Разработанные в диссертационной работе подходы, модели и методы планирования поведения интеллектуальных агентов реализованы в ОКР «Охта», выполненной ЗАО НИИ «Центрпрограммсистем», г.Твери в 2006 г. Результаты работы использованы в ОКР «Инструментальные средства поддержки разработки прикладных многоагентных систем», выполняемой ЗАО НИИ «Центрпрограммсистем», г.Твери.

Апробация работы. Основные теоретические положения и практические результаты работы докладывались и обсуждались на научно-технической конференции «Тренажеростроение: современное состояние, перспективы развития», ЗАО НИИ «Центрпрограммсистем», г. Тверь, 2005 г., 16-ой Международной научно-технической конференции «Математические методы и информационные технологии в экономике, социологии и образовании», г. Пенза, 2005.

1. Методы планирования поведения интеллектуальных агентов на основе аппарата нечеткой логики, механизмов адаптации и самонастройки.

2. Модель подсистемы планирования поведения интеллектуального агента, ее основные принципы и алгоритмы функционирования.

3. Модель интеллектуального агента на основе трехуровневой архитектуры и основные принципы ее функционирования.

4. Основные принципы построения архитектуры вычислительно-моделирующего комплекса обучающей системы с использованием многоагентного подхода.

Публикации. Основные результаты, полученные при выполнении диссертационной работы, опубликованы в 6 печатных работах.

Во введении обоснована актуальность темы диссертации, ее научная новизна и практическая значимость, сформулированы цель и задачи диссертационной работы. Представлены положения, выносимые на защиту, апробация работы и структура диссертации.

В первой главе проведен анализ тенденций развития обучающих систем, которые связаны, прежде всего, с использованием достижений в областях математического моделирования, искусственного интеллекта, МАС и т.д., а также с теми возможностями, которые предоставляются распределенными вычислительными системами.

Показана необходимость проведения этапа предварительной подготовки специалистов для работы на дорогостоящих, сложных и опасных объектах, комплексах, образцах вооружения и техники с помощью обучающих систем. Для этого необходимо, чтобы обучающие системы соответствовали уровню сложности и уровню интеллектуальности, достигаемому за счет наличия высококвалифицированного обслуживающего персонала, операторов и т.д. у таких реальных объектов. Проведенный анализ существующих классификаций обучающих систем показал, что в используемых подходах не делается акцента на уровне интеллектуальности обучающих систем.

В результате проведенного исследования в работе выделены компьютерные тренажеры как перспективное направление развития обучающих систем и рассмотрены существующие принципы построения таких комплексов. В диссертации проведен анализ возможностей компьютерных тренажеров, использующих ВМК для имитации среды обучения. Раскрыта важность вычислительно-моделирующих комплексов, определяющих качество таких систем в целом. В работе обоснованы и сформулированы основные требования к современным ВМК обучающих систем, наиболее важными из которых являются:

– использование принципов распределенного моделирования;

– включение в среду моделирования объектов с изменяемым поведением;

– учет ограничений на выделенные вычислительные и сетевые ресурсы;

– наличие способности быстрой адаптации к новым типам имитируемых объектов.

Результаты проведенного в диссертации анализа распространенных в настоящее время подходов к построению ВМК, а также методик, используемых при их разработке, позволили сделать выводы, о том, что применяемые приемы и решения не в полной мере обеспечивают выполнение перечисленных требований. В работе отмечено, что наиболее трудновыполнимым является требование по обеспечению изменяемости поведения объектов в интеллектуальной среде обучения.

На основе проведенных исследований для построения ВМК компьютерных тренажеров в диссертационной работе предложено использование теории многоагентных систем. Этот достаточно простой с математической точки зрения аппарат позволяет обеспечить выполнение перечисленных требований. В рамках теории МАС решение задачи моделирования интеллектуального поведения объектов предполагает использование разных способов и применение различных методик их реализации. В качестве одного из таких способов в работе предложено использование методов планирования поведения.

В этом случае задача повышения эффективности обучающей системы, за счет создания интеллектуальной среды на базе модифицированных методов планирования поведения интеллектуальных агентов может быть представлена следующим образом:

, (1)

где: - показатели эффективности использования интеллектуальной АСОИ в обучающей системе, - количество показателей;

, , при условии ; - заданная производительность интеллектуальной АСОИ в обучающей системе;

- методы планирования поведения интеллектуальных агентов, - количество методов планирования; - возможные параметры элементов конфигурации, - количество параметров -го метода планирования поведения, ;

- показатели производительности интеллектуальной АСОИ в обучающей системе.

Из выражения 1 видно, что решение задачи повышения эффективности обучающей системы в целом возможно за счет совершенствования методов планирования поведения интеллектуальных агентов и расширения их функциональных возможностей.

Таким образом, основной задачей в данной работе, требующей своего решения, является задача дальнейшего совершенствования и расширения функциональных возможностей компонентов автоматизированных систем обработки информации в обучающих системах путем их интеллектуализации на основе использования методов планирования поведения интеллектуальных агентов.

Во второй главе обоснованы требования к свойствам интеллектуальных агентов и методам планирования их поведения в условиях изменяющейся среды, нечеткости ее описания и действий агентов. Для этого проведен аналитический обзор работ по многоагентным системам. В диссертации рассмотрены основные составляющие данного направления, к которым, по мнению исследователей данной области, относятся: теория агентов, методы кооперации агентов, архитектура агентов и многоагентных систем, методы, языки и средства коммуникации агентов, методы и программные средства поддержки мобильности агентов и т.д.

Проанализировано текущее состояние исследований в области МАС и выделен ряд актуальных задач требующих решения, к которым относят: разработку моделей самообучающихся агентов, исследования вопросов коллективного обучения, использование нечеткого вывода в моделях общения и поведения агентов, разработку параллельных языков программирования для реализации МАС и т.д.

Проанализированы возможные практические подходы по применению многоагентных систем и существующие архитектуры систем и агентов, в частности, отмечены многоуровневые архитектуры агентов, как наиболее перспективные, и архитектуры на основе планирования, позволяющие реализовать модель планирования поведения. Среди рассмотренных архитектур в диссертации отмечена архитектура InteRRaP, являющаяся основой для разработки структуры интеллектуального агента в рамках предложенного подхода по созданию ВМК обучающей системы.

В результате проведенных исследований и обоснования основных требований к свойствам интеллектуальных агентов, в работе предложено использовать следующее определение для описания интеллектуального агента ВМК обучающей системы: интеллектуальный агент ВМК обучающей системы - это программная сущность, выполняющая функции целенаправленного изменения поведения объекта в среде моделирования, и оказывающая на нее соответствующее воздействие. Данная сущность способна интерпретировать и исполнять команды и обладает свойствами автономности, коллективного поведения, реактивности, знаниями и целями, а также способна подстраиваться под изменяющиеся параметры среды.

Результаты проведенного исследования и анализ требований к свойствам агентов показали, что существующий методический аппарат планирования поведения предоставляемый теорией МАС не вполне удовлетворяет жестким временным и ресурсным ограничениям, накладываемым спецификой ВМК, функционирующих в режиме реального времени.

Для разрешения сложившейся ситуации в диссертационной работе проведен аналитический обзор методов планирования, в результате которого выделены основные типы задач данного направления: планирование в пространстве состояний (SS-проблема) и планирование в пространстве задач (PR-проблема). Проанализированы основные способы их решения, а также рассмотрены наиболее известные примеры реализации планировщиков, определивших развитие данной области. Кроме того, приведены распространенные классификации методов планирования и отдельно выделены перспективные направления исследований проблематики планирования, к которым относятся: планирование во времени и с ограничением ресурсов, информационное и оптимальное планирование, динамическое, адаптивное и планирование в условиях неопределенности, а также распределенное планирование.

Для оценки эффективности способа реализации методов планирования используются показатели оптимальности, которые, согласно работам С.В. Добрецова, можно разбить на две группы: универсальные характеристики, отражающие наиболее общие свойства систем планирования, и специфические показатели, использующие характерные особенности, присущие только системам определенного класса. Среди универсальных характеристик следует особо выделить быстродействие и ресурсоемкость, как наиболее важные и существенные характеристики с точки зрения выполнения требований, предъявляемых к методам планирования. В отличие от расчетных параметров, определение этих двух характеристик осуществляется в результате проведения экспериментальных исследований.

Для оценки возможности улучшения существующих подходов к планированию поведения интеллектуальных агентов проведен аналитический обзор работ, посвященных исследованию и разработке высокопроизводительных методов построения планов. Среди них особо выделяется метод, описанный в работе А.Н. Кожушкина, который выгодно отличается от аналогичных подходов, предложенных М. Гинзбергом (M. Ginsberg). Однако отмеченные методы не предполагают использования в своем составе механизмов обучения и слабо учитывают необходимость использования механизмов настройки.

На основании проведенного анализа был сделан вывод о том, что для дальнейшего развития интеллектуальной среды в ВМК обучающих систем в рамках предложенного подхода необходима разработка новых, более совершенных способов построения МАС и ее интеллектуальных агентов. Решение этой задачи возможно путем создания новых методов планирования поведения интеллектуальных агентов, способных приспосабливаться к изменению поведения их внешнего окружения.

В третьей главе в рамках предложенного агентно-ориентированного подхода была разработана архитектура многоагентной моделирующей системы (многоагентного ВМК), представленная на рис. 1.

Рис. 1. Структура ВМК на базе МАС

На рис. 1 использованы следующие обозначения: Модель УО_i - управляемый объект, где , - количество управляемых объектов; Модель ИО_j - интеллектуальный объект, моделирование поведения которого выполняется ВМК, где ; - количество интеллектуальных объектов; АРМ_k - автоматизированное рабочее место, , - количество рабочих мест; - количество моделей устройств; - количество моделей среды.

Для приведенной структуры предложено использовать следующее ее формальное описание:

, (2)

где: - множество моделей устройств; - множество моделей сред; - множество неоднородных объектов, где - управляемая оператором модель объекта, ; - интеллектуальная модель объекта, ; - множество отношений между элементами системы; - множество внешних воздействий (управляющих воздействий оператора); - множество состояний системы.

В свою очередь, управляемая оператором модель объекта системы представлена как , где - модель физического представления объекта; - модель управляемого поведения. Интеллектуальная модель объекта представлена следующим образом: , где - модель физического представления объекта; - модель интеллектуального поведения объекта или интеллектуальный агент ВМК.

Ключевым элементом предлагаемой архитектуры является интеллектуальный агент, предназначенный для обеспечения моделирования поведения объектов в обучающей системе.

В рамках агентно-ориентированного подхода по реализации ВМК обучающей системы и предложенной структуры интеллектуального агента в работе разработана математическая модель интеллектуального поведения, которую можно представить в виде кортежа:

, (3)

где: - модель реактивного поведения; - модель планирования поведения; - модель коллективного поведения; - множество состояний модели; - множество элементарных действий; - множество отношений со средой функционирования; - множество отношений между элементами модели.

Для описания реактивного поведения, планирования поведения и коллективного поведения в диссертационной работе используются следующие определения:

- реактивное поведение - фиксированная последовательность элементарных действий при идентификации определенной ситуации;

- планирование поведения - построение множества упорядоченных последовательностей элементарных действий и способ их выбора в зависимости от состояния внешнего окружения;

- коллективное поведение - совокупность последовательностей действий группы объектов системы, направленных на решение общей задачи.

Реализация моделей реактивного поведения и коллективного поведения выполняется при помощи существующего методического аппарата, используемого в настоящее время при разработке программного обеспечения ВМК. Однако он не учитывает существование модели планирования . В связи с этим, в диссертационной работе были разработаны три модели планирования, представляющие модификации методов, отмеченных во второй главе. Модификации исходных методов производились за счет применения элементов нечеткой логики, применения разработанных автором механизмов самонастройки и адаптации.

Разработанные модели планирования поведения могут быть представлены в виде следующих формальных записей:

1. - нечеткая адаптивная модель планирования;

2. - нечеткая модель планирования с самонастройкой;

3. - нечеткая адаптивная модель планирования с самонастройкой,

где: - алфавит планирующей модели; - множество элементарных планов; - множество нечетких отношений частичного порядка; - нечеткое отношение прерываемости; - множество правил; - функция адаптации; - функция самонастройки; - планирующая функция.

Предложенные модели базируются на разработанных в диссертационной работе методах планирования, в основе которых лежит понятие множества элементарных планов . Под элементарным планом , где понимается некоторое действие агента , где ; - множество действий, которые способен выполнять агент, или некоторая последовательность таких действий .

Таким образом, на множестве возможно существование подмножества , содержащего такие элементарные планы, которые представлены последовательностями других элементарных планов , где .

Множество нечетких отношений определяется для множества , где: - число уровней иерархии, таким образом, что каждому , соответствует множество , где: - элементарные планы; - функция предпочтительности выполнения элементарного плана , для -го уровня, которая представляет собой отображение: , где - состояние модели; - множество критериев истинности, - множество значений показателя предпочтительности выполнения элементарного плана.

Нечеткое отношение прерываемости определено на множестве таким образом, что выполняется условие , , где - функция предпочтительности выполнения элементарного плана , которая представляет собой отображение .

Функция адаптации представляет собой отображение .

Функция самонастройки представлена отображением .

Тогда функция планирования представлена как , где - множество условий планов; - план поведения, представляющий собой последовательность элементарных планов.

Множество условий планов состоит из подмножества применимых и подмножества исполняемых элементарных планов , что может быть записано как . Подмножества и представлены множествами пар вида , где - переменная, характеризующая предпочтительность начала (продолжения) -го элементарного плана; - значение показателя настраиваемого параметра, определяющего минимальное необходимое значение переменной для определения условий начала (продолжения) плана. Для определения значения переменных подмножеств и используется аппарат нечеткой логики. Для этого с помощью метода центра масс рассчитываются четкие значений показателей предпочтительности начала (продолжения) выполнения плана на основе полученных с помощью правил , нечетких значений:

, (4)

где - выходная переменная лингвистической модели; , где ; - функция принадлежности нечеткого множества - характеризующего состояние модели; - нечетких множеств, определенных комбинацией нечеткого множества и отношения ; - входная переменная лингвистической модели; - функция принадлежности нечеткого правила .

Реализация бинарных отношений с помощью методов нечеткой логики в диссертационной работе выполнена путем выражения этих отношений через настраиваемые параметры и использования функций принадлежности, характеризующих желательность начала выполнения элементарных планов. Для этого используется множество , элементы которого представлены как:

(5)

где - элементарные планы; - четкие значения показателей предпочтительности начала выполнения планов, полученные с помощью метода центра масс; - настраиваемый критерий истинности.

Адаптация методов планирования обеспечивается при помощи механизма синтеза новых нечетких правил на основе существующих, на базе текущих значений параметров модели поведения обстановки. Операция синтеза выполняется за счет изменения функций принадлежности нечетких правил планирования. Это обеспечивается путем придания нечеткому правилу двух разных функций принадлежности для различных состояний модели, т.е. для параметра , представляющего состояние модели, задается два граничных состояния ( и ). Функции принадлежности для правила планирования в этих состояниях определены как и . Оценка текущего состояния модели осуществляется путем определения степени близости его значения к состояниям и . Если равно в случае состояния и 1 в случае состояния , то функция принадлежности для состояния определяется как:

, или в графическом виде, как представлено на рис.2.

Рис. 2. Адаптация нечеткого правила планирования.

Самонастройка предлагаемых методов планирования поведения реализована с помощью механизма корректировки поправок к параметрам моделей планирования в соответствии с заданным состоянием . Это достигается при помощи оценки изменения состояния системы в ответ на предыдущую настройку и внесение корректировок в поправки на основе нечетких правил самонастройки .

Нечеткие правила самонастройки можно представить в следующем виде:

1. Если , то следует сильно увеличить;

2. Если , то следует немного уменьшить;

3. Если , то следует немного увеличить;

4. Если , то следует сильно уменьшить,

где: - отклонение состояния модели от эталонного значения ; - приращение отклонения за заданный период ; - поправка для -го параметра системы, , - количество параметров.

Настройка параметров модели осуществляется попеременно, чтобы избежать их взаимного влияния на контролируемые характеристики системы.

Отклонение состояния системы определяется следующим образом:

, (6)

где - значение функции принадлежности, характеризующей меру отклонения -го контролируемого параметра системы , от эталонного значения , - количество контролируемых параметров.

Настройка прерывается, если значение отклонения удовлетворяет неравенству , где - постоянная критерия прерывания настройки.

Для предложенных моделей и методов планирования поведения интеллектуального агента была разработана структура подсистемы планирования, которая представлена на рис. 3.

Рис. 3. Структура подсистемы планирования поведения.

На рисунке представлены основные элементы предложенной структуры, их взаимодействие, а также место подсистемы в системе моделирования поведения агента.

Для оценки эффективности использования интеллектуальных АСОИ в обучающих системах, в диссертационной работе предлагается использовать показатели эффективности функционирования ВМК, обеспечивающие моделирование интеллектуальной среды обучения. В работе приведено обоснование следующих показателей эффективности функционирования ВМК:

– среднего статистического значения успешности реализации ожидаемого поведения объектов;

– среднестатистического значения производительности многоагентной системы по подготовке одного поведенческого решения.

Для определения среднестатистического значения успешности реализации ожидаемого поведения объектов предлагается использовать показатель :

(7)

где: - количество интеллектуальных агентов; - количество подзадач -го агента; - частный показатель успешности реализации -ой подзадачи -ым агентом, который определяется как:

, (8)

где: - число случаев благоприятных событию реализации -ой подзадачи; - общее число случаев.

Для определения среднестатистического значения производительности многоагентной системы по подготовке одного поведенческого решения предлагается использовать величину :

, (9)

где - среднестатистическое время подготовки решения интеллектуальным агентом, которое записывается как:

, (10)

где - время подготовки -го решения интеллектуальным агентом, ; - общее количество подготовленных решений в МАС; , где - время начала выполнения задачи подготовки решения; - время завершения задачи подготовки решения.

В четвертой главе приводится описание практической реализации разработанных в работе подходов, моделей, структур и методов планирования поведения интеллектуальных агентов в тактическом тренажере «Охта», а также результаты вычислительного эксперимента по исследованию эффективности предложенных методов. На рисунках 4, 5, 6 представлены результаты вычислительного эксперимента, показывающие зависимости показателей и от параметров методов планирования.

Рис. 4. Влияние количества элементарных планов интеллектуальных агентов на показатели эффективности функционирования многоагентной тренажерной системы.

Рис. 5. Влияние количества параметров самонастройки интеллектуальных агентов на показатели эффективности функционирования многоагентной тренажерной системы.

С применением эвристической процедуры выбора были определены параметры для различных модификаций методов планирования с учетом требований по производительности . Полученные экспериментальные данные приведены на рисунках 7, 8, из которых видно, что применение моделей поведения с использованием методов планирования позволило увеличить показатель успешности реализации ожидаемого поведения (Z)

Рис. 6. Влияние количества адаптируемых правил интеллектуальных агентов на показатели эффективности функционирования многоагентной тренажерной системы.

относительно исходной системы моделирования, но привело к некоторому снижению производительности (C) системы моделирования относительно модели, не использующей методов планирования.

Рис.7. Прирост показателя успешности реализации ожидаемого поведения объектов для разработанных моделей относительно исходной системы моделирования.

Как видно из диаграмм, приведенных на рисунках 7,8, использование предложенных в диссертационной работе методов обеспечило значительное улучшение показателей успешности реализации ожидаемого поведения моделируемых объектов при некотором снижении производительности в пределах допустимых значений.

Рис.8. Снижение показателя производительности системы для разработанных моделей относительно исходной системы.

Максимальное значение показателя успешности реализации ожидаемого поведения моделируемых объектов было достигнуто при использовании нечеткого адаптивного метода планирования с самонастройкой. Однако, как показали исследования производительности ВМК, этот метод оказался достаточно ресурсоемким, но производительность вычислительной системы в целом оказались в рамках допустимых пределов.

В случае использования предложенных методов для многоагентного ВМК с большим количеством интеллектуальных объектов рекомендуется использовать нечеткий адаптивный метод планирования поведения.

В заключении приведены основные результаты, полученные в диссертационной работе.

Основные результаты работы

1. Обосновано применение теории многоагентных систем при построении программного обеспечения ВМК обучающих систем.

2. Разработаны методы планирования поведения интеллектуальных агентов в многоагентной среде обучающей системы.

3. Разработана модель многоагентного вычислительно-моделирующего комплекса и модель интеллектуального агента.

4. Разработана методика оценки эффективности использования интеллектуальных АСОИ в обучающих системах.

5. Разработано программное обеспечение, реализующее предложенные подходы, модели и методы планирования поведения интеллектуальных агентов.

Список работ, опубликованных по теме диссертации

1. Рогозин Г.И., Виноградов Г.П., Лазырин М.Б., Арсланов Ф.Х. Автоматизация построения операционных цепей // Перспективы развития Волжского региона: Материалы Всероссийской заочной конференции. Вып.6 - Тверь: ООО «Буковица», 2004. - С.58-61.

2. Рогозин Г.И., Виноградов Г.П., Лазырин М.Б., Арсланов Ф.Х. Операционные цепи с компенсирующимися погрешностями составляющих звеньев // Перспективы развития Волжского региона: Материалы Всероссийской заочной конференции. Вып.6 - Тверь: ООО «Буковица», 2004. - С.61-65.

3. Лазырин М.Б. Использование технологии многоагентных систем при разработке тактических тренажеров // Сборник материалов Всероссийской конференции «Тренажеростроение: современное состояние, перспективы развития», - Тверь: ЗАО НИИ «Центрпрограммсистем», 2005. - С.53-57.

4. Лазырин М.Б., Крестьянинов В.Б. Использование многоагентной технологии на этапе проектирования обучающих систем // Сборник статей 16 международной научно-технической конференции «Математические методы и информационные технологии в экономике, социологии и образовании», - Пенза, 2005, С.431-433.

5. Крестьянинов В.Б., Кадушкин А.А., Лазырин М.Б. Выбор метода настройки многослойной нейронной сети сигмоидального типа // Сборник статей 16 международной научно-технической конференции «Математические методы и информационные технологии в экономике, социологии и образовании», - Пенза, 2005, С.433-436.

6. Виноградов Г.П., Лазырин М.Б. Планирование поведения агентов на основе приобретенных знаний // Международный журнал «Проблемы теории и практики управления». Международное научно-практическое приложение «Программные продукты и системы». - 2006.- №3 - С.45-46.

Размещено на Allbest.ru