Области применения систем искусственного интеллекта

С применением предложенной методологии и технологии может быть выполнен ряд работ в области социологии и политологии:

- определение социальной базы (структуры электората) партий, их блоков и объединений, конкретных кандидатов в разрезах по краевому центру, городам и районам края (социальный, возрастной, профессиональный, национальный, образовательный, половой и т.п.;

- состав, поддерживающих и отвергающих программные лозунги предвыборной борьбы);

- изучение социальных запросов различных групп населения и формирование на этой основе предвыборной программы блока, партии, кандидата;

- выявление объективных союзников и оппозиции, как в среди партий, блоков и кандидатов, так и среди различных групп населения;

- изучение динамики и территориальных особенностей по всем этим аспектам.

Имеется положительный опыт исследований по данной проблематике, подтвержденный рядом актов (ДСП).

В настоящее время работы, проводящиеся различными группами и организациями по этим проблемам не основаны на использовании автоматизированных систем искусственного интеллекта, позволяющих разрабатывать и использовать оптимальные методики получения социологической информации и ее анализа. Обычно применяемое для компьютерной обработки результатов анкетирования программное обеспечение позволяет получить лишь простейшие характеристики исследуемой выборки, вроде процентного распределения голосов по районам или различным группам населения.

Рассмотрим подробнее вопросы применения АСК-анализа для выявления конфликтующих коалиций в сложных организационных системах.

В теории конфликтов традиционно считается, что конфликтующие стороны известны, т.е. заданы априорно, и, таким образом, вопрос об их обнаружении и выявлении в рамках этой теории не стоит.

Однако в ряде предметных областей, таких, например, как психология общения, социально-экономические и политологические системы, которые представляют собой сложные организационные системы, перед применением методов теории конфликтов часто бывает необходимо предварительно выявить сами конфликтующие стороны и их возможные коалиции, определить содержание и источники конфликтов, и уже только после этого конкретизировать типы конфликтов и применять стандартные методы их разрешения или компромиссного согласования интересов. Более того, именно в обнаружении конфликтующих сторон, а не в дальнейшем анализе, зачастую и состоит основной смысл интеллектуальной обработки данных в этих предметных областях.

Таким образом проблема выявления конфликтующих сторон и коалиций является актуальной научно-технической проблемой, относящейся к области, непосредственно смежной с теорией конфликтов и как бы подготавливающей исходные данные для ее применения.

Авторы предлагают применить для выявления конфликтующих коалиций в сложных организационных системах методы кластерно-конструктивного анализа и теории информации, реализованные в адаптивной системе анализа и прогнозирования состояний сложных систем "Эйдос".

Теория конструктов возникла в 1955 году (Дж.Келли) в области когнитивной психологии. Конструктом называется понятие, имеющее семантические полюса и шкалу промежуточных смысловых значений (градаций). В частности, конструктом является и система из двух наиболее сильно отличающихся кластеров со спектром объектов, занимающих между этими полюсами промежуточные положения.

Более конкретно суть предлагаемой авторами технологии состоит в следующем.

Осуществляется формализация предметной области, которая состоит в том, что каждой относительно самостоятельной компоненте системы ставится в соответствие некоторая обобщенная категория и все компоненты описываются в одной системе свойств и качеств (атрибутов).

На основе описаний компонент формируются обобщенные образы категорий, которые соответствуют конфликтующим или вступающим в коалицию сторонам. Для этой цели применяются методы теории информации, в частности апостериорная семантическая мера информации А.А.Харкевича.

Каждый из обобщенных образов представляет собой список атрибутов, расположенных в порядке убывания их характерности для данной категории. Кроме того, каждый атрибут описывается количеством информации, которое он содержит о принадлежности обладающего данным атрибутом компонента системы к каждой из категорий.

Обобщенные образы непосредственно сравниваются между собой методами корреляционного анализа, на основе чего формируется матрица сходства, которая является непосредственной основной для расчета конструктов и кластеров.

Важно, что в предложенной математической модели при формировании конструктов одновременно формируются и кластеры, причем если для формирования кластеров по классическим алгоритмам необходимо произвести число операций, равное количеству сочетаний из "n по m", то для формирования конструктов, всего n², т.е. в предложенной модели в данном случае снимается проблема комбинаторного взрыва.

Результаты кластерно-конструктивного анализа представляются в наглядной графической форме в виде семантических сетей, которые представляют собой ориентированные графы, в вершинах которых находятся обобщенные категории, а ребрами являются вектора, величина и направление которых соответствуют величине сходства или различия каждой пары категорий.

Конкретное содержание конфликтов и основа для коалиций раскрывается в форме когнитивных диаграмм, представляющих собой по сути дела графическое изображение обобщенных образов двух категорий в форме списков наиболее характерных и нехарактерных для них атрибутов с указанием в форме векторов вклада каждой пары атрибутов в сходство или различие данных категорий.

Таким образом, предложенные математические модели, основанные на теории информации, и конкретная технология интеллектуальной обработки информации, реализованная на базе адаптивной системы анализа и прогнозирования состояний сложных систем "Эйдос", обеспечивают успешное выявление конфликтующих коалиций в сложных организационных системах, в частности коллективах, социально-экономических и политологических системах.

7. Поддержка принятия решений по выбору агротехнологий, культур и пунктов выращивания

Исследование проведено совместно с О.А.Засухиной на базе Кубанского государственного аграрного университета в 1993-1996 годах [64] на основе эмпирических исходных данных, представленных Н.Г.Малюгой. Предложенные технологии АСК-анализа реализовывалась на базе системы "Эйдос". С помощью сформированной содержательной информационной модели прогнозировались результаты выращивания сельскохозяйственных культур и вырабатывались научно-обоснованных рекомендации по управлению урожайностью и качеством сельскохозяйственной продукции.

Параметры семантической информационной модели

- факторы управляющей системы (агротехнологии, т.е. нормы высева, виды и нормы внесения удобрений, методы вспашки, и т.п.);

- факторы окружающей среды (вид почв, культуры-предшественники по предшествующим годам и др.).

Размерность модели составила: 35 прогнозируемых результатов выращивания, 188 градаций факторов, 217 прецедентов в обучающей выборке, 18594 факта. На основе предложенной технологии АСК-анализа разработано конкретное приложение, обеспечивающее поддержку принятия решений по выбору оптимальной агротехнологии, обеспечивающей достижение поставленной цели выращивания с учетом параметров окружающей среды.

Методика проведения работ

1. Формулирование целей методики и в соответствии с ними разработка перечня прогнозируемых, в т.ч. целевых и нежелательных хозяйственных ситуаций, т.е. результатов выращивания (например, для классификации будущих состояний, в том числе целевых, могут быть использованы "шкала качества" и "шкала количества", а также разработка шкал и градаций факторов для описания причин, которые привели к этим результатам. Предложен формализованный паспорт результатов выращивания сельхозкультуры, состоящий из трех частей: первая из их содержит шкалы и градации, позволяющие классифицировать хозяйственный результат; вторая содержит шкалы и градации, описывающие не зависящие от воли человека факторы (факторы среды, в т.ч. технологическая предыстория); третья - технологические факторы, которые можно рассматривать как средство достижения желаемых результатов.

2. Использование бумажного архива по выращиванию сельхозкультуры для заполнения формализованных паспортов выращивания и ввода в программную инструментальную систему "Эйдос" в качестве примеров выращивания (обучающей выборки).

3. Синтез семантической информационной модели, т.е. выявление (на основе предъявленных реальных примеров выращивания сельхозкультур) причинно-следственных взаимосвязей между факторами окружающей среды, применяемыми технологиями и полученными результатами. Матрица абсолютных частот, является обобщением обучающей выборки, и матрица информативностей, представляет собой семантическую информационную модель предметной области.

4. Оценка достоверности модели, т.е. проверка способности созданного приложения правильно прогнозировать хозяйственные результаты на массиве уже введенных формализованных паспортов. Проведенная проверка показала, что валидность оказалась недостаточно высокой для практического применения: на уровне 58%. Причиной этого являются артефакты (неточные и зашумленные данные), из-за которых некоторые хозяйственные ситуации оказались слабо детерминированными. Удаление артефактов (Парето-автоматизация) привело к повышению интегральной валидности до 80%, что достаточно для практического использования методики.

5. Формирование информационных портретов по каждому возможному результату выращивания. Информационный портрет хозяйственной ситуации представляет собой перечень технологических факторов с количественным указанием того, какое влияние оказывает каждый из них на осуществление данной ситуации. По сути дела информационный портрет хозяйственной ситуации является системой научно-обоснованных рекомендаций по выбору культуры для выращивания и применению тех или иных технологий.

6. Каждый из технологических факторов на основе приведенных примеров характеризуется тем, какое влияние он оказывает на осуществление каждой (целевой или нежелательной) хозяйственной ситуации. Эта информация содержится в семантических портретах факторов.

7. Сравнение различных хозяйственных ситуаций и формирование групп наиболее сходных из них (кластеров), а также определение кластеров, наиболее сильно отличаются друг от друга (конструктов). При этом непосредственно на основе эмпирических данных путем их анализа был выявлен конструкт "качество-количество", означающий, что для получения высокого качества и большого количества продукции необходимы совершенно противоположные и несовместимые (т.е. невозможные одновременно) почвы, предшественники и агротехнологические приемы. Вместе с тем низкое качество и небольшое количество продукции вполне совместимы.

8. Группировка технологических факторов в кластеры и конструкты. Кластерно-конструктивный анализ факторов показал, что некоторые различные по своей природе факторы имеют сходное влияние на хозяйственные результаты. Эти сходные по влиянию факторы предложено использовать для замены друг друга в случае необходимости. Так, например, однолетние и многолетние бобовые и ранние предшественники оказывают практически такое же влияние на результаты выращивания пшеницы, как вспашка 20-22 см, а поздние пропашные предшественники как поверхностная вспашка 8-10 см.

Таким образом, с применением математического метода и инструментария АСК-анализа решены две основные задачи:

Данная работа проводилась в рамках гранта "ИННО-РФФИ" № 02-04-08080 "Модифицирование и коммерциализация методов компьютерной оценки ресурсного потенциала территорий и адаптивности генотипов для оптимизации размещения и зональных технологий с.х.культур" и гранта "Инициативный научный проект" № 02-05-64233 "Разработка теории многокритериальной оценки ландшафтных и метеорологических характеристик Юга России для увеличения продуктивности плодовых культур на основе создания системы банков данных и компьютерного моделирования" совместно с И.А.Драгавцевой и Л.М.Лопатиной [25, 29, 30, 34, 109, 140, 143].

Цель работы

Исторически сложившиеся традиционные ареалы выращивания плодовых культур в общем случае могут не совпадать с фактически оптимальными. Само понятие "оптимальности" нуждается в изучении и определении. Прежде всего оно является многокритериальным, т.е. включает не только экономическую необходимость выращивания тех или иных культур, но и возможность этого, обусловленную всей совокупностью факторов, характеризующих природные и технологические условия выращивания в сопоставлении с требованиями, определяемыми биологическими свойствами сортов. В данном исследовании ставится цель создать технологию, обеспечивающую определение и картографическую визуализацию зон оптимального и рискованного выращивания сельскохозяйственных культур (на примере районирования плодовых косточковых в Южно-Российском регионе).

Проблема

Основная проблема, которую необходимо решить для достижения поставленной цели, состоит в отсутствии инструментария и технологий, обеспечивающих выявление и изучение факторов, влияющих на успешность выращивания сельскохозяйственных культур.

Это связано с тем, что огромные объемы информации по условиям и результатам выращивания, наколенной за десятки лет, находятся в бумажной форме, и не преобразованы в электронную форму, допускающую автоматизированную количественную обработку. Не ясно также какие математические модели могут быть использованы для обработки этой информации, т.к. она характеризуется огромной размерностью (десятки тысяч градаций факторов и результатов выращивания), непараметричностью, неполнотой (фрагментарностью), неточностью. Кроме того, отсутствующие данные не могут быть восполнены в результате специально организованного эксперимента. Эффективность математической модели должна быть подтверждена, в соответствии с принятыми в науке стандартами, на новых данных, что требует многолетних исследований с уже существующим инструментарием. Однако разработка эффективных и работоспособных алгоритмов и структур данных, а также программной реализации математической модели, весьма трудоемка и требует высокой квалификации разработчиков. Кроме того, должна быть детально разработана технология применения созданного специального инструментария.

Традиционные пути решения

Традиционно проблема районирования сортов решалась путем обобщения фактических результатов выращивания тех или иных сортов в различных регионах за длительный исторический период. В этом подходе, однако, есть следующие недостатки. Традиционные ареалы выращивания сортов обусловлены не только объективными ландшафтно-климатическим факторами, но и традициями этносов, а также путями и исторически сложившимися зонами их расселения. Это означает, что, с одной стороны, в ряде случаев сорта возделываются там, где это не вполне оправданно по объективным условиям, а с другой стороны, наоборот, они могут не возделываться там, где для этого существуют наилучшие природные условия. Традиционный подход не позволяет на количественном уровне оценить степень соответствия объективных условий в той или иной точке для выращивания заданного сорта, и таким образом, не соответствует критериям строгости, принятым в современной науке.

Еще в 1935 г. Всесоюзной Академией сельскохозяйственных наук бывшего Советского Союза перед Государственной системой испытания сельскохозяйственных культур была поставлена задача проведения их районирования.

Однако, эта задача не решена в полной мере до сих пор, особенно по многолетним культурам. И это понятно, т.к. государственное испытание проводит изучение плодовых в конкретных точках, которые привязываются чаще всего к крупным плодовым хозяйствам иногда без возможности проводить испытание всего набора культур.

Например, в Краснодарском крае нет ни одного сортоучастка, где абрикос давал бы более 4-х урожаев за 10 лет. Госсортосеть рекомендует к закладке садов сорта по данным эмпирического испытания, без учета и анализа их адаптивного потенциала и природно-ресурсного потенциала конкретного пункта. Эти рекомендации с аналогичными данными НИИ используются при разработке проектов закладки садов проектными организациями, например, по Краснодарскому краю ОАО "Краснодарагроспецпроект".

Недостатки традиционных путей

Отсутствие системного подхода к оценке и использованию потенциала природных ресурсов и биологического потенциала сортов. Отсутствие анализируемого разработчиками проекта массива данных в системе взаимодействия "генотип-среда". Отсутствие информации по степени адаптивного потенциала конкретных сортов к конкретным условиям среды. Отсутствие прогноза вероятности проявления лимитирующих факторов (морозов, заморозков в конкретные фазы развития растений в зимне-весенний и поздне-осенний периоды, засухи, жары в летне-осенний период).

В связи с вышеизложенным неизбежен субъективизм и низкая адекватность решений по выбору культур и сортов для посадки со стороны руководителя хозяйства и специалистов проектных организаций.

Предлагаемая концепция решения проблемы

Предлагается путь решения поставленной проблемы путем поэтапной постановки и решения следующих задач:

1. Формализация предметной области: проектирование иерархической информационной модели предметной области, обеспечивающей оптимальность формализованного представления фактографической информации. Выбор исследуемой системы факторов на основе системного подхода (основное требование: полнота и всесторонность описания объекта исследования).

2. Организация источников информации: разработка формализованного паспорта для подготовки исходной информации, организация сбора и поступления информации для ввода в автоматизированную систему. Необходимо отметить, что получить исходную информацию из имеющихся в ведомственных организациях архивов практически не представляется возможным без поддержки данных исследований высших руководством этих организаций.

3. Мониторинг: накопление в электронной форме информации по условиям и результатам выращивания (прежде всего с использованием верифицированной ретроспективной информации).

4. Анализ: изучение силы и направленности влияния факторов; оптимизация, т.е. устранение избыточности системы факторов.

5. Прогнозирование:

- пространственная интерполяция метеопараметров для заданного пункта по их значениям в трех ближайших метеостанциях (с учетом высоты места и наклона поверхности);

- определение начала и окончания фаз для различных сортов в заданном пункте выращивания на основе ретроспективных данных;

- прогнозирование количественных и качественных результатов выращивания различных сортов в заданном пункте выращивания.

6. Управление: разработка научно-обоснованных рекомендаций по выбору:

- оптимальных пунктов для выращивания заданного сорта;

- оптимального сорта для выращивания в заданных пунктах.

7. Картографическая визуализация результатов прогнозирования и рекомендаций по управлению, получение отчетов и графических выходных форм.

При решении поставленных задач необходимо разработать математическую модель, алгоритмы и структуры данных, программный инструментарий и технологию его применения, обеспечивающие накопление баз данных о фактических результатах выращивания (мониторинг), анализ этих данных с целью выявления причинно-следственных зависимостей между свойствами сортов, условиями и результатами выращивания, прогнозирование результатов выращивания заданного сорта для любой точки на карте, картографическую визуализацию результатов прогнозирования.

10. Математическая модель

Применение математического метода и инструментария АСК-анализа для прогнозирования динамики рынка продукции АПК рассмотрим на примере одного из сегментов фондового рынка Российской Федерации (рынок доллара США). Разработанные при этом технологии и подходы применимы и для других сегментов рынка при прогнозировании спроса и цен на различные виды продукции.

Предыстория исследования

В 1993-1994 годах, автором совместно с Б.Х.Шульман (США) были проведены исследования Российского фондового рынка [101]. При этом были применены предложенные технологии и специальный программный инструментарий АСК-анализа - базовая система "Эйдос" [144] и специально созданная система окружения "Эйдос-фонд" [146]. Было создано несколько вариантов приложений для различных сегментов фондового рынка и с различной детализацией прогнозов: на каждый день на 30 дней вперед, и на каждый час рабочего дня. В дальнейшем данная разработка была усовершенствована (усилены графические возможности анализа данных), разработаны режимы исследования созданной модели и др.

15. Когнитивная структуризация и формализация предметной области