АСК-анализ эффективности работы преподавателя аграрного вуза на основе данных репозитория UCI

Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

Введение

Создание систем искусственного интеллекта является одним из важных и перспективных направлений развития современных информационных технологий. Так как существует множество альтернатив систем искусственного интеллекта, то возникает необходимость оценки качества математических моделей этих систем. В работах рассматривалось решение этой задачи для оценки качества модели, реализованной в универсальной автоматизированной системе «Эйдос», представляющей собой программный инструментарий автоматизированного системно- когнитивного анализа (АСК-анализ). Для достижения поставленной цели необходимы свободный доступ к тестовым исходным данным и методика, которая поможет преобразовать эти данные в форму, которая необходима для работы в системе искусственного интеллекта. Удачным выбором является база данных тестовых задач для систем искусственного интеллекта репозитория UCI. «Репозиторий UCI (UCI Machine Learning Repository) -- крупнейший репозиторий реальных и модельных задач машинного обучения. Содержит реальные данные по прикладным задачам в области биологии, медицины, физики, техники, социологии, и др. Задачи (наборы данных, data set) именно этого репозитория чаще всего используются научным сообществом для эмпирического анализа алгоритмов машинного обучения. Репозиторий UCI создан в университете г. Ирвин (Калифорния, США).

1. Синтез и верификация моделей

1.1 Описание решения

В соответствии с методологией АСК-анализа решение поставленной задачи проведем в четыре этапа:

1. Преобразование исходных данных из HTML-формата в промежуточные файлы MS Excel.

2. Преобразование исходных данных из промежуточных файлов MS Excel в базы данных системы "Эйдос".

3. Синтез и верификация моделей предметной области.

4. Применение моделей для решения задач идентификации, прогнозирования и исследования предметной области.

1.2 Преобразование исходных данных из HTML-формата в файл исходных данных MS Excel

Из банка исходных данных по задачам искусственного интеллекта - репозитория UCI получаем исходную информацию по базе данных «Teaching Assistant Evaluation Data Set», которую оставим без изменений.

Общее описание задачи: (файл: «tae.names» по адресу: http://archive.ics.uci.edu/ml/machine-learning-databases/tae/tae.names).

1. Title: Teaching Assistant Evaluation

2. Sources:

(a) Collector: Wei-Yin Loh (Department of Statistics, UW-Madison)

(b) Donor: Tjen-Sien Lim (limt@stat.wisc.edu)

(b) Date: June 7, 1997

3. Past Usage:

1. Loh, W.-Y. & Shih, Y.-S. (1997). Split Selection Methods for Classification Trees, Statistica Sinica 7: 815-840.

2. Lim, T.-S., Loh, W.-Y. & Shih, Y.-S. (1999). A Comparison of

Prediction Accuracy, Complexity, and Training Time of

Thirty-three Old and New Classification Algorithms. Machine

Learning. Forthcoming.

(ftp://ftp.stat.wisc.edu/pub/loh/treeprogs/quest1.7/mach1317.pdf or

(http://www.stat.wisc.edu/~limt/mach1317.pdf)

4. Relevant Information:

The data consist of evaluations of teaching performance over three

regular semesters and two summer semesters of 151 teaching assistant

(TA) assignments at the Statistics Department of the University of

Wisconsin-Madison. The scores were divided into 3 roughly equal-sized

categories ("low", "medium", and "high") to form the class variable.

5. Number of Instances: 151

6. Number of Attributes: 6 (including the class attribute)

7. Attribute Information:

1. Whether of not the TA is a native English speaker (binary)

1=English speaker, 2=non-English speaker

2. Course instructor (categorical, 25 categories)

3. Course (categorical, 26 categories)

4. Summer or regular semester (binary) 1=Summer, 2=Regular

5. Class size (numerical)

6. Class attribute (categorical) 1=Low, 2=Medium, 3=High

8. Missing Attribute Values: None

Обучающая выборка.

На сайте UCI по адресу: http://archive.ics.uci.edu/ml/machine-learning-databases/tae/tae.data представлена обучающая выборка.

Data Set Information:

The data consist of evaluations of teaching performance over three regular semesters and two summer semesters of 151 teaching assistant (TA) assignments at the Statistics Department of the University of Wisconsin-Madison. The scores were divided into 3 roughly equal-sized categories ("low", "medium", and "high") to form the class variable.

Attribute Information:

1. Whether of not the TA is a native English speaker (binary); 1=English speaker, 2=non-English speaker

2. Course instructor (categorical, 25 categories)

3. Course (categorical, 26 categories)

4. Summer or regular semester (binary) 1=Summer, 2=Regular

5. Class size (numerical)

6. Class attribute (categorical) 1=Low, 2=Medium, 3=High

Информация набора данных:

Данные состоят из оценок эффективности преподавания в течение трех регулярных семестров и двух летних семестров 151 ассистентом преподавателя (TA) назначений в департаменте статистики Университета Висконсин-Мэдисон. Счет были разделены на 3 примерно одинакового размера категории ("низкий", "средний" и "высокий"), чтобы сформировать переменную класса.

Описательная информация:

1. Знание английского (бинарный)1 = английского языка, 2 = без английского языка.

2. Преподаватель курса (категоричны, 25 категорий).

3. Курс (категоричны, 26 категорий).

4. Летний семестр или обычный (бинарный) 1 = Лето, 2 = Регулярное.

5. Размер класса (числовой).

6. Атрибуты класса (категоричны) 1 = низкий, 2 = средний, 3 = высокий.

Поскольку ввод исходных данных в систему «Эйдос» планируется осуществить с помощью ее универсального программного интерфейса им- порта данных из внешних баз данных, который работает с файлами MS Excel, то преобразуем данные из html-файла в xls-файл, для чего вы- полним следующие операции.

Скопируем получившуюся таблицу из MS Word в MS Excel и запишем ее с именем: Inp_data.xls в папку: c:\Aidos-X\AID_DATA\Inp_data\. В файле Inp_data.xls добавим пустую колонку на позиции «A» и автоматически пронумеруем все строки. В результате получим таблицу исходных данных, полностью подготовленную для обработки в системе «Эйдос» и записанную в нужную папку в виде файла нужного типа с нужным именем (таблица 1):

Таблица 1 - Исходные данные

n	Class attribute	English	Course instructor	Course	Summer or regular	Class size
1	3/3-High	yes	23	3	Summer	19
2	3/3-High	no	15	3	Summer	17
3	3/3-High	yes	23	3	Regular	49
4	3/3-High	yes	5	2	Regular	33
5	3/3-High	no	7	11	Regular	55
6	3/3-High	no	23	3	Summer	20
7	3/3-High	no	9	5	Regular	19
8	3/3-High	no	10	3	Regular	27
9	3/3-High	yes	22	3	Summer	58
10	3/3-High	no	15	3	Summer	20
11	3/3-High	no	10	22	Regular	9
12	3/3-High	no	13	1	Regular	30
13	3/3-High	no	18	21	Regular	29
14	3/3-High	no	6	17	Regular	39
15	2/3-Medium	no	6	17	Regular	42
16	2/3-Medium	no	6	17	Regular	43
17	2/3-Medium	no	7	11	Regular	10
18	2/3-Medium	no	22	3	Regular	46
19	2/3-Medium	no	13	3	Summer	10
20	2/3-Medium	no	7	25	Regular	42
21	2/3-Medium	no	25	7	Regular	27
22	2/3-Medium	no	25	7	Regular	23
23	2/3-Medium	no	2	9	Regular	31
24	2/3-Medium	no	1	15	Summer	22
25	2/3-Medium	no	15	13	Regular	37
26	2/3-Medium	no	7	11	Regular	13
27	2/3-Medium	no	8	3	Regular	24
28	2/3-Medium	no	14	15	Regular	38
29	1/3-Low	no	21	2	Regular	42
30	1/3-Low	no	22	3	Regular	28
31	1/3-Low	no	11	1	Regular	51
32	1/3-Low	no	18	5	Regular	19
33	1/3-Low	no	13	1	Regular	31
34	1/3-Low	yes	13	3	Summer	13
35	1/3-Low	no	5	2	Regular	37
36	1/3-Low	no	16	8	Regular	36
37	1/3-Low	no	4	16	Regular	21
38	1/3-Low	no	5	2	Regular	48
39	1/3-Low	no	14	15	Regular	38
40	3/3-High	yes	23	3	Summer	19
41	3/3-High	no	15	3	Summer	17
42	3/3-High	yes	23	3	Regular	49
43	3/3-High	yes	5	2	Regular	33
44	3/3-High	no	7	11	Regular	55
45	3/3-High	no	23	3	Summer	20
46	3/3-High	no	9	5	Regular	19
47	3/3-High	no	10	3	Regular	27
48	3/3-High	yes	22	3	Regular	58
49	3/3-High	no	15	3	Summer	20
50	3/3-High	no	10	22	Regular	9
51	3/3-High	no	13	1	Regular	30
52	3/3-High	no	18	21	Regular	29
53	3/3-High	no	6	17	Regular	39
54	2/3-Medium	no	6	17	Regular	42
55	2/3-Medium	no	6	17	Regular	43
56	2/3-Medium	no	7	11	Regular	10
57	2/3-Medium	no	22	3	Regular	46
58	2/3-Medium	no	13	3	Summer	10
59	2/3-Medium	no	7	25	Regular	42
60	2/3-Medium	no	25	7	Regular	27
61	2/3-Medium	no	25	7	Regular	23
62	2/3-Medium	no	2	9	Regular	31
63	2/3-Medium	no	1	15	Summer	22
64	2/3-Medium	no	15	13	Regular	37
65	2/3-Medium	no	7	11	Regular	13
66	2/3-Medium	no	8	3	Regular	24
67	2/3-Medium	no	14	15	Regular	38
68	1/3-Low	no	21	2	Regular	42
69	1/3-Low	no	22	3	Regular	28
70	1/3-Low	no	11	1	Regular	51
71	1/3-Low	no	18	5	Regular	19
72	1/3-Low	no	13	1	Regular	31
73	1/3-Low	yes	13	3	Summer	13
74	1/3-Low	no	5	2	Regular	37
75	1/3-Low	no	16	8	Regular	36
76	1/3-Low	no	4	16	Regular	21
77	1/3-Low	no	5	2	Regular	48
78	1/3-Low	no	14	15	Regular	38
79	3/3-High	yes	23	3	Summer	25
80	3/3-High	yes	13	3	Summer	17
81	3/3-High	no	16	19	Regular	11
82	3/3-High	no	9	2	Regular	39
83	3/3-High	no	13	3	Summer	11
84	3/3-High	no	18	21	Regular	19
85	3/3-High	yes	22	3	Regular	45
86	3/3-High	no	7	11	Summer	20
87	3/3-High	no	23	3	Summer	20
88	3/3-High	yes	23	3	Summer	20
89	3/3-High	yes	23	3	Regular	38
90	3/3-High	no	14	22	Regular	17
91	3/3-High	yes	17	17	Regular	19
92	3/3-High	no	9	5	Regular	24
93	3/3-High	no	18	25	Regular	25
94	3/3-High	yes	17	17	Regular	31
95	3/3-High	no	1	15	Regular	31
96	2/3-Medium	no	1	8	Regular	18
97	2/3-Medium	yes	11	16	Regular	22
98	2/3-Medium	yes	22	13	Regular	27
99	2/3-Medium	no	9	2	Regular	14
100	2/3-Medium	no	13	1	Regular	20
101	2/3-Medium	yes	6	17	Regular	35
102	2/3-Medium	no	23	3	Summer	20
103	2/3-Medium	yes	23	3	Summer	20
104	2/3-Medium	no	6	17	Regular	37
105	2/3-Medium	yes	22	3	Regular	15
106	2/3-Medium	no	20	2	Regular	25
107	2/3-Medium	no	23	3	Regular	10
108	1/3-Low	no	20	2	Regular	14
109	1/3-Low	yes	23	3	Regular	38
110	1/3-Low	no	13	1	Regular	29
111	1/3-Low	no	10	3	Regular	19
112	1/3-Low	no	7	11	Regular	30
113	1/3-Low	yes	14	15	Regular	32
114	1/3-Low	no	8	3	Regular	27
115	1/3-Low	no	12	7	Regular	34
116	1/3-Low	no	8	7	Regular	23
117	1/3-Low	no	15	1	Regular	66
118	1/3-Low	no	23	3	Regular	12
119	1/3-Low	no	2	9	Regular	29
120	1/3-Low	no	15	1	Regular	19
121	1/3-Low	no	20	2	Regular	3
122	3/3-High	no	13	14	Regular	17
123	3/3-High	no	9	6	Regular	7
124	3/3-High	yes	10	3	Regular	21
125	3/3-High	no	14	15	Regular	36
126	3/3-High	yes	13	1	Regular	54
127	3/3-High	yes	8	3	Regular	29
128	3/3-High	no	20	2	Regular	45
129	2/3-Medium	no	22	1	Regular	11
130	2/3-Medium	no	18	12	Regular	16
131	2/3-Medium	no	20	15	Regular	18
132	2/3-Medium	yes	17	18	Regular	44
133	2/3-Medium	no	14	23	Regular	17
134	2/3-Medium	no	24	26	Regular	21
135	2/3-Medium	no	9	24	Regular	20
136	2/3-Medium	no	12	8	Regular	24
137	2/3-Medium	no	9	6	Regular	5
138	2/3-Medium	no	22	1	Regular	42
139	1/3-Low	no	7	11	Regular	30
140	1/3-Low	no	10	3	Regular	19
141	1/3-Low	no	23	3	Regular	11
142	1/3-Low	no	17	18	Regular	29
143	1/3-Low	no	16	20	Regular	15
144	1/3-Low	no	3	2	Regular	37
145	1/3-Low	no	19	4	Regular	10
146	1/3-Low	no	23	3	Regular	24
147	1/3-Low	no	3	2	Regular	26
148	1/3-Low	no	10	3	Regular	12
149	1/3-Low	yes	18	7	Regular	48
150	1/3-Low	no	22	1	Regular	51
151	1/3-Low	no	2	10	Regular	27

Автоматизированная формализация предметной области путем импорта исходных данных из внешних баз данных в систему "Эйдос".

Для загрузки базы исходных данных в систему «Эйдос» необходимо воспользоваться универсальным программным интерфейсом для ввода данных из внешних баз данных табличного вида, т.е. режимом 2.3.2.2 (рисунок 1):

Рисунок 1. Экранная форма Универсального программного интерфейса импорта данных в систему "Эйдос" (режим 2.3.2.2.)

В экранной форме, приведенной на рисунке 1, задать настройки, показанные на рисунке:

? "Задайте тип файла исходных данных Inp_data": "XLS - MS Excel- 2003";

? "Задайте диапазон столбцов классификационных шкал": "Начальный столбец классификационных шкал" - 2, "Конечный столбец классификационных шкал" - 2 (последний столбец в таблице);

? "Задайте диапазон столбцов описательных шкал": "Начальный столбец описательных шкал" - 3, "Конечный столбец описательных шкал" - 7;

? "Задание параметров формирования сценариев или способа интерпретации текстовых полей": "Не применять сценарный метод АСК- анализа и спец.интерпретацию TXT-полей".

После нажать кнопку "ОК". Далее открывается окно, где размещена информация о размерности модели (рисунок 2). В этом окне необходимо нажать кнопку "Выйти на создание модели".

Рисунок 2. Задание размерности модели системы "Эйдос"

информационный программный интерфейс экранный

Далее открывается окно, отображающее стадию процесса импорта данных из внешней БД "Inp_data.xls" в систему "Эйдос" (рисунок 3), а также прогноз времени завершения этого процесса. В том окне необходимо дождаться завершения формализации предметной области и нажать кнопку "ОК".

Рисунок 3. Процесс импорта данных из внешней БД "Inp_data.xls" в систему "Эйдос"

В результате формируются классификационные и описательные шкалы и градации, с применением которых исходные данные кодируются и представляются в форме эвентологических баз данных.

Этим самым полностью автоматизировано выполняется 2-й этап АСК-анализа «Формализация предметной области». Для просмотра классификационных шкал и градаций необходимо запустить режим 2.1 (рисунок 4).

Рисунок 4. Классификационные шкалы и градации

Для просмотра описательных шкал и градаций необходимо запустить режим 2.2 (рисунок 5):

Рисунок 5. Описательные шкалы и градации (фрагмент)



Рисунок 6. Обучающая выборка (фрагмент)

Тем самым создаются все необходимые и достаточные предпосылки для выявления силы и направления причинно-следственных связей между значениями факторов и результатами их совместного системного воздействия (с учетом нелинейности системы).

1.3 Синтез и верификация статистических и интеллектуальных моделей

Далее запускаем режим 3.5, в котором задаются модели для синтеза и верификации, а также задается модель, которой по окончании режима присваивается статус текущей (рисунок 7).

Рисунок 7. Выбор моделей для синтеза и верификации, а также текущей модели

В данном режиме имеется много различных методов верификации моделей, в том числе и поддерживающие бутстрепный метод. Но мы используем параметры по умолчанию, приведенные на рисунке 7. Стадия процесса исполнения режима 3.5 и прогноз времени его окончания отображаются на экранной форме, приведенной на рисунке 8.

Рисунок 8. Синтез и верификация статистических моделей и моделей знаний

Интересно заметить (см. рисунок 8), что синтез и верификация всех 10 моделей на данной задаче заняли 37 секунд. При этом верификация (оценка достоверности моделей) проводилась на всех 151 примерах наблюдения из обучающей выборки. В результате выполнения режима 3.5 созданы все модели, со всеми частными критериями, перечисленные на рисунке 7, но ниже мы приведем лишь некоторые из них (таблицы 2, 3, 4).

1.4 Виды моделей системы «Эйдос»

Рассмотрим решение задачи идентификации на примере модели INF1, в которой рассчитано количество информации по А.Харкевичу, которое мы получаем о принадлежности идентифицируемого объекта к каждому из классов, если знаем, что у этого объекта есть некоторый признак.

По сути, частные критерии представляют собой просто формулы для преобразования матрицы абсолютных частот (таблица 2) в матрицы условных и безусловных процентных распределений, и матрицы знаний (таблицы 3 и 4).

Таблица 2 - Матрица абсолютных частот (модель ABS)

Таблица 3 - Матрица информативностей (модель INF1) в битах (фрагмент)

Таблица 4 - Матрица знаний (модель INF3) (фрагмент)

1.5 Результаты верификации моделей

Результаты верификации (оценки достоверности) моделей, отличающихся частными критериями с двумя приведенными выше интегральными критериями приведены на рисунке 9.

Рисунок 9. Оценки достоверности моделей помощью F-меры Ван Ризбергена

Наиболее достоверной в данном приложении оказались модели INF4 и INF5 при интегральном критерии «Семантический резонанс знаний». При этом достоверность модели по F-критерию Ван Ризбергена составляет 0,661. Таким образом, уровень достоверности прогнозирования с применением модели примерно такой же, как экспертных оценках, достоверность которых считается равной примерно 70%. Для оценки достоверности моделей в АСК-анализе и системе «Эйдос» используются не только F-мера Ван Ризберегна, но и ее нечеткое мультиклассовое обобщение, предложенное проф. Е.В. Луценко (L-мера) (рисунок 10).



Рисунок 10. Виды прогнозов и принцип определения достоверности моделей по авторскому варианту метрики, сходной с F-критерием

Также обращает на себя внимание, что статистические модели, как правило, дают более низкую средневзвешенную достоверность идентификации и не идентификации, чем модели знаний, и практически никогда - более высокую. Этим и оправдано применение моделей знаний и интеллектуальных технологий. На рисунке 11 приведены частные распределения уровней сходства и различия для верно и ошибочно идентифицированных и неидентифицированных ситуаций в наиболее достоверной модели INF4.

Рисунок 11. Частное распределение сходства-различия верно и ошибочно идентифицированных и неидентифицированных состояний объекта моделирования в модели INF4

Из рисунка 11 видно, что:

- наиболее достоверная модель INF4 лучше определяет непринадлежность объекта к классу, чем принадлежность (что видно также из рисунка 9);

- модуль уровня сходства-различия в наиболее достоверной модели INF4 для верно идентифицированных и верно неидентифицированных объектов значительно выше, чем для ошибочно идентифицированных и ошибочно неидентифицированных. Это верно практически для всего диапазона уровней сходства-различия, кроме небольших по модулю значений в диапазоне от 0 до 15% уровня сходства. Для больших значений уровней сходства-различия (более 50%) различие между верно и ошибочно идентифицированными и неидентифицированными ситуациями на столько велико, что учитывая уровень сходства-различия не представляет никакой проблемы разделить истинные положительные и отрицательные решения от ложных положительных и отрицательных решений. Это и стало основой для нечеткого обобщения F-меры Ван Ризбергена, т.е. такого ее обобщения, которое учитывает е только сам факт ложно или истинно положительного или отрицательного решения, но и его надежность.

Любые данные о наблюдениях можно считать суммой истинного значения и шума, причем ни первое, ни второе неизвестны. Поэтому имеет смысл сравнить созданные модели с чисто случайными моделями, совпадающими по основным характеристикам. В системе «Эйдос» есть лабораторная работа № 2.01: «Исследование RND-модели при различных объемах выборки». Если данная работа устанавливается при отсутствии текущего приложения, то все параметры создаваемых моделей задаются вручную, если же текущая модель существует, как в нашем случае, то все основные ее параметры определяются автоматически.



Рисунок 12. Экранная форма управления созданием случайных моделей, совпадающих с текущей по размерностям основных баз данных

На рисунке 13 показано частное распределение сходства-различия верно и ошибочно идентифицированных и неидентифицированных состояний в случайной модели INF4.

Рисунок 13. Частное распределение сходства-различия верно и ошибочно идентифицированных и неидентифицированных состояний в случайной модели INF4

Совершенно очевидное различие частотных распределений уровней сходства-различия верно и ошибочно идентифицированных и неидентифицированных состояний объекта моделирования и случайной модели (рисунки 11 и 13) объясняется тем, что в реальных моделях кроме шума есть также и информация об истинных причинно-следственных взаимосвязях факторов и их значений с одной стороны, и состояниями объекта моделирования, которые ими обуславливаются, с другой стороны. Если же такой информации в модели нет, то и распределение получается типа, приведенного на рисунке 13.

На рисунке 14 приведены данные по достоверности статистических и когнитивных моделей, созданных на основе случайной выборки.

Рисунок 14. Достоверность статистических и когнитивных моделей, созданных на основе случайной выборки

На основе сравнения рисунка 14 с рисунком 9 можно сделать следующие выводы:

- достоверность лучшей модели INF4, отражающей реальный объект моделирования, примерно на 12% выше, чем аналогичной случайной модели;

- различие между достоверностью статистических моделей и моделей знаний, созданных на основе случайной выборки, значительно меньше, чем у моделей, отражающих реальный объект моделирования;

- в реальных моделях кроме шума есть также и информация об истинных причинно-следственных взаимосвязях факторов и их значений с одной стороны, и состояниями объекта моделирования, которые ими обуславливаются, с другой стороны, причем примерно 1/3 достоверности обусловлена отражением в реальных моделях закономерностей предметной области, а 2/3 достоверности обусловлено наличием шума в исходных данных. На основании этого можно предположить, что в исходных данных уровень сигнала о реальных причинно-следственных связях в моделируемой предметной области примерно в два раза ниже уровня шума.

2. Решение задач в наиболее достоверной модели

2.1 Решение задачи идентификации

В соответствии с технологией АСК-анализа зададим текущей модель INF4 (режим 5.6) (рисунок 15) и проведем пакетное распознавание в режиме 4.2.1.

Рисунок 15. Экранная форма режима задания модели в качестве текущей

В результате пакетного распознавания в текущей модели создается ряд баз данных, которые визуализируются в выходных экранных формах, отражающих результаты решения задачи идентификации и прогнозирования.

Режим 4.1.3 системы «Эйдос» обеспечивает отображение результатов идентификации и прогнозирования в различных формах:

1. Подробно наглядно: "Объект - классы".

2. Подробно наглядно: "Класс - объекты".

3. Итоги наглядно: "Объект - классы".

4. Итоги наглядно: "Класс - объекты".

5. Подробно сжато: "Объект - классы".

6. Обобщенная форма по достоверности моделей при разных интегральных критериях.

7. Обобщенный статистический анализ результатов идентификации по моделям и интегральным критериям.

8. Статистический анализ результатов идентификации по классам, моделям и интегральным критериям.

9. Распознавание уровня сходства при разных моделях и интегральных критериях.

10.Достоверность идентификации классов при разных моделях и интегральных критериях.

Ниже кратко рассмотрим некоторые из них.

На рисунке 16 приведен пример прогнозов достоверности частоты и классов преподавателей в наиболее достоверной модели INF4 на основе наблюдения предыстории их развития:

Рисунок 16. Пример идентификации классов преподавания в модели INF4

2.2 Когнитивные функции

Рассмотрим режим 4.5, в котором реализована возможность визуализации когнитивных функций для любых моделей и любых сочетаний классификационных и описательных шкал (рисунок 17).



Рисунок 17. Экранная форма режима 4.5 системы «Эйдос-Х++» «Визуализация когнитивных функций»

Применительно к задаче, рассматриваемой в данной работе, когнитивная функция показывает, какое количество информации содержится в различных значениях факторов о том, что объект моделирования перейдет в те или иные будущие состояния. Когнитивным функциям посвящено много работ. Поэтому здесь не будем останавливаться на описании того, что представляют собой когнитивные функции в АСК-анализе. На рисунке 18 приведены визуализации двух когнитивных функций данного приложения для модели INF4.



Рисунок 18. Визуализация когнитивных функций для обобщенных классов и всех описательных шкал для модели INF4

2.3 SWOT и PEST матрицы и диаграммы

SWOT-анализ является широко известным и общепризнанным методом стратегического планирования. Однако это не мешает тому, что он подвергается критике, часто вполне справедливой, обоснованной и хорошо аргументированной. В результате критического рассмотрения SWOT-анализа выявлено довольно много его слабых сторон (недостатков), источником которых является необходимость привлечения экспертов, в частности для оценки силы и направления влияния факторов. Ясно, что эксперты это делают неформализуемым путем (интуитивно), на основе своего профессионального опыта и компетенции. Но возможности экспертов имеют свои ограничения и часто по различным причинам они не могут и не хотят это сделать. Таким образом, возникает проблема проведения SWOT-анализа без привлечения экспертов. Эта проблема может решаться путем автоматизации функций экспертов, т.е. путем измерения силы и направления влияния факторов непосредственно на основе эмпирических данных. Подобная технология разработана давно, ей уже около 30 лет, но она малоизвестна - это интеллектуальная система «Эйдос». Данная система всегда обеспечивала возможность проведения количественного автоматизированного SWOT-анализа без использования экспертных оценок непосредственно на основе эмпирических данных. Результаты SWOT-анализа выводились в форме информационных портретов. В версии системы под MS Windows: «Эйдос-Х++» предложено автоматизированное количественное решение прямой и обратной задач SWOT-анализа с построением традиционных SWOT-матриц и диаграмм (рисунок 19).

Рисунок 19. Пример SWOT-матрицы в модели INF4

На рисунке 20 приведены примеры инвертированной SWOT- матрицы и инвертированной SWOT-диаграммы в модели INF4.



Рисунок 20. Пример SWOT-матрицы в модели INF4

Заключение

Так как существует множество систем искусственного интеллекта, то возникает необходимость сопоставимой оценки качества их математических моделей. Одним из вариантов решения этой задачи является тестирование различных системы на общей базе исходных данных, для чего очень удобно использовать общедоступную базу репозитория UCI. В данной курсовой работе приводится развернутый пример использования базы данных репозитория UCI для оценки качества математических моделей, применяемых в АСК-анализе и его программном инструментарии системе искусственного интеллекта «Эйдос». При этом наиболее достоверной в данном приложении оказались модели INF4, основанная на семантической мере целесообразности информации А.Харкевича при интегральном критерии «Сумма знаний». Точность модели по L-критерию составляет 0,809, что заметно выше, чем достоверность экспертных оценок, которая считается равной около 70%. Также обращает на себя внимание, что статистические модели в данном приложении дают примерно на 21% более низкую средневзвешенную достоверность идентификации и не идентификации, чем модели знаний, что, как правило, наблюдается и в других приложениях. Этим и оправдано применение моделей знаний.

На основе базы данных UCI, рассмотренной в данной курсовой работе, построить модели прогнозирования не с помощью АСК-анализа и реализующей его системы «Эйдос», а с применением других математических методов и реализующих их программных систем, то можно сопоставимо сравнить их качество.

Размещено на Allbest.ru