Нечеткое мультиклассовое обобщение F-меры достоверности моделей В. Ризбергена в аск-анализе и системе "Эйдос"

Размещено на http://www.allbest.ru/

1

Научный журнал КубГАУ, №119(06), 2016 года

КУРСОВАЯ РАБОТА

НЕЧЕТКОЕ МУЛЬТИКЛАССОВОЕ ОБОБЩЕНИЕ F-МЕРЫ ДОСТОВЕРНОСТИ МОДЕЛЕЙ ВАН РИЗБЕРГЕНА В АСК-АНАЛИЗЕ И СИСТЕМЕ «ЭЙДОС»

Классическая количественная мера достоверности моделей: F-мера Ван Ризбергена основана на подсчете суммарного количества верно и ошибочно классифицированных и не классифицированных объектов обучающей выборки. В мультиклассовых системах классификации объект может одновременно относится ко многим классам. Соответственно, при синтезе модели его описание используется для формирования обобщенных образов многих классов, к которым он относится. При использовании модели для классификации определяется степень сходства-различия объекта со всеми классами, причем истинно-положительным решением может являться принадлежность объекта сразу к нескольким классам. В результате такой классификации получается, что объект не просто правильно или ошибочно относится или не относится к различным классам, как в классической F-мере, но правильно или ошибочно относится или не относится к ним в различной степени. Однако классическая F-мера не учитывает того, что объект может, фактически, одновременно относится ко многим классам (мультиклассовость) и того, что в результате классификации может быть получена различная степень сходства-различия объекта с классами (нечеткость). На численных примерах автором установлено, что при истинно-положительных и истинно-отрицательных решениях модуль сходства-различия объекта с классами значительно выше, чем при ложно-положительных и ложно-отрицательных решениях. Поэтому была предложена L1-мера достоверности моделей, учитывающая не просто сам факт истинно или ложно положительного или отрицательного решения, но и степень уверенности классификатора в этих решениях. При классификации больших данных было обнаружено большое количество ложно-положительных решений с низким уровнем сходства, которые, однако, суммарно вносят большой вклад в снижение достоверности модели. Чтобы преодолеть эту проблему предлагается L2-мера, в которой вместо сумм уровней сходства используется средние уровни сходства по различным вариантам классификации. Таким образом, в данной работе предлагаются меры достоверности моделей, названые L1-мера и L2-мера, смягчающие и преодолевающие недостатки F-меры, эти меры описаны математически и их применение продемонстрировано на простом численном примере. В интеллектуальной системе «Эйдос», которая является программным инструментарием автоматизированного системно-когнитивного анализа (АСК-анализ), реализованы все эти меры достоверности моделей: F, L1 и L2

Classic quantitative measure of the reliability of the models: F-measure by van Rijsbergen is based on counting the total number of correctly and incorrectly classified and not classified objects in the training sample. In multiclass classification systems, the facility can simultaneously apply to multiple classes. Accordingly, when the synthesis of the model description is used for formation of generalized images of many of the classes it belongs to. When using the model for classification, it is determined by the degree of similarity or divergence of the object with all classes, and a true-positive decision may be the membership of the object to several classes. The result of this classification may be that the object is not just rightly or wrongly relates or does not relate to different classes, both in the classical F-measure, but rightly or wrongly relates or does not relate to them in varying degrees. However, the classic F-measure does not count the fact that the object may in fact simultaneously belongs to multiple classes (multicrossover) and the fact that the classification result can be obtained with a different degree of similarity-differences of object classes (blurring). In the numerical example, the author states that with true-positive and true-negative decisions, the module similarities-differences of the object classes are much higher than for false-positive and false-negative decisions. It would therefore be rational to the extent that the reliability of the model to take into account not just the fact of true or false positive or negative decisions, but also to take into account the degree of confidence of the classifier in these decisions. In classifying big data we have revealed a large number of false-positive decisions with a low level of similarity, which, however, in total, contribute to reducing the reliability of the model. To overcome this problem, we propose a L2-measure, in which instead of the sum of levels of similarity we use the average similarity by different classifications. Thus, this work offers measures of the reliability of the models, called L1-measure and the L2 measure, mitigating and overcoming the shortcomings of the F-measures; these measures are described mathematically and their application is demonstrated on a simple numerical example. In the intellectual system called "Eidos", which is a software toolkit for the automated system-cognitive analysis (ASC-analysis), we have implemented all these measures of the reliability of the models: F, L1 and L2

Содержание

Введение

1. Описание классической F-меры Ван Ризбергена

1.1 Краткое традиционное описание F-меры Ван Ризбергена

1.2 F-мера Ван Ризбергена в обычных математических обозначениях

1.3 Проблемы F-меры Ван Ризбергена

1.3.1 Проблема мультиклассовости

1.3.2 Проблема нечеткости

1.3.3 Проблема зависимости F-меры от объема данных

2. Нечеткое мальтиклассовое обобщение классической F-меры Ван Ризбергена (L1-мера)

2.1 Решение проблемы мультиклассовости

2.2 Решение проблемы учета нечеткости

2.3 Асимптотическое выполнение для L1-меры принципа соответствия с F-мерой Ван Ризбергена

3. Инвариантное относительно объемов данных обобщение нечеткой мультиклассовой L1-меры достоверности моделей (L2-мера)

3.1 Проблема зависимости L1-меры от объема данных

3.2 Решение проблемы зависимости L1-меры от объема данных (L2-мера)

4. Численный пример: исследование зависимости F-меры, L1- и L2-меры от объемов данных

4.1 Автоматическое создание системы моделей на основе обучающей выборки различных объемов

4.2 Частотные распределения модулей уровня сходства объектов с классами при истинно-положительных, истинно-отрицательных, ложно-положительных и ложно-отрицательных решениях

4.3 Динамика достоверности RND-моделей по F-мере Ван Ризбергена и L1- и L2- мерам проф. Е.В.Луценко

Выводы; Литература

Введение

Классическая количественная мера достоверности моделей: F-мера Ван Ризбергена [1, 2] основана на подсчете суммарного количества верно и ошибочно классифицированных и не классифицированных объектов обучающей выборки .

В мультиклассовых системах классификации объект может одновременно относится ко многим классам. Соответственно при синтезе модели его описание используется для формирования обобщенных образов многих классов, к которым он относится. При использовании модели для классификации количественно определяется степень сходства-различия объекта со всеми классами, причем истинно-положительным решением может являться принадлежность объекта сразу к нескольким классам. В результате такой классификации обычно получается, что объект не просто правильно или ошибочно относится или не относится к различным классам, как в классической F-мере, но правильно или ошибочно относится или не относится к ним в различной степени.

Однако классическая F-мера не учитывает того, что объект может фактически одновременно относится ко многим классам (мультиклассовость) и того, что в результате классификации может быть получена различная степень сходства-различия объекта с классами (нечеткость решений классификатора).

На многочисленных численных примерах из различных предметных областей автором установлено, что при истинно-положительных и истинно-отрицательных решениях модуль сходства-различия объекта с классами как правило значительно выше, чем при ложно-положительных и ложно-отрицательных решениях. Это навело на мысль, что было бы рационально и обоснованно в мере достоверности модели учитывать не просто сам факт истинно или ложно положительного или отрицательного решения, но и учитывать степень уверенности классификатора в этих решениях.

При классификации больших данных было обнаружено большое количество ложно-положительных решений с низким уровнем сходства, которые, однако, суммарно вносят большой вклад в снижение достоверности модели. Чтобы преодолеть эту проблему предлагается L2-мера, в которой вместо сумм уровней сходства используется средние уровни сходства по различным вариантам классификации.

Таким образом, в данной работе предлагаются меры достоверности моделей, названые L1-мера и L2-мера, смягчающие и преодолевающие недостатки F-меры, эти меры описаны математически и их применение продемонстрировано на простом численном примере. В интеллектуальной системе «Эйдос», которая является программным инструментарием автоматизированного системно-когнитивного анализа (АСК-анализ), реализованы все эти меры достоверности моделей: F, L1 и L2. (L1, L2 меры предлагается называть ее L-мерой проф. Е.В. Луценко Автор делает это без ложной скромности, т.к. у него есть отрицательный опыт, когда предложенные и математически обоснованные им количественные меры уровня системности и степени детерминированности систем были названы им в честь выдающихся ученых, внесших большой вклад в развитие теории информации коэффициентами эмерджентности Хартли, Харкевича и Шеннона [4, 5]. В результате теперь очень многие думают, что эти коэффициенты эмерджентности были предложены этими учеными и часто пишут об этом в своих работах, ссылаясь на них, а не на их автора. Чтобы убедиться в этом достаточно сделать запрос: «коэффициенты эмерджентности Хартли Харкевича» [3]. Коэффицентам эмерджентности предложены в работе автора [5] в 2002 году и им посвящено много других работ [4, 12-18].).

Необходимо отметить, что в системе «Эйдос» изначально [3, 4, 5] используется предложенная их разработчиком проф. Е.В. Луценко мера достоверности моделей, сходная по форме с коэффициентом корреляции Мэтью [6] и по сути являющаяся нечетким мультиклассовым обобщением классической F-меры.

1. Описание классической F-меры Ван Ризбергена

1.1 Краткое традиционное описание F-меры Ван Ризбергена

Классическая количественная мера достоверности моделей: F-мера Ван Ризбергена вряд ли нуждается в описании в данной статье, т.к. в Internet есть более чем достаточно ее прекрасных описаний из которых автор все же выделил бы работы [1, 2].

Ниже приводится обширная выдержка из этой работы [2].

«Точность (precision) и полнота (recall) являются метриками которые используются при оценке большей части алгоритмов извлечения информации. Иногда они используются сами по себе, иногда в качестве базиса для производных метрик, таких как F-мера или R-Precision. Суть точности и полноты очень проста.

Точность системы в пределах класса - это доля документов действительно принадлежащих данному классу относительно всех документов которые система отнесла к этому классу.

Полнота системы - это доля найденных классификатором документов принадлежащих классу относительно всех документов этого класса в тестовой выборке.

Эти значения легко рассчитать на основании таблицы контингентности, которая составляется для каждого класса отдельно.

В таблице содержится информация о том сколько раз система приняла верное и сколько раз неверное решение по документам заданного класса. А именно:

TP - истино-положительное решение;

TN - истино-отрицательное решение;

FP - ложно-положительное решение;

FN - ложно-отрицательное решение.

Тогда, точность P и полнота R определяются следующим образом:

(1)

F-мера - характеристика, которая позволяет дать оценку достоверности модели одновременно по точности и полноте:

». (2)

1.2 F-мера Ван Ризбергена в обычных математических обозначениях

В простейшем случае для тестирования модели может использоваться обучающая выборка, на основе которой она создана.

В более сложных вариантах оценки достоверности модели может быть применен бутстрепный подход или как тестовая выборка использовано подмножество генеральной совокупности, по отношению к которой репрезентативна обучающая выборка.

В обсуждении работы [2] рассматривается два подхода к оценке достоверности модели: «micro-averaging» и «macro-averaging».

Micro-averaging - точность, полнота и F-мера вычисляется для каждого класса, а затем F-мера модели в целом рассчитывается как среднее F-мер по классам.

Macro-averaging - точность и полнота рассчитываются по всей модели в целом (при классификации всех объектов тестовой выборки по всем классам), а затем на их основе рассчитывается F-мера модели в целом.

Мы будем использовать подход: «macro-averaging», хотя и F-меру и по классам, и даже по объектам по ходу расчета F-меры модели в целом мы также посчитаем.

Для записи F-меры в более-менее стандартной математической символике введем следующие обозначения:

T - число объектов выборки;

K - число классов;

i - номер (код) объекта выборки;

j - номер (код) класса;

N_TP - суммарное по всей модели (по всем классам и всем объектам тестовой выборки) число истино-положительных решений (TP - число объектов, правильно отнесенных к классам, к которым они действительно относятся);

N_TN - суммарное по всей модели (по всем классам и всем объектам тестовой выборки) число истино-отрицательных решений (TN - число объектов, правильно не отнесенных к классам, к которым они действительно не относятся) При расчете F-меры не используется;

N_FP - суммарное по всей модели (по всем классам и всем объектам тестовой выборки) число ложно-положительных решений (FP - число объектов, неправильно отнесенных к классам, к которым они на самом деле не относятся);

N_FN - суммарное по всей модели (по всем классам и всем объектам тестовой выборки) число ложно-отрицательных решений (FN - число объектов, неправильно не отнесенных к классам, к которым они на самом деле относятся);

P - точность модели;

R - полнота модели;

В этих обозначениях точность P, полнота R и F-мера модели определяются следующим образом:

(3)

Здесь N_TP, N_FP, N_FN рассчитываются следующим образом:

.(4)

Где:

- функция Хэвисайда;

уровень сходства-различия (the level of similarity) i-го объекта с j-м классом в соответствии с моделью при истино-положительных решениях (TP);

уровень сходства-различия i-го объекта с j-м классом в соответствии с моделью при ложно-положительных решениях (FN);

уровень сходства-различия i-го объекта с j-м классом в соответствии с моделью при ложно-отрицательных решениях (FN).

Эти уровни сходства определяется в конкретных системах и моделях по-разному. Например, в системе Эйдос они определяются в 10 разных моделях (3 статистических и 7 системно-когнитивных), отличающихся частными критериями знаний, в соответствии с двумя интегральными критериями: суммой знаний и резонансом знаний [9].

1.3 Проблемы F-меры Ван Ризбергена

1.3.1 Проблема мультиклассовости

Классическая F-мера Ван Ризбергена предполагает, что один объект исследуемой выборки относится к одному классу (обобщающей категории). Но эта ситуация далека от реальности и является абстракцией, на подобие материальной точки или математической точки, которые реально не встречаются.

Реальные объекты всегда могут быть одновременно отнесены ко многим классам.

Например, преподаватель вуза может быть классифицирован как мужчина или женщина, как человек с высшим образованием, возможно имеющий ученую степень кандидата или доктора наук и ученые звания доцента или профессора или не имеющий их, как сын или дочь, как отец или мать, как дедушка или бабушка, брат или сестра, как человек определенного возраста, определенной национальности, принадлежащий или не принадлежащий определенной политической партии и т.д., и т.п.

Однако, классическая F-мера Ван Ризбергена не учитывает такой возможности и рассматривает модели крайне упрощенно, что существенно снижает ценность этой меры для оценки достоверности моделей.

Это проблема, которую предлагается решать путем мультиклассового обобщения F-меры.

1.3.2 Проблема нечеткости

В четких моделях в результате классификации объектов, т.е. оценки принадлежности или непринадлежности объектов к классам, определяется их принадлежность или не принадлежность к классам. При этом объект оказывается принадлежащим к одним классам и не принадлежащим к другим.

Однако в нечетких моделях в результате классификации объектов определяется не принадлежность или непринадлежность объекта к классам, а степень сходства-различия объекта с классами, которая по модулю может меняться от 0 до 1, а по знаку быть не только положительной, но и отрицательной (нечеткость решений классификатора). Это значит, что любой объект в нечеткой модели в различной степени принадлежит и не принадлежит не к отдельным классам, как в четких моделях, а ко всем классам.

Однако, классическая F-мера Ван Ризбергена не учитывает такой возможности и рассматривает модели крайне упрощенно, что существенно снижает ценность этой меры для оценки достоверности моделей.

Это проблема, которую предлагается решать путем нечеткого обобщения F-меры.

1.3.3 Проблема зависимости F-меры от объема данных

При увеличении объема выборки относительное количество ложно-положительных решений будет увеличиваться по сравнению с истинно-положительными, что приводит к существенному и неприемлемому занижению достоверности модели по F-мере.

Это и есть проблема, которую предлагается решать путем обобщения F-меры, инвариантного относительно объема выборки, т.е. дающего одинаково корректные оценки достоверности моделей как при очень малых, так и средних и очень больших выборках, включая так называемые «большие данные» («big data»).

2. Нечеткое мальтиклассовое обобщение классической F-меры Ван Ризбергена (L1-мера)

2.1 Решение проблемы мультиклассовости

Если физический объект обучающей выборки одновременно относится к N классам, то его можно рассматривать как линейную суперпозицию N логических объектов, каждый из которых относится к одному из этих N классов. Здесь используется терминология автоматизированного системно-когнитивного анализа (АСК-анализ).

Так в работе [8] автор еще в 1996 году писал: «Физическая анкета - это анкета, заполненная респондентом. Но этот респондент может относится одновременно ко многим градациям шкал классификации классов распознавания (см. 2.1.1.1, 2.1.1.2), т.е. быть одновременно, например, мужчиной, иметь определенный возраст, определенную национальность, определенную форму занятости и т.д., и т.п. Следовательно одну физическую анкету можно использовать для формирования обобщенных образов каждой из этих категорий, к которым относится заполнявший ее респондент. Это и означает, что одна физическая анкета рассматривается как включающая некоторое количество логических анкет» http://lc.kubagro.ru/aidos/aidos96/3.htm .

В настоящее время в АСК-анализе говорится не о физических и логических анкетах, о физических и логических объектах, которые являются более общим понятием, чем анкеты, а анкеты - это частный случай объектов, но суть от этого не меняется, т.к. один мультиклассовый объект, т.е. относящийся одновременно ко многим классам, рассматривается как много моноклассовых объектов, каждый из которых относится к одному из этих классов. При этом моноклассовые объекты наследуют описание на языке признаков от мультиклассового объекта, т.е. описываются ими так же, как он.

2.2 Решение проблемы учета нечеткости

Примем, что предлагаемая L1-мера рассчитывается точно также, как классическая F-мера, но вместо единичек к сумматорам, подсчитывающим количество различных исходов классификации (верных и ошибочных, положительных и отрицательных) суммируются модули уровней сходства объектов с классами, нормированные к интервалу: {0, 1}:

S_TP - сумма модулей сходства истино-положительных решений;

S_TN - сумма модулей сходства истино-отрицательных решений;

S_FP - сумма модулей сходства ложно-положительных решений;

S_FN - сумма модулей сходства ложно-отрицательных решений;

P_S - S-точность модели, т.е. нечеткая точность модели, посчитанная с учетом уровней сходства;

R_S - S-полнота модели, т.е. нечеткая полнота модели, посчитанная с учетом уровней сходства.

В этих обозначениях точность P_S, полнота R_S и L1-мера модели определяются следующим образом:

(5)

Здесь S_TP, S_FP, S_FN рассчитываются следующим образом:

.(6)

Использованы обозначения, введенные выше.

Так как модули уровня сходства-различия объектов с классами при истинных решениях значительно выше, чем при ложных, то L1-мера на много точнее отражает уровень достоверности модели, чем классическая F-мера Ван Ризбергена.

Более того, если учитывать только те решения, которые по модулю уровня сходства-различия выше, чем ложные, то можно определить порог уровня сходства, различающий истинные и ложные решения, и с его помощью вообще отфильтровать ложные решения, как положительные, так и отрицательные.

2.3 Асимптотическое выполнение для L1-меры принципа соответствия с F-мерой Ван Ризбергена

Известно, что более общие модели включают в себя частные и в предельном случае асимптотически переходят в них, т.е. удовлетворяют принципу соответствия, и это является обязательным для более общих теорий См., например: http://dic.academic.ru/dic.nsf/enc_philosophy/7345/СООТВЕТСТВИЯ .

Возникает естественный вопрос о том, выполняется ли этот фундаментальный методологический принцип для L-меры и F-меры.

Ответ на этот вопрос совершенно элементарен и очевиден: «конечно соответствует». Убедиться в этом просто. Для этого достаточно, чтобы уровни сходства-различия i-го объекта с j-м классом в соответствии с моделью при истино-положительных, ложно- положительных, ложно-отрицательных решениях асимптотически стремились к 1:

(7)

Тогда выражения (6) асимптотически перейдут в (4), и L1-мера в F-меру. Проще говоря, если в некоторой модели считать, что объект относится к классу, если уровень сходства объекта с классом больше нуля, и считать что не относится, если уровень сходства объекта с классом меньше нуля, то L1-мера переходит в классическую F-меру Ван Ризбергена.

3. Инвариантное относительно объемов данных обобщение нечеткой мультиклассовой L1-меры достоверности моделей (L2-мера)

3.1 Проблема зависимости L1-меры от объема данных

Если моделируемая выборка мала, то ложно-положительных решений не может быть много и в L1-мере они не будет оказывать сколько-нибудь существенного влияния на снижение достоверности модели, т.к., как правило, будут иметь очень низкий или низкий уровень сходства с классом (в отличие от F-меры, где всегда суммируются 1). Для снижения влияния подобных малых ошибок, т.е. ошибок с низким уровнем сходства, и разрабатывалась L1-мера [19].

Однако при увеличении объема выборки количество этих малых ошибок также будет возрастать, как и их суммарное влияние на оценку достоверности модели, даже с использованием L1-меры. F-мера в этом случае вообще покажет крайние низкие результаты оценки достоверности, хотя интуитивно мы понимаем, что модель не так плоха, как кажется по F-мере. В результате при достижении определенных объемов выборки суммарное влияние малых ошибок на оценку достоверности приведет к существенному и неприемлемому занижению ее достоверности не только по F-мере, но и даже по более разумной L1-мере.

Это и есть проблема, которую предлагается решать путем обобщения L1-меры, инвариантного относительно объема выборки, т.е. дающей одинаково корректные оценки достоверности моделей как при очень малых, так и средних и очень больших выборках, включая так называемые «большие данные» («big data»).

3.2 Решение проблемы зависимости L1-меры от объема данных (L2-мера)

Автором предлагается инвариантное относительно объемов данных обобщение нечеткой мультиклассовой L1-меры [19] достоверности моделей, адекватное для оценки достоверности моделей, построенных не только на малых и средних, но и на больших данных.

Для того, чтобы устранить зависимость от числа объектов распознаваемой выборки в L1-мере, предлагается L2-мера, отличающаяся от L1-меры тем, что в ней вместо сумм уровней сходства истинно и ложно положительных и отрицательных решений использовать средние, посчитанные путем деления этих сумм на количество объектов соответствующих категорий, т.е. на число истинно и ложно идентифицированных и не идентифицированных объектов.

Примем, что предлагаемая L2-мера рассчитывается точно также, как описанная выше L1-мера, но вместо сумм модулей уровней сходства объектов с классами для различных исходов классификации (верных и ошибочных, положительных и отрицательных) рассчитываются средние (average) модулей уровней сходства, нормированные к интервалу: {0, 1}:

A_TP - средний модуль сходства истино-положительных решений;

A_TN - средний модуль сходства истино-отрицательных решений;

A_FP - средний модуль сходства ложно-положительных решений;

A_FN - средний модуль сходства ложно-отрицательных решений;

P_A - A-точность модели, т.е. нечеткая точность модели, посчитанная с учетом средних модулей уровней сходства;

R_A - A-полнота модели, т.е. нечеткая полнота модели, посчитанная с учетом средних модулей уровней сходства.

В этих обозначениях точность P_A, полнота R_A и L2-мера модели определяются следующим образом:

(8)

Здесь A_TP, A_FP, A_FN рассчитываются следующим образом:

.(9)

Использованы обозначения, введенные выше.

Так как модули уровня сходства-различия объектов с классами при истинных решениях значительно выше, чем при ложных, то L1-мера на много точнее отражает уровень достоверности модели, чем классическая F-мера Ван Ризбергена.

Так как средние модулей уровня сходства-различия объектов с классами при истинных решениях значительно выше, чем при ложных и они не зависят от объемов выборки, то L2-мера на много точнее отражает уровень достоверности модели, чем классическая F-мера Ван Ризбергена и даже чем предложенная в работе [19] L1-мера. Более того, если учитывать только те решения, которые по среднему модулю уровня сходства-различия выше, чем ложные, то можно вообще отфильтровать ложные решения, как

Эти меры достоверностей моделей: реализованы в новой версии системы «Эйдос» от 12.01.2017, которую можно скачать по ссылке: http://lc.kubagro.ru/aidos/_Aidos-X.htm.

В Help режимов 4.1.3.6, 4.1.3.7 и 4.1.3.8 кратко описаны F-мера, а также L1-мера и L2-мера (рисунок 3):

Рисунок 1. Экранная форма Help режимов 4.1.3.6, 4.1.3.7 и 4.1.3.8

Численному исследованию зависимости F-меры, L1- и L2-меры от объемов данных посвящен следующий раздел в котором кратко рассмотрим простой численный пример, наглядно иллюстрирующий вышеизложенные теоретические положения.

4. Численный пример: исследование зависимости F-меры, L1- и L2-меры от объемов данных

4.1 Автоматическое создание системы моделей на основе обучающей выборки различных объемов

Для проведения численных экспериментов используем случайные модели, т.е. модели, в которых объекты обучающей выборки характеризуются случайными кодами классов и признаков, а количество объектов обучающей выборки линейно меняется в определенном диапазоне с заданным шагом. Случайные модели (мы будем называть их RND-моделями) выбраны нами потому, что в на них удобнее всего прослеживать количественных характеристик объектов обучающей выборки и их количества, т.к. влияние других факторов на эти модели отсутствует). Для создания и таких RND-моделей используется режим 1.3 системы «Эйдос», в котором устанавливается лабораторная работа 2.09. «Исследование случайных семантических информационных моделей при различных объемах выборки» [20] (рисунок 2):

Рисунок 2. Экранная форма режима 1.3. для установки лаб.работы 2.09

Отметим также, что учебное пособие [20] издано в 2006 году и в нем приведено устаревшее описание. В текущей версии системы «Эйдос», которую можно скачать по адресу: http://lc.kubagro.ru/aidos/_Aidos-X.htm Система «Эйдос» размещена на сайте автора в полном открытом бесплатном доступе и даже с исходными текстами, алгоритм, приведенный в данном учебном пособии, полностью реализован программно. мера достоверность модель ризберген

Для задания параметров генерации RND-моделей в таблице, приведенной на рисунке 3, задаются начальные значения указанных параметров и шаг их изменения:

Рисунок 3. Экранная форма задания параметров генерации RND-моделей создаваемых в лабораторной работе 2.09 (заданы параметры моделей, использованные в данной работе)

Вводятся параметры в колонках, отмеченных светло-зеленым фоном. Колонки со светло-желтым фоном расчетные.

На рисунке 4 приведен Help данного режима:



Рисунок 4. Экранная форма Help режима задания параметров генерации RND-моделей, создаваемых в лабораторной работе 2.09

Чтобы задать параметры в экранной форме, приведенной на рисунке 3, надо войти в поле с параметром, скорректировать его значение, закрыть поле, кликнуть: «Пересчитать параметры», затем «Выход на расчет RND-моделей» и Esc.

Затем начинается цикл генерации моделей и измерения их адекватности. На каждом шаге цикла создается одна модель. Для перехода на следующий шаг цикла необходимо кликнуть «OK» на экранных формах, приведенных на рисунке 5:



Рисунок 5. Экранные формы режима генерации RND-моделей, повторяющиеся в каждом цикле (лабораторная работа 2.09)

По окончании цикла синтеза и верификации RND-моделей система входит в папку каждого приложения, открывает базу данных «Dost_modCls.dbf» (визуализируется в экранной форме в режиме 4.1.3.6), находит в ней строки с максимальной достоверностью RND-модели данного приложения по F, L1 и L2 критериям и записывает эти строки соответственно в базы данных: «AddDataF.DBF», «AddDataL1.DBF», «AddDataL2.DBF». Аналогичные функции для произвольных моделей выполняет режим 4.1.3.12. Все эти базы открываются в MS Excel и приведены в архиве по ссылке: http://ej.kubagro.ru/2017/02/upload/01.zip.

4.2 Частотные распределения модулей уровня сходства объектов с классами при истинно-положительных, истинно-отрицательных, ложно-положительных и ложно-отрицательных решениях

Эти частотные формируются в процессе синтеза и верификации моделей в режиме 3.5 и визуализируются в виде экранных форм и графиков в режиме 4.1.3.11 (рисунки 6, 7, 8, 9):

Рисунок 6. Экранная форма с частотными распределениями модулей уровня сходства объектов с классами при истинно-положительных, истинно-отрицательных, ложно-положительных и ложно-отрицательных решениях в табличной форме



Рисунок 7. Частотные распределения модулей уровня сходства объектов с классами при TP, TN, FP и FN решениях при в RND-INF1 модели, созданной на обучающей выборке из 100 объектов, при интегральном критерии «резонанс знаний»

Рисунок 8. Частотные распределения модулей уровня сходства объектов с классами при TP, TN, FP и FN решениях при в RND-INF1 модели, созданной на обучающей выборке из 300 объектов, при интегральном критерии «резонанс знаний»



Рисунок 9. Частотные распределения модулей уровня сходства объектов с классами при TP, TN, FP и FN решениях при в RND-INF1 модели, созданной на обучающей выборке из 500 объектов, при интегральном критерии «резонанс знаний»

Анализируя частотные распределения, представленные на рисунках 7, 8, 9, можно сделать следующие выводы:

1. Во всех RND-моделях INF1, созданных на выборках 100, 300 и 500 объектов, при отрицательных решениях модули уровней сходства истинных решений всегда значительно выше, чем ложных, что позволяет легко их разделить.

2. В RND-моделях INF1, созданных на выборке 100 объектов (рисунок 7), при положительных решениях модули уровней сходства истинных решений выше, чем ложных при значениях выше 50%, что позволяет легко их разделить.

3. Чем больше объем выборки, на основе которой созданы RND-модели INF1, тем меньше различие между истинными и ложными положительными решениями при высоких уровнях сходства, т.е. тем сложнее их разделить, что вполне ожидаемо при в случайных моделях, т.к. начинает работать закон больших чисел.

4. При всех объемах выборки и всех типах решений в RND-INF1 моделях преобладают низкие модули уровней сходства и их частотные распределениях асимптотически приближаются к нормальным при увеличении объемов выборки. Очень важно, что наличие закономерностей в обучающей выборки приводит к отклонению этих распределений от нормальных тем в большей степени, чем сильнее выражены эти закономерности. Поэтому всегда есть смысл сравнивать реальные модели со случайными с теми же характеристиками классификационных и описательных шкал и объектов обучающей выборки и их количества. Кроме того это свидетельствует в пользу правильности логики данной статьи и необходимости учета моделей уровней сходства различных типов решений при оценке достоверностей моделей, что и является одой из целей данной работы.

Отметим также, что все вышерассмотренные и ряд других частотных распределений модулей уровней сходства различных решений находятся в базе данных: c:\Aidos-X\AID_DATA\A0000001\System\DostRasp.dbf, которая открывается в MS Excel.

4.3 Динамика достоверности RND-моделей по F-мере Ван Ризбергена и L1- и L2- мерам проф. Е.В.Луценко

Вручную из баз данных: «AddDataF.DBF», «AddDataL1.DBF», «AddDataL2.DBF» сделана выборка, собранная в таблице 1. На рисунке 10 приведена динамика F-меры Ван Ризбергена и L1- и L2- мерам проф.Е.В.Луценко в зависимости от объема выборки RND-модели.

Таблица 1 - Выборка из баз данных: «AddDataF.DBF», «AddDataL1.DBF», «AddDataL2.DBF»

N_LOGOBJ	F_MERA	L1_MERA	L2_MERA
50	0,7462687	0,9440985	0,9216123
100	0,6191950	0,8747568	0,9128669
150	0,5555556	0,8164384	0,8178066
200	0,6766917	0,8086908	0,7944448
250	0,5941807	0,7853408	0,7621984
300	0,6338216	0,8138223	0,7642433
350	0,5978723	0,7290632	0,7324589
400	0,5847300	0,7096748	0,7287162
450	0,5501243	0,6954419	0,7212940
500	0,5210564	0,6632303	0,7184592
550	0,5200765	0,6556550	0,6916612
600	0,4997081	0,6409428	0,6997943
650	0,4981530	0,6238777	0,6900632
700	0,4883268	0,6145793	0,6870606
750	0,4749436	0,6026633	0,6844472
800	0,4671782	0,6035369	0,6864563
850	0,4758097	0,5904120	0,6858278
900	0,4467379	0,5609413	0,6868813
950	0,4518828	0,5580294	0,6847359
1000	0,4435037	0,5422770	0,6860420
1050	0,4313846	0,5416648	0,6794039
1100	0,4292944	0,5438828	0,6819505
1150	0,4244624	0,5254345	0,6824691
1200	0,4227990	0,5139290	0,6776529
1250	0,4212975	0,5209263	0,6785979
1300	0,4065465	0,4991672	0,6795493
1350	0,4154930	0,5106006	0,6796841
1400	0,4093253	0,4939947	0,6792936
1450	0,3986254	0,4965748	0,6765604
1500	0,4092906	0,4897575	0,6792534
1550	0,3889331	0,4852620	0,6784022
1600	0,3951890	0,4710423	0,6771027
1650	0,3925967	0,4737213	0,6761148
1700	0,3867483	0,4690247	0,6766292
1750	0,3929577	0,4752231	0,6781117
1800	0,3876622	0,4637273	0,6742254
1850	0,3796236	0,4566109	0,6752935
1900	0,3760140	0,4578251	0,6732459
1950	0,3716216	0,4574980	0,6735399
2000	0,3701014	0,4467566	0,6742162
2050	0,3733728	0,4578373	0,6738582
2100	0,3667233	0,4459182	0,6737837
2150	0,3679533	0,4531856	0,6738719
2200	0,3680716	0,4489799	0,6735162
2250	0,3657577	0,4322233	0,6739198
2300	0,3542492	0,4295546	0,6740842
2350	0,3631124	0,4299804	0,6727706
2400	0,3627561	0,4406393	0,6725927
2450	0,3668567	0,4458789	0,6745279
2500	0,3732035	0,4466389	0,6732741

Рисунок 10. Динамика F-меры Ван Ризбергена и L1- и L2- мерам проф.Е.В.Луценко в зависимости от объема выборки RND-модели

Отметим, что один физический объект обучающей выборки содержит 5 логических объектов обучающей выборки (см. рисунок 3), т.е. используется для формирования 5 обобщенных образов классов (мультиклассовость [19]).

Из рисунка 10 видно, что:

- все рассмотренные меры достоверности RND-моделей имеют асимптотический характер, т.е. плавно приближаются к некоторому предельному значению при увеличении объема выборки;

- для всех трех мер эти значения разные: для F-меры оно равно около 0,5, для L1-меры - около 0,45, а для L2-меры - около 0,68;

- рассмотренные меры имеют разную скорость сходимости: быстрее всех сходится L2-мера: ее значение стабилизируется уже при объеме выборки около 500-600 объектов, F- и L1- меры сходятся к своим значениям лишь при 2500 объектах обучающей выборки.

Выводы

На основании вышеизложенного можно обоснованно сделать следующие выводы.

Во-первых, мы видим, что в соответствии с L1-мерой достоверности моделей [19] созданные модели обладают примерно на 0,2-0,1 более высокой достоверностью, чем по F-мере Ван Ризбергена. Это обусловлено учетом уровня сходства объектов обучающей выборки с обобщенными образами классов при истинных и ложных, положительных и отрицательных решениях.

Во-вторых, мы видим, что при малых выборках (примерно до 400 объектов) L1-мера изменяется значительно более плавно, чем F-мера Ван Ризбергена (которая при малых выборках имеет большие колебания и напоминает по виду функцию затухающего гармонического колебания), т.е. она гораздо более устойчива к шуму, который особенно сильно сказывается при малых выборках. Это значит, что при малых выборках F-мера Ван Ризбергена ненадежна. Но именно при этих выборках ее значения близки к значениям L1 и L2 мер.

В-четвертых, и F-мера Ван Ризбергена, и L1-мера плавно уменьшаются при увеличении объема обучающей выборки, асимптотически приближаясь, соответственно, к значениям: 0,35 и 0,45. По-видимому, это может отражать качество используемого генератора псевдослучайных чисел [21].

В-пятых, при малых выборках (примерно до 400 объектов) значения достоверности моделей по L1-мере и по L2-мере примерно совпадают. Это может означать, что при малых выборках при увеличении числа объектов обучающей выборки достоверность модели уменьшается не потому, что увеличивается число ложно-положительных решений (эта причина преодолена в мере L2-мере за счет ее математической формы), а из-за усложнения условий рения задачи синтеза модели и решения в ней задачи идентификации при увеличении числа объектов.

В-шестых, при увеличении объема выборки до 500 объектов и более и F-мера Ван Ризбергена, и L1-мера плавно уменьшаются при увеличении объема обучающей выборки, а L2-мера стабилизируется, очень медленно асимптотически приближаясь к значению 0,68.

В-седьмых, все приведенные выше количественные параметры динамики достоверности моделей по-видимому отражают не только закономерности, имеющие общий характер, но и свойства конкретного генератора псевдослучайных чисел, используемого в данных расчетах (это стандартный генератор языка программирования), а также свойства математических моделей самой системы «Эйдос».

Таким образом, можно сделать общий вывод о том, что задача, поставленная в работе, успешно решена: инвариантное относительно объемов данных нечеткое мультиклассовое обобщение F-меры достоверности моделей разработано.

Предлагаемые технологии синтеза и верификации моделей могут быть использованы при создании и применении адаптивных интеллектуальных измерительных систем [10], а также разработке нечетких мультиклассовых обобщений других мер достоверности моделей, инвариантных относительно объема выборки и устойчивых к шуму при малых выборах.

Литература

1. Сайт: http://bazhenov.me/blog/2012/07/21/classification-performance-evaluation.html

2. Сайт: https://habrahabr.ru/post/228963/

3. Луценко Е.В. Универсальная когнитивная аналитическая система «Эйдос". Монография (научное издание). - Краснодар, КубГАУ. 2014. - 600 с. ISBN 978-5-94672-830-0. http://elibrary.ru/item.asp?id=22401787

4. Орлов А.И., Луценко Е.В. Системная нечеткая интервальная математика. Монография (научное издание). - Краснодар, КубГАУ. 2014. - 600 с. ISBN 978-5-94672-757-0. http://elibrary.ru/item.asp?id=21358220

5. Луценко Е.В. Автоматизированный системно-когнитивный анализ в управлении активными объектами (системная теория информации и ее применение в исследовании экономических, социально-психологических, технологических и организационно-технических систем): Монография (научное издание). - Краснодар: КубГАУ. 2002. - 605 с. http://elibrary.ru/item.asp?id=18632909

6. Амелькин С.А. Оценка эффективности рекомендательных систем. http://rcdl.ru/doc/2012/paper44.pdf

7. Шевелев О.Г. Методы автоматической классификации текстов на естественном языке: Учебное пособие. Томск: ТМЛ-Пресс, 2007. - 144c.

8. Луценко Е.В. Теоретические основы и технология адаптивного семантического анализа в поддержке принятия решений (на примере универсальной автоматизированной системы распознавания образов "ЭЙДОС-5.1"). - Краснодар: КЮИ МВД РФ, 1996. - 280с. http://elibrary.ru/item.asp?id=21745340

9. Луценко Е.В. Метризация измерительных шкал различных типов и совместная сопоставимая количественная обработка разнородных факторов в системно-когнитивном анализе и системе «Эйдос» / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №08(092). С. 859 - 883. - IDA [article ID]: 0921308058. - Режим доступа: http://ej.kubagro.ru/2013/08/pdf/58.pdf, 1,562 у.п.л.

10. Луценко Е.В. Синтез адаптивных интеллектуальных измерительных систем с применением АСК-анализа и системы «Эйдос» и системная идентификация в эконометрике, биометрии, экологии, педагогике, психологии и медицине / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2016. - №02(116). С. 1 - 60. - IDA [article ID]: 1161602001. - Режим доступа: http://ej.kubagro.ru/2016/02/pdf/01.pdf, 3,75 у.п.л.

11. https://yandex.ru/search/?msid=1478655999.15495.22884.13159&text=коэффициенты%20эмерджентности%20Хартли%20%20Харкевича&lr=35

12. Луценко Е.В. Количественные меры возрастания эмерджентности в процессе эволюции систем (в рамках системной теории информации) / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2006. - №05(021). С. 355 - 374. - Шифр Информрегистра: 0420600012\0089, IDA [article ID]: 0210605031. - Режим доступа: http://ej.kubagro.ru/2006/05/pdf/31.pdf, 1,25 у.п.л.

13. Луценко Е.В. Обобщенный коэффициент эмерджентности Хартли как количественная мера синергетического эффекта объединения булеанов в системном обобщении теории множеств / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2011. - №02(066). С. 535 - 545. - Шифр Информрегистра: 0421100012\0031, IDA [article ID]: 0661102045. - Режим доступа:http://ej.kubagro.ru/2011/02/pdf/45.pdf, 0,688 у.п.л.

14. Луценко Е.В. Исследование влияния подсистем различных уровней иерархии на эмерджентные свойства системы в целом с применением АСК-анализа и интеллектуальной системы "Эйдос" (микроструктура системы как фактор управления ее макросвойствами) / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2012. - №01(075). С. 638 - 680. - Шифр Информрегистра: 0421200012\0025, IDA [article ID]: 0751201052. - Режим доступа: http://ej.kubagro.ru/2012/01/pdf/52.pdf, 2,688 у.п.л.

15. Луценко Е.В. Количественная оценка уровня системности на основе меры информации К. Шеннона (конструирование коэффициента эмерджентности Шеннона) / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2012. - №05(079). С. 249 - 304. - IDA [article ID]: 0791205018. - Режим доступа: http://ej.kubagro.ru/2012/05/pdf/18.pdf, 3,5 у.п.л.

16. Луценко Е.В. Коэффициент эмерджентности классических и квантовых статистических систем / Е.В. Луценко, А.П. Трунев // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №06(090). С. 214 - 235. - IDA [article ID]: 0901306014. - Режим доступа: http://ej.kubagro.ru/2013/06/pdf/14.pdf, 1,375 у.п.л.

17. Трунев А.П. Гравитационные волны и коэффициент эмерджентности классических и квантовых систем / А.П. Трунев, Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №03(097). С. 1343 - 1366. - IDA [article ID]: 0971403092. - Режим доступа: http://ej.kubagro.ru/2014/03/pdf/92.pdf, 1,5 у.п.л.

18. Трунев А.П. Логарифмический закон и коэффициент эмерджентности классических и квантовых систем / А.П. Трунев, Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2016. - №06(120). С. 1659 - 1685. - IDA [article ID]: 1201606110. - Режим доступа: http://ej.kubagro.ru/2016/06/pdf/110.pdf, 1,688 у.п.л.

19. Луценко Е.В. Нечеткое мультиклассовое обобщение классической F-меры достоверности моделей Ван Ризбергена в АСК-анализе и системе «Эйдос» / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2016. - №09(123). С. 1 - 29. - IDA [article ID]: 1231609001. - Режим доступа: http://ej.kubagro.ru/2016/09/pdf/01.pdf, 1,812 у.п.л.

20. Луценко Е.В. Интеллектуальные информационные системы: Учебное пособие для студентов специальности "Прикладная информатика (по областям)" и другим экономическим специальностям. 2-е изд., перераб. и доп.- Краснодар: КубГАУ, 2006. - 615 с. http://elibrary.ru/item.asp?id=18632602

21. Луценко Е.В. Асимптотический информационный критерий качества шума / Е.В. Луценко, А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2016. - №02(116). С. 1569 - 1618. - IDA [article ID]: 1161602100. - Режим доступа: http://ej.kubagro.ru/2016/02/pdf/100.pdf, 3,125 у.п.л.

Размещено на Allbest.ru