Отметим, что файл: "000111 - Обучающая выборка.txt" пустой, т.к. в файле исходных данных: "Обучающая выборка.txt" в конце был пустой абзац из одной строки.

Экранная форма управления интерфейсом 2.3.2.1 с параметрами для ввода данных из текстовых файлов, показанных на рисунке 10, и формирования классификационных и описательных шкал и градаций и обучающей выборки, приведена на рисунке 11:

Рисунок 11. Экранная форма интерфейса 2.3.2.1 с параметрами для ввода данных из текстовых файлов и формирования классификационных и описательных шкал и градаций и обучающей выборки

В результате работы данного режима сформированы классификационные и описательные шкалы и градации и обучающая выборка, приведенные на рисунках 12, 13 и 14.

Рисунок 12. Классификационная шкала и ее градации, т.е. классы (фрагмент)

Рисунок 13. Описательная шкала и ее градации, т.е. признаки - слова и числа (фрагмент)



Рисунок 14. Обучающая выборка (фрагмент)

Полностью классификационные и описательные шкалы и градации и обучающая выборка приведены по ссылке: http://ej.kubagro.ru/2017/01/upload/01.zip.

Таким образом режим 2.3.2.1 полностью выполнил все операции этапа АСК-анализа "Формализация предметной области" и создал все необходимые условия и предпосылки для выполнения следующего его этапа: "Синтез и верификация модели предметной области".

После выполнения формализации предметной области для преобразования исходных данных в информацию остается только осмыслить эти данные, т.к. выявить причинно-следственные связи между словами и литературными источниками (см. рисунок 2).

Эти причинно следственные связи как раз и отражены в статистических и системно-когнитивных моделях, создаваемых и проверяемых на достоверность на следующем этапе АСК-анализа.

Синтез и верификация модели предметной области

Частные и интегральные критерии, применяемые в АСК-анализе и системе "Эйдос"

В системе "Эйдос" используется 3 статистических модели (см. рисунок 2) и 7 системно-когнитивных моделей. Различные модели системно-когнитивные модели отличаются частными критериями знаний.

Для решения задач идентификации (классификации, прогнозирования, распознавания, диагностики) в каждой системно-когнитивной модели могут применяться два интегральных критерия.



Синтез моделей

Для выполнения этого этапа АСК-анализа запустим режим 3.5 системы "Эйдос", при опциях, указанных на рисунке 15:

Рисунок 15. Экранная форма режима 3.5 системы "Эйдос"

Процесс синтеза и верификации 10 моделей, представляющих собой матрицы размерностью 111 на 857, шел на компьютере с процессором i7 26 минут 18 секунд (рисунок 16):

Рисунок 16. Экранная форма прогноза времени исполнения режима 3.5

Ясно, что синтез модели ABS и 1-й системно-когнитивной модели на ее основе при тех же исходных данных и на том же компьютере займет значительно меньшее время (около 26 секунд).

Просмотр моделей

В системе "Эйдос" есть режим для просмотра статистических и системно когнитивных моделей (режим 5.5). На рисунке 17 приведен фрагмент модели INF3:



Рисунок 17. Фрагмент модели INF3

Полностью все статистические и системно когнитивные модели приведены по ссылке: http://ej.kubagro.ru/2017/01/upload/01.zip. Здесь же они не приводятся, т.к. каждая из них занимает 128 листов.

Достоверность моделей

По F-критерию Ван Ризбергена

Достоверность созданных моделей оценивалось путем идентификации во всех созданных моделях библиографических описаний всех 111 источников обучающей выборки. При этом использовалась стандартная мера адекватности моделей: F-критерий Ван Ризбергена и его мультиклассовое нечеткое обобщение L-мера проф. Е.В. Луценко, предложенная автором [27].

На рисунке 18 приведена форма по достоверности моделей, которая отображается в режиме 4.1.3.6:



Рисунок 18. Экранная форма по достоверности моделей (начало)

Из этой формы мы видим, что наиболее достоверной по F-критерию является модель INF5 с интегральным критерием "Резонанс знаний" (соответствующая колонка выделена ярко-голубым цветом). Эта модель обеспечивает 100% истинно-положительных решений, 9868 истинно-отрицательных решений и 2122 ложно-положительных решений ("ложные срабатывания") при 0% ложно-отрицательных решений. Точность модели получается равной 0,049, а полнота 1,000, сама F-мера равна 0,094.

Казалось бы результаты так себе… Но не надо спешить с выводами.

По L1-мере проф. Е.В. Луценко

Дело в том, что в стандартной F-мере при ложно-положительном решении к соответствующему сумматору всегда прибавляется 1, а если мы посмотрим на рисунке 19



Рисунок 19. Результаты идентификации объектов с классами в самой достоверной модели INF5

На степень сходства объекта распознаваемой выборки с классом (т.е. ссылки с источником) при истинно-положительных решениях (отмечено "птичкой") и при ложно-положительных решениях, то мы увидим, что при ложно-положительных решениях уровень сходства всегда значительно ниже, чем при истинно-положительных.

Такая же картина наблюдается и во всех других приложениях, опыт создания которых очень велик См., например: http://lc.kubagro.ru/aidos/_Aidos-X.htm .

Поэтому автором было предложено мультиклассовое нечеткое обобщение стандартной F-меры Ван Ризбергена, которая была названа L-мера проф. Е.В. Луценко [27], которая кроме различия уровня сходства объектов с классами (нечеткость) учитывает также то, что один объект может принадлежать одновременно к различным классам (мультиклассовость).

На рисунке 20 показано продолжение экранной формы по достоверности моделей, показывающая ее часть с L-мерой (соответствующая колонка выделена ярко-зеленым цветом):



Рисунок 20. Экранная форма по достоверности моделей (продолжение)

Видно, что с учетом уровня сходства результаты идентификации значительно лучше, чем по F-критерию: L-мера = 0,710, при этом точность модели 0,550, а полнота 1,000, что уже более менее приемлемо.

Однако, количество ложно-положительных решений ("ложных срабатываний" или ошибочных идентификаций) слишком велико (2122) и не смотря на то, что они имеют очень низкие уровни сходства их сумма (64,209) все же почти равна сумме уровней сходства истинно-положительных решений (78,444).

Ясно, что при увеличении числа распознаваемых объектов сумма уровней сходства ложно положительных решений может даже превысить сумму уровней сходства истинно-положительных решений.

Чтобы преодолеть эти проблемы предлагается обобщение предложенного в работе [27] L-критерия проф. Е.В. Луценко, учитывающее уровень сходства объектов с классами и дающее оценку достоверности моделей не зависящую от числа объектов распознаваемой выборки.

По L2-мере проф. Е.В. Луценко

Автором работы (Е.В. Луценко) предлагается инвариантное относительно объемов данных обобщение нечеткой мультиклассовой L-меры [27] достоверности моделей, адекватное для оценки достоверности моделей, построенных на больших данных.

Понятно, что для того, чтобы устранить зависимость от числа объектов распознаваемой выборки в L-мере, достаточно вместо сумм уровней сходства истинно и ложно положительных и отрицательных решений использовать средние, посчитанные путем деления этих сумм на количество объектов соответствующих категорий, т.е. на число истинно и ложно идентифицированных и не идентифицированных объектов.

Это и сделано в новой версии системы "Эйдос" от 12.01.2017. Соответствующая мера достоверности моделей названа: L2-мера, а предложенная в работе [27], соответственно: L1-мера. Подробному описанию L2-меры и исследованию зависимости F-меры, L1- и L2-меры от объемов данных планируется посвятить одну из следующих работ.

В Help режимов 4.1.3.6, 4.1.3.7 и 4.1.3.8 кратко описаны F-мера, а также L1-мера и L2-мера (рисунок 21):

Рисунок 21. Экранная форма Help режимов 4.1.3.6, 4.1.3.7 и 4.1.3.8

На рисунке 22 приведена экранная форма по достоверности моделей, включающая и L1-меру, и L2-меру.



Рисунок 22. Экранная форма по достоверности моделей (продолжение)

Из этой формы видно, что средний уровень сходства распознаваемых объектов с классами при истинно-положительных решениях равен 0,285, при ложно-положительных решениях всего 0,005, что дает точность модели 0,982 при полноте 1,000 и L2-мере=0,991, что уже вполне прилично.

Все это означает, что если учитывать уровень сходства объектов с классами в формах идентификации, подобных представленной на рисунке 19, то можно добиться достаточно высокой достоверности идентификации.

Отметим также, что система "Эйдос" сама находит максимумы в колонках с различными критериями качества моделей и отмечает соответствующие строки тем же фоном, что и эти колонки.

Выбор наиболее достоверной модели, присвоение ей статуса текущей

Продолжим выполнение этапов АСК-анализа и преобразование данных в информацию, а ее в знания в соответствии с последовательностью, представленной на рисунке 3.

Для этого:

- выберем наиболее достоверную модель;

- присвоим ей статус текущей модели;

- введем распознаваемую выборку из текстовых файлов в систему "Эйдос";

- проведем пакетное распознавание распознаваемой выборки в текущей модели.

Выбор наиболее достоверной модели

Выбор наиболее достоверной модели осуществляется не сложно. После синтеза и верификации моделей, т.е. после выполнения режима 3.5, просто запускаем режим 4.1.3.6 и смотрим какая модель находится в строке, выделенной желтым фоном. Это и есть наиболее достоверная модель по L2-критерию проф. Е.В. Луценко. В нашем случае это модель INF5. Частный критерий этой модели приведен в разделе 3.4.1.

Присвоение наиболее достоверной модели статуса текущей модели

Чтобы присвоить модели INF5 запускаем режим 5.6 и задаем эту модель (рисунки 23):

Рисунок 23. Экранные форма режима 5.6, обеспечивающего присвоение заданной модели статуса текущей модели (задание и исполнение)

Решение задачи идентификации (привязки) ссылок на литературные источники в наиболее достоверной модели

Ввод распознаваемой выборки из текстовых файлов в систему "Эйдос"

Сначала преобразуем исходный текстовый файл с тестовой выборкой в совокупность файлов, каждый из которых будет содержать один абзац из исходного файла. Этот текстовый файл называется: "Тестовая выборка.txt" и имеет объем 27 страниц. Фрагмент этого файла приведен в разделе 3.1 данной работы. Полностью этот файл есть в архиве по ссылке: http://ej.kubagro.ru/2017/01/upload/01.zip.

Для этого запишем в MS Word тестовый файл со ссылками на источники как обычный текст кодировки DOS в папку: ..\Aidos-X\AID_DATA\Inp_rasp\. Каждая ссылка должна быть в отдельном абзаце.

Затем запустим служебный режим 2.3.2.9, позволяющий разбить текстовые файлы на абзацы и каждый абзац записать в виде отельного файла (рисунок 24):

Рисунок 24. Экранная форма режима 2.3.2.9

После исполнения этого режима в папке..\Aidos-X\AID_DATA\Inp_rasp\ появляется 588 файлов, часть которых показана на рисунке 25. После формирования этих файлов исходный файл удаляется из директории.

Затем запускаем режим 2.3.2.1, который, собственно, и вводит данные из этих файлов в распознаваемую выборку (рисунок 26). На рисунке 27 приведена экранная форма с фрагментом этой распознаваемой выборки.

Как уже указывалось выше, такой подход выбран потому, что на размеры этих файлов по сути нет ограничения (2Гб), т.е. это могут быть и статьи, и даже монографии или каике-то проекты и отчеты.

Рисунок 25. Файлы тестовой выборки (фрагмент)



Рисунок 26. Экранная форма программного интерфейса ввода данных из текстовых файлов

Рисунок 27. Экранная форма с отображением фрагмента распознаваемой выборки

Пакетное распознавание распознаваемой выборки в текущей модели

Далее запускаем режим 4.1.2, реализующий пакетное распознавание. На рисунке 28 приведена экранная форма с отображением стадии и прогнозом времени исполнения:

Рисунок 28. Экранная форма с отображением стадии и прогнозом времени исполнения

Из этой формы мы видим, что идентификация 588 объектов в текущей модели заняла 13 минут 41 секунду, т.е. около 1,4 секунды на объект.

Краткая характеристика выходных форм по результатам распознавания

В системе "Эйдос" есть довольно много выходных форм с выводом различных результатов распознавания (рисунок 29).

Некоторые из них (4.1.3.6, 4.1.3.7, 4.1.3.8, 4.1.3.9, 4.1.3.10, 4.1.3.11) посвящены анализу достоверности моделей и достоверности распознавания в разрезе по классам и объектам распознаваемой выборки.

Другие (4.1.3.1, 4.1.3.2, 4.1.3.3, 4.1.3.4, 4.1.3.5) непосредственно содержат результаты распознавания.



Рисунок 29. Выходные формы системы "Эйдос" по результатам распознавания (режим 4.1.3)

Рассмотрим лишь те из них, которые имеют самое непосредственное отношение к проблеме, решаемой в данной работе.

Создание выходных форм, наиболее удобных для решения поставленной в работе проблемы

Запустим режим 4.1.3.2. На экране появится экранная форма, приведенная на рисунке 30.

Если покликать мышкой слева по классам или воспользоваться стрелками перемещения курсора, то мы увидим два основных варианта этой формы, приведенные на рисунке 30-а и 30-б.

а)

б)

Рисунок 30. Стандартные экранные формы по результатам распознавания, отражающие сходство распознаваемых объектов с заданными классами

На экранной форме 30-а мы видим (справа), что в распознаваемой выборке нет объектов, имеющих сколько-нибудь заметное сходство с классом, указанным слева.

На экранной форме 30-б, напротив, мы видим (справа), что в распознаваемой выборке есть объекты с кодами: 344, 346 и 345, имеющие сходство около 70% с классом, указанным слева.

Однако с такой формой при решении проблемы, поставленной в работе, работать неудобно. Можно, конечно, посмотреть на содержимое файлов обучающей выборки, с библиографическими описаниями работ, и распознаваемой выборки, содержащей самые разнообразные, в основном некорректные ссылки на них. Но есть и выходные формы, которые уже содержат эту информацию.

Чтобы получить эти формы кликнем по кнопке "Печать ALL" на экранной форме, приведенной на рисунке 30. Появится запрос на порог уровня сходства объектов распознаваемой выборки с классами:



Этот порог используется для того, чтобы принять решение о том, в какой тип форм включать информацию объектах распознаваемой выборки: в те, которые содержат информацию о идентифицированных объектах, или в отчет об неидентифицированных объектах.

В результате формируются выходные формы, информация о которых приведена на рисунке 31:

Рисунок 31. Экранная форма с информацией о выходных формах, генерируемых по нажатию на кнопе "Печать ALL" в режиме 4.1.3.2.

Краткие выходные формы

Ниже приведена 1-я страница одной из кратких выходных форм, содержащих только коды классов и объектов распознаваемой выборки с уровнями сходства:



Подробные выходные формы

Ниже приведена 1-я страница одной из подробных выходных форм, содержащих не только коды классов и объектов распознаваемой выборки с уровнями сходства, но и полный текст из соответствующих текстовых файлов:



Отметим, что объем этой выходной формы в модели, используемой в данной работе, составляет 47 листов.

Отчет по неидентифицированным ссылкам

Все ссылки, для которых не оказалось источников с уровнем сходства выше заданного порога оказались вообще неидентифицированными (непривязанными) и ниже приводится фрагмент отчета по таким ссылкам:

Отметим, что все эти и ряд других выходных форм, приведенных на рисунке 31, в полном виде содержатся в архиве по ссылке: http://ej.kubagro.ru/2017/01/upload/01.zip.

Решение задачи исследования моделируемой предметной области

Продолжим выполнение этапов АСК-анализа и кратко рассмотрим некоторые (не все) возможности исследования моделируемой предметной области путем исследования ее модели. Это корректно, если модель имеет достаточно высокую достоверность. В нашем случае по L2-критерию проф. Е.В. Луценко это именно так.

Автоматизированный SWOT-анализ

Система "Эйдос" обеспечивает автоматизированный прямой и обратный SWOT-анализ [28]. Ниже (в рисунках 32, 33, 34 и 35) приводится несколько выходных форм соответствующих режимов в модели INF3:

Рисунок 32. Экранная форма управления режимом 4.4.8 (автоматизированный SWOT-анализ классов)

Рисунок 33. SWOT-диаграмма 2-й работы обучающей выборки



Рисунок 34. Экранная форма управления режимом 4.4.9 (автоматизированный SWOT-анализ значений факторов)

Рисунок 35. SWOT-диаграмма значения фактора: "Елепов"

Нелокальные нейроны

Модель представления знаний системы "Эйдос" представляет собой декларативную нечеткую модель, имеющую сходство с фреймовой и нейросетевой моделями.

По сравнению с фреймовой моделью модель системы "Эйдос" имеет существенно упрощенную программную реализацию, связанную с тем, что все фреймы (классы) имеют общую систему слотов и шпаций, т.е. описательных шкал и градаций. В тоже время это практически не уменьшает функциональных возможностей модели представления знаний системы "Эйдос" по сравнению с фреймовой моделью.

По сравнению с нейросетевой моделью модель системы "Эйдос" обладает тремя основными преимуществами [29]: 1) она является интерпретируемой, т.е. понятен и хорошо теоретически обоснован смысл весовых коэффициентов на рецепторах (градациях описательных шкал); 2) она является нейронной сетью прямого счета, т.е. ее процесс обучения гораздо проще, чем по алгоритму обратного распространения ошибки; 3) она является нелокальной, т.е. все нейроны (классы) связаны со всеми, что позволяет моделировать нелинейные системы [30].

На рисунке 36 приведена экранная форма управления отображением нелокальных нейронов (режим 4.4.10):

Рисунок 36. Экранная форма управления отображением нелокальных нейронов (режим 4.4.10 системы "Эйдос")

Пример отображения нелокального нейрона системы "Эйдос" приведен на рисунке 37):



Рисунок 37. Изображение нелокального нейрона (класса) с указанием весовых коэффициентов на рецепторах (словах)

Пояснения по рисунку приведены на нем самом.

Необходимо отметить, что в системе "Эйдос" нет принципиальных ограничений на количество нейронов в модели знаний и на количество рецепторов в них (ограничения накладываются только объемом свободной внешней памяти и быстродействием компьютеров). Проводились численные эксперименты с формированием в системе "Эйдос" моделей знаний, содержащих 10000 нейронов, каждый из которых имел 10000 рецепторов, а программные средства системы "Эйдос" работы с базами знаний тестировались на размерностях баз знаний до 100000 нейронов с 100000 рецепторов каждый. Правда надо отметить, что такие базы знаний создавались по полчаса и имели размеры на диске около 200 Гб.

Внешнее сравнение текстов (кластерно-конструктивный анализ)

В режиме 4.2.2.1 создается матрица или подматрица сходства классов (таблица 2):

Таблица 2 - Матрица сходства классов в модели INF5 (фрагмент)

KOD_CLS	NAME_CLS	N1	N2	N3	N4	N5
1	ИМЕНА ФАЙЛОВ-000001 - Обучающая выборка	100,000	1,289	-1,282	-1,879	-1,229
2	ИМЕНА ФАЙЛОВ-000002 - Обучающая выборка	1,289	100,000	-0,269	-1,836	-1,228
3	ИМЕНА ФАЙЛОВ-000003 - Обучающая выборка	-1,282	-0,269	100,000	-1,057	0,693
4	ИМЕНА ФАЙЛОВ-000004 - Обучающая выборка	-1,879	-1,836	-1,057	100,000	3,544
5	ИМЕНА ФАЙЛОВ-000005 - Обучающая выборка	-1,229	-1,228	0,693	3,544	100,000
6	ИМЕНА ФАЙЛОВ-000006 - Обучающая выборка	-1,747	-1,699	-0,874	-0,585	-1,232
7	ИМЕНА ФАЙЛОВ-000007 - Обучающая выборка	-0,821	0,254	0,697	-0,914	0,532
8	ИМЕНА ФАЙЛОВ-000008 - Обучающая выборка	0,737	-0,986	-0,228	-0,642	-0,716
9	ИМЕНА ФАЙЛОВ-000009 - Обучающая выборка	-2,103	0,222	0,066	-2,298	-1,495
10	ИМЕНА ФАЙЛОВ-000010 - Обучающая выборка	-2,366	-1,840	-1,686	-2,575	-1,702
11	ИМЕНА ФАЙЛОВ-000011 - Обучающая выборка	-1,381	-1,340	-0,997	-1,483	-1,000
12	ИМЕНА ФАЙЛОВ-000012 - Обучающая выборка	0,020	-0,775	0,285	-0,852	0,265
13	ИМЕНА ФАЙЛОВ-000013 - Обучающая выборка	1,582	-0,877	5,231	-0,966	0,048
14	ИМЕНА ФАЙЛОВ-000014 - Обучающая выборка	-1,262	-0,388	0,413	-1,361	-0,897
15	ИМЕНА ФАЙЛОВ-000015 - Обучающая выборка	-1,411	-0,621	-1,068	-1,565	-1,014
16	ИМЕНА ФАЙЛОВ-000016 - Обучающая выборка	-1,775	-1,724	-1,313	-1,605	-1,290
17	ИМЕНА ФАЙЛОВ-000017 - Обучающая выборка	-1,077	-1,070	-0,712	-1,185	-0,764
18	ИМЕНА ФАЙЛОВ-000018 - Обучающая выборка	-1,138	-1,123	-0,432	-1,251	-0,474
19	ИМЕНА ФАЙЛОВ-000019 - Обучающая выборка	8,878	-1,339	-0,569	-1,485	-0,611
20	ИМЕНА ФАЙЛОВ-000020 - Обучающая выборка	-2,152	-2,097	-1,595	-2,062	-1,566
21	ИМЕНА ФАЙЛОВ-000021 - Обучающая выборка	0,312	-1,070	-0,773	-1,191	-0,764
22	ИМЕНА ФАЙЛОВ-000022 - Обучающая выборка	6,748	-1,358	-1,021	-1,657	-0,955
23	ИМЕНА ФАЙЛОВ-000023 - Обучающая выборка	-1,957	-1,894	-1,454	-1,825	-1,426
24	ИМЕНА ФАЙЛОВ-000024 - Обучающая выборка	-1,428	-0,531	0,805	-0,440	-1,049
25	ИМЕНА ФАЙЛОВ-000025 - Обучающая выборка	-1,379	-1,346	-1,045	-1,474	-1,024
26	ИМЕНА ФАЙЛОВ-000026 - Обучающая выборка	-2,064	-1,988	-1,529	-2,225	-1,500
27	ИМЕНА ФАЙЛОВ-000027 - Обучающая выборка	-0,501	-0,587	0,233	-1,586	-1,070
28	ИМЕНА ФАЙЛОВ-000028 - Обучающая выборка	-1,263	-1,251	-0,822	-1,362	-0,824
29	ИМЕНА ФАЙЛОВ-000029 - Обучающая выборка	-1,532	-1,258	-0,430	-1,667	-0,503
30	ИМЕНА ФАЙЛОВ-000030 - Обучающая выборка	-1,708	-1,354	-0,793	-1,603	-1,238
31	ИМЕНА ФАЙЛОВ-000031 - Обучающая выборка	-0,843	-0,811	-0,624	-0,908	-0,612
32	ИМЕНА ФАЙЛОВ-000032 - Обучающая выборка	-0,915	-0,734	-0,542	-1,005	-0,550
33	ИМЕНА ФАЙЛОВ-000033 - Обучающая выборка	-1,411	-1,407	-0,493	-1,554	-0,552
34	ИМЕНА ФАЙЛОВ-000034 - Обучающая выборка	0,764	1,925	-0,479	-1,391	-0,859
35	ИМЕНА ФАЙЛОВ-000035 - Обучающая выборка	-1,640	-0,677	-0,949	-1,775	-1,209
36	ИМЕНА ФАЙЛОВ-000036 - Обучающая выборка	-1,149	-1,116	-0,735	-1,259	6,952
37	ИМЕНА ФАЙЛОВ-000037 - Обучающая выборка	-1,592	-1,543	-1,181	-1,724	-1,160
38	ИМЕНА ФАЙЛОВ-000038 - Обучающая выборка	-1,180	-0,478	-0,176	0,668	-0,821
39	ИМЕНА ФАЙЛОВ-000039 - Обучающая выборка	-1,786	-1,800	-1,258	-1,718	-1,331
40	ИМЕНА ФАЙЛОВ-000040 - Обучающая выборка	-1,763	-1,526	-1,096	-1,276	-1,269
41	ИМЕНА ФАЙЛОВ-000041 - Обучающая выборка	-1,869	-1,866	-1,105	-1,835	-0,855
42	ИМЕНА ФАЙЛОВ-000042 - Обучающая выборка	-1,030	-0,984	-0,363	-1,089	-0,403
43	ИМЕНА ФАЙЛОВ-000043 - Обучающая выборка	-1,386	-0,607	-0,075	-1,670	-1,043
44	ИМЕНА ФАЙЛОВ-000044 - Обучающая выборка	-1,666	-1,635	-1,007	-1,858	-1,244
45	ИМЕНА ФАЙЛОВ-000045 - Обучающая выборка	-1,834	-1,786	-0,108	-1,981	-0,624
46	ИМЕНА ФАЙЛОВ-000046 - Обучающая выборка	-1,164	-1,689	0,009	-1,444	-0,276
47	ИМЕНА ФАЙЛОВ-000047 - Обучающая выборка	-1,529	-1,473	-1,133	-1,624	-1,112
48	ИМЕНА ФАЙЛОВ-000048 - Обучающая выборка	-1,547	-1,491	-0,831	-1,660	-1,108
49	ИМЕНА ФАЙЛОВ-000049 - Обучающая выборка	-1,371	-1,343	-0,647	-1,495	-0,990
50	ИМЕНА ФАЙЛОВ-000050 - Обучающая выборка	-1,466	-1,517	-0,927	-1,675	-0,475
51	ИМЕНА ФАЙЛОВ-000051 - Обучающая выборка	-1,822	-1,655	-1,245	-1,753	-1,361
52	ИМЕНА ФАЙЛОВ-000052 - Обучающая выборка	-1,388	-2,004	-0,954	-1,528	-0,635
53	ИМЕНА ФАЙЛОВ-000053 - Обучающая выборка	0,977	-1,072	-0,352	-1,224	-0,401
54	ИМЕНА ФАЙЛОВ-000054 - Обучающая выборка	-1,356	-1,314	-1,007	2,124	-0,991
55	ИМЕНА ФАЙЛОВ-000055 - Обучающая выборка	-1,105	-1,277	-0,984	-1,423	-0,932
56	ИМЕНА ФАЙЛОВ-000056 - Обучающая выборка	-0,997	-1,006	-0,733	-1,121	-0,676
57	ИМЕНА ФАЙЛОВ-000057 - Обучающая выборка	-1,208	-1,158	-0,894	-1,287	-0,878
58	ИМЕНА ФАЙЛОВ-000058 - Обучающая выборка	-0,976	-0,931	-0,722	-1,075	-0,710
59	ИМЕНА ФАЙЛОВ-000059 - Обучающая выборка	-1,029	-1,196	0,004	-1,293	-0,845
60	ИМЕНА ФАЙЛОВ-000060 - Обучающая выборка	-1,254	-0,665	-0,978	-1,424	-0,960
61	ИМЕНА ФАЙЛОВ-000061 - Обучающая выборка	2,134	-1,421	-1,152	-0,655	-1,133

Приводится лишь фрагмент этой матрицы, т.к. она занимает 27 листов. Полностью она приведена в архиве по ссылке: http://ej.kubagro.ru/2017/01/upload/01.zip.

Фрагменты матрицы сходства могут визуализироваться в системе "Эйдос" в форме семантических сетей (когнитивных диаграмм). На рисунке 38 приведены экранные формы управления данным режимом (4.2.2.2):

Рисунок 38. Экранные формы управления режимом кластерно-конструктивный анализ классов системы "Эйдос" (4.2.2.2.)

Пример визуализации конструкта класса с кодом 95 приведен на рисунке 39:



Рисунок 39. Пример визуализации конструкта класса с кодом 95

Текст объекта обучающей выборки с кодом 95: "НАУЧНЫЕ БИБЛИОТЕКИ СИБИРИ И ДАЛЬНЕГО ВОСТОКА Елепов Б.С. Новосибирск, 1980.". Информационный портрет класса 95 приведен на рисунке 40.

Рисунок 40. Пример визуализации конструкта класса с кодом 95

Из рисунка 40 видно, что разные слова, входящие в этот объект, имеют разный вес при его идентификации, т.е. в разной степени характерны для этого объекта. Мы видим, что наиболее характерным словом для этого объекта является слово "востока", а за ним идет год работы.

Отметим также, что весовые коэффициенты когнитивной диаграммы, приведенной на рисунке 39, определяются не "на основе экспертных оценок", как обычно Еще часто говорят: на основе опыта, интуиции и профессиональной компетенции, т.е. фактически "на глазок" или "от фонаря", а рассчитываются непосредственно на основе моделей знаний, сформированных в системе "Эйдос" непосредственно на основе эмпирических исходных данных.

Содержательное сравнение текстов (когнитивные диаграммы)

Из когнитивной диаграммы, приведенной на рисунке 39, мы видим, что некоторые библиографические описания работ в различной степени сходны друг с другом, а другие в различной степени отличаются. Но из этой диаграммы мы не видим, чем именно они сходны и чем отличаются, т.е. того, какие слова вносят основной вклад в их сходство и различие. Эта информация приводится в когнитивной диаграмме на рисунке 41:

Рисунок 41. Пример когнитивной диаграммы, содержательно отражающей вклад различных слов в сходство-различие двух текстов

На рисунке 42 приведена экранная форма управления режимом 4.2.3, обеспечивающим генерацию когнитивных диаграмм, содержательно отражающих вклад различных слов в сходство-различие двух текстов.

Рисунок 42. Экранная форма управления режимом 4.2.3, обеспечивающим генерацию когнитивных диаграмм, содержательно отражающих вклад различных слов в сходство-различие двух текстов

По сути эта когнитивная диаграмма раскрывает внутреннюю структуру каждой линии, показывающей сходство или различие классов на диаграмме 39. Ниже, на рисунке 43 приведен Help режима 4.2.3, поясняющий, как формируется когнитивная диаграмма, отображенная на рисунке 41.

Рисунок 43. Help режима 4.2.3, поясняющий, как формируется когнитивная диаграмма, отображенная на рисунке 41

Можно представить себе нейронную сеть, построенную на диаграмме 39 с указанием рецепторов, как на рисунке 37. В DOS-версии системы "Эйдос" такие диаграммы визуализировались, а в новой аналогичный режим еще не реализован.

Ценность слов для сравнения ссылок и источников

Различные слова имеют различную ценность для сравнения источников с источниками и ссылок с источниками.

Если слово встречается с одинаковой вероятностью в различных источниках, то оно совершенно бесполезно для того, чтобы отличить их друг от друга. Чем выше вариабельность вероятности Конечно, строго говоря, не вероятности, а относительной частоты, т.е. частости, которая асимптотически стремиться к вероятности, как пределу, при неограниченном увеличении объема выборки (или одного из частных критериев знаний, приведенных в разделе 3.4.1) встречи некоторого слова по разным источникам, тем более ценным оно является для их различения.

На рисунке 44 приведена логистическая кривая ценности различных слов для решения задачи идентификации текстов (т.е. ценность слов нарастающим итогом) в модели PRC1 Это модель, в которой в качестве частного критерия выступают условные процентные распределения, т.е. по сути относительные частости:

Рисунок 44. Логистическая кривая ценности различных слов для решения задачи идентификации текстов

В различных моделях эта кривая и сама последовательность слов в рейтинге их значимости различна. Это видно из табличных форм, приведенных с именами вида: Zpr_####.dbf, где: #### - имя модели, например: Zpr_Inf3.dbf. Все эти формы приведены в архиве: http://ej.kubagro.ru/2017/01/upload/01.zip.

Из рисунка 44 видно, что 50% слов обеспечивают суммарно около 75,7% значимости, а 50% суммарной значимости обеспечивается 23,6% слов.

Если подобный анализ провести на моделях, отражающих не одного автора, а большое их количество, то можно сделать научно обоснованные выводы о том, какие слова имеет использовать для дифференциации источников и ссылок и их привязки. Например, можно оставить треть; слов, дающих суммарное около двух третей значимости. Наряду с лемматизацией, это позволит существенно уменьшить размерность моделей, вычислительную сложность и время решения задач.

Обсуждение (некоторые ограничения предлагаемой технологии и пути их преодоления)

Ошибки идентификации и неидентификации и как их компенсировать

Ложноположительные и ложно-отрицательные решения, т.е. ошибки идентификации и неидентификации, крайне нежелательны и их обязательно необходимо как-то минимизировать. Ниже в данном разделе рассмотрим некоторые подходы к решению этой важной и актуальной задачи.

Обоснование выбора порога уровней сходства

Обратимся к рисунку 21, на котором раскрываются понятия положительного и отрицательного псевдопрогнозов.

Из предыдущего изложения, в частности рисунка 30-б в разделе 3.6.4, ясно, что для достоверности прогноза очень важен выбор порога положительных уровней сходства, выше которого положительные решения, как правило, соответствуют действительности, т.е. являются истинно-положительными, а ниже - ложноположительными.

Например, из рисунка 30-б видно, что вероятнее всего к истинно-положительным решениям относятся те, у которых уровень сходства выше 50%. Но, конечно, по одной форме такие решения принимать нельзя, а также необходима проверка совпадения прогноза с действительностью, что по этой форме сделать затруднительно.

Поэтому для выбора порога более корректно использовать форму, представленную на рисунке 22 и текстовые формы из раздела 3.6.4.

Например, из рисунка 22 видно, что в наиболее достоверной модели INF5 рационально и обоснованно выбрать порог уровня сходства выше 30%, т.е. положительные решения, с уровнем сходства выше 30% обоснованно можно считать истинно-положительными. Соответственно, положительные решения, с уровнем сходства ниже 30% обоснованно можно считать ложно-положительными или истинно-отрицательными.

Конечно, речь идет о средних величинах уровней сходства, причем полученных при идентификации обучающей выборки. Понятно, что при идентификации объектов как обучающей, так и тестовой выборки реально могут встретится и истинно-положительные решения с уровнем сходства ниже 30% и ложно положительные с уровнем сходства выше 30%. Но при таком выборе порога уровня сходства минимизируется количество ложноположительных и ложноотрицательных решений.

Использование препроцессора в форме однослойной нейронной сети для грамматического разбора и выделения вторичных признаков

По предлагаемой технологии, возможно построить модели измерения сходства-различия библиографических описаний источников и ссылок на них не по входящим в них словам, а по элементам их библиографических описаний. В этом случае модели измерения сходства-различия источников и ссылок будут вторым слоем нейронной сети, в первом слое которой должна решаться задача разбора некорректного и неполного библиографического описания и выделения из него этих элементов.

Очень может быть, что такие модели двухслойной нейронной сети показали высокую достоверность, чем однослойные модели, основанные на словах, подобные описанной в данной работе.

Однако ожидать этой более высокой достоверности оправданно только при условии правильного выделения элементов библиографического описания. А на этапе разбора также возможны ошибки, которые могут снизить достоверности решения задачи во втором слое.

Использование детерминистского постпроцессора исключающего из отчета по идентификации точно ошибочные результаты

Экспертное исследование текстовых выходных форм, приведенных в разделе 3.6.4, показало, что при очень высоком пороге сходства из списка ссылок могут пропасть фактические ссылки на источники, а при очень низком в список ссылок попадает много ссылок на другие источники, сходные по библиографическому описанию.

Решить эту проблему предлагается путем:

1) выбора низкого порога, что обеспечит исключение пропусков ссылок;

2) исключения из расширенного списка ссылок тех из них, которые точно не являются ссылками на данный источник.

Решить 2-ю задачу можно с применением используемого в настоящее время в программном обеспечении (ПО) РИНЦ алгоритма грамматического разбора библиографических ссылок, который выделяет год публикации и другие элементы ее описания. Например, из расширенного списка ссылок можно сразу исключить ссылки на источники других лет публикации.

Использование предлагаемого подхода в сочетании с алгоритмами разбора ссылок, используемыми в ПО РИНЦ настоящее время

Используемый в настоящее время в программном обеспечении (ПО) РИНЦ алгоритм основан на последовательном грамматическом разборе библиографических ссылок, выделении элементов их описания и последовательном сужении круга дальнейшего поиска с учетом результатов предшествующего разбора. Это очень быстродействующий алгоритм, однако при неверном определении типа публикации (например она определилась как журнал, а в действительности это сборник статей) дальнейший поиск ведется уже в публикациях этого типа и обречен неудачу.

Предлагаемый в данной работе подход решает эту проблему. Для этого предлагается сначала с очень низким порогом, например 6-7% сформировать расширенный список работ, на одну из которых может быть привязываемая ссылка, а затем из этого расширенного списка удаляются варианты, у которых не совпадают безошибочно определяемые при разборе элементы, такие как год публикации.

Это предложение напоминает подход, используемый рыбками: сначала широко закинуть невод и вытащить его со всем, что туда попало, а потом выкинуть все ненужное и оставить только улов.

Англоязычные ссылки на русскоязычные источники и на источники, указанные в транслитерации

Конечно авторы иногда делают странные вещи: например при публикации в англоязычных журналах помещают в список литературы ссылки на русскоязычные источники в переводе их на английский язык или в транслитерации, а не на языке оригинала. Понятно, конечно, что эти англоязычные издания могут вообще не предусматривать возможности ссылок на русскоязычные источники. Одна с другой стороны понятно, что если ссылка сделана в переводе или транслитерации, то предлагаемый подход не найдет их сходства с русскоязычным библиографическим описание источника.

Предлагается следующее решение этой проблемы: все русскоязычные библиографические описания источников обучающей выборки перевести на английский язык и сделать их транслитерацию с применением различных стандартов транслитерации и дополнить ими обучающую выборку с теми же номерами файлов, что и с русскоязычным описанием источника.

Повышение скорости интеллектуальной привязки

Научное исследование

Проведение расчетов по синтезу и верификации моделей источников, а затем по их применению для привязки ссылок показали, что они имеют достаточно высокую вычислительную сложность и трудоемкость, требуют значительных вычислительных ресурсов и затрат времени.

По этим параметрам предлагаемые и описанные выше в работе подходы не удовлетворяют требованиям, предъявляемым условиями их практического применения.

Но дело в том, что они и не предназначены для непосредственного применения на практике. Очень многие аспекты предлагаемых подходов, освещенные в данной работе, не касаются непосредственно практического применения, а относятся к этапу научного исследования, который предшествует этапу практического доведения до инновационного уровня и применения любой разработки.

Самое главное, что мы должны сделать на этапе научного исследования - это мы должны путем создания и верификации моделей на большом числе авторов определить наиболее достоверную модель и порог уровня сходства для определения расширенного списка ссылок или источников.

Можем, при наличии такой возможности и желания, провести и другие исследования по интересующим направлениям, например, исследовать, как на скорость и достоверность распознавания и привязки влияет лемматизация слов или исключение из списка слов двух третей наименее ценных из них, а также предлагаемые выше препроцессоры и постпроцессоры.

Практическое применение

Из всего сделанного на этапе научного исследования и описанного выше, на практике будет применяться лишь небольшая часть:

1) для каждого автора на основе списка его публикаций в базах данных РИНЦ будет формироваться одна модель, а именно та, которая на этапе научного исследования показала наивысшую достоверность у наибольшего числа авторов;

2) в этой модели с порогом уровня сходства, определенном на этапе научного исследования, будет формироваться расширенный список ссылок на каждую работу автора;

3) из расширенного списка будут исключаться те из них, которые не соответствуют хотя бы по одному достоверно установленному элементу библиографического описания, например, году публикации.

Эти задачи могут на этапе практического применения могут решаться в десятки раз быстрее, чем аналогичные задачи на этапе научного исследования.

В результате все это уже может быть вполне может быть применимым на практике. Тем более, что предлагаемые в работе подходы, включая и саму систему "Эйдос", могут рассматриваться лишь как прототип для практических решений на платформе программного обеспечения РИНЦ.

Но на этапе научных исследований они вполне успешно могут быть применены, собственно говоря, уже применены, что и описано в данной работе.

Применение новых технологий параллельных вычислений

В наше время существует много подходов эффективного использования аппаратных средств для высокопроизводительных вычислений. Кроме очевидной возможности использования суперкомпьютеров с параллельными процессорами укажем еще на возможность использования видеокарт для высокопроизводительных вычислений См., например: https://habrahabr.ru/post/117021/, http://www.ixbt.com/video3/cuda-1.shtml и кластерные сетевые вычислительные системы с интеллектуальным управлением задачами и ресурсами См., например: http://al-tm.ru/stati/stati-po-setyam/.115 .

Заключение

В данной работе предлагается решение проблемы привязки некорректных ссылок к литературным источникам путем применения автоматизированного системно-когнитивного анализа (АСК-анализ) и его программного инструментария - интеллектуальной системы "Эйдос". Приводится численный пример интеллектуальной привязки реальных некорректных ссылок к работам автора на основе небольшого объема реальных наукометрических данных, находящихся в открытом бесплатном on-line доступе в РИНЦ, который продемонстрировал работоспособность предлагаемого подхода и ряд его преимуществ перед подходом, применяемым в настоящее время в программном обеспечении РИНЦ. Таким образом, данная работа является продолжением серии работ автора, посвященных различным вопросам наукометрии [31, 32, 33] и интеллектуальной обработки тестов [1-33].

Предлагаются следующие возможные перспективы дальнейших исследований по теме, которые не удалось в должной мере осветить в данной работе и которые могут способствовать развитию данного направления исследований в будущем:

1) использование многослойных нейронных сетей: препроцессором и постпроцессором в комбинации с предлагаемым подходом;

2) решение задачи выявления фактических научных школ и сравнения их с формальными научными школами;

3) задача формирования обобщенных образов научных публикаций авторов, научных коллективов и организаций, как локальных (традиционных), так и виртуальных.

Отметим также, что наряду с возможностью интеллектуальной привязки ссылок к литературным источникам в библиографических базах данных материалы данной работы могут быть использованы при решении ряда других сходных по сути задач интеллектуальной обработки текстов. Например, предлагаемый подход можно использовать для поиска аналогов преступлений путем АСК-анализа текстов фабул преступлений, а также при преподавании дисциплин, связанных с интеллектуальными технологиями и наукометрией, для проведения лекционных и лабораторных занятий по этим дисциплинам и при выполнении курсовых и дипломных работ.

Литература

1. Луценко Е.В. Автоматизированный системно-когнитивный анализ в управлении активными объектами (системная теория информации и ее применение в исследовании экономических, социально-психологических, технологических и организационно-технических систем): Монография (научное издание). - Краснодар: КубГАУ. 2002. - 605 с. http://elibrary.ru/item.asp?id=18632909

2. Орлов А.И., Луценко Е.В. Системная нечеткая интервальная математика. Монография (научное издание). - Краснодар, КубГАУ. 2014. - 600 с. ISBN 978-5-94672-757-0. http://elibrary.ru/item.asp?id=21358220

3. Луценко Е.В. Универсальная когнитивная аналитическая система "Эйдос". Монография (научное издание). - Краснодар, КубГАУ. 2014. - 600 с. ISBN 978-5-94672-830-0. http://elibrary.ru/item.asp?id=22401787

4. Луценко Е.В. Исследование влияния подсистем различных уровней иерархии на эмерджентные свойства системы в целом с применением АСК-анализа и интеллектуальной системы "Эйдос" (микроструктура системы как фактор управления ее макросвойствами) / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2012. - №01(075). С. 638 - 680. - Шифр Информрегистра: 0421200012\0025, IDA [article ID]: 0751201052. - Режим доступа: http://ej.kubagro.ru/2012/01/pdf/52.pdf, 2,688 у.п.л.

5. Перегудов Ф.И., Тарасенко Ф.П. Введение в системный анализ. М.: Высшая школа, 1989. - 320 с.,

6. Перегудов Ф.И., Тарасенко Ф.П.. Основы системного анализа. Томск Изд-во науч.-техн. лит. 1997. 389с.

7. Луценко Е.В. Теоретические основы, технология и инструментарий автоматизированного системно-когнитивного анализа и возможности его применения для сопоставимой оценки эффективности вузов / Е.В. Луценко, В.Е. Коржаков // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №04(088). С. 340 - 359. - IDA [article ID]: 0881304022. - Режим доступа: http://ej.kubagro.ru/2013/04/pdf/22.pdf, 1,25 у.п.л.

8. Луценко Е.В. Синтез адаптивных интеллектуальных измерительных систем с применением АСК-анализа и системы "Эйдос" и системная идентификация в эконометрике, биометрии, экологии, педагогике, психологии и медицине / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2016. - №02(116). С. 1 - 60. - IDA [article ID]: 1161602001. - Режим доступа: http://ej.kubagro.ru/2016/02/pdf/01.pdf, 3,75 у.п.л.

9. Луценко Е.В. Метризация измерительных шкал различных типов и совместная сопоставимая количественная обработка разнородных факторов в системно-когнитивном анализе и системе "Эйдос" / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №08(092). С. 859 - 883. - IDA [article ID]: 0921308058. - Режим доступа: http://ej.kubagro.ru/2013/08/pdf/58.pdf, 1,562 у.п.л.

10. Стабин И.П., Моисеева B.C. Автоматизированный системный анализ.- М.: Машиностроение, 1984. -309 с.

11. Симанков В.С. Автоматизация системных исследований в альтернативной энергетике. Диссерт. на соиск. уч. ст. докт, техн. наук. По спец.: 05.13.01. http://tekhnosfera.com/avtomatizatsiya-sistemnyh-issledovaniy-v-alternativnoy-energetike

12. Klir, G,J. Architecture of Systems Problem Solving, with D. Elias, Plenum Press, New York, 354 pp.

13. Клир Дж. Системология. Автоматизация решения системных задач. Москва: Радио и связь. 1990. 538 с. http://www.twirpx.com/file/486296/

14. Лефевр В.А. Конфликтующие структуры. Издание второе, переработанное и дополненное. - М.: Изд-во "Советское радио", 1973. - 158 с. с ил.

15. Хаббард Дуглас У. Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе / Дуглас У. Хаббард / [Пер. с англ. Е. Пестеревой]. - М.: ЗАО "Олимп-Бизнес", 2009. - 320 с.: ил. ISBN 978-5-9693-0163-4 (рус.). http://www.twirpx.com/file/1546361/

16. Сайт автора АСК-анализа проф. Е.В. Луцеко: http://lc.kubagro.ru/

17. Луценко Е.В. Математический метод СК-анализа в свете идей интервальной бутстрепной робастной статистики объектов нечисловой природы / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2004. - №01(003). С. 312 - 340. - IDA [article ID]: 0030401013. - Режим доступа: http://ej.kubagro.ru/2004/01/pdf/13.pdf, 1,812 у.п.л.

18. Луценко Е.В. Идентификация слов по входящим в них буквам с применением системно-когнитивного анализа / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2004. - №02(004). С. 130 - 150. - IDA [article ID]: 0040402012. - Режим доступа: http://ej.kubagro.ru/2004/02/pdf/12.pdf, 1,312 у.п.л.

19. Луценко Е.В. Атрибуция текстов, как обобщенная задача идентификации и прогнозирования / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2003. - №02(002). С. 146 - 164. - IDA [article ID]: 0020302013. - Режим доступа: http://ej.kubagro.ru/2003/02/pdf/13.pdf, 1,188 у.п.л.

20. Луценко Е.В. Атрибуция анонимных и псевдонимных текстов в системно-когнитивном анализе / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2004. - №03(005). С. 44 - 64. - IDA [article ID]: 0050403003. - Режим доступа: http://ej.kubagro.ru/2004/03/pdf/03.pdf, 1,312 у.п.л.

21. Луценко Е.В. АСК-анализ проблематики статей Научного журнала КубГАУ в динамике / Е.В. Луценко, В.И. Лойко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №06(100). С. 109 - 145. - IDA [article ID]: 1001406007. - Режим доступа: http://ej.kubagro.ru/2014/06/pdf/07.pdf, 2,312 у.п.л.

22. Луценко Е.В. Применение АСК-анализа и интеллектуальной системы "Эйдос" для решения в общем виде задачи идентификации литературных источников и авторов по стандартным, нестандартным и некорректным библиографическим описаниям / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №09(103). С. 498 - 544. - IDA [article ID]: 1031409032. - Режим доступа: http://ej.kubagro.ru/2014/09/pdf/32.pdf, 2,938 у.п.л.

23. Луценко Е.В. Синтез и верификация многокритериальной системно-когнитивной модели университетского рейтинга Гардиан и ее применение для сопоставимой оценки эффективности российских вузов с учетом направления подготовки / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2015. - №03(107). С. 1 - 62. - IDA [article ID]: 1071503001. - Режим доступа: http://ej.kubagro.ru/2015/03/pdf/01.pdf, 3,875 у.п.л.

24. Луценко Е.В. Метризация измерительных шкал различных типов и совместная сопоставимая количественная обработка разнородных факторов в системно-когнитивном анализе и системе "Эйдос" / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №08(092). С. 859 - 883. - IDA [article ID]: 0921308058. - Режим доступа: http://ej.kubagro.ru/2013/08/pdf/58.pdf, 1,562 у.п.л.

25. Луценко Е.В. Системно-когнитивный анализ как развитие концепции смысла Шенка - Абельсона / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2004. - №03(005). С. 65 - 86. - IDA [article ID]: 0050403004. - Режим доступа: http://ej.kubagro.ru/2004/03/pdf/04.pdf, 1,375 у.п.л.

26. Луценко Е.В. Методологические аспекты выявления, представления и использования знаний в АСК-анализе и интеллектуальной системе "Эйдос" / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2011. - №06(070). С. 233 - 280. - Шифр Информрегистра: 0421100012\0197, IDA [article ID]: 0701106018. - Режим доступа: http://ej.kubagro.ru/2011/06/pdf/18.pdf, 3 у.п.л.

27. Луценко Е.В. Нечеткое мультиклассовое обобщение классической F-меры достоверности моделей Ван Ризбергена в АСК-анализе и системе "Эйдос" / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2016. - №09(123). С. 1 - 29. - IDA [article ID]: 1231609001. - Режим доступа: http://ej.kubagro.ru/2016/09/pdf/01.pdf, 1,812 у.п.л.

28. Луценко Е.В. Количественный автоматизированный SWOT- и PEST-анализ средствами АСК-анализа и интеллектуальной системы "Эйдос-Х++" / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №07(101). С. 1367 - 1409. - IDA [article ID]: 1011407090. - Режим доступа: http://ej.kubagro.ru/2014/07/pdf/90.pdf, 2,688 у.п.л.