Реализация тестов и супертестов для ветеринарной и медицинской диагностики в среде системы искусственного интеллекта "ЭЙДОС-Х++" без программирования

Размещено на http://www.allbest.ru/

Реализация тестов и супертестов для ветеринарной и медицинской диагностики в среде системы искусственного интеллекта "ЭЙДОС-Х++ " без программирования

В последнее время особую актуальность приобретает повышение качества (достоверности) постановки диагнозов в ветеринарии и медицине. Одним из направлений работы, направленных на достижение этой цели, является обеспечение возможности накопления профессиональных знаний экспертов в этой области в форме баз знаний систем искусственного интеллекта с обеспечением общего доступа к этим базам знаний для осуществления диагностики всех специалистов. Особенно полезно это может быть для молодых специалистов, не облагающих профессиональным опытом, достаточным для постановки высокодостоверного диагноза. Но и для опытных специалистов применение подобных диагностических систем может быть оправданным как при массовых обследованиях (диспансеризации) просто для экономии времени и сил для выявления случаев, требующих специального внимания, так и при индивидуальной диагностике, т.к. способно застраховать от грубых диагностических ошибок, цена которых может быть максимально высокой.

Недостатка в информации о симптоматике различных заболеваний не ощущается. Однако информации о том, в какой степени тот или иной симптом характерен для данного конкретного заболевания уже меньше, а информации о диагностической ценности различных симптомов и синдромов для общей или дифференциальной диагностики различных классов заболеваний вообще недостаточно. А это значит, что конкретный врач должен сам решать задачу определения этой диагностической ценности и соответственно с учетом этого строить план получения дополнительной информации путем специальных лабораторных исследований. Ощущается также дефицит в программном инструментарии, обеспечивающем создание диагностических тестов и супертестов и их массовое применение в адаптивном режиме с сохранением и накоплением всех исходных данных и результатов с возможностью их использования дальнейшем после верификации диагноза для адаптации модели. В принципе подобные разработки есть за рубежом. Однако зарубежные разработчики никогда принципиально не продают сам инструментарий или технологию, а предоставляют лишь возможность использования продукта или результат этих технологий, т.е. самих диагностических тестов. У российских пользователей эти тесты, как правило, нелицензионные и требуют локализации (привязки к особенностям места применения), а также адаптации (учета динамики предметной области). Ясно, что технология стоит на порядки дороже продуктов, с помощью нее созданных, а для локализации и адаптации продуктов необходимо владение технологией, по сути, очень сходной с разработкой этих продуктов, а значит, эти работы по локализации адаптации продуктов могут быть проведены только разработчиками этих продуктов или их представителями, в распоряжении которых есть эти технологии. Конечно, работы по локализации и адаптации ветеринарных и медицинских диагностических тестов стоят дешевле самих технологий, необходимых для их проведения, однако и эти работы являются весьма наукоемкими и достаточно дорогими. По всем этим причинам на практике, как правило, они не могут быть проведены, более того, фактически их просто некому проводить, т.к. просто нет специалистов с соответствующей компетенцией в этой области.

В данной статье предлагается содержательное рассмотрение этих проблем и их решение с помощью интеллектуальной системы «Эйдос-Х++», являющейся программным инструментарием автоматизированного системно-когнитивного анализа [2-27]. Отметим, что впервые применить систему Эйдос для реализации тестов различного назначения без программирования предложено в монографии [3] в 1996 году. Медицинские диагностические методики и даже списки симптомов в медицинских фолиантах с описаниями болезней тоже вполне можно считать слабоформализованными и не очень профессионально разработанными тестами. При этом уровень сложности работ соответствует требованиям к лабораторным работам по дисциплинам «Интеллектуальные информационные системы» и «Представление знаний в интеллектуальных информационных системах», которые ведут авторы в своих вузах. Мы этим хотим сказать, что наши студенты (по крайней мере, те, которые посещали занятия) вполне способны решать эти проблемы. Таким образом, проблемы с дефицитом интеллектуальных технологий и специалистов полностью снимаются.

Итак, рассмотрим технологию и методику, не требующую программирования, обеспечивающую реализацию в среде системы «Эйдос-Х++» тестов различного назначения. Сделаем это на примере теста ветеринарного назначения, предназначенного для диагностики заболеваний кошек. Данный тест взят с сайта: [1] и выбран в качестве примера потому, что он является достаточно актуальным, очень наглядным и в тоже время достаточно простым, т.к. тестовый материал и ключи представляет собой дихотомические текстовые шкалы (лингвистические переменные). С другой стороны он может служить хорошей иллюстрацией технологии и прототипом для разработки подобных тестов, но другого назначения, в ветеринарии и медицине. Мы бы хотели отметить, что для иллюстрации интеллектуальной технологии «Эйдос» выбор того или иного конкретного диагностического теста для примера не имеет принципиального значения, т.к. статья посвящена не диагностике кошек, а технологии переноса диагностических тестов в среду системы искусственного интеллекта «Эйдос-Х++», хотя и для повышения качества диагностики кошек, мы надеемся, наша статья также может быть полезной.

Интеллектуальную технологию, необходимую для решения поставленных проблем, реализует сама универсальная автоматизированная система «Эйдос-Х++» [2-27].

Эта методика включает следующие этапы (рисунок 1):

1. Подготовка Excel-файла исходных данных на основе стимульного материала и ключей (шкал) теста.

2. Автоматизированный ввод данных в систему Эйдос-Х++ из Excel-файла исходных данных с помощью стандартного программного интерфейса системы (формализация предметной области, т.е. разработка классификационных и описательных шкал и градаций и обучающее выборки).

3. Синтез и верификация 3-х статистических и 7 интеллектуальных моделей.

4. Определение наиболее достоверной модели и назначение ее текущей.

5. Решение задач тестирования и выработки рекомендаций.

6. Исследование предметной области путем исследования ее моделей.

Рисунок 1. Последовательность обработки данных, информации и знаний в системе Эйдос-Х++

На первом этапе подготовим Excel-файл, который может быть непосредственно введен в систему Эйдос-Х++ с помощью одного из ее стандартных программных интерфейсов с внешними базами данных (режим 2.3.2.2). Для этого используем методику из 7 шагов.

На рисунке 2 приведен Help данного режима, в котором приведены требования к этому Excel-файлу, из которых вытекает данная методика.

Рисунок 2. Help программного интерфейса системы Эйдос-Х++ с вешними базами данных 2.3.2.2.

Шаг 1-й. Сначала необходимо скачать с сайта две таблицы, которые на сайте называются: «Таблица симптомов заболеваний кошек (часть 1)» и «Таблица симптомов заболеваний кошек (часть 2)». Эти таблицы, по сути, образуют одну таблицу, т.е. являются продолжением друг друга. Конечно, эти таблицы являются не только таблицами симптомов, т.к. содержат и нозологические образы, т.е. сами названия заболеваний или диагнозов, а также взаимосвязь между симптомами и заболеваниями, указанную в форме символов.

Шаг 2-й. Затем на этом сайте выходим на тест 1-й таблицы:, выделяем блоком всю страницу, копируем в буфер обмена и вставляем ее в MS Word. Затем выделяем на странице, перенесенной в Word, саму таблицу и переносим ее без остальных элементов страницы на новый лист. Затем тоже самое делаем со 2-й частью таблицы.

Затем копируем обе таблицы из Word через буфер обмена и вставляем в лист MS Excel-2007(2010) начиная с ячейки A1. Эта исходная таблица с сайта приведена ниже (таблица 1):

Таблица 1. Исходная таблица данных с сайта: для создания ветеринарного диагностического теста

Шаг 3-й. На этом шаге мы приводим таблицу 1 к виду, необходимому для того, что она воспринималась универсальным программным интерфейсом системы Эйдос с внешними базами данных (эти требования приведены на рисунке 2). Для этого необходимо транспонировать таблицу 1, чтобы симптомы были строками, а классы - столбцами, и добавить еще один столбец с информацией об источнике данных. Для этого мы используем столбец с классами, т.е. диагнозами, т.е. столбец A.

Для транспонирования таблицы 1 в MS Excel копируем ее в буфер обмена, ставим курсор на ячейке A37, разворачиваем список на кнопке «Вставить», выбираем опцию: «Специальная вставка», «Транспонирование» и кликаем на кнопке OK. В результате у нас в 37-й строке начиная с ячейки A37 появляется транспонированная таблица 1. После этого удаляем саму исходную таблицу 1, удалив строки с 1-й по 36-ю включительно. Это проще всего сделать, просто выделив блоком колонку A и нажав кнопку Delete.

Шаг 4-й. Потом выделяем блоком всю 1-ю строку (с вопросами), кликаем на правой кнопке мыши, выбираем «Формат ячеек», «Ориентация надписей 90 градусов», разворачиваем список «Формат» на главной ленте и выбираем «Автоподбор ширины столбца» и «Автоподбор высоты строки».

Шаг 5-й. ?оворится о различной характерности диагностических признаков (симптомов), приведенных в таблицах 1 и 2 сайта для постановки различных диагнозов:

«Условные обозначения:

!! - главные, наиболее характерные симптомы, имеющие место всегда при данном заболевании или состоянии;

! - симптомы, обычно наблюдающиеся при данном заболевании, но не имеющие решающего значения;

? - второстепенные симптомы»

То, что признаки должны иметь различную характерность видно уже из того (см. таблицу 1), что одни признаки встречаются у многих заболеваний, тогда как другие только у нескольких, один заболевания описываются большим количеством симптомов, а другие гораздо меньшим.

Однако на сайте это различие имеет качественный уровень и выражено в текстовом виде обозначениями: «!!», «!» и «?». В системе Эйдос-Х++ эта степень характерности симптома для заболевания выражена количественно. Кроме того в системе Эйжос-Х++ расчет значимости признаков (т.е. средней характерности по всем заболеваниям) - это одна из основных особенностей применяемых в системе интеллектуальных моделей и не требует ввода разных вариантов симптомов, если у них различная характерность. Мы еще рассмотрим этот вопрос на 6-м этапе методики.

Поэтому заменяем в транспонированной таблице исходных данных все «!!» на «*», затем все «!» на «*» и все «~?»на «*». После этого таблица 1 приобретает вид, представленный в таблице 2:

Таблица 2. Таблица исходных данных для ввода в систему Эйдос-Х++ с помощью стандартного программного интерфейса с внешним базами данных

На первый взгляд данная методика может выглядеть несколько усложненной, однако реализация на компьютере этих шагов занимает буквально считанные минуты и фактически осуществляется очень просто.

На втором этапе вводим Excel-файл исходных данных в систему «Эйдос-Х++» с помощью программного интерфейса 2.3.2.2 (рисунок 3):



Рисунок 3. Вид первого окна программного интерфейса системы Эйдос-Х++ с вешними базами данных 2.3.2.2.

Для этого используем методику, приведенную ниже и основанную, как и предыдущая, на требованиях, приведенных в Help режима 2.3.2.2 (рисунок 2). Эта методика включает следующие 4 шага.

Шаг 1-й. Копируем приведенный выше Excel-файл в папку: «Место расположения системы на диске»\AID_DATA\Inp_data\ с именем “Inp_data.xls”.

Шаг 2-й. Запускаем режим 2.3.2.2 системы Эйдос-Х++ и задаем в окне, представленном на рисунке 3, следующие параметры:

- тип файла исходных данных: XLS-MS Excel-2003;

- нули и пробелы считаются отсутствием данных;

- диапазон колонок классификационных шкал: 2-2;

- диапазон колонок описательных шкал: 3-36;

- формализация предметной области (файл исходных данных Inp_data.xls);

- равные интервалы с разным числом наблюдений;

- сценарный метод прогнозирования СК-анализа не применять.

Шаг 3-й. После нажатия кнопки ОК появляется отображение процесса открытия и загрузки Excel-файла, а затем появляется второе окно режима 2.3.2.2, представляющее собой специальный калькулятор, позволяющий при наличии числовых классификационных и/или описательных шкал подбирать количество интервалов (градаций) в числовых шкалах (рисунок 4):

Рисунок 4. Вид второго окна программного интерфейса системы Эйдос-Х++ с вешними базами данных 2.3.2.2.

В данном случае числовые шкалы отсутствуют, и число градаций задавать нет необходимости и возможности. Шаг 4-й. При клике на кнопке «Выйти на создание модели» появляется отображение стадии процесса формализации предметной области (рисунок 5):

Рисунок 5. Вид третьего окна программного интерфейса системы Эйдос-Х++ с вешними базами данных 2.3.2.2

Таким образом, на втором этапе на основе Excel-файла исходных данных создаются классификационные и описательные шкалы и градации, а потом с их использованием и обучающая выборка, т.е. осуществляется формализация предметной области (рисунки 6, 7, 8):

Рисунок 6. Экранная форма режима 2.1 просмотра и корректировки классификационных шкал и градаций системы Эйдос-Х++

Рисунок 7. Экранная форма режима 2.2 просмотра и корректировки описательных шкал и градаций системы Эйдос-Х++



Рисунок 8. Экранная форма режима 2.3.1 просмотра и корректировки обучающей выборки системы Эйдос-Х++

На третьем этапе запускается режим 3.5 системы Эйдос-Х++, который обеспечивает синтез и верификацию 3 статистических и 7 интеллектуальных моделей. Окно задания параметров данного режима приведено на рисунке 9 (вид по умолчанию).

Рисунок 9. Вид окна задания параметров режима 3.5 системы Эйдос-Х++

На рисунке 10 приведено окно отображения стадии процесса исполнения данного режима (на рисунке вид по окончании работы режима).

Рисунок 10. Окна отображения стадии исполнения режима 3.5 системы Эйдос-Х++ (вид по окончании работы режима)

Видно, что процесс синтеза и верификации 3 статистических и 7 интеллектуальных моделей предметной области занял 24 секунды машинного времени. Некоторые из этих моделей приведены в таблицах 4-7.

Таблица 3. Матрица абсолютных частот (ABS)

Таблица 4 - МАТРИЦА ЗНАНИЙ INF1 (частный критерий: количество знаний по А.Харкевичу в миллибитах, 1-й вариант расчета вероятностей: Nj - суммарное количество признаков по j-му классу. Вероятность того, что если у объекта j-го класса обнаружен признак, то это i-й признак)

Таблица 5. МАТРИЦА ЗНАНИЙ INF3 (частный критерий: Хи-квадрат: разности между фактическими и теоретически ожидаемыми абсолютными частотами)

Таблица 6. МАТРИЦА ЗНАНИЙ INF4, частный критерий: ROI - Return On Investment, 1-й вариант расчета вероятностей: Nj - суммарное количество признаков по j-му классу

Необходимо обратить внимание на то, что весовые коэффициенты в моделях системы Эйдос-Х++, созданные на основе исходных данных, отличаются друг от друга, в частности в интеллектуальных моделях в общем случае отличаются не только весами, но и знаками весовых коэффициентов (например, в приведенных моделях INF1- количество знаний по А.Харкевичу и INF3 - Хи-квадрат).

Базы знаний, представленные в таблицах 4, 5, 6, имеют декларативную форму и содержат 30Ч34=1020 элементов, отражающих силу и направление причинно-следственной связи между значениями факторов и градациями классификационных шкал, которые могут быть представлены в продукционной форме в виде 1020 продукций вида: «Если то». Это количество продукций близко к максимальному пределу для большинства систем искусственного интеллекта, основанного на классических продукциях с Аристотелевской логикой «истина-Ложь». Это связано с тем, что «При большом числе продукций в продукционной модели усложняется проверка непротиворечивости системы продукций, т.е. множества правил. Поэтому число продукций, с которыми работают современные системы ИИ, как правило, не превышают тысячи». Однако в системе «Эйдос» используются нечеткие продукции с переменной степенью истинности импликаций. Поэтому в системе «Эйдос» нет проблемы, с которыми сталкиваются экспертные системы, состоящей в необходимости проверка непротиворечивости системы продукций, и они все учитываются в интегральном критерии со своей степенью истинности. В результате, как показали численные эксперименты, в текущей версии системы «Эйдос-Х++» может быть до 1500Ч70000=105000000 нечетких продукций, что примерно в 105000 раз больше, чем в самых мощных экспертных системах с продукционными моделями. Даже если бы продукционные модели такой мощности было бы возможно реализовать, то для их работы были бы необходимы суперкомпьютеры. Декларативные же базы знаний системы «Эйдос» служат лишь основой для решения различных задач идентификации (прогнозирования), принятия решений и исследования предметной области, которые на продукционных моделях такой размерности, по-видимому, невозможно решать и на суперкомпьютерах.

Очевидно, что знания такого объема и детализации невозможно получить от экспертов по ряду причин, среды которых основными являются следующие:

1. Большинство экспертов пользуются знаниями в слабо формализованной форме, т.е. интуитивными невербализованными знаниями, основанными на опыте и профессиональной компетенции. Повышение степени формализации этих знаний до уровня, позволяющего внести их в компьютерные базы знаний, представляет собой большую проблему, чаще всего неразрешимую для эксперта, которые являясь экспертами в своей профессиональной области при этом обычно не имеют подготовки инженера по знаниям (когнитолога). Кроме того известно, что при любой формализации происходит необратимая потеря адекватности знаний. Даже начальный этап формализации: вербализация требует больших усилий, труда, времени и еще таланта писателя, хотя вербализации совершенно недостаточна для внесения в компьютерные базы знаний, т.е. для этого требуется более высокий уровень формализации.

2. На практике могут встречаться такие мотивы принятия решений, которые эксперт не просто не станет вербализовать, т.к. они предосудительны и вместо истинных мотивов и знаний сообщит неистинные.

3. Часто эксперт осознает процесс получения знаний от него и их формализации как процесс отчуждения от него тех знаний, которые он добывал всю профессиональную жизнь и на владении которыми основано его материальное, профессиональное и социальное благополучие. Поэтому он отрицательно относится к самой идее извлечения из него профессиональных знаний и придания им такой формы, в которой они могли бы быть включены в компьютерные базы знаний систем искусственного интеллекта, обобществлены и стать общим достоянием. Сами же системы искусственного интеллекта и специалистов в этой области он рассматривает как представляющих угрозу его благополучию.

По этим причинам эксперты часто не могут и не хотят делиться своими знаниями, и даже если они настроены доброжелательно это не всегда получается качественно. В системе же «Эйдос» все эти проблемы вообще не возникают, т.к. степень истинности импликаций нечетких продукций, представленных в декларативной форме, вычисляется автоматически непосредственно на основе эмпирических данных без участия экспертов.

На четвертом этапе определяется наиболее достоверная модель и назначается текущей для дальнейшего применения. Шаг 1-й. Из режима 4.1.3.6 видно (см. рисунок 11), что наивысшей достоверностью идентификации и не идентификации обладает модель Inf4 с частными критериями, приведенными в таблице 7 и интегральным критерием, описанным ниже.

Рисунок 11. Данные о достоверности статистических моделей и моделей знаний системы Эйдос-Х++ в созданном интеллектуальном приложении

В таблице, приведенной на рисунке 11, показана вероятность верной идентификации (правильного отнесения к классу) и вероятность верной неидентификации (правильного неотнесения к классу), а также средняя вероятность верного результата. Это требует некоторого пояснения.

Рассмотрим, на примере с шестигранным игральным кубиком, различные виды прогнозов: положительный и отрицательный псевдопрогнозы, а также идеальный и реальный прогнозы (терминология авторов).

Положительный псевдопрогноз

Предположим, модель дает такой прогноз: выпадет 1, 2, 3, 4, 5 или 6. В этом случае у нее будет 100% достоверность идентификации, т.е. не будет ни одного объекта, не отнесенного к тому классу, к которому он действительно относится, но при этом будет очень большая ошибка ложной идентификации, т.к. огромное количество объектов будет отнесено к классам, к которым они не относятся (и именно за счет этого у модели и будет очень высокая достоверность идентификации). Ясно, что такой прогноз бесполезен, поэтому он и назван мной псевдопрогнозом.

Отрицательный псевдопрогноз

Представим себе, что мы выбрасываем кубик с 6 гранями, и модель предсказывает, что не выпадет: 1, 2, 3, 4, 5 и 6, а что-то из этого естественно выпало. Конечно, модель дает ошибку в прогнозе в том плане, что не предсказала, что выпадет, зато она очень хорошо угадала, что не выпадет. Но ясно, что выпадет что-то одно, а не все, что предсказано, поэтому такого рода предсказания хорошо оправдываются в том, что не произошло и плохо в том, что произошло, т.е. в этом случае у модели будет 100% достоверность не идентификации, но очень низкая достоверность идентификации.

Идеальный прогноз

Если в случае с кубиком мы прогнозируем, что выпадет, например 1, и соответственно прогнозируем, что не выпадет 2, 3, 4, 5, и 6, то это идеальный прогноз, имеющий, если он осуществляется, 100% достоверность идентификации и не идентификации. Идеальный прогноз, который полностью снимает неопределенность о будущем состоянии объекта прогнозирования, на практике удается получить крайне редко и обычно мы имеем дело с реальным прогнозом.

Реальный прогноз

На практике мы чаще всего сталкиваемся именно с этим видом прогноза. Реальный прогноз уменьшает неопределенность о будущем состоянии объекта прогнозирования, но не полностью, как идеальный прогноз, а оставляет некоторую неопределенность не снятой. Например, для игрального кубика делается такой прогноз: выпадет 1 или 2, и, соответственно, не выпадет 3, 4, 5 или 6. Понятно, что полностью на практике такой прогноз не может осуществиться, т.к. варианты выпадения кубика альтернативны, т.е. не может выпасть одновременно и 1, и 2. Поэтому реального прогноза всегда будет определенная ошибка идентификации. Соответственно, если не осуществится один или несколько из прогнозируемых вариантов, то возникнет и ошибка не идентификации, т.к. это не прогнозировалось моделью.

Теперь представите себе, что у Вас не 1 кубик и прогноз его поведения, а тысячи. Тогда можно посчитать средневзвешенные характеристики всех этих видов прогнозов.

Таким образом, если просуммировать проценты верной идентификации и не идентификации и вычесть проценты ложной идентификации и ложной неидентифкации, то это и будет критерий качества модели, учитывающий как ее способность верно относить объекты к классам, которым они относятся, так и ее способность верно не относить объекты к тем классам, к которым они не относятся. Это и есть «золотая середина». Надо искать модель, наилучшую по этому критерию, а не такую, которая дает наивысшую достоверность идентификации саму по себе, т.к. в этом случае мы от модели отрицательного псевдопрогноза кинемся в другую крайность и придем к модели положительного псевдопрогноза. Этот критерий просчитывается в системе Эйдос в ряде выходных форм анализа результатов верификации модели (4.1.3.6 и т.д.).

Статистические и интеллектуальные модели, формируемые и используемые системой Эйдос-Х++, отличаются частными критериями знаний (таблица 7).

Таблица 7. Различные аналитические формы частных критериев знаний в системе «ЭЙДОС-Х++»

Наименование модели знаний и частный критерий	Выражение для частного критерия
	через относительные частоты	через абсолютные частоты
INF1, частный критерий: количество знаний по А.Харкевичу, 1-й вариант расчета вероятностей: Nj - суммарное количество признаков по j-му классу. Вероятность того, что если у объекта j-го класса обнаружен признак, то это i-й признак
INF2, частный критерий: количество знаний по А.Харкевичу, 2-й вариант расчета вероятностей: Nj - суммарное количество объектов по j-му классу. Вероятность того, что если предъявлен объект j-го класса, то у него будет обнаружен i-й признак.
INF3, частный критерий: Хи-квадрат: разности между фактическими и теоретически ожидаемыми абсолютными частотами	---
INF4, частный критерий: ROI - Return On Investment, 1-й вариант расчета вероятностей: Nj - суммарное количество признаков по j-му классу
INF5, частный критерий: ROI - Return On Investment, 2-й вариант расчета вероятностей: Nj - суммарное количество объектов по j-му классу
INF6, частный критерий: разность условной и безусловной вероятностей, 1-й вариант расчета вероятностей: Nj - суммарное количество признаков по j-му классу
INF7, частный критерий: разность условной и безусловной вероятностей, 2-й вариант расчета вероятностей: Nj - суммарное количество объектов по j-му классу

Интеллектуальные модели, некоторые из которых приведены в таблицах 4-6, отличающиеся частными критериями знаний (таблица 7) в непосредственной декларативной форме содержат знания о принадлежности и непринадлежности распознаваемого объекта, обладающего некоторым признаком, к каждому из классов, т.е. содержат информацию о силе и направлении влияния каждого признака на принадлежность объекта с этим признаком к каждому из классов. Но они не содержат в декларативной форме информации о принадлежности к классам объектов, обладающих не одним, а совокупностью признаков. Если объект обладает не одним, а совокупностью признаков, то задача определения степени его принадлежности к каждому из классов решается с использованием интегральных критериев и требует выполнения определенных процедур, которые называются процедуры распознавания, идентификации или прогнозирования. Эти процедуры реализуются системой Эйдос-Х++ и кроме интеллектуальных моделей предполагают наличие описаний того, какими признаками обладают распознаваемые объекты, т.е. распознаваемой выборки.

Таким образом, для идентификации статистические и интеллектуальные модели, некоторые из которых приведены в таблицах 4-6, используются не сами по себе, а с помощью интегральных критериев, которых в системе Эйдос-Х++ в настоящее время используется два.

Интегральный критерий «Семантический резонанс знаний» представляет собой суммарное количество знаний, содержащееся в системе факторов различной природы, характеризующих сам объект управления, управляющие факторы и окружающую среду, о переходе объекта в будущие целевые или нежелательные состояния.

Интегральный критерий представляет собой аддитивную функцию от частных критериев знаний, представленных в help режима 3.3:

тест ветеринарный интеллект программирование



В выражении круглыми скобками обозначено скалярное произведение. В координатной форме это выражение имеет вид:

_,

где: M - количество градаций описательных шкал (признаков);

- вектор состояния j-го класса;

- вектор состояния распознаваемого объекта, включающий все виды факторов, характеризующих сам объект, управляющие воздействия и окружающую среду (массив-локатор), т.е.:

В текущей версии системы «Эйдос-Х++» значения координат вектора состояния распознаваемого объекта принимались равными либо 0, если признака нет, или n, если он присутствует у объекта с интенсивностью n, т.е. представлен n раз (например, буква «о» в слове «молоко» представлена 3 раза, а буква «м» - один раз).

Интегральный критерий «Семантический резонанс знаний» представляет собой нормированное суммарное количество знаний, содержащееся в системе факторов различной природы, характеризующих сам объект управления, управляющие факторы и окружающую среду, о переходе объекта в будущие целевые или нежелательные состояния.

Интегральный критерий представляет собой аддитивную функцию от частных критериев знаний, представленных в help режима 3.3 и имеет вид:

где:

M - количество градаций описательных шкал (признаков);

- средняя информативность по вектору класса;

- среднее по вектору объекта;

- среднеквадратичное отклонение частных критериев знаний вектора класса;

- среднеквадратичное отклонение по вектору распознаваемого объекта.

- вектор состояния j-го класса;

- вектор состояния распознаваемого объекта, включающий все виды факторов, характеризующих сам объект, управляющие воздействия и окружающую среду (массив-локатор), т.е.:

В текущей версии системы «Эйдос-Х++» значения координат вектора состояния распознаваемого объекта принимались равными либо 0, если признака нет, или n, если он присутствует у объекта с интенсивностью n, т.е. представлен n раз (например, буква «о» в слове «молоко» представлена 3 раза, а буква «м» - один раз). Приведенное выражение для интегрального критерия «Семантический резонанс знаний» получается непосредственно из выражения для критерия «Сумма знаний» после замены координат перемножаемых векторов их стандартизированными значениями:

Свое наименование интегральный критерий сходства «Семантический резонанс знаний» получил потому, что по своей математической форме является корреляцией двух векторов: состояния j-го класса и состояния распознаваемого объекта. Шаг 2-й. Модель, показавшая наивысшую достоверность (см. рисунок 11) принимается текущей, для чего применяется режим 5.6 (рисунки 12 и 13):

Рисунок 12. Окно режима 5.6 задания в качестве текущей модели,
показавшей наивысшую достоверность



Рисунок 13. Окно отображения стадии исполнения режима 5.6, задания в качестве текущей модели, показавшей наивысшую достоверность

Шаг 3-й. Контрольное распознавание в наиболее достоверной модели проводится в режиме 4.1.2 (рисунок 14):

Рисунок 14. Окно отображения стадии исполнения режима 5.6, задания в качестве текущей модели, показавшей наивысшую достоверность

Результаты контрольного распознавания отображаются в режиме 4.1.3.1 (рисунок 15-18), а также в других режимах:



Рисунок 15. Окно результатов идентификации 1-го диагноза с остальными

Рисунок 16. Окно результатов идентификации 2-го диагноза с остальными



Рисунок 17. Окно результатов идентификации 3-го диагноза с остальными

Рисунок 18. Окно результатов идентификации 4-го диагноза с остальными

Красным цветом показаны ситуации, наступление которых прогнозируется, синим цветом - наступление которых не прогнозируется, при этом оценка достоверности прогноза дается величиной столбика гистограммы. «Птичками» отмечены верные прогнозы.

Из рисунка 11 и рисунков 15-18 видно, что все диагнозы однозначно идентифицируются своими описаниями, но с разной степенью обусловленности. На пятом этапе решаются задачи диагностики, т.е. постановки диагноза по конкретной симптоматике, а также задача выработки рекомендаций. Шаг 1-й. Подготовка и ввод данных для диагностики.

Есть два варианта подготовки и ввода в систему исходных данных для тестирования:

1. Ввод в Excel-файл с абсолютно такой же структурой, как представленный в таблице 1, но с именем Inp_rasp.xls и информацией не о заболеваниях, а о тестируемых. В этом случае для ввода данных в систему используется тот же самый программный интерфейс, что и для ввода обучающей выборки: режима 2.3.2.2, со всеми теми же самыми опциями, кроме одной: надо задать: «Генерация распознаваемой выборки (на основе Inp_rasp)».

2. Ввод данных непосредственно в систему в режиме 4.1.1 (рисунок 19).

Рисунок 19. Экранная форма ручного ввода-корректировки распознаваемой выборки (вид режима администратора)

Шаг 2-й. Постановка диагноза.

По окончании ввода распознаваемой выборки в режиме 4.1.2 системы Эйдос-Х++ проводится само тестирование (распознавание, идентификация) респондентов. На рисунке 20 приведена экранная форма отображения стадии процесса тестирования после его окончания:

Рисунок 20. Экранная форма ручного ввода-корректировки распознаваемой выборки

Шаг 3-й. Отображение результатов диагностики и выработка рекомендаций по лечению. Как видно из рисунка 20 в результате тестирования создается большое количество различных выходных форм, всесторонне с различной степенью детализации отражающих его результаты и позволяющих провести глубокий анализ этих результатов. В данной статье мы не ставим перед собой это задачи и ограничимся двумя формами:

- отображающей сходство клинической картины конкретного пациента с обобщенными нозологическими образами (рисунок 21);

- отображающей сходство клинической картины различных пациентов с заданным нозологическим образом (рисунок 22).



Рисунок 21. Экранная форма с результатами диагностики пациентов: «Мурка», «Барсик» и «Пушок» (условная симптоматика)



Рисунок 22. Экранная форма, отображающая сходство клинической картины различных пациентов с заданным нозологическим образом: «Беременность»

Данные, приведенные на рисунке 21 необходимы для индивидуальной консультации врача по лечению конкретных пациентов. Однако если пациентов много, то имеет смысл сделать их группировку по предполагаемому диагнозу и провести лечение по группам, т.к. для пациентов каждой групп рекомендации будут сходными.

Шаг 4-й. Выработка рекомендаций по лечению осуществляется врачом на основе своего опыта и профессиональной компетенции в соответствии с медицинскими стандартами.

В этой связи необходимо сделать три взаимосвязанных замечания.

1. Совершенно ясно, что интеллектуальная система, хотя и может создавать такое впечатление, что она принимает решение, но поскольку сама система не является субъектом гражданского и уголовного права, т.е. не является гражданином, то необходимо выражаться аккуратнее и говорить, что система не принимает решения, а лишь поддерживает принятие решений, т.е. облегчает их для человека путем создания более комфортной информационной среды для принятия решений человеком. Понятно, что и юридическая ответственность за принимаемые решения может распространятся только на человека.

2. Система не принимает решения, а лишь консультирует специалиста. Статус интеллектуальной системы - именно статус консультанта.

3. Но даже для придания системе статуса консультанта необходимо провести специальное юридически оформленное и имеющее соответствующие полномочия исследование того, в какой степени рекомендуемые системой решения лучше тех, которые бы принимались без системы экспертами неформализуемым путем на основе собственной интуиции и профессиональной компетенции. И если система создает преимущества в степени адекватности и других аспектов качества решений, то ей может быть официально придан статус консультирующей, после чего является корректным ее применение для тех целей, для которых она предназначена. Понятно, что ворованные зарубежные разработки, нелокализованные и неадаптированные для России и предназначенные не для тех целей, для которых они фактически применяются в России, применяются совершенно некорректно и это вообще является профанацией всего этого научно-практического направления.

На шестом этапе осуществляется исследование предметной области путем исследования ее моделей. Исследование моделей предметной области можно корректно считать исследованием самой предметной области только в том случае, если модели достаточно достоверны. В нашем случае это так (см. рисунок 11).

На этом этапе может быть (в частности) исследована:

1. Значимость симптомов для диагностики, т.е. ценность их для дифференциации пациентов по диагнозам.

2. Характерность симптомов для тех или иных заболеваний (информационные портреты классов-диагнозов).

3. Диагностический смысл симптомов, т.е. их смысловая характеристика или количество информации в симптомах о заболеваниях (информационные портреты признаков).

Шаг 1-й. Значимость симптомов для диагностики, т.е. ценность их для дифференциации по диагнозам.

Значимость или ценность симптома для диагностики тем выше, чем выше вариабельность количества информации в нем о принадлежности и непринадлежности пациента с этим симптомом к каждому из заболеваний. Вся эта информация представлена в таблице 8 и на рисунке 23.

Таблица 8. Ценность симптомов для диагностики на основе модели INF4

№	Код	Наименование симптома	Значимость	Значимость нарастающим итогом	Значимость в %	Значимость в % нарастающим итогом
1	4	Кровь в кале-*	5,128	5,128	9,705	9,705
2	31	Хромота-*	4,001	9,128	7,572	17,277
3	12	Выделения из ушей-*	3,289	12,418	6,226	23,503
4	14	Анальные выделения-*	3,274	15,692	6,198	29,701
5	26	Вздутие под кожей-*	2,739	18,431	5,183	34,884
6	7	Ненормальное мочеиспускание-*	2,509	20,940	4,749	39,633
7	15	Генитальные выделения-*	2,468	23,408	4,671	44,304
8	13	Выделения из носа-*	2,321	25,729	4,392	48,697
9	11	Выделения из глаз-*	2,174	27,902	4,114	52,811
10	21	Паралич-*	1,841	29,743	3,484	56,295
11	28	Поражение кожи/слизистых/роговицы-*	1,825	31,568	3,453	59,749
12	27	Раздражение кожи-*	1,759	33,327	3,329	63,078
13	33	Шок-*	1,391	34,718	2,633	65,711
14	22	Внезапная смерть-*	1,306	36,024	2,471	68,183
15	16	Обезвоживание-*	1,102	37,126	2,086	70,268
16	29	Потеря шерсти-*	1,082	38,208	2,048	72,317
17	32	Ненормальное поведение-*	1,039	39,248	1,967	74,284
18	9	Кашель и чихание-*	1,038	40,286	1,965	76,249
19	3	Запор-*	1,026	41,312	1,942	78,191
20	23	Лихорадка(высокая температура)-*	1,005	42,317	1,901	80,092
21	20	Потеря сознания-*	0,986	43,303	1,866	81,958
22	8	Слюнотечение-*	0,963	44,265	1,822	83,781
23	30	Явная боль-*	0,923	45,188	1,746	85,527
24	19	Затрудненное дыхание-*	0,869	46,057	1,644	87,172
25	6	Чрезмерная жажда-*	0,862	46,919	1,631	88,802
26	34	Отсутствие явных симптомов-*	0,847	47,765	1,603	90,405
27	17	Потеря веса-*	0,793	48,558	1,501	91,906
28	18	Бледность десен-*	0,718	49,276	1,358	93,264
29	24	Пониженная температура-*	0,713	49,989	1,349	94,613
30	2	Диарея(понос)-*	0,617	50,605	1,167	95,780
31	10	Выпячивание третьего века-*	0,613	51,219	1,161	96,941
32	25	Вздутие живота-*	0,609	51,828	1,153	98,094
33	1	Рвота-*	0,518	52,346	0,980	99,074
34	5	Отсутствие аппетита-*	0,489	52,835	0,926	100,000

Рисунок 23. Ценность симптомов для диагностики

тест ветеринарный интеллект программирование

Шаг 2-й. Характерность симптомов для тех или иных заболеваний (информационные портреты классов-диагнозов).

Информационный портрет класса - это список факторов, ранжированных в порядке убывания силы их влияния на переход объекта управления в состояние, соответствующее данному классу. Информационный портрет класса отражает систему его детерминации. Генерация информационного портрета класса представляет собой решение обратной задачи прогнозирования, т.к. при прогнозировании по системе факторов определяется спектр наиболее вероятных будущих состояний объекта управления, в которые он может перейти под влиянием данной системы факторов, а в информационном портрете мы наоборот, по заданному будущему состоянию объекта управления определяем систему факторов, детерминирующих это состояние, т.е. вызывающих переход объекта управления в это состояние. В начале информационного портрета класса идут факторы, оказывающие положительное влияние на переход объекта управления в заданное состояние, затем факторы, не оказывающие на это существенного влияния, и далее - факторы, препятствующие переходу объекта управления в это состояние (в порядке возрастания силы препятствования). Информационные портреты классов могут быть от отфильтрованы по диапазону факторов, т.е. мы можем отобразить влияние на переход объекта управления в данное состояние не всех отраженных в модели факторов, а только тех, коды которых попадают в определенный диапазон, например, относящиеся к определенным описательным шкалам.

Пример информационного портрета а класса (нозологического образа) «Беременность» в модели Inf3 (Хи-квадрат) приведен на рисунке 24:

Рисунок 24. Пример информационного портрета а класса (нозологического образа) «Беременность» в модели Inf3 (Хи-квадрат)

Если сравнить оценку характерности симптомов в системе Эйдос-Х++ на рисунке 24 по этому нозологическому образу и в таблице 1, с информацией с сайта: http://lifescats.ru/publ/4, то мы увидим высокое соответствие их друг другу. Шаг 3-й. Диагностический смысл симптомов, т.е. их смысловая характеристика или количество информации в симптомах о заболеваниях (информационные портреты признаков). Информационный (семантический) портрет значения фактора (симптома) - это список классов, ранжированный в порядке убывания силы влияния данного фактора на переход объекта управления в состояния, соответствующие данным классам. Информационный портрет фактора называется также его семантическим портретом, т.к. в соответствии с концепцией смысла системно-когнитивного анализа, являющейся обобщением концепции смысла Шенка-Абельсона, смысл фактора состоит в том, какие будущие состояния объекта управления он детерминирует. Сначала в этом списке идут состояния объекта управления, на переход в которые данный фактор оказывает наибольшее влияние, затем состояния, на которые данный фактор не оказывает существенного влияния, и далее состояния - переходу в которые данный фактор препятствует. Информационные портреты факторов могут быть от отфильтрованы по диапазону классов, т.е. мы можем отобразить влияние данного фактора на переход объекта управления не во все возможные будущие состояния, а только в состояния, коды которых попадают в определенный диапазон, например, относящиеся к определенным классификационным шкалам.

Рисунок 25. Пример информационного портрета симптома: «Выпячивание третьего века» в модели Inf3 (Хи-квадрат)

Выводы

Таким образом, можно сделать обоснованный вывод о том, что применение интеллектуальной системы «Эйдос-Х++» обеспечивает реализацию уже разработанных ветеринарных и медицинских диагностических тестов без программирования в форме, удобной для массового тестирования, анализа его результатов и выработки индивидуальных рекомендаций.

Материалы данной статьи могут быть использованы в учебном процессе при преподавании дисциплин: «Интеллектуальные информационные системы», «представление знаний в информационных системах», «Современные технологии в образовании (магистратура)», «Управление знаниями (магистратура)», «Введение в искусственный интеллект», «Интеллектуальные и нейросетевые технологии в образовании (магистратура)», «Основы искусственного интеллекта» и других.

Перспективы продолжения исследований и разработок

Планируется продолжить направление исследований и разработок, представленное в данной статье, по следующим направлениям:

1. Реализация в среде интеллектуальной системы Эйдос-Х++ без программирования диагностических тестов с числовыми исходными данными и ключами.

2. Интеграция в среде интеллектуальной системы Эйдос-Х++ без программирования нескольких диагностических тестов в батарею тестов или в супертест с одной общей моделью.

Список литературы

1. Сайт: http://lifescats.ru/publ/4

2. Луценко Е.В. Теоретические основы, технология и инструментарий автоматизированного системно-когнитивного анализа и возможности его применения для сопоставимой оценки эффективности вузов / Луценко Е.В., Коржаков В.Е. // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №04(88). - IDA [article ID]: 0881304022. - Режим доступа: http://ej.kubagro.ru/2013/04/pdf/22.pdf, 1,250 у.п.л., импакт-фактор РИНЦ=0,577

3. Луценко Е.В. Теоретические основы и технология адаптивного семантического анализа в поддержке принятия решений (на примере универсальной автоматизированной системы распознавания образов "ЭЙДОС-5.1"). - Краснодар: КЮИ МВД РФ, 1996. - 280с.

4. Луценко Е.В. Когнитивная аналитическая система "ЭЙДОС-6.0" и система "ЭЙДОС-" - адекватный инструментарий для психологических служб МВД, В сб.: "Актуальные проблемы социально-правовой подготовки специалистов и перспективы совершенствования системы комплектования ОВД". Материалы межвузовской научно-практической конференции (16-18.05.1997). Часть 1. -Краснодар: КЮИ МВД РФ, 1997. - С. 65-69, С. 136-141.

5. Луценко Е.В. Автоматизированный системно-когнитивный анализ в управлении активными объектами (системная теория информации и ее применение в исследовании экономических, социально-психологических, технологических и организационно-технических систем): Монография (научное издание). - Краснодар: КубГАУ. 2002. - 605 с.

6. Луценко Е.В. Типовая методика и инструментарий когнитивной структуризации и формализации задач в АСК-анализе // Научный журнал КубГАУ [Электронный ресурс]. - Краснодар: КубГАУ, 2004. - № 01(3). - Режим доступа: http://ej.kubagro.ru/2004/01/16/p16.asp.

7. Луценко Е.В., Лаптев В.Н., Третьяк В.Г. Прогнозирование качества специальной деятельности методом подсознательного (подпорогового) тестирования на основе семантического резонанса, В сб.: "Проблемы совершенствования систем защиты информации, энергоснабжения военных объектов и образовательных технологий подготовки специалистов". Материалы II межвузовской научно-технической конференции. - Краснодар: КВИ, 2001. - С. 127-128.

8. Луценко Е.В., Лебедев А.Н. Диагностика и прогнозирование профессиональных и творческих способностей методом АСК-анализа электроэнцефалограмм в системе "Эйдос", Межвузовский сборник научных трудов, том 1. - Краснодар: КВИ, 2003. - С. 227-229.

9. Луценко Е.В., Наприев И.Л. Синтез многоуровневых семантических информационных моделей активных объектов управления в системно-когнитивном анализе // Научный журнал КубГАУ, №28(4), апрель 2007 г. - Режим доступа: http://ej.kubagro.ru/2007/04/pdf/11.pdf

10. Луценко Е.В., Рябикина З.М., Некрасов С.Д. Личность и профессия: проблема самоактуализации, В сб.: "Психологические проблемы самореализации личности" / Под ред. О.Г.Кукосяна. - Краснодар: КубГУ, 1997. - С. 127-140.

11. Луценко Е.В. Селиверстов В.В. Разработка профессиональных оптимальных адаптивных тестов на основе интеллектуальной технологии "ЭЙДОС", В сб.: "Современные компьютерные технологии обучения". Материалы 2-й межвузовской научно-методической конференции. - Краснодар: КВВАУ, 1998. - С. 32-34.

12. Луценко Е.В., Третьяк В.Г. Анализ профессиональных траекторий специалистов с применением системы "Эйдос", Личность и ее бытие (социально-психологические аспекты бытия личности в местном сообществе): сборник научных работ / Под.ред. З.И.Рябикиной. - Краснодар: КубГУ, 2002. -С. 43-49.

13. Наприев И.Л., Луценко Е.В. Структурное моделирование изменений образа-Я сотрудников органов внутренних дел под влиянием экстремальных условий // Научный журнал КубГАУ, №30(6), июнь 2007 г. - Режим доступа: http://ej.kubagro.ru/2007/06/pdf/06.pdf

14. Наприев И.Л., Луценко Е.В. Структурное моделирование изменения стилевых особенностей деятельности сотрудников органов внутренних дел под влиянием экстремальных условий // Научный журнал КубГАУ, №30(6), июнь 2007 г. - Режим доступа: http://ej.kubagro.ru/2007/06/pdf/07.pdf

15. Пат. № 2003610986 РФ. Универсальная когнитивная аналитическая система "ЭЙДОС" / Е.В.Луценко (Россия); Заяв. № 2003610510 РФ. Опубл. от 22.04.2003. - 50 с.

16. Пат. № 2003610987 РФ. Автоматизированная система комплексной обработки данных психологического тестирования "ЭЙДОС-" / Е.В. Луценко (Россия), С.Д. Некрасов (Россия); Заяв. № 2003610511 РФ. Опубл. от 22.04.2003. - 50с.

17. Симанков В. С., Луценко Е. В. Адаптивное управление сложными системами на основе теории распознавания образов: Монография (научное издание) /Техн. ун-т Кубан. гос. технол. ун-та. - Краснодар, 1999. - 318 с.

18. Третьяк В.Г., Александров С.Г., Луценко Е.В. Модель профессионально-значимых качеств личности сотрудников ОВД, Вестник учебного отдела КЮИ МВД РФ. -2001. - №1. - С. 37-40.

19. Щукин Т.Н., Дорохов В. Б., Лебедев А.Н., Луценко Е.В. ЭЭГ прогноз успешности выполнения психомоторного теста при снижении уровня бодрствования: постановка задачи, Научный журнал КубГАУ [Электронный ресурс]. - Краснодар: КубГАУ, 2004. - №04(6). - Режим доступа: http://ej.kubagro.ru/2004/04/20/p20.asp

20. Щукин Т.Н., Дорохов В. Б., Лебедев А.Н., Луценко Е.В. ЭЭГ прогноз успешности выполнения психомоторного теста при снижении уровня бодрствования: описание эксперимента, Научный журнал КубГАУ [Электронный ресурс]. - Краснодар: КубГАУ, 2004. - №04(6). - Режим доступа: http://ej.kubagro.ru/2004/04/21/p21.asp

21. Щукин Т.Н., Дорохов В. Б., Лебедев А.Н., Луценко Е.В. ЭЭГ прогноз успешности выполнения психомоторного теста при снижении уровня бодрствования: анализ результатов исследования, Научный журнал КубГАУ [Электронный ресурс]. - Краснодар: КубГАУ, 2004. - №04(6). - Режим доступа: http://ej.kubagro.ru/2004/04/22/p22.asp

22. Наприев И.Л., Луценко Е.В., Чистилин А.Н. Образ-Я и стилевые особенности деятельности сотрудников органов внутренних дел в экстремальных условиях. Монография (научное издание). - Краснодар: КубГАУ. 2008. - 262 с.

23. Луценко Е.В. Прогнозирование длительности послеоперационного восстановительного периода методом сердечно-дыхательного синхронизма (СДС) с применением АСК-анализа (часть 1) / Е.В. Луценко, Е.В. Сергеева // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2010. - №10(064). С. 142 - 178. - Шифр Информрегистра: 0421000012\0280, IDA [article ID]: 0641010014. - Режим доступа: http://ej.kubagro.ru/2010/10/pdf/14.pdf, 2,312 у.п.л., импакт-фактор РИНЦ=0,577

24. Луценко Е.В. Прогнозирование длительности послеоперационного восстановительного периода методом сердечно-дыхательного синхронизма (СДС) с применением АСК-анализа (часть 2) / Е.В. Луценко, Е.В. Сергеева // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2010. - №10(064). С. 179 - 203. - Шифр Информрегистра: 0421000012\0279, IDA [article ID]: 0641010015. - Режим доступа: http://ej.kubagro.ru/2010/10/pdf/15.pdf, 1,562 у.п.л., импакт-фактор РИНЦ=0,577

25. Системно-когнитивный подход к прогнозированию длительности послеоперационного восстановительного периода на основе информации о пациенте, полученной методом сердечно-дыхательного синхронизма (СДС) (когнитивная структуризация и формализация предметной области и подготовка обучающей выборки) / В.М. Покровский, С.В. Полищук, Е.В. Фомина и др. // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2009. - №07(051). С. 163 - 190. - Шифр Информрегистра: 0420900012\0084, IDA [article ID]: 0510907008. - Режим доступа: http://ej.kubagro.ru/2009/07/pdf/08.pdf, 1,75 у.п.л., импакт-фактор РИНЦ=0,577