Типовая методика и инструментарий когнитивной структуризации и формализации задач в СК-анализе

Таблица 2. Пример исходных данных в стандартах "Таблица Word", "Таблица Excel"

интерфейс когнитивный структуризация формализация

Анализ характеристик исходных данных показывает, что математическая модель предметной области должна обеспечивать:

- непараметрический анализ разнородных по своей природе неполных (фрагментированных) и зашумленных данных большой размерности;

- выявление и исследование в сопоставимой форме причинно-следственных взаимосвязей факторов среды и управления различной природы, с одной стороны, и будущих состояний объекта управления - с другой.

3. Традиционные пути решения проблемы

Как правило, разработка классификационных и описательных шкал и градаций, их использование для кодирования обучающей выборки, их ввод в обрабатывающую систему - все эти работы выполняются вручную. Однако в ряде случаев вручную кодировать и вводить исходные данные не представляется возможным по причинам:

1) жестких ограничений на время, отводящееся заказчиком на решение задачи;

2) большой трудоемкости формализации (ручного кодирования) и ввода информации в программную систему;

3) большого количества ошибок ручного кодирования и ввода.

В результате решаются только те задачи, для которых допустимое время решения достаточно велико и объемы исходных данных малы, а ошибки ввода малосущественны. При этом большое количество важных для науки и практики задач, которые не вписываются в эти параметры, просто не решаются.

4. Предлагаемое решение проблемы

Прежде чем осуществить синтез модели в соответствии с методологией системно-когнитивного анализа (СК-анализ), необходимо выполнить первый этап [1], состоящий из следующих шагов:

1. Разработка когнитивной модели предметной области и принятие решения о том, что в модели будет выступать в качестве причин (факторов), а что в качестве следствий (классов).

2. Конструирование классификационных и описательных шкал и градаций.

3. Описание исходной информации в системе шкал и градаций и формирование обучающей выборки.

4. Преобразование исходных данных из формы, в которой они имеются, в стандартную форму, предусмотренную универсальной когнитивной аналитической системой "Эйдос" (далее - система "Эйдос"), представляющую собой инструментарий СК-анализа [5, 6].

1-й этап "Когнитивная структуризация предметной области" является познанием и формированием обобщенной понятийной модели.

2-й, 3-й и 4-й этапы образуют в совокупности этап "Формализация предметной области", т.е. конкретизацию когнитивной модели и преобразование ее в форму, непосредственно пригодную для обработки в программной системе.

Предлагается решение обозначенной в статье проблемы путем максимальной автоматизации процессов кодирования и ввода исходной информации в систему "Эйдос", т.е. разработки и использования соответствующего программного интерфейса, работающего с конкретным представлением исходных данных.

В настоящее время этап когнитивной структуризации является в принципе не формализуемым, т.е. может выполняться только человеком. Когда модель уже создана, она позволяет провести системно-когнитивный анализ объекта управления и подтвердить или опровергнуть адекватность решений, принятых при когнитивной структуризации.

Необходимо отметить, что наличие в распоряжении исследователей инструментария АСК-анализа и программного интерфейса, автоматизирующего ввод исходной информации и информации обратной связи в систему "Эйдос", позволяет не только осуществить синтез СИМ, но и периодически осуществлять адаптацию и синтез новых версий семантической информационной модели. Таким образом обеспечивается корректировка решений, принятых на первых этапах синтеза модели, а также отслеживание динамики предметной области, благодаря чему сохраняется высокая адекватность модели в изменяющихся условиях.

Шагам первого этапа СК-анализа соответствуют четыре функции, поддерживаемые программным интерфейсом:

1. Определение классов и факторов.

2. Выявление макропараметров, определяющих состояния объекта управления (классы); измерение области изменения числовых значений факторов и конструирование интервалов (диапазонов) факторов; конструирование классификационных и описательных шкал и градаций и их кодирование.

3. Кодирование исходных данных в системе классификационных и описательных шкал и градаций и формирование обучающей выборки (базы прецедентов).

4. Автоматический ввод классификационных и описательных шкал и градаций, а также обучающей выборки в соответствующие стандартные базы данных системы "Эйдос".

Реально в программном интерфейсе, реализованном на языке программирования, поддерживаются все 4 функции, а в Excel - только первые 3.

5. Когнитивная структуризация предметной области

Под когнитивной структуризацией предметной области понимается процесс ее познания, который осуществляется на основе системного подхода, в соответствии с которым объект познания рассматривается как система, имеющая сложное многоуровневое иерархическое строение. Когнитивная структуризация предметной области - это начальный этап синтеза модели, подготавливающий формализацию и предшествующий ей.

При когнитивной структуризации:

- выделяются целевые параметры системы, т.е. ее желательные и нежелательные будущие состояния, характеризующие ее на макроуровне;

- определяется система факторов, детерминирующих эти будущие состояния.

При этом в качестве факторов могут рассматриваться (окружающая среда, технологии, а также параметры системы на низких уровнях ее иерархической структуры).

5.2 Будущие состояния объекта управления (классы)

В качестве будущих состояний объекта управления выбираются:

- в варианте "Текст-DOS" - интервалы макропараметров в столбцах от Obj_1 до Obj_W;

- в варианте Excel - интервалы макропараметров в строках, определенных при когнитивной структуризации.

5.3 Факторы

В качестве будущих факторов выбираются:

- в варианте "Текст-DOS" - интервалы значений параметров в столбцах от Atr_1 до Atr_M;

- в варианте Excel - интервалы параметров в строках, определенных при когнитивной структуризации.

6. Формализация предметной области

6.1 Общие положения

Формализация предметной области осуществляется на основе ее предварительной когнитивной структуризации. Формализация предметной области - это конструирование классификационных и описательных шкал и градаций, как правило, порядкового типа с применением интервальных оценок, в системе которых предметная область описывается в форме, пригодной для обработки на компьютере с использованием математических моделей.

В соответствии с методом СК-анализа, каждый числовой фактор из таблиц 1 или 2, независимо от его смысла и единиц измерения, рассматривается как переменная числовая величина, принимающая определенное множество значений. Подобные величины формализуются путем сведения к интервальным значениям, т.е.

- введения некоторого количества диапазонов, охватывающих все множество значений фактора;

- установления фактов попадания конкретных значений величин в определенные диапазоны.

Для каждого фактора устанавливаются свои границы диапазонов, исходя из их количества и множества значений величины фактора.

Количество диапазонов может быть различным для разных факторов, но на практике удобнее выбирать его одинаковым для всех фактов.

Рассмотрим основные соображения, из которых исходят при выборе количества диапазонов. Чем больше диапазонов, тем точнее интервальные оценки. Однако это верно только тогда, когда, по крайней мере, для большинства диапазонов наблюдаются факты попадания значений факторов в них. Очевидно, для этого необходимо достаточно большое количество данных. Если их недостаточно, то многие диапазоны могут оказаться пустыми и модель приближается к детерминистскому типу. В этом случае имеет смысл уменьшить их количество, укрупнить их. При определении количества диапазонов необходимо учитывать также возможные ограничения базовой программной системы, в данном случае системы "Эйдос".

Из этих рассуждений следует вывод о том, что при большом количестве данных оправданно увеличить количество диапазонов и повысить точность исследования. Когда же данных недостаточно, приходится укрупнять диапазоны, что приводит к некоторой вынужденной неточности выводов, но делает их более обоснованными статистически. По-видимому, это утверждение можно считать одним из следствий теоремы Котельникова об отсчетах.

СК-анализ предусматривает также возможность использования вторичных показателей, являющихся различными функциями первичных показателей. Однако этот подход требует данных большого объема за достаточно длительный период времени.

6.2 Программный интерфейс формализации предметной области при исходных данных типа "Текст-DOS"

Ниже приводится полный исходный текст реального программного интерфейса на языке программирования xBASE, реализующего все перечисленные выше 4 функции в соответствии с алгоритмом, приведенным выше.

******** ФОРМИРОВАНИЕ КЛАССИФИКАЦИОННЫХ И ОПИСАТЕЛЬНЫХ ШКАЛ И ГРАДАЦИЙ *****

******** И ОБУЧАЮЩЕЙ ВЫБОРКИ ИЗ СТАНДАРТНОГО DBF-Excel-файла ***************

******** ПРОФ.АРТУРА НИКОЛАЕВИЧА ЛЕБЕДЕВА И ТИМУРА ЩУКИНА ******************

******** Луценко Е.В., 02/05/04 09:02am ************************************

PARAMETERS File_name

***** БЛОК-1. ОТОБРАЖЕНИЕ ИНФОРМАЦИИ О ФУНКЦИЯХ ПРОГРАММНОГО ИНТЕРФЕЙСА **********************

scr23 = SAVESCREEN(0,0,24,79)

SET CURSOR OFF

SET DATE ITALIAN

SET DECIMALS TO 15

SET ESCAPE On

FOR J=0 TO 24

@J,0 SAY REPLICATE(" ",80) COLOR "rg+/N"

NEXT

SHOWTIME(0,60,.F.,"rg+/n",.F.,.F.)

Mess1 = " === ГЕНЕРАЦИЯ КЛАССИФИКАЦИОННЫХ ШКАЛ И ГРАДАЦИЙ === "

Mess2 = " === ГЕНЕРАЦИЯ ОПИСАТЕЛЬНЫХ ШКАЛ И ГРАДАЦИЙ === "

Mess3 = " === ГЕНЕРАЦИЯ ОБУЧАЮЩЕЙ ВЫБОРКИ === "

@1,40-LEN(Mess1)/2 SAY Mess1 COLOR "rg+/rb"

@2,40-LEN(Mess2)/2 SAY Mess2 COLOR "rg+/rb"

@3,40-LEN(Mess3)/2 SAY Mess3 COLOR "rg+/rb"

** БЛОК-2. ПРОВЕРКА КОРРЕКТНОСТИ ИМЕНИ ФАЙЛА С ИСХОДНЫМИ ДАННЫМИ *****************************

Fn = File_name

IF EMPTY(Fn)

Mess = "Программа запускается с параметром: INPTIMUR.EXE <File_name>"

@15,40-LEN(Mess)/2 SAY Mess COLOR "rg+/rb"

INKEY(0)

RESTSCREEN(0,0,24,79,scr23)

CLOSE ALL

QUIT

ENDIF

Pos_p = AT(".",Fn)

IF Pos_p = 0

Mess = "У файла, указанного в качестве параметра, должен быть тип DBF"

@15,40-LEN(Mess)/2 SAY Mess COLOR "rg+/rb"

INKEY(0)

RESTSCREEN(0,0,24,79,scr23)

CLOSE ALL

QUIT

ENDIF

Ext = UPPER(SUBSTR(Fn,Pos_p+1))

IF Ext <> "DBF"

Mess = "У файла, указанного в качестве параметра, должно быть расширение DBF"

@15,40-LEN(Mess)/2 SAY Mess COLOR "rg+/rb"

INKEY(0)

RESTSCREEN(0,0,24,79,scr23)

CLOSE ALL

QUIT

ENDIF

Fns = ALLTRIM(SUBSTR(File_name,1,Pos_p-1))

IF LEN(Fns) > 5

Mess = "Длина имени файла, указанного параметром, должна быть <= 5 символов"

@15,40-LEN(Mess)/2 SAY Mess COLOR "rg+/rb"

INKEY(0)

RESTSCREEN(0,0,24,79,scr23)

CLOSE ALL

QUIT

ENDIF

** БЛОК-3. ЗАДАНИЕ В ДИАЛОГЕ ДИАПАЗОНОВ СТОЛБЦОВ С КЛАССАМИ И ФАКТОРАМИ **********************

M_KodObj1 = 2

M_KodObj2 = 15

Mess = "Задайте диапазон номеров столбцов классов: #### ####"

@8,40-LEN(Mess)/2 SAY Mess COLOR "w+/rb"

@8,58 GET M_KodObj1 PICTURE "####" COLOR "rg+/r+"

@8,63 GET M_KodObj2 PICTURE "####" COLOR "rg+/r+"

M_KodAtr1 = 16

M_KodAtr2 = 49

Mess = "Задайте диапазон номеров столбцов признаков: #### ####"

@10,40-LEN(Mess)/2 SAY Mess COLOR "w+/rb"

@10,58 GET M_KodAtr1 PICTURE "####" COLOR "rg+/r+"

@10,63 GET M_KodAtr2 PICTURE "####" COLOR "rg+/r+"

SET CURSOR ON;READ;SET CURSOR OFF

IF LASTKEY()=27 .OR. M_KodObj1>M_KodObj2 .OR. M_KodAtr1>M_KodAtr2

RESTSCREEN(0,0,24,79,scr23)

RETURN 2

ENDIF

** БЛОК-4. РАСЧЕТ И ВЫВОД ИНФОРМАЦИИ О КОЛИЧЕСТВЕ КЛАССИФИКАЦИОННЫХ И ОПИСАТЕЛЬНЫХ ШКАЛ ******

USE Object EXCLUSIVE NEW;ZAP

USE (Fns) EXCLUSIVE NEW

N_OpSh = M_KodAtr2 - M_KodAtr1 + 1 && Кол-во описательных шкал

N_KlSh = M_KodObj2 - M_KodObj1 + 1 && Кол-во классификационных шкал

N_Rec = RECCOUNT()

M_Kod = 0

Mess = "КОЛИЧЕСТВО КЛАССИФИКАЦИОННЫХ ШКАЛ: "+ALLTRIM(STR(N_KlSh,5))

@14,40-LEN(Mess)/2 SAY Mess COLOR "w+/rb"

Mess = "КОЛИЧЕСТВО ОПИСАТЕЛЬНЫХ ШКАЛ: "+ALLTRIM(STR(N_OpSh,5))

@15,40-LEN(Mess)/2 SAY Mess COLOR "w+/rb"

** БЛОК-5. РАСЧЕТ И ВЫВОД ИНФОРМАЦИИ О ПРЕДЕЛЬНОМ КОЛИЧЕСТВЕ ГРАДАЦИЙ ОПИСАТЕЛЬНЫХ ШКАЛ ******

PUBLIC Nmax_Grad := INT(4000/(N_OpSh))

Mess = "Градаций в описательной шкале не более: "+ALLTRIM(STR(Nmax_Grad,5))

@18,40-LEN(Mess)/2 SAY Mess COLOR "w+/rb"

** БЛОК-6. ЗАДАНИЕ В ДИАЛОГЕ КОЛИЧЕСТВА ГРАДАЦИЙ (ИНТЕРВАЛОВ) В ОПИСАТЕЛЬНЫХ ШКАЛАХ **********

Mess = "Задайте максимальное количество градаций в описательных шкалах: ####"

@20,40-LEN(Mess)/2 SAY Mess COLOR "w+/rb"

N_Grad = Nmax_Grad

@20,70 GET N_Grad PICTURE "####" COLOR "rg+/r"

SET CURSOR ON;READ;SET CURSOR OFF

IF LASTKEY()=27 .OR. N_Grad > Nmax_Grad

RESTSCREEN(0,0,24,79,scr23)

RETURN 2

ENDIF

** БЛОК-7. ГЕНЕРАЦИЯ КЛАССИФИКАЦИОННЫХ ШКАЛ И ГРАДАЦИЙ ***************************************

Mess1 = " === ГЕНЕРАЦИЯ КЛАССИФИКАЦИОННЫХ ШКАЛ И ГРАДАЦИЙ === "

@1,40-LEN(Mess1)/2 SAY Mess1 COLOR "rg+*/rb"

FOR f=M_KodObj1 TO M_KodObj2 && Цикл по полям классов БД &Fns

SELECT &Fns

Fn = ALLTRIM(FIELDNAME(f)) && Принадлежность к профессиональному типу

INDEX ON STR(999999-&Fn,7) TO Mrk_uniq UNIQUE

DBGOTOP()

DO WHILE .NOT. EOF()

Fv = ALLTRIM(STR(FIELDGET(f)))

SELECT Object

APPEND BLANK

REPLACE Kod WITH ++M_Kod

REPLACE Name WITH "MRK-"+Fn+"-"+Fv

SELECT &Fns

DBSKIP(1)

ENDDO

NEXT

CLOSE ALL

** БЛОК-8. ГЕНЕРАЦИЯ ОПИСАТЕЛЬНЫХ ШКАЛ И ГРАДАЦИЙ ********************************************

Mess2 = " === ГЕНЕРАЦИЯ ОПИСАТЕЛЬНЫХ ШКАЛ И ГРАДАЦИЙ === "

@2,40-LEN(Mess2)/2 SAY Mess2 COLOR "rg+*/rb"

Fns_sh = Fns +"_sh" && БД для границ интервалов для SELECT

Fnd = Fns +".dbf" && БД для границ интервалов для COPY

Fnd_sh = Fns_sh+".dbf" && БД для границ интервалов для COPY

COPY FILE (Fnd) TO (Fnd_sh)

CLOSE ALL

USE Priz_ob EXCLUSIVE NEW;ZAP

USE Priz_per EXCLUSIVE NEW;ZAP

USE (Fns) EXCLUSIVE NEW

USE (Fns_sh) EXCLUSIVE NEW;ZAP;APPEND BLANK;APPEND BLANK;APPEND BLANK

SELECT &Fns

N_Rec = RECCOUNT()

Kod_prob= 0

Kod_prp = 0

@24,0 SAY REPLICATE("-",80) COLOR "rb/n"

FOR ff=M_KodAtr1 TO M_KodAtr2 && Начало цикла по полям БД &Fns

SELECT &Fns

F_Name = FIELDNAME(ff)

INDEX ON STR(999999-FIELDGET(ff),7) TO Mrk_funi UNIQUE

DBGOTOP(); F_MaxSH = FIELDGET(ff)

DBGOBOTTOM();F_MinSH = FIELDGET(ff)

Delta = (F_MaxSH-F_MinSH)/N_Grad

SELECT &Fns_sh

DBGOTO(1);FIELDPUT(ff,F_MaxSH)

DBGOTO(2);FIELDPUT(ff,F_MinSH)

DBGOTO(3);FIELDPUT(ff,Delta)

SELECT Priz_ob

APPEND BLANK

REPLACE Kod WITH ++Kod_prob

REPLACE Name WITH F_Name

@23,0 SAY REPLICATE("-",80) COLOR "rb/n"

FOR gr=1 TO N_Grad

SELECT Priz_per

APPEND BLANK

F_MinGR = F_MinSH+(gr-1)*Delta

F_MaxGR = F_MinSH+(gr)*Delta

M_Name = F_Name+": {"+ALLTRIM(STR(F_MinGR,5))+", "+ALLTRIM(STR(F_MaxGR,5))+"}"

REPLACE Kod WITH ++Kod_prp

REPLACE Kod_ob_pr WITH Kod_prob

REPLACE Name WITH M_Name

SELECT Priz_ob

FIELDPUT(gr+2,Kod_prp)

p=gr/N_Grad*100;p=IF(p<=100,p,100)

@23,0 SAY STR(p,3)+"%" COLOR "w+/r+"

@23,4 SAY REPLICATE("-",0.76*p) COLOR "rb+/n"

NEXT

p=ff/N_OpSh*100;p=IF(p<=100,p,100)

@24,0 SAY STR(p,3)+"%" COLOR "w+/r+"

@24,4 SAY REPLICATE("-",0.76*p) COLOR "rb+/n"

NEXT

CLOSE ALL

** БЛОК-9. ГЕНЕРАЦИЯ ОБУЧАЮЩЕЙ ВЫБОРКИ *******************************************************

Mess3 = " === ГЕНЕРАЦИЯ ОБУЧАЮЩЕЙ ВЫБОРКИ === "

@3,40-LEN(Mess3)/2 SAY Mess3 COLOR "rg+*/rb"

USE Object EXCLUSIVE NEW

INDEX ON Name TO Obj_name

USE Priz_per EXCLUSIVE NEW

INDEX ON Name TO Prpe_nam

CLOSE ALL

USE Object INDEX Obj_name EXCLUSIVE NEW

USE Priz_per INDEX Prpe_nam EXCLUSIVE NEW

USE (Fns) EXCLUSIVE NEW

USE (Fnd_sh) EXCLUSIVE NEW

USE ObInfZag EXCLUSIVE NEW;ZAP

USE ObInfKpr EXCLUSIVE NEW;ZAP

N_Rec = RECCOUNT()

DBGOTOP()

@24,0 SAY REPLICATE("-",80) COLOR "rb/n"

M_KodIst = 0

SELECT &Fns

N_Rec = RECCOUNT()

Num = 0

DBGOTOP()

DO WHILE .NOT. EOF()

A_Obj = {}

****** База заголовков

SELECT &Fns

M_NameIst = FIELDGET(1)

FOR f=M_KodObj1 TO M_KodObj2 && Цикл по полям классов БД &Fns

SELECT &Fns

Fn = ALLTRIM(FIELDNAME(f)) && Принадлежность к профессиональному типу

Fv = ALLTRIM(STR(FIELDGET(f)))

SELECT Object;SET ORDER TO 1;T=DBSEEK("MRK-"+Fn+"-"+Fv)

IF T

AADD(A_Obj, Kod)

ENDIF

NEXT

ASORT(A_Obj)

SELECT ObInfZag

APPEND BLANK

REPLACE Kod_ist WITH ++M_KodIst

REPLACE Name_ist WITH M_NameIst

FOR jj=1 TO LEN(A_Obj)

FIELDPUT(jj+2,A_Obj[jj])

NEXT

****** База признаков

SELECT &Fns

******* Формирование массива первичных признаков из БД &Fns

Ar = {}

FOR ff=M_KodAtr1 TO M_KodAtr2 && Начало цикла по полям БД &Fns

AADD(Ar,FIELDGET(ff))

NEXT

******* Формирование массива кодов признаков из БД &Fns

M_KodPr = {}

FOR jj=1 TO LEN(Ar)

SELECT &Fns_sh

F_Name = FIELDNAME(jj+M_KodAtr1-1)

DBGOTO(1);F_MaxSH = FIELDGET(jj+M_KodAtr1-1)

DBGOTO(2);F_MinSH = FIELDGET(jj+M_KodAtr1-1)

Delta = (F_MaxSH-F_MinSH)/N_Grad

FOR gr=1 TO N_Grad

F_MinGR = F_MinSH+(gr-1)*Delta

F_MaxGR = F_MinSH+(gr)*Delta

IF F_MinGR <= Ar[jj] .AND. Ar[jj] <= F_MaxGR

M_Name = F_Name+": {"+ALLTRIM(STR(F_MinGR,5))+", "+ALLTRIM(STR(F_MaxGR,5))+"}"

SELECT Priz_per;SET ORDER TO 1;T=DBSEEK(M_Name)

IF T

AADD(M_KodPr, Kod)

ENDIF

ENDIF

NEXT

NEXT

******* Запись массива кодов признаков из БД &Fns в БД ObInfKpr

SELECT ObInfKpr

APPEND BLANK

FIELDPUT(1,M_KodIst)

k=2

FOR jj=1 TO LEN(M_KodPr)

IF k <= 12

FIELDPUT(k++,M_KodPr[jj])

ELSE

APPEND BLANK

FIELDPUT(1,M_KodIst)

k=2

FIELDPUT(k,M_KodPr[jj])

ENDIF

NEXT

p=++Num/N_Rec*100;p=IF(p<=100,p,100)

@24,0 SAY STR(p,3)+"%" COLOR "w+/r+"

@24,4 SAY REPLICATE("-",0.76*p) COLOR "rg+/n"

SELECT &Fns

DBSKIP(1)

ENDDO

Mess = " ПРОЦЕСС ГЕНЕРАЦИИ ЗАВЕРШЕН УСПЕШНО !!! "

@24,40-LEN(Mess)/2 SAY Mess COLOR "rg+/rb"

INKEY(0)

RESTSCREEN(0,0,24,79,scr23)

CLOSE ALL

QUIT

Этот программный интерфейс работает с исходными данными, получающимися из данных типа "Текст-DOS" после загрузки их в Excel и записи в DBF-файл (тип файла DBF DBase IV). Загрузка файла "Текст-DOS" осуществляется по технологии, представленной в работе [7]. При запуске программы DBF-файл с исходными данными указывается в качестве параметра. В диалоге задаются номера столбцов с информацией по классам и факторам, а также количество интервалов (градаций в описательных шкалах). Количество объектов обучающей выборки неограниченно.

В результате работы программного интерфейса автоматически формируются справочники классификационных и описательных шкал и градаций, а также обучающая выборка (табл. 3 и 4), что позволяет непосредственно приступить к выполнению последующих этапов СК-анализа, т.е. к синтезу модели, ее оптимизации и проверке на адекватность и т.д., которые осуществляются средствами самой системы "Эйдос".

Таблица 3. Классификационные и описательные шкалы и градации в стандарте "Текст-Dos"