Этот подход кратко описан в статье [2]. Здесь рассмотрим его подробнее.

Прежде всего, возникает вопрос о том, что понимается под эффективностью вузов? Ведь ясно, что прежде чем оценивать эффективность вузов было бы неплохо, а на самом деле совершенно необходимо, разобраться с тем, что же это такое. Причина этого ясна: выбор критериев оценки во многом обуславливается тем, что именно оценивается.

Ясно, что по этому поводу существует много различных мнений, которые в различной степени аргументированы или не аргументированы и отражают позиции руководителей образования и науки, профессионального научно-педагогического сообщества и различных слоев населения. По мнению автора, с научной точки зрения некорректно и неуместно говорить о каких-то критериях оценки эффективности вузов, если не определено само это понятие эффективности, т.е. отсутствует консенсус в профессиональной среде по поводу того, что же это такое.

Очевидно, для достижения такого консенсуса в наше время необходимо широкое обсуждение этого вопроса в научной печати, Internet и СМИ. Однако такое обсуждение не было организовано и критерии оценки эффективности или признаков неэффективности практически неожиданно «свалились научно-педагогическому сообществу как снег на голову».

Уже после этого, как это произошло, началось обсуждение этого вопроса на различных научных конференциях, в научной и периодической прессе, на личных сайтах, формах и т.п. Но пока шло это обсуждение и пока оно не пришло к какому-либо консенсусу в этом вопросе, ряд вузов были закрыты, филиалы сокращены и т.д.

По мнению автора, цель вуза в том, чтобы формировать компетентных и творчески мыслящих специалистов в соответствии с прогнозом социального заказа, т.е. таких, которые будут востребованы обществом в будущем периоде профессиональной деятельности этих специалистов, который составляет 30-40 лет. А должен ли вуз зарабатывать, должен ли он иметь те или иные площади в расчете на одного учащегося - это все нужно знать только для того, чтобы спрогнозировать, сможет ли он выполнить свою основную задачу, т.е. подготовку специалистов. Ни в коем случае нельзя рассматривать эти показатели как самоцель, т.к. достижение тех или иных их значений, вообще говоря, может и ничего не говорить о достижении цели вуза. Несут ли эти критерии какую-либо информацию о достижении цели вуза, и какую именно по величине и знаку, - это еще надо определить в процессе специального исследования, которое, скорее всего не было проведено. Странно, что об этом приходиться писать, но приходиться, т.к. похоже, об этом стали забывать.

Когда консенсус профессионального научно-педагогического сообщества по вопросу о том, что же понимать под «эффективностью вуза» будет достигнут, на первый план выступает вопрос о том, с помощью какого метода оценивать эту эффективность, т.е. как ее измерить.

Для автора вполне очевидно, что этот метод должен представлять собой какой-то вариант метода многокритериальной оценки. Это обусловлено просто тем, что такие сложные и многофакторные системы как вузы в принципе невозможно оценивать по одному показателю или критерию. Чтобы обоснованно выбрать метод оценки эффективности вузов необходимо сначала научно обосновать требования к нему, а затем составить рейтинг методов по степени соответствия обоснованным требованиям и выбрать метод, наиболее удовлетворяющий обоснованным требованиям.

Применение метода факторного анализа для этих целей, по-видимому, некорректно, т.к. этот метод, предъявляющий настолько жесткие требования к исходным данным об объекте моделирования, что их практически невозможно выполнить. Во-первых, факторный анализ - это параметрический метод, предполагающий, что исходные данные подчиняются многомерным нормальным распределениям. Во-вторых, это метод неустойчивый, т.е. небольшие изменения исходных данных могут привести к значительным изменениям в модели. Поэтому исходные данные для факторного анализа должны быть абсолютно точными, что невозможно не только фактически, но даже в принципе. В-третьих, перед началом факторного анализа необходимо определить наиболее важные факторы, которые и будут исследоваться в создаваемой модели. Но при этом в руководствах по факторному анализу не уточняется, каким способом это предлагается сделать. А между тем при большом количестве факторов, что является обычным для большинства реальных задач, это не тривиальная задача, которую вручную решить невозможно.

Когда метод оценки эффективности вузов выбран, необходимо ответить на вопрос о том, на основе каких частных критериев оценивать эффективность вузов и какой исходной информацией о вузах для этого необходимо располагать?

Ясно, что эти критерии в общем случае могут иметь как количественную, так и качественную природу и могут измеряться в различных единицах измерения. Кроме того эти критерии могут иметь различную силу и направление влияния на интегральную оценку эффективности вузов. Конечно, возникают вопросы как о способе определения системы критериев эффективности вуза, так и о способе определения силы и направления влияния критериев на оценку эффективности вузов.

Но еще более существенным является вопрос: «О способе сопоставимого сведения разнородных по своей природе и измеряемых в различных единицах измерения частных критериев эффективности в один количественный интегральный критерий эффективности вуза».

Отметим, что в материалах Минобрнауки РФ и о критериях оценки эффективности вузов См., например: http://uup.samgtu.ru/node/211 даже не упоминается вопрос о том, что когда значения частных критериев для того или иного вуза установлены, то необходимо каким-то образом на их основе получить обобщающую количественную оценку его эффективности в виде одного числа, т.е. надо как-то объединить значения всех частных критериев в одной формуле, в одном математическом выражении, которое и называется «Интегральный критерий».

Поэтому, наверное, и говорят не об эффективности или неэффективности вуза, а всего лишь «о признаках неэффективности», а признаками являются значения отдельных частных критериев. Если таких признаков неэффективности много, то делают вывод о том, что вуз неэффективен. Фактически такой подход, который может быть и применялся, можно назвать неосознанным применением частных критериев и интегрального критерия, т.е. «неосознанным многокритериальным подходом». При таком подходе все частные критерии имеют одинаковый вес, например принимающий значения 0 (неэффективен) и 1 (эффективен). Когда значения всех частных критериев для вуза установлены, то эти веса суммируются и сумма сравнивается с минимальными и максимальными оценками, полученными для всех вузов. Допустим, в Минобрнауки РФ из каких-то своих соображений решили, что в результате оценки эффективности вузов должно быть закрыто из-за низкой эффективности 1.5% вузов. Тогда все вузы сортируются по убыванию этой суммы и 1.5% с конца рейтинга помещаются в «черный список».

Но такой «неосознанный многокритериальный подход» очень и очень уязвим для критики.

Во-первых, возникает законный вопрос о том, почему все критерии имеют одинаковый вес, хотя даже интуитивно ясно, что они имеют разное значение и по-разному влияют на эффективность вуза (которая, кстати, непонятно в чем заключается).

Во-вторых, непонятно, как можно складывать средний балл ЕГЭ принятых на обучение студентов, объём научных работ на одного сотрудника, количество иностранцев-выпускников, доходы вуза в расчёте на одного сотрудника и общую площадь учебно-лабораторных зданий в расчёте на одного студента. За подобные математические операции ставят двойку по физике в 7-м классе средней школы. Там школьников учат, что перед тем как складывать величины, измеренные в разных единицах измерения, например рост учащихся, выраженный в метрах (1.72) и выраженный в сантиметрах (160), нужно перевести эти величины в одну единицу измерения, например в метры или в сантиметры. А иначе получится: 1.72+160=161.72, т.е. некий результат, не поддающийся разумной содержательной интерпретации Проще говоря «ерундой».. Как бы нечто похожее и на таком же научном уровне не получилось при оценке наличия у вуза «признаков неэффективности». Но научно-педагогическую общественность не поставили в известность о том, каким образом вычисляется интегральная оценка эффективности вуза на основе установленных для него значений частных критериев. Поэтому высказанное опасение остается не снятым.

В развитом осознанном многокритериальном подходе для вычисления значения интегрального критерия нужно знать силу и направление влияния каждого значения частных критериев на величину этого интегрального критерия. Интегральные критерии бывают трех видов: аддитивные, мультипликативные и общего вида. Чаще всего используются аддитивные интегральные критерии, в которых значение интегрального критерия равно просто сумме значений частных критериев. Но чтобы значения частных критериев можно было корректно суммировать необходимо, чтобы они были значениями на числовых измерительных шкалах [3], и чтобы они измерялись в одних и тех же единицах измерения или были безразмерными.

Оба эти требования выполняются в Автоматизированном системно-когнитивном анализе (АСК-анализ), в котором все значения всех факторов, независимо от того количественные они или качественные и в каких единицах они измеряются в исходных данных, в моделях системы «Эйдос» (системно-когнитивных моделях) они все измеряются в одних и тех же единицах измерения - единицах количества информации [2, 3]. Поэтому метод АСК-анализа и предлагается для решения поставленной проблемы.

АСК-анализ представляет собой один из современных методов искусственно интеллекта, который предоставляет научно обоснованные ответы на все эти вопросы, но самое существенное, что он оснащен широко и успешно апробированным универсальным программным инструментарием, позволяющим решить эти вопросы не только как обычно на теоретическом концептуальном уровне, но и на практике [2]. Модели знаний АСК-анализа основаны на нечеткой декларативной модели представления знаний, предложенной автором в 1983 году и являющейся гибридной моделью, сочетающей в себе преимущества фреймовой, нейросетевой и четкой продукционной моделей и обеспечивающей создание моделей очень больших размерностей до 10 млн. раз превышающих максимальные размерности моделей знаний экспертных систем с четкими продукциями:

- от фреймовой модели модель представления знания системы «Эйдос» отличается существенно упрощенной программной реализацией и более высоким быстродействием без потери функциональности;

- от нейросетевой тем, что обеспечивает хорошо обоснованную теоретически содержательную интерпретацию весовых коэффициентов на рецепторах и обучение методом прямого счета [8];

- от четкой продукционной модели - нечеткими продукциями, представленными в декларативной форме, что обеспечивает эффективное использование знаний без их многократной генерации для решения задач идентификации, прогнозирования, принятия решений и исследования моделируемого объекта.

АСК-анализ является непараметрическим методом, устойчивым к шуму в исходных данных, позволяющий корректно обрабатывать неполные (фрагментированные) исходные данные, описывающие воздействие взаимозависимых факторов на нелинейный [7] объект моделирования.

Суть метода АСК-анализа в том, что он позволяет рассчитать на основе исходных данных какое количество информации содержится в значениях факторов, обуславливающих переходы объекта моделирования в различные будущие состояния, причем как в желательные, так и в нежелательные [3].

Он состоит в целенаправленном последовательном повышении степени формализации исходных данных до уровня, который позволяет ввести исходные данные в компьютерную систему, а затем преобразовать исходные данные в информацию; информацию преобразовать в знания; использовать знания для решения задач прогнозирования, принятия решений и исследования предметной области.

Рассмотрим подробнее вопросы выявления, представления и использования знаний в АСК-анализе и системе «Эйдос».

Данные - это информация, записанная на каком-либо носителе или находящаяся в каналах связи и представленная на каком-то языке или в системе кодирования и рассматриваемая безотносительно к ее смысловому содержанию.

Однако в соответствии с 1-м и единственным не автоматизированным в системе «Эйдос» этапом АСК-анализа, который называется: «Когнитивно-целевая структуризация предметной области» перед созданием интеллектуального приложения мы должны определиться, что мы хотим определять с помощью модели и на основе чего.

В данной задаче для каждого университета по значениям его показателей мы бы хотели определить:

- обобщающий рейтинг Гардиан (Guardian score/100);

- рейтинг по каждому из направлений подготовки (Rank), перечисленных в таблице 1;

- основное (профилирующее) направление подготовки (Field of study).

- само наименование университета (Name of Institution).

Наименования показателей университета:

1. % Satisfied with Teaching.

2. % Satisfied overall with course.

3. Expenditure per student (FTE).

4. Student:staff ratio.

5. Career prospects.

6. Value added score/10.

7. Average Entry Tariff.

8. % Satisfied with Assessment.

Перевод этих показателей на русский язык приведен в разделе 2.3.

Учитывая эти результаты выполнения 1-го этапа АСК-анализа, перед для вводом данных в систему «Эйдос», таблицу, скачанную на предыдущем шаге с официального сайта рейтинга Гардиан и приведенную на рисунке 2, необходимо преобразовать в такую форму, которая бы отражала те способы группировки данных по университетам, которые нас интересуют и соответствовала бы требованиям системы «Эйдос» к внешним базам исходных данных (рисунок 3):

Рисунок 3. Экранная форма системы «Эйдос» с описанием требований к внешним базам исходных данных

Для этого преобразуем таблицу, приведенную на рисунке 2, следующим образом:

1. Добавим лист (вкладку) с наименованием: «Inp_data» на 1-ю позицию. На этом листе будет формироваться результат для ввода данных всех данных по рейтингу в систему «Эйдос».

2. Переименуем наименования всех вкладок с рейтингами по направлений подготовки, полностью убирая текстовое наименование направления подготовки и оставляя только его номер (код). Это нужно для того, чтобы проще было писать формулы со ссылками на листы с информацией о рейтингах по направлениям подготовки.

3. Добавим отладочную страницу «P», на которой апробируем способ отображения абсолютного рейтинга в относительный (нормированный). Дело в том, что в таблице на рисунке 2 в каждом рейтинге по направлению подготовки участвует разное число университетов, а рейтингом является просто порядковый номер в списке. В результате рейтинги по направлениям подготовки изменяются в различных пределах от 1 до числа университетов, имеющих данное направление подготовки. В результате такие рейтинги оказываются несопоставимыми, что нас не устраивает Чтобы преодолеть эту проблему мы нормировали абсолютные рейтинги по направлениям подготовки к 10-бальной числовое шкале, т.е. преобразовали их в относительные. Можно было взять и любое другое число градаций шкалы, но мы посчитали, что такая шкала обеспечивает необходимую и достаточную для практики точность. Кроме того этот лист мы затем используем для модификации листов с рейтингами по направлениям подготовки. В таблице 3 приведены результат нормирования абсолютного рейтинга с 27 градациями и формулы, с помощью которых это делается.

Таблица 3 - Способ и результат нормирования абсолютного рейтинга по направлению подготовки

Получим выражение для линейного отображения абсолютной шкалы, с числом градаций X₂ в относительную шкалу, с заданным числом градаций Y₂ (рисунок 4):

Рисунок 4. К выводу выражения для линейного отображения абсолютной шкалы в относительную шкалу (линейная нормировка абсолютной шкалы)

Из рисунка 4 видно, что:

Откуда получаем искомое выражение для нормировки:

где:

C - относительный рейтинг;

A - абсолютный рейтинг;

Y₁ -значение начальной градации шкалы относительного рейтинга;

Y₂ -значение конечной градации шкалы относительного рейтинга (число градаций, если Y₁ = 1);

X₁ - значение начальной градации шкалы абсолютного рейтинга;

X₂ - значение конечной градации шкалы абсолютного рейтинга (число градаций, если X₁ = 1).

Этому выражению можно придать вид линейного уравнения, но нам в этом нет необходимости.

4. На следующем шаге:

- копируем таблицу для нормировки абсолютных шкал на все листы с рейтингами по направлениям подготовки;

- корректируем значение X₂ на фактическое в данной абсолютной шкале.

В результате и получаем такие листы (таблица 4):

Таблица 4 - Преобразование абсолютного рейтинга по направлению подготовки: «Медицина» в относительный (нормированный)

Отметим, что значение Y₂=10 во всех листах берется с листа «P» с исходной таблицей для преобразования абсолютных шкал в относительные, и, если его изменить там, то оно сразу меняется на всех листах с рейтингами по направлениям подготовки.

5. Затем формируем лист для ввода данных в систему «Эйдос». Для этого мы собираем на одном листе данные со всех листов с рейтингами по направлениям подготовки (таблица 5):

Таблица 5 - Исходные данные по рейтингу Гардиан, подготовленные для ввода в систему «Эйдос» (фрагмент)

В таблице 5 приводится лишь фрагмент исходных данных, т.к. их распечатка составляет 25 листов.

Отметим, что исходный файл и файл исходных данных находятся на сайте автора в полном открытом бесплатном доступе на страничке: http://lc.kubagro.ru/ej_data/1071503001/Downloads.rar. Ниже приведена таблица 6 с формулами для расчета таблицы 5:

Таблица 6 - Формулы для расчета исходных данных по рейтингу Гардиан, для их подготовки к для ввода в систему «Эйдос» (фрагмент)

Запускаем систему «Эйдос» и задаем режим 2.3.2.2 с параметрами, указанными на экранной форме (рисунок 5):

Рисунок 5. Экранная форма универсального программного интерфейсаимпорта данных из внешних баз данных в систему «Эйдос»

Через несколько секунд на заднем фоне А значит, чтобы его увидеть надо свернуть все окна появляется окно (рисунок 6) на котором нажимаем «Сохранить», после чего появляется экранный калькулятор (рисунок 7):