Метод анализа иерархий для оценки результатов научной деятельности преподавателей вуза

Размещено на http://www.allbest.ru/

Евразийский национальный университет

МЕТОД АНАЛИЗА ИЕРАРХИЙ ДЛЯ ОЦЕНКИ РЕЗУЛЬТАТОВ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ ПРЕПОДАВАТЕЛЕЙ ВУЗА

Бураканова Г.М.

Определение результатов научной деятельности преподавателя является функцией администрации вуза при конкурсном отборе профессорско-преподавательского состава. Аттестация предполагает использование современных методов, дающих объективную картину качества работы преподавателей.

При прохождении конкурса оценивается не только собственно преподавательская деятельность, но и научная работа. Одним из важных критериев научного вклада является количество научных статей и патентов. И здесь возникает вопрос: «Отражает ли количество статей научный вклад ученого?» научный преподаватель профессорский

Преподаватель может иметь несколько сотен публикаций, но его вклад в науку довольно сложно оценить по формальному критерию количества публикаций.

Оценка научной работы проводится по критериям:

- качество, разнообразие, количество научных трудов;

- индексы цитируемости (h-индекс);

- актуальность работы;

- креативные идеи.

Качество преподавания можно оценить по индикаторам:

- достижение поставленных целей, вовлеченность студентов, научность, доступность, логичность, требовательность, развитие критических мнений.

В настоящее время исследователями Саати Т. Принятие решений. Метод анализа иерархий / Перевод с англ. Р. Г. Вачнадзе. - М.: Радио и связь, 1993. - 278 с.; Бизюкова И.В. Подбор и оценка кадров управления. - М.: Экономика, 1996. - С.78; Кайгородцева Е.В., Павлова Е.А. Сравнительная характеристика методов анализа и оценки уровня развития фундаментальных и прикладных исследований // Фундаментальные исследования. 2016. - № 8-1. - С. 154-158. разрабатываются и сопоставляются различные методики диагностирования, но общепринятой процедуры, которая устраивала бы всех, пока нет. Как правило, оценка результатов труда непосредственно характеризует достигнутые цели. Их сопоставляют с конечными целями организации. Они основаны на установлении для каждого работника ясных и четких целевых показателей, на которые он должен “выйти” к определенному сроку. В ходе оценки эксперт соотносит деятельность научного работника с индикаторами результативности работы.

Особая роль отводится методу экспертных оценок. Внимание аттестационной комиссии (в которую входят выбранные эксперты, как правило, это - руководство учебного заведения) акцентируется не только на анализе профессиональных, но и на социальных качествах преподавателя.

Понятно, что очень важно тщательно подобрать компетентных специалистов, для этого руководству вуза необходимо создать в коллективе атмосферу деловитости и психологической комфортности. Для разработки действенной методики диагностирования необходимо совершенствование организационных, научных, этических принципов. Поэтому эффективность аттестации и объективность во многом зависят от степени, уровня подготовленности членов экспертной комиссии. В существующих исследованиях отмечено несколько десятков систем оценки, которые классифицируются по различным признакам. Сложность оценки заключается в том, что нужно учесть не только формальные индикаторы, но и качественные параметры.

Исследователи предлагают различные критерии, позволяющие оценить профессиональную деятельность. Для оценки результатов научных исследований используются такие показатели, как количество публикаций, их цитируемость и соавторство. Показатели патентной формы отчетности служат для анализа состояния и перспектив развития отдельных областей науки и техники, технологических направлений, оценки рынка технологий в стране. К наиболее важным показателям относятся: число патентных заявок, поданных (полученных) в стране и за рубежом; общее число действующих патентов, зарегистрированных в стране Фундаментальные исследования. 2016. - № 8 (часть 1) - С. 154-158..

Согласно типовой методике оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, существуют следующие критерии оценки:

- научный потенциал и эффективность научных исследований;

- вовлеченность научной организации в национальное и мировое научно-образовательное сообщество;

- коммерциализация и прикладное значение результатов исследования;

- кадровая обеспеченность научной организации;

- ресурсная обеспеченность научной организации; состояние финансовой деятельности научной организации Кайгородцева Е.В., Павлова Е.А. Сравнительная характеристика методов анализа и оценки уровня развития фундаментальных и прикладных исследований // Фундаментальные исследования. 2016. - № 8-1. - С. 154-158..

Опыт зарубежных стран показывает, что для анализа результатов научной деятельности чаще всего используется метод экспертных оценок, включающий в себя способы организации работы с экспертами и обработки их мнений, выраженных в количественной и/или качественной форме. По итогам проведения данного метода экспертная комиссия вправе рекомендовать ту или иную научную организацию к дальнейшему финансированию.

Правительственные ведомства США, занимающиеся финансированием научных исследований, используют на практике следующие основные методы отбора конкурсных заявок:

- оценка достоинств («merit review»);

- оценка с помощью консультантов;

- оценка штатным персоналом.

Наиболее часто используются методы оценки достоинства и оценки с помощью консультантов (в общем объеме более 70 % средств выделяются на исследовательские проекты при использовании данных методов). Во Франции конкурсный отбор проектов осуществляется также с использованием метода оценки коллегами («peer review») и основан на экспертных оценках.

Метод анализа иерархий известного американского ученого Томаса Саати, также основанный на сравнительных оценках мнений экспертов, можно представить как решение задачи, состоящей из нескольких этапов.

На первом этапе решения задачи определяются критерии оценки работы преподавателя. В научной деятельности большое значение имеют: количество публикаций, индекс цитирования и качество преподавания. Причем такие критерии как индекс цитирования и количество публикаций имеют большее значение, чем качество преподавания. Значимость каждого критерия оценивается количественно, в виде коэффициента. В сумме эти коэффициенты должны составлять единицу:

Например:

качество преподавания -- 0,4

индекс цитирования -- 0,4

количество публикаций -- 0,2

Затем, расчеты каждого из критериев нужно умножить на выбранные значения.

Саати Т. считает, что лучше всего использовать метод парного сравнения. То есть, необходимо сделать квадратичную матрицу, в которой используется метод парных сравнений всех оцениваемых преподавателей по каждому индексу. Затем, полученные результаты суммируются.

В матрице каждый человек сравнивается с другим по каждому из критериев. В каждом случае результаты сравнения “подгоняются” к единице.

Метод анализа иерархий является замкнутой логической конструкцией, обеспечивающей с помощью простых правил анализ сложных проблем во всем их разнообразии. Применение метода позволяет включить в иерархию все имеющиеся у исследователя по рассматриваемой проблеме знания и воображение. Метод Т. Саати позволяет группе людей взаимодействовать по интересующей их проблеме, модифицировать свои суждения и в результате объединить групповые суждения в соответствии с основным критерием: при проведении парных сравнений объектов по отношению к некоторой характеристике, или характеристик по отношению к высшей цели, обратные отношения обеспечивают ключ к объединению групповых суждений рациональным образом Саати Т. Принятие решений. Метод анализа иерархий / Перевод с англ. Р. Г. Вачнадзе. - М.: Радио и связь, 1993. - 278 с..

Теория отражает то, что представляется естественным ходом человеческого мышления. Сталкиваясь с множеством контролируемых или неконтролируемых элементов, отражающих сложную ситуацию, разум объединяет их в группы в соответствии с распределением некоторых свойств между элементами. Модель позволяет повторять данный процесс таким образом, что группы, или скорее определяющие их общие свойства, рассматриваются в качестве элементов следующего уровня системы. Т. Саати задается вопросом: насколько сильно влияют отдельные факторы самого низкого уровня иерархии на вершину - общую цель?.

Неравномерность влияния по всем факторам приводит к необходимости определения интенсивности влияния, или приоритетов факторов.

Определение приоритетов факторов низшего уровня относительно цели может быть сведено к последовательности задач определения приоритетов для каждого уровня, а каждая такая задача - к последовательности попарных сравнений. Сравнения остаются основными составляющими теории, даже если исходная задача осложнена условиями обратной связи между различными уровнями или факторами.

Вначале экспертная комиссия вырабатывает критерии оценки научной и преподавательской работы преподавателей. Все преподаватели оцениваются по одним и тем же критериям.

Рисунок 1.

На рис. 1 приведена иерархия, согласно исследованиям Т. Саати, которая может использоваться в практике аттестационной работы. Критерии могут быть одинаковыми для ассистентов, доцентов и профессоров, но для профессоров они становятся более жесткими по таким показателям как значимость и качество научной работы.

Методика диагностирования научной деятельности преподавателя включает три группы элементов:

- содержание оценки (оценка результатов труда преподавателя за определенный временной период (год, семестр, 5 лет),

- методы оценки (как выявить оцениваемые признаки и их измерить);

- собственно процедура оценки.

Т. Саати считает, что для получения адекватных результатов требуется:

а) использовать метод парных сравнений для построения рабочей теории, которая предоставит численные шкалы суждений и других сравнительных измерений;

б) найти шкалу, по которой можно было бы увидеть соответствие между качественными суждениями и количественными показателями;

в) иметь возможность воспроизводить измерения реальности, которые уже нам известны из физики и экономики;

г) иметь возможность определить величину нашей несогласованности.

Метод иерархий можно использовать при оценке работы научных центров, для этого применяются следующие индикаторы:

1. Научный потенциал;

2. Эффективность научных исследований;

3. Вовлеченность научной организации в национальное и мировое научно-образовательное сообщество;

4. Коммерциализация и прикладное значение результатов исследования;

5. Кадровая обеспеченность научной организации;

6. Ресурсная обеспеченность научной организации; состояние финансовой деятельности научной организации. Кайгородцева Е.В., Павлова Е.А. Сравнительная характеристика методов анализа и оценки уровня развития фундаментальных и прикладных исследований // Фундаментальные исследования. 2016. - № 8-1. - С. 154-158.

Следует отметить, что первым требованием при анализе функционирования системы является построение иерархии, воспроизводящей функциональные отношения. Для сравниваемых центров по каждому индикатору составляется квадратичная матрица. Для выявления оптимальной оценки научного центра сначала следует перечислить важнейшие критерии, характеризующие эти центры, и вычислить сравнительную величину этих критериев, при этом величина будет меняться. Затем следует сложить значения, полученные для каждого центра по всем критериям.

Метод анализа иерархий на основе парных сравнений с построением квадратичной матрицы позволяет группе экспертов взаимодействовать, модифицировать свои мнения и в результате выработки экспертного суждения обоснованно и доказательно определить оценку научного вклада преподавателя или научной организации. Простые математические действия дают возможность использовать метод анализа иерархий в различных ситуациях и принимать решения независимо от сложности существующих проблем. Метод анализа иерархий может эффективно использоваться и для выбора экспертов в комиссию, так как результативность аттестации и объективность во многом зависят от степени подготовленности и уровня компетентности членов экспертной комиссии.

Размещено на Allbest.ru