Размещено на http://www.allbest.ru/

Особенности выбора экспертов для проведения педагогической экспертизы

Слепцова Марина Викторовна

Мелашенко Татьяна Владимировна

Аннотация

В работе рассмотрена методика выбора экспертов из широкого круга специалистов для проведения педагогических экспертиз в области непрерывного технологического образования. Показано, что одной из наиболее важных проблем при проведении педагогических экспертиз на сегодняшний день остается проблема выбора экспертов из широкого круга специалистов в определенной области и формирование из них экспертных групп. Массовое привлечение к проведению экспертиз в области непрерывного технологического образования работодателей, родителей, учащихся считающих себя экспертами, но не являющихся таковыми, приводит к неверному оцениванию содержания технологического образования, оценки ее текущего состояния и эффективности, направлению дальнейшего совершенствования и развития, а также большому влиянию на результат экспертизы субъективных факторов. Такие результаты приводят к отрицательным последствиям, как для педагогической науки, так и для специалистов-практиков, ориентирующихся в своей деятельности на полученный результат. эксперт педагогический ранжирование

Авторами предлагается один из возможных вариантов решения проблемы выбора экспертов - применение метода ранжирования. Показано, что для выбора экспертов из широкого круга специалистов, необходимо заранее определить перечень параметров, по которым будет осуществляться отбор экспертов, определить количественную шкалу для измерения каждого параметра и предложить каждому из специалистов, включенных в состав группы для проведения педагогической экспертизы, оценить соответствие каждого из включенных в группу специалистов по предложенной шкале. Показано, что в качестве экспертов необходимо привлекать девять специалистов, набравших наибольший ранг.

Предлагаемый авторами подход выбора экспертов из широкого круга специалистов опробован при проведении научных исследований в Воронежском педагогическом университете. Показаны достоинства и недостатки предложенного метода ранжирования, определены условия его применимости при проведении педагогических экспертиз в области непрерывного технологического образования.

Ключевые слова: педагогическая экспертиза; непрерывное технологическое образование; эксперт; степень компетенции; ранжирование.

В настоящее время в педагогических исследованиях широко применяются разнообразные методы проведения научных экспертиз[1,2,3]. Это связано с государственной политикой, направленной на вовлечение экспертов и представителей общественности в систему принятия решений. Новым направлением, которое только начинает формироваться, является практика общественной экспертизы и общественной доработки законов, где одним из самых широко обсуждаемых является закон "Об образовании РФ", а также Единый государственный экзамен.

Особенно актуальными вопросы содержания экспертной деятельности, организация экспертизы, степень ее гуманитарности и открытости стали в период реализации Приоритетного национального проекта "Образование", так как впервые на российском уровне была поставлена задача экспертизы конкурсных документов общеобразовательных учреждений, внедряющих инновационные образовательные программы, в том числе в области непрерывного технологического образования.

В процессе проведения указанной работы были выявлены некоторые аспекты проведения процедуры экспертной оценки, не имеющие достаточного глубокой теоретической проработки, но существенно влияющие на ее результаты. В частности, одной из наиболее важных проблем на сегодняшний день остается задача выбора экспертов из широкого круга специалистов в определенной области и формирование из них экспертных групп. Массовое привлечение к проведению экспертиз в области непрерывного технологического образования работодателей, родителей, учащихся считающих себя экспертами, но не являющихся таковыми, приводит к неверному оцениванию содержания технологического образования, оценки его текущего состояния и эффективности, направлению дальнейшего совершенствования и развития, а также большому влиянию на результат экспертизы субъективных факторов. Такие результаты приводят к отрицательным последствиям, как для педагогической науки, так и для специалистов-практиков, ориентирующихся в своей деятельности на полученный результат.

Общие вопросы организации и проведении экспертиз в педагогической деятельности исследуются в целом ряде научных работ, среди которых особый интерес представляют работы В.С. Черепанова [4,5,6,7,8,9]. Однако в полном объеме задача выбора экспертов из широкого круга специалистов не нашла своего комплексного научного решения.

На наш взгляд, основным решением задачи выбора экспертов из широкого круга специалистов является применение метода ранжирования с учетом ряда особенностей проведения педагогических экспертиз.

Остановимся подробнее на некоторых определяющих моментах проведения педагогических экспертиз в области непрерывного технологического образования с точки зрения применимости метода ранжирования к привлекаемым для проведения экспертизы специалистам по заранее определенным параметрам.

В общем случае, ранжирование представляет собой процедуру упорядочения объектов, выполняемую лицом, принимающим решение (ЛПР). На основе знаний и опыта лицо, принимающее решение, располагает объекты в порядке предпочтения, руководствуясь одним или несколькими выбранными показателями сравнения. Ранг - степень отличия по какому-либо признаку, а ранжирование - процесс определения рангов, относительных количественных оценок степеней отличий по качественным признакам. При этом ранжирование объектов содержит лишь информацию о том, какой из них более предпочтителен, и не содержит информации о том, насколько или во сколько раз один объект предпочтительнее другого.

В силу особенностей проведения педагогических экспертиз, в них сильно затруднена, а зачастую просто невозможна, непосредственная оценка профессиональных качеств привлекаемых для экспертизы специалистов. Здесь целый ряд причин.

Во-первых, широкое распространение имеют чисто формальные подходы к выбору экспертов из широкого круга специалистов, когда лицо принимающее решение в первую очередь ориентируется на занимаемые специалистами должности, имеющиеся у них награды, ученые степени и звания.

Во-вторых, зачастую главную роль играет не квалификация специалиста, а просто его желание участвовать в проведении педагогической экспертизы, активность и настойчивость в достижении своей цели.

В-третьих, имеет место выбор экспертов из широкого круга специалистов по принципу близости (схожести) их взглядов на проблему и путях ее решения с ЛПР. Понятно, что всем приятно единение в коллективе, но при этом из экспертного сообщества удаляются специалисты, предлагающие альтернативные пути решения проблем, что приводит к однобокости полученных результатов.

В-четвертых, важную роль на этапе выбора экспертов играют личные отношения между ЛПР и кандидатами в эксперты, когда для работы в экспертных группах привлекаются специалисты не по своим профессиональным, а только личностным качествам.

Выбор экспертов из широкого круга специалистов методом ранжирования позволяет избежать субъективизма при формировании экспертных групп, отобрать для проведения экспертизы только высококвалифицированных специалистов из соответствующей области знаний, внести на рассмотрение весь спектр возможных решений по рассматриваемой педагогической проблеме.

Соответственно, для выбора экспертов из широкого круга специалистов, необходимо заранее определить:

• перечень параметров, по которым будет осуществляться отбор экспертов;

• определить количественную шкалу для измерения каждого параметра и предложить её каждому из специалистов, включенных в состав группы для проведения педагогической экспертизы;

• оценить соответствие каждого из включенных в группу специалистов по предложенной шкале.

В простейшем случае, количественная шкала определяется от 0 до n, где n может быть равно количеству специалистов, из которых производится выбор экспертов, либо некоторому фиксированному значению, например 5, 10, 100. Во втором случае нулевое значение может быть определено многократно, а значения, отличные от 0, могут быть определены только однократно. Например, при максимальном значении оценки такого параметра специалиста, как общий кругозор, в 10 баллов, ЛПР может оценить его как 1, 2, …, 10 только у одного из специалистов, а у всех остальных оценка параметра принимается за 0. Оценка должна производиться анонимно, путем заполнения таблиц, включающих в себя параметр, важный для отбора эксперта, и его шкалу. Затем полученные оценки для каждого специалиста суммируются, полученное значение определяется как его ранг. В работах Слепцовой М.В., показано, что оптимальное количество экспертов, привлекаемое к поведению экспертизы в области непрерывного технологического образования, составляет 9 человек [10]. Таким образом, девять специалистов, набравших наибольшее количество рангов, и должны привлекаться в качестве экспертов.

Обобщая сказанное, представим процесс ранжирования n количества кандидатов следующим образом:

1. Каждый j-й специалист выносит суждения о каждом из предложенных к рассмотрению параметров i-го специалиста, путем выставления оценок в баллах RjAi, где Ai - параметр, определяемый для i-го специалиста.

2. Для каждого i -го специалиста подсчитывается сумма оценок в баллах RjAi,, полученных от j-го специалиста а, т.е.

Sni = ? RjAi,

где RjAi - суждение j-то специалиста о степени компетенции (параметре A) у i-го специалиста;

Sji - результат i-го специалиста с точки зрения j-то специалиста.

3. Для каждого i-го специалиста подсчитывается общая сумма оценок в баллах RjAi,, полученных от всех экспертов, т.е. Si = ? Sni.

4. Проводится ранжирование специалистов (от 1 до n), от наименьшего до наибольшего результирующего ранга. Девять специалистов, получивших наибольший ранг, привлекаются для участия в проведении педагогической экспертизы в качестве экспертов.

Проверка теоретических положений была проведена нами на примере отбора экспертовспециалистов в области непрерывного технологического образования, для участия в работе по разработке ситуационной модели педагогического процесса преподавания учебного предмета "Технология" в общеобразовательной школе[11,12,13,14]. К работе нами были привлечены люди из разных групп населения: студенты, учителя, преподаватели, родители, друзья, знакомые, работодатели и т. д. (около 50 человек).

Методом "снежного кома" был создан общий список специалистов в области технологического образования, предпринимательской деятельности, инновационных технологий - кандидатов в эксперты, общей численностью 28 человек. Следует подчеркнуть, что численность группы должна быть достаточно представительной для того, чтобы на основе совокупной обработки их суждений можно было определить статистически устойчивую оценку[15]. В большинстве научных работ, посвященных теории экспертных систем, численность группы специалистов - кандидатов в эксперты, в 20 человек считается минимально допустимой.

Затем из них руководителем научной работы (ЛПР) были эмпирически выбраны 9 человек, которые составили первый список экспертов. Обозначим их как специалист №1 - специалист №9. В этот список вошли специалисты, которые гарантированно, с точки зрения ЛПР, должны были быть квалифицированы как эксперты.

Затем мы составили совокупность критериев (шкалу предпочтений), соответствующую тематике нашего исследования, по которой провели оценку. Подготовленные материалы были предложены специалистам, каждый из которых анонимно мог оценить степень компетенции остальных специалистов по заданным критериям. Для примера приведем итоговую таблицу, определенную специалистом №2, для специалиста №6.

Шкала предпочтений по степени важности компетенций эксперта

После обработки полученных оценок и проверки правильности полученного результата, нами сформирован второй список 9-ти экспертов в области непрерывного технологического образования.

Оба списка были показаны тем же людям, которые приняли участие в формировании исходного списка специалистов с просьбой оценить, какой из них более точно соответствует поставленной задаче - выбору экспертов в области непрерывного педагогического образования.

В результате можно сделать следующие выводы:

1. В первый и во второй списки экспертов в области непрерывного технологического образования входят 4 человека. Т.е. уровень совпадения мнений ЛПР и результата проведенного ранжирования составляет 44,4%.

2. Список №1 посчитали наиболее соответствующим поставленной задаче выбора экспертов в области непрерывного технологического образования 36% от всех людей, принявших участие в работе. Список экспертов, полученный в результате ранжирования, посчитали наиболее соответствующим поставленной задаче выбора экспертов в области непрерывного технологического образования 64% от всех людей, принявших участие в работе.

3. Достоинством метода ранжирования как метода субъективного измерения является простота осуществления процедур измерения, не требующая какого-либо сложного и трудоемкого обучения лиц, привлекаемых к работе.

4. Недостатком метода ранжирования является практическая невозможность упорядочения большого числа объектов. Опыт применения этого метода показывает, что при большем числе критериев оценки (15-20), специалисты затрудняются в построении ранжировки. Это объясняется тем, что в процессе ранжирования специалист должен установить взаимосвязь между всеми критериями, рассматривая их как единую совокупность. При увеличении числа критериев оценки количество связей между ними растет пропорционально квадрату их числа. Сохранение в памяти и анализ большей совокупности взаимосвязей между критериями ограничиваются психологическими возможностями человека. Поэтому при ранжировании по большому числу критериев возникают существенные ошибки, нивелирующие достоинства предложенного метода.

Литература

1. Бережнова Е.В. Основы учебно-исследовательской деятельности студентов: учебник для студ. сред. учеб. заведений / Е.В. Бережнова, В.В. Краевский. --М.: Издательский центр "Академия", 2007. - 128 с.

2. Мкртычан Г.А. Психолого-педагогическая экспертиза в образовании: теория и практика: дис. … доктора психологических наук. Нижний Новгород, 2002. 351 с.

3. Чуйко Л.В. Математические методы в педагогике как условие совершенствования качества образования: дис. … канд. пед. наук. Тирасполь, 2006. 182 с.

4. Черепанов В.С. Экспертные оценки в педагогических исследованиях: методика педагогической экспертизы. М.:Педагогика,1989.-152с.

5. Кирюшина О.Н. Повышение эффективности эмпирических методов в современном педагогическом исследовании: дис. … канд. пед. наук. Таганрог, 2004. 194 с.

6. Крулехт М.В. Экспертные оценки в образовании. М.: Издательский центр "Академия", 2002. - 112 с.

7. Ларичкина Н.В. Организационно-педагогические условия совершенствования внутренней экспертизы в общеобразовательном учреждении: дис. … канд. пед. наук. Иркутск, 2007. 243 с.

8. Новикова Т.Г. Типология экспертизы в образовании / Т.Г. Новикова // Муниципальное образование: инновации и эксперимент. Раздел "Теория и практика управления инновациями". - 2009. - № 5. - с. 37-42.

9. Орлов А.И. Экспертные оценки: учебное пособие. - М., 2002. -31с.

10. Слепцова М.В. Методические подходы к оптимизации про процесса изучения общетехнических и специальных дисциплин в педагогическом вузе: дис. … канд. пед. наук. Воронеж, 2002.167 с.

11. Слепцова М.В. Применение экспертных систем в процессе обучения учащихся учебному предмету "Технология" // "Вестник Орловского государственного университета, 2014. №2(37).-с.79-83.

12. Слепцова М.В. Ситуационная модель педагогического процесса // "Вестник Орловского государственного университета, 2014. №4(39).-с.149-153.

13. Слепцова М.В. Согласование экспертных мнений для математической модели учебного предмета "Технология" // "Научное мнение". 2014. №7.-с.320-326.

14. Слепцова М.В. Теоретические основы построения универсальной модели педагогического процесса // Интернет-журнал "Науковедение",2014. №6(25) [Электронный ресурс]-М.:Науковедение,2014. Режим доступа: http://naukovedenie.ru/sbornik6/24PVN614.pdf,свободный.- Загл. с экрана. Яз.рус.,англ.

15. Солнышков М.Е. Наукометрические характеристики современных научных исследований: дис. … канд. пед. наук. Ростов-на-Дону, 2006. 253 с.

References

1. Berezhnova E.V. fundamentals of teaching and research activities of students : textbook for students. environments. the textbook. institutions / E. V. Berezhnova, V. V. Kraevskij. --M. : Publishing center "Academy", 2007. - 128 s.

2. Mkrtychan G.A. Psychological and pedagogical expertise in education: theory and practice: dis. … d-ra psychological nauk. Nizhnij Novgorod, 2002. 351 s.

3. Chujko L.V Mathematical methods in pedagogy as a condition for improving the quality of education: dis. … kand. ped. nauk. Tiraspol', 2006. 182 s.

4. Cherepanov V.S. Expert evaluations of educational research: methodology of pedagogical expertise. M:Longman,1989.-152s.

5. Kirjushina O.N. Improving the efficiency of empirical methods in modern pedagogical research: dis. … kand. ped. nauk. Taganrog, 2004. 194 s.

6. Kruleht M.V. Expert evaluation in education.M.: Publishing center "Academy", 2002. - 112 s.

7. Larichkina N.V. Organizational-pedagogical conditions for improving internal expertise in educational institution: dis. … kand. ped. nauk. Irkutsk, 2007. 243 s.

8. Novikova T.G. Typology of expertise in education / T.G. Novikova // Municipal education: innovation and experiment. Section "Theory and practice of innovation management". - 2009. - № 5. - s. 37-42.

9. Orlov A. I. Expert assessment: tutorial. - M., 2002. -31s.

10. Slepcova M.V. Methodological approaches to optimization about learning technical and special disciplines in physics education: dis. … kand. ped. nauk. Voronezh, 2002.167 s.

11. Slepcova M.V. Application of expert systems in the process of student learning academic subject "Technology" // "Vestnik Orlovskogo gosudarstvennogo universiteta, 2014. №2(37).-s.79-83.

12. Slepcova M.V. Situational model of pedagogical process // "Vestnik Orlovskogo gosudarstvennogo universiteta, 2014. №4(39).-s.149-153.

13. Slepcova M.V. Validation of the expert opinions for the mathematical model of the subject "Technology" // "Nauchnoe mnenie". 2014. №7.-s.320-326.

14. Slepcova M.V. Theoretical foundations for the construction of a universal model of pedagogical process // Internet-zhurnal "Naukovedenie",2014. №6(25) [Jelektronnyj resurs]-M.:Naukovedenie,2014. Rezhim dostupa: http://naukovedenie.ru/sbornik6/24PVN614.pdf,svobodnyj.- Zagl. s jekrana.- Jaz.rus.,angl.

15. Solnyshkov M.E. Scientometric characteristics of modern scientific research: dis. … kand. ped. nauk. Rostov-na-Donu, 2006. 253 s.

Размещено на Allbest.ru