Развитие систем оценки качества подготовки специалистов

На правах рукописи

Автореферат диссертации на соискание учёной степени

доктора педагогических наук

Развитие систем оценки качества подготовки специалистов

Пермяков Олег Евгеньевич

Санкт-Петербург - 2009

Общая характеристика исследования

Актуальность исследования

Мировые тенденции развития общества порождают новые требования к качеству профессионального образования, к личностным и профессиональным качествам специалиста. Происходящие в нашей стране политические, экономические и социальные изменения закономерно приводят к модернизации отечественной системы образования.

Вследствие этих изменений в Концепции модернизации российского образования сформулирована основная цель профессионального образования - подготовка квалифицированного работника соответствующего уровня и профиля, конкурентоспособного на рынке труда, компетентного, ответственного, свободно владеющего профессией и ориентированного в смежных областях деятельности, способного к эффективной работе на уровне мировых стандартов, готового к постоянному профессиональному росту, социальной и профессиональной мобильности; удовлетворение потребностей личности в получении соответствующего образования. Таким образом обозначается переориентация на личность обучающегося, на воспитание в нем качеств, которые позволяют не только овладеть новыми профессиональными знаниями, но и свободно адаптироваться в современных социально-экономических условиях. В настоящее время от системы профессионального образования ожидается подготовка таких специалистов, которые могут не только выполнять свои профессиональные обязанности, но и успешно выступать в роли предпринимателя и создателя новых рабочих мест.

Существенным шагом на пути модернизации отечественной системы образования стало принятие в декабре 2007 года поправок в федеральный закон «Об образовании», где зафиксированы новые государственные требования к структуре федеральных государственных образовательных стандартов (ФГОС), определяющие основу объективной оценки уровня образования и квалификации выпускников независимо от форм получения образования. Системообразующей целью современного профессионального образования становится высокое качество профессиональной подготовки специалиста. При этом подразумевается, что результатом подготовки является системный комплекс сформированных у него общих и профессиональных компетенций, характеризующихся широтой междисциплинарных системно-интегративных знаний и умений, обеспечивающих успешность деятельности.

Частные проблемы контроля и отдельные аспекты оценки качества подготовки обучающихся решались на разных этапах перманентного развития системы профессионального образования (В.И. Байденко, В.П. Беспалько, В.И. Васильев, И.Г. Галямина, В.А. Кальней, В.В. Красильников, М.А. Минин, В.Ю. Переверзев, С.И. Плаксий, Н.А. Селезнева, А.И. Субетто, Т.Н. Тягунова, Н.П. Чурляева и др.). В рамках педагогических технологий вопросам контроля и оценки качества обучения уделяли внимание В.П. Беспалько, В.В. Гузеев, М.В. Кларина, П.Ф. Кубрушко, Г.К. Селевко, М.А. Чошанова, В.В. Юдин и др. В работах зарубежных исследователей М. Ант, И. Баллантайн, Л. Страдвик, Х.-Г. Хофман освещались отдельные вопросы оценки качества сформированности ключевых компетенций.

В ситуации новых требований к результатам подготовки специалистов в системе профессионального образования на первый план выходят проблемы:

определения единых подходов к формулированию диагностичных и понятных для обучающихся, работодателей, образовательных учреждений и органов управления образованием требований к результатам подготовки в силу недостаточной разработанности их научного обоснования;

неготовности образовательных учреждений и государственных аттестационных комиссий (ГАК) оценивать компетенции обучающихся и выпускников учреждений профессионального образования, поскольку существующее методическое обеспечение контроля обученности и оценки уровня подготовки не предназначено для оценки компетенций;

разработки нового методического обеспечения оценки компетенций, которую невозможно решить без соответствующего теоретического обоснования, объясняющего природу и закономерности формирования компетенций;

изменения методологии оценки качества подготовки, влекущая за собой соответствующие изменения контрольно-оценочной деятельности в содержательном, процессном и организационном планах, порождает проблему реорганизации структур и модернизации технологий, а в целом - развития систем оценки качества подготовки специалистов.

Решение проблемы развития систем оценки качества подготовки специалистов детерминировано научным обоснованием теоретических основ формирования и оценки компетенций, и разработанностью технологических основ развития систем оценки качества подготовки специалистов, что позволяет отнести ее к разряду научных, имеющих важное социально-культурное и народно-хозяйственное значение.

Актуальность решения обозначенной проблемы обусловила выбор темы исследования: «Развитие систем оценки качества подготовки специалистов».

Объект исследования - оценка качества подготовки специалистов в контексте компетентностной парадигмы.

Предмет исследования - развитие систем оценки качества подготовки специалистов.

Целью исследования является разработка и обоснование Концепции развития систем оценки качества подготовки специалистов, которая рассматривается как научная система принципов, целей, задач, методов и моделей развития контрольно-оценочной деятельности в системе профессионального образования, обеспечивающая получение актуальной достоверной информации об индивидуальных образовательных достижениях, необходимой обучающимся и специалистам образовательных учреждений, организаций - работодателей, органов управления образованием для анализа и принятия решений.

Гипотеза исследования

Использование актуальной и достоверной информации об индивидуальных образовательных достижениях в целях управления и обеспечения качества подготовки специалистов приведет к повышению качества профессионального образования, если будет применен комплекс концептуальных положений, определяющих развитие систем оценки качества подготовки специалистов, включающий:

1) принципы, тенденции и механизм развития систем оценки качества подготовки специалистов, разработанные с учетом изменений требований к результатам подготовки, возможностей современных педагогических и информационных технологий и потребностей обучающихся;

2) теоретические основы формирования и оценки компетенций, выступающие в роли системообразующих компонентов - конфигураторов систем оценки качества подготовки специалистов, разработанные с учетом интеграции требований личности, производства, государства и общества к качеству подготовки в системе профессионального образования, продуктивного отечественного и международного опыта;

3) технологические основы развития систем оценки качества подготовки специалистов, содержащие необходимые технологические решения и ограничения контрольно-оценочной деятельности, без которых невозможно получение достоверной информации об индивидуальных образовательных достижениях.

Задачи исследования

1. Проанализировать проблемы оценки качества подготовки специалистов.

2. Определить принципы, тенденции и механизм развития систем оценки качества подготовки специалистов.

3. Определить теоретические основы формирования и оценки компетенций, в т.ч.:

- системные свойства и закономерности формирования компетенций;

- механизм формирования требований к результатам освоения профессиональных образовательных программ;

- механизм интегральной оценки качества подготовки выпускников учреждений профессионального образования;

- аналитический аппарат оценки компетенций.

4. Разработать технологические основы развития систем оценки качества подготовки специалистов в системе профессионального образования, в т.ч.:

- разработать инвариантную модель технологии комплексной оценки индивидуальных образовательных достижений и апробировать инновационные технологические решения контроля и оценки качества подготовки обучающихся;

- определить базовые принципы и требования к организационно-технологическому обеспечению контрольно-оценочной деятельности;

- разработать и апробировать организационно-методический аппарат исследований социально-педагогических отношений субъектов контрольно-оценочной деятельности в условиях ее развития;

- разработать и апробировать модель блочно-модульной системы профессиональной подготовки тестологов - специалистов в области педагогических измерений, являющихся авангардом кадрового обеспечения развития систем оценки качества подготовки специалистов.

Методы исследования:

1) системно-терминологический анализ основных понятий дидактики и квалиметрии профессионального образования;

2) системный анализ:

- развития систем оценки качества подготовки специалистов;

- свойств и закономерностей формирования компетенций;

- оценки индивидуальных образовательных достижений;

3) теоретико-множественный анализ и моделирование таких объектов исследования как требования к результатам освоения профессиональных образовательных программ и качеству подготовки, оценка индивидуальных образовательных достижений, проведенные с позиций работодателей, государства, образовательных учреждений и обучающихся;

4) психолого-педагогический анализ:

- подходов к разработке моделей компетентности обучающихся и выпускников учреждений профессионального образования;

- методов контроля и оценивания результатов подготовки обучающихся;

5) функциональное моделирование процессов комплексной оценки индивидуальных образовательных достижений;

6) математические методы нечисловой статистики, экспертной оценки, обработки экспертной информации, теории поддержки и принятия решений, примененные при определении аналитического аппарата оценки компетенций;

7) социологические методы исследования социально-педагогических отношений субъектов контрольно-оценочной деятельности;

8) тестирование студентов и абитуриентов.

Теоретической базой исследования являются:

- философские, социологические, педагогические, психологические идеи о роли образования в контексте концепций развития, социализации и обучения личности (Б.Г. Ананьев, А.Г. Асмолов, Б.М. Бим-Бад, Л.С. Выготский, П.Я. Гальперин, В.Н. Мясищев, А.В. Петровский, С.Л. Рубинштейн, Н.Ф. Талызина, В.Д. Шадриков и др.);

- теоретические основы квалитологии и общей квалиметрии (Г.Г. Азгальдов, В.В. Крохин, Э.П. Райхман, А.Г. Сергеев, А.И. Субетто и др.);

- теоретические положения о качестве образования (В.И. Байденко, В.И. Васильев, И.Г. Галямина, А.Т. Глазунов, В.А. Кальней, В.В. Красильников, С.И. Плаксий, М.М. Поташник, Н.М. Розенберг, Н.А. Селезнева, А.И. Субетто, Т.Н. Тягунова, М.Б. Челышкова, И.Ф. Шишкин, С.Е. Шишов и др.);

- концептуально-методологические основы формирования образовательных стандартов (В.И. Байденко, В.И. Блинов, В.С. Леднев, А.Н. Лейбович, Н.И. Максимов, Н.Д. Никандров, Л Г. Семушина и др.);

- идеи о профессиональной деятельности, компетентности, профессиональной и социальной ответственности работников, положения компетентностного подхода в образовании (Т.Л. Александрова, В.И. Байденко, С. Берган, В.И. Блинов, Ж. Делор, Г.Е. Зборовский, И.А. Зимняя, В.М. Зуев, Ф.С. Исмагилова, М.С. Каган, Е.В. Караваева, В.В. Краевский, В.С. Леднев, А.К. Маркова, Н.Д. Никандров, А.М. Новиков, Г.К. Селевко, Р. Уайт, Д. Хаймс, Н. Хомский, З. Хутмахер, А.В. Хуторской, Ю.Г. Татур, В.Д. Шадриков, и др.);

- теоретические и эмпирические исследования закономерностей обучения, итеративного научения и формирования навыков (Р. Аткинсон, Б. В. Бодэ, Р. Буш, Л. Брайен, В.Ф. Венда, Р. Вудвортс, Н.К.Гладышева А.Б. Коган, А.М. Новиков, Д.А. Новиков, С. Стивенс, К. Спенс, С. Стенберг, Г. . Шибанов, О.Ф. Шленский и др.);

- положения системного подхода как совокупности методов исследования и проектирования сложных систем (Л. Берталанфи, Б.Ф. Ломов, А.М. Малышенко, Н.Н. Моисеев, Ф.И. Перегудов, И. Пригожин, Ф.П. Тарасенко и др.), в т.ч. применительно к исследованию педагогических явлений и систем (В.П. Беспалько, А.Т. Глазунов, В.С. Ильин, Н.В. Кузьмина, А.М. Новиков, А.И. Субетто, Г.П. Щедровицкий, Э.Г. Юдин и др.);

- методология экспертного оценивания, положения теории нечисловой статистики и многокритериальных методов поддержки принятия решений (Р. Акофф, П. Горский, О.И. Ларичев, Б.Г. Литвак, Р. Льюис, Дж. Фон Нейман, А.И. Орлов, Э. Парето, В.В. Подиновский, Т. Саати и др.)

- тестирование и педагогические измерения (D.S. Adkins, J. Algina, R.A. Berk, A. Birnbaum, R.C. Cox, L. Cracker, R. Ebel, J. Keeves, F. Lord, R. Glaser, N. Gronlund, B. Orth, G. Rasch, В.С. Аванесов, А. Анастази, В.И. Васильев, К. Ингекамп, Е.Ю. Карданова, Ю.М. Нейман, А.Н. Майоров, М.А. Минин, Е.А. Михайлычев, В.Ю. Переверзев, А.О. Татур, В.А. Хлебников, М.Б. Челышкова и др.);

- методология функционального моделирования [158];

- концептуальные положения оценки качества образования (П.Ф. Анисимов, В.П. Беспалько, В.И. Блинов, В.А. Болотов, Н.Ф. Ефремова, Т.А. Ильина, Н.В. Кузьмина, А.Н. Лейбович, С.В. Менькова, К.Г. Митрофанов, В.М. Монахов, А.М. Новиков, Д.А. Новиков, Н.Ю. Посталюк, А.И. Субетто, В.Е. Сосонко, Н.Ф. Талызина, А.О. Татур и др.).

Опытно-экспериментальная база исследования:

- ФГУ «Федеральный институт развития образования» и 17 федеральных и региональных учреждений НПО и СПО Татарстана, Владимирской, Волгоградской, Вологодской, Новосибирской, Ивановской, Кемеровской, Московской и Ростовской областей - в части разработки проектов ФГОС НПО и СПО укрупненной группы специальностей (профессий) «Химическая и биотехнологии»;

- ФГУ «Федеральный институт развития образования» и 12 субъектов Российской Федерации: Калужская, Московская, Новгородская, Псковская, Самарская, Томская и Челябинская области, Красноярский край, г. Москва, Ханты-мансийский автономный округ - Югра, Республики Саха (Якутия) и Чувашия - в реализации проектов по формированию региональных и общероссийской системы оценки качества образования в 2006 - 2008 гг.;

- ГОУ ВПО «Томский политехнический университет» (кафедра педагогических измерений Института инженерной педагогики, 8 факультетов, 3 института и Центр обеспечения качества образования) - эксперимент по независимой оценке качества подготовки студентов и эксперимент по профессиональной подготовке тестологов - специалистов в области педагогических измерений;

- вузы, ссузы и общеобразовательные школы Российской Федерации, проводившие эксперимент по введению единого государственного экзамена (ЕГЭ) с 2002 по 2007 гг., Некоммерческое партнерство по оценке качества образования в Томской области «Центр оценки качества образования» - эксперимент по отработке инновационных технологических решений оценки индивидуальных образовательных достижений и исследования социально-педагогических отношений в сфере образования, проводимые в рамках эксперимента по введению ЕГЭ.

Основные этапы исследования

Исследование выполнялось в течение восьми лет с параллельным изучением проблемных вопросов:

На первом этапе (2000 - 2004 гг.), решались следующие задачи:

- анализ передового отечественного и зарубежного в сфере оценки индивидуальных образовательных достижений;

- анализ проблем оценки качества подготовки обучающихся и выпускников образовательных учреждений;

- изучение философско-методологических, системных, педагогических и психологических аспектов оценки качества подготовки специалистов;

- проведение эмпирических исследований в режиме апробации инновационных технологических решений контроля и оценки качества подготовки обучающихся в рамках широкомасштабных экспериментов по независимой оценке качества подготовки студентов Томского политехнического университета и введения единого государственного экзамена в Российской Федерации;

- апробация модели блочно-модульной системы профессиональной подготовки тестологов - специалистов в области педагогических измерений (тестологов) в части решения задачи специализированной подготовки кадров в сфере контроля качества образования;

Второй этап исследования (2004 - 2006 гг.) включал:

- теоретическое обоснование концептуальной модели системы оценки качества подготовки специалистов;

- исследования системных свойств и закономерностей формирования компетенций обучающихся;

- моделирование требований к результатам освоения профессиональных образовательных программ с позиций работодателей, государства, образовательных учреждений и обучающихся;

- анализ используемых в педагогической практике методов контроля и оценивания индивидуальных образовательных достижений и систематизацию ошибок контрольно-оценочных процедур;

- анализ собственного педагогического опыта по профессиональной подготовке тестологов;

- анализ результатов эксперимента по введению ЕГЭ в Российской Федерации и в Томской области;

- анализ результатов эксперимента по независимой оценке качества подготовки студентов Томского политехнического университета;

Третий этап (2007-2008 гг.) включал:

- разработку аналитического аппарата оценки компетенций;

- разработку технологических основ развития систем оценки качества подготовки специалистов;

- апробация модели экспертизы требований к результатам освоения профессиональных образовательных программ при разработке комплексов профессиональных компетенций ФГОС СПО и НПО укрупненной группы специальностей (профессий) «Химическая и биотехнологии»;

- обоснование организационно-методического аппарата исследований социально-педагогических отношений субъектов контрольно-оценочной деятельности;

- обобщение и оформление результатов работы.

Научная новизна

На основе системного подхода создана типология систем оценки качества подготовки специалистов, позволяющая определять исходное и целевое состояния их развития.

Определены основополагающие принципы, тенденции и механизм развития систем оценки качества подготовки специалистов, как новое применение положений педагогики, системного анализа, теории организации и социологии.

Разработана иерархическая классификационная модель социально-профессиональной компетентности обучающегося, представляющая собой иерархическую систему, состоящую из компетенций, определяющих успешность профессиональной и социальной деятельности, которые включают элементы (способности, знания, умения и навыки), обладающие валентностью - свойством интегрироваться в комбинациях, определенных характером деятельности.

На основе моделей итеративного научения разработан и обоснован механизм системогенеза компетенций. Настоящий механизм расширяет систему научных знаний о многоуровневой структуре и процессе гетерохронного формирования компетенций в соответствии с логистической закономерностью интеграции элементов на основе присущей им валентности.

Предложен механизм интегральной оценки качества подготовки выпускников учреждений профессионального образования, основанный на синтезе моделей оценки индивидуальных образовательных достижений как результатов освоения учебных модулей, защиты выпускной квалификационной работы и неформального обучения, являющийся системообразующим элементом технологии комплексной оценки индивидуальных образовательных достижений.

Предложен аналитический аппарат оценки компетенций как комплекс релевантных критериев, универсальной шкалы и алгоритмов оценки индивидуальных образовательных достижений, и приведения оценок - объектов числовой и нечисловой природы к их качественным аналогам с последующим их обобщением в рамках допустимых преобразований с учетом меры их неупорядоченности на основе применения стандартизированных контрольно-измерительных материалов и модели рейтинговой системы оценки компетенций обучающихся.

Представлена инвариантная модель технологии комплексной оценки индивидуальных образовательных достижений как система теоретических положений, описывающих упорядоченную совокупность приёмов и способов организации сложных технологических процессов: определения требований к результатам подготовки; планирования мероприятий контрольно-оценочной деятельности; подготовки организационно-технологического обеспечения; разработки и стандартизации контрольно-измерительных материалов; организации и проведения контролирующих мероприятий; обработки результатов контроля; оценки индивидуальных образовательных достижений, реализуемых в целях определения качества подготовки специалистов.

Разработано устройство для контроля и самоконтроля знаний обучающихся (патент на изобретение № 2260853 от 20 сентября 2005 г. в соавторстве).

Теоретическая значимость результатов исследований.

Уточнен и дополнен понятийный аппарат теории и методики профессионального образования (механизм развития систем оценки качества подготовки специалистов, валентность индивидуальных образовательных достижений, системогенез компетенций, технология комплексной оценки индивидуальных образовательных достижений и др.). Разработанные принципы, тенденции и механизм развития систем оценки качества подготовки специалистов в сочетании с их типологией являются инструментарием стратегического планирования развития контрольно-оценочной деятельности в содержательном, процессном и организационном планах.

Разработанные теоретические основы формирования и оценки компетенций, обеспечивают возможность для теоретических и эмпирических исследований и широкомасштабной практики оценки качества подготовки в системе профессионального образования, в т.ч.:

механизм формирования требований к результатам освоения профессиональных образовательных программ является теоретическим базисом разработки иерархических комплексов дескрипторов компетенций и моделей оценки индивидуальных образовательных достижений;

механизм интегральной оценки качества подготовки выпускников учреждений профессионального образования позволяет определять структуру технологических операций контроля и оценки качества подготовки специалистов;

аналитический аппарат оценки компетенций позволяет разрабатывать методики обработки результатов контроля и оценивания индивидуальных образовательных достижений, адекватные целям профессионального образования.

Технологические основы развития систем оценки качества подготовки специалистов, включающие: инвариантную модель технологии комплексной оценки индивидуальных образовательных достижений; базовые принципы и требования к организационно-технологическому обеспечению контрольно-оценочной деятельности; модель мониторинга контрольно-оценочных процедур; организационно-методический аппарат исследований динамики социально-педагогических отношений субъектов контрольно-оценочной деятельности в контексте ее развития и модель блочно-модульной системы профессиональной подготовки тестологов, позволяют детализировать стратегии развития в контексте определенных принципов, тенденций и механизма.

Результаты исследований дополняют и расширяют существующие теоретические представления в области контроля и оценки качества подготовки в системе профессионального образования, создают теоретическую основу и открывают перспективы для дальнейшего исследования проблем оценки и обеспечения качества профессионального образования.

Материалы диссертационного исследования могут быть использованы при решении задач модернизации системы профессионального образования и формирования общероссийской системы оценки качества образования, в профессиональной подготовке тестологов, специалистов контрольно-надзорной деятельности в сфере образования, методистов и руководителей учреждений профессионального образования.

Практическая значимость

Реализация механизма формирования требований к результатам освоения профессиональных образовательных программ позволяет разрабатывать иерархические системы дескрипторов компетенций, способностей, знаний, умений и навыков.

Применение механизма интегральной оценки качества подготовки выпускников учреждений профессионального образования и аналитического аппарата оценки компетенций позволяет без проведения эмпирических исследований получать актуальную, сопоставимую информацию о качестве подготовки в рамках освоения учебных модулей и профессиональных образовательных программ.

Применение инвариантной модели технологии комплексной оценки индивидуальных образовательных достижений позволяет специалистам учреждений профессионального образования разрабатывать и внедрять новые или модернизировать существующие технологии оценки качества подготовки.

Применение организационно-методического аппарата исследований динамики социально-педагогических отношений субъектов контрольно-оценочной деятельности, позволяет определить успешность институциональных изменений, позитивные и негативные факторы реализации стратегии развития конкретных систем оценки качества подготовки специалистов.

Применение модели блочно-модульной системы профессиональной подготовки тестологов позволяет организовать профессиональную подготовку высококвалифицированных специалистов контрольно-оценочной деятельности.

Достоверность и обоснованность научных положений и выводов исследования обеспечены:

- использованием комплекса теоретических и эмпирических методов, адекватных проблеме исследования, его целям, задачам, гипотезе;

- непротиворечивостью логических рассуждений и обоснованностью выбранных взаимодополняющих теоретических положений с опорой на фундаментальные исследования в области системного анализа, педагогики, психологии, педагогических измерений, непараметрической статистики и квалиметрии, которые позволили разработать и обосновать теоретические основы формирования и оценки компетенций и технологические основы развития систем оценки качества подготовки специалистов;

- согласованностью его основных результатов с тенденциями формирования общероссийской системы оценки качества образования, модернизации отечественной системы профессионального образования, отраженными в Федеральной целевой программе развития образования;

- собственным многолетним опытом работы в государственных и общественных организациях системы образования;

- характером и результатами опытно-экспериментальной работы, широтой охвата и апробацией на федеральном и региональном уровнях. В целом в исследованиях приняли участие свыше 275000 человек.

Соответствие диссертации паспорту специальности

Диссертационная работа соответствует пунктам: 10 «Методология и методика профессионального образования»; 21 «Диагностика качества в профессиональном образовании»; 23 «Проектирование локальных систем профессионального образования», паспорта специальности 13.00.08 «Теория и методика профессионального образования».

Апробация основных положений и результатов работы

Материалы исследования обсуждались на: научно-методическом совете и методических семинарах Центра профессионального образования ФГУ ФИРО; научно-методическом совете, семинарах Центра обеспечения качества образования ГОУ ВПО Томской политехнический университет; заседаниях Государственной экзаменационной комиссии ЕГЭ и коллегиях Департамента общего образования Томской области.

Результаты исследования докладывались на симпозиумах, конференциях, совещаниях и семинарах:

- научно-практический семинар «Деятельность структур довузовского образования в период проведения эксперимента по введению единого государственного экзамена» в рамках VIII Всероссийской конференции «Довузовское образование: проблемы и перспективы развития», 5 - 8 октября 2003 г., г. Сочи;

- Х международной конференции «Современные технологии обучения» СТО - 2004 ЛЭТИ г. Санкт-Петербург;

- международный симпозиум «Формирование контингента инженерно-технического вуза: Мировой опыт и основные тенденции совершенствования», 15 - 18 декабря 2004 г., г Москва;

- межрегиональное совещание «Опыт построения региональных систем оценки качества образования. Модели развития региональных центров обработки информации в контексте формирования и функционирования общероссийской системы оценки качества образования», 15-18 февраля 2006 г., г. Новосибирск;

- VI Международная научно-практическая конференция «Менеджмент XXI века: управление образованием», 18 апреля 2006 г., г. Санкт-Петербург;

- III Международная конференция «Оценка качества образовательных достижений в системе общего образования», 26-28 сентября 2006 г., г. Москва;

- международная научно-методическая конференция «Современное образование: инновационный потенциал «умной экономики» России», 1-2 февраля 2007 г., г. Томск;

- IX Всероссийская научно-методическая конференции «Развитие тестовых технологий в России» 27-28 ноября 2007 г., г. Москва;

- V Международная конференция "Интеграция информационных систем в образовании", Псков 2008

- всероссийская конференция «Перспективы создания новой модели образования Российской Федерации (с учетом реализации приоритетного национального проекта «образование») 24-25 ноября 2008 года, г. Москва;

- и других.

Материалы исследований были положены в основу:

- курсов лекций, практических и лабораторных занятий по дисциплинам «Теоретические основы педагогических измерений», «Компьютерные технологии в тестировании» и «Организация педагогических измерений» профессиональной подготовки тестологов и повышения квалификации по направлению «Современные технологии педагогических измерений» на кафедре Педагогических измерений Института инженерной педагогики Томского политехнического университета;

- курсов повышения квалификации разработчиков федеральных государственных образовательных стандартов «Подготовка разработчиков образовательных стандартов» (12 - 16 мая 2008 года).

Результаты исследования отражены в опубликованных 8 монографиях, одной концепции, 21 учебном и учебно-методическом пособиях, 42 статьях и патенте на изобретение. Общее количество опубликованных работ по теме диссертации составляет 73 наименования объемом 188 п.л., личный вклад - 88 п.л.

Внедрение результатов осуществлено в период с 2002 по 2008 гг., что подтверждается актами внедрения (использования) результатов исследований.

1. Акт ФГУ ФИРО об использовании модели экспертизы требований к результатам освоения профессиональных образовательных программ для разработки комплексов профессиональных компетенций ФГОС СПО и НПО укрупненной группы специальностей (профессий) «Химическая и биотехнологии».

2. Акты ГОУ ВПО ТПУ:

- об использовании результатов анализа системных связей и закономерностей оптимизации и развития системы качества образовательного учреждения высшего профессионального образования в соответствии со стандартами ENQA и ISO 9001-2000 и 9004, позволивших разработать рекомендации по корректировке документов систем качества учреждений высшего профессионального образования и доработать типовую модель системы управления качеством образования для вузов и ссузов;

- о внедрении в систему образования ТПУ моделей организационного, технологического, информационного и методического обеспечения организации и управления системой контроля качества образования;

- о внедрении в систему образования ТПУ педагогической системы подготовки кадров для обеспечения контроля качества образования (профессиональная подготовка тестологов).

3. Акты Рособрнадзора о внедрении в систему образования Российской Федерации моделей:

- нормативного обеспечения ЕГЭ в субъекте Российской Федерации;

- проектирования, анализа и оптимизации управления организационно-технологическим обеспечением ЕГЭ в субъекте Российской Федерации;

- ресурсного обеспечения организации ЕГЭ в субъекте Российской Федерации;

- педагогической системы подготовки кадров для обеспечения контроля качества образования.

4. Акты Департамента общего образования Администрации Томской области о внедрении в систему общего образования Томской области:

- информационной модели системы оценки качества образования;

- нормативной модели региональной системы оценки качества образования;

- организационно-технологической модели ресурсного обеспечения системы оценки качества образования.

5. Акт ГОУ ВПО МИЭМ о внедрении в единую систему приема и зачисления в образовательные учреждения высшего профессионального образования Российской Федерации моделей нормативного, методического и организационного обеспечения единой системы приема и зачисления в государственные вузы РФ.

Результаты исследования использовались при выполнении проектов:

1) Федеральной целевой программы развития образования на 2006-2010 годы, задача II «Развитие системы обеспечения качества образования»:

1.1) мероприятие 12 «Создание общероссийской системы оценки качества образования»:

- разработка типовых моделей организации и проведения оценки индивидуальных достижений обучающихся для системы общего и профессионального образования (2006 г.);

- создание и апробация организационных систем оценки качества общего и профессионального образования на региональном уровне (2007 г.);

- формирование основных подсистем общероссийской системы оценки качества образования (2008 г.);

«Совершенствование государственной системы оценки деятельности образовательных учреждений (организаций)» - разработка методического обеспечения системы оценки практических навыков выпускников, завершивших обучение по программам начального и среднего профессионального образования (2008 г.);

2) Исследование методов диагностики компетенций при оценке качества профессионального образования, мероприятия 3. «Проведение прикладных научных исследований в области образования, молодежной и социальной политики в области образования», раздел 3.1. подраздел 3.1.1. Научно-методическое обеспечение совершенствования структуры и содержания профессионального образования Программы «Развитие научного потенциала высшей школы (2006-2008 годы)» (2008 г.).

Личный вклад автора

Автором самостоятельно проведена работа по:

организации и апробации инновационных технологических решений по контролю и оценки индивидуальных образовательных достижений в общероссийском и региональном масштабе, в т.ч. в контексте формирования региональных и общероссийской систем оценки качества образования;

получению научных результатов, изложенных в диссертации, монографиях, патенте на изобретение, статьях, учебно-методических пособиях;

реализации концептуальных подходов при разработке ФГОС НПО и СПО, в программах профессиональной подготовки.

Диссертационное исследование выполнено самостоятельно.

Основные положения, выносимые на защиту:

Экстенсивное или интенсивное развитие систем оценки качества подготовки специалистов происходит от исходного состояния к планируемому, в зависимости от норм и правил, определенных группой ведущих субъектов контрольно-оценочной деятельности - агентов институциональных изменений, в форме стратегии, соответствующей основополагающим принципам и тенденциям развития в содержательном, процессном и организационном планах в целях удовлетворения потребностей личности, государства и общества в актуальной, достоверной информации о качестве подготовки.

Системогенез компетенций характеризуется количественными изменениями - накоплением знаний и формированием умений, навыков и способностей с последующей их интеграцией (на основе присущей им валентности в соответствии с логистической закономерностью), обозначающей переход в новое качественное состояние - формирование компетенции как системы при минимальной ее энтропии - мере неупорядоченности взаимодействия ее элементов.

Формирование требований к результатам освоения профессиональных образовательных программ в виде иерархического комплекса дескрипторов компетенций должно осуществляться на основе иерархической классификационной модели социально-профессиональной компетентности обучающегося по инвариантному алгоритму с учетом требований к качеству подготовки со стороны работодателей, государства, образовательных учреждений и обучающихся, семантико-синтаксических приемов их формулирования, системных свойств и закономерностей формирования компетенций;

Интегральная оценка качества подготовки выпускников учреждений профессионального образования должна осуществляться с использованием аналитического аппарата оценки компетенций на основе учета индивидуальных образовательных достижений, полученных в рамках освоения профессиональных образовательных программ, результатов защиты выпускной квалификационной работы и неформального обучения.

Валидность аналитического аппарата оценки компетенций обеспечивается релевантностью применения входящих в него:

- комплексного алгоритма оценки результатов освоения профессиональных образовательных программ, сочетающего алгоритмы оценки результатов освоения учебных модулей, неформального обучения, защиты выпускной квалификационной работы;

- критерия сформированности способностей или компетенций;

- универсальной шкалы оценки индивидуальных образовательных достижений;

- модели рейтинговой системы оценки компетенций обучающихся.

Достоверность оценки качества подготовки специалистов обеспечивается соблюдением технологии комплексной оценки индивидуальных образовательных достижений, базовых принципов и требований к организационно-технологическому обеспечению контрольно-оценочной деятельности, в т.ч. посредством применения тестологами аналитического аппарата оценки компетенций и использования результатов мониторинга контрольно-оценочных процедур.

Развитие систем оценки качества подготовки специалистов осуществляется путем реорганизации учреждений профессионального образования и технологической модернизации контрольно-оценочной деятельности в соответствии с определенными принципами и механизмом развития в части:

- изменений требований к результатам освоения профессиональных образовательных программ;

- модернизации технологии разработки и стандартизации контрольно-измерительных материалов;

- совершенствования контрольно-оценочных процедур на основе результатов исследований социально-педагогических отношений субъектов контрольно-оценочной деятельности в контексте развития;

- профессиональной подготовки и привлечения тестологов - специалистов в области педагогических измерений для решения задач развития.

Структура и объем диссертации

Диссертация объемом 327 листов состоит из введения, трех глав, заключения, списка литературы, включающего 224 наименования на русском и иностранном языках, содержит 30 таблиц, 25 рисунков и 99 формул. В работе имеются приложения, содержащие 12 актов внедрения результатов диссертационного исследования.

Основное содержание работы

Во введении обосновывается актуальность выбранной темы, сформулированы цель, объект, предмет, гипотеза и задачи исследования, раскрыты его научная новизна, теоретическая и практическая значимость, приведены сведения об апробации и внедрении результатов исследования, изложены основные положения, выносимые на защиту.

В первой главе «Исследование проблем оценки качества подготовки специалистов» отмечено, что семантической анализ понятия «качество» позволил определить его как совокупность характеристик объекта, относящуюся к его способности удовлетворять установленные или предполагаемые потребности. Следовательно, под "качеством образования" в обобщенном смысле понимается совокупность свойств образования как объекта или продукта, удовлетворяющих определенным потребностям тех субъектов деятельности, которые имеют отношение к образованию. Рассмотрение их взаимодействий с позиций институционального подхода позволило определить систему образования как триаду взаимодействующих представителей укрупненных социальных групп субъектов деятельности «заказчиков, провайдеров и потребителей» - агентов институциональных изменений, находящихся между собой в рамках устойчивых формальных и неформальных социальных отношений, определяющих правила, рамки и структуру деятельности.

Не зависимо от смысловой нагрузки термина «образование», качество образования определяется удовлетворенностью представителей различных социальных групп: обучающихся и членов их семей, государства, работодателей и образовательных учреждений, выступающих в роли заказчиков, провайдеров или потребителей. При этом с позиций рационалистического подхода «образование» может пониматься ими как результат, процесс или образовательная система.

Посредством синтеза дефиниций «качество» и «образование», проведенного путем экстраполяции категориального аппарата в области качества высшего образования, разработанного специалистами Исследовательского центра проблем качества профессионального образования, определяется понятие "качество образования", рассматриваемое с позиций личностно-центрического и системно-центрического подходов в двух проявлениях как качество:

подготовки специалиста - сбалансированное соответствие его индивидуальных образовательных достижений многообразным целям и требованиям личности, работодателей, государства и образовательных учреждений;

институционального образования - сбалансированное соответствие образования (как результата, как процесса и как системы) многообразным целям и требованиям государства, работодателей, образовательных учреждений и личности.

Качество подготовки специалиста является целеобразующим элементом системы образования. Обеспечение качества образования тесным образом связано с созданием механизмов объективной оценки качества образования на всех уровнях и ступенях образования.

Терминологический анализ понятия «оценка» показывает значительный смысловой разброс в определениях, относящихся к оценке как к результату и как к процессу, обобщение которых приводит к выводу: оценка производится путем сравнения характеристик оцениваемых образовательных объектов - условий, результатов или процессов с принятыми критериями, образцами или нормами.

Синтез дефиниций «оценка» и «качество образования» позволил определить, что оценка качества образования - определение соответствия характеристик (свойств) образования требованиям субъектов образовательной деятельности: обучающихся и членов их семей, представителей образовательных учреждений, государства и работодателей, выраженное в форме суждения.

Обоснование формулировки «оценка качества образования» сделано с позиций системного анализа посредством исследования концептуальной модели системы оценки качества подготовки специалистов (А) которая представляется взаимодействующими субъектами контрольно-оценочной деятельности (Sb) в логике множества субъект-объектных отношений (R_a), представленных в виде правил деятельности, направленной на достижение цели - получение информации о качестве подготовки, в виде многокомпонентного кортежа:

,

где - множество отношений между критериями и показателями качества подготовки, и соответствующих им индикаторам - индивидуальным образовательным достижениям (D), а также используемых для оценочной деятельности средств (T).

Субъекты контрольно-оценочной деятельности выполняют сравнение (оценочные действия) свойств оцениваемых объектов с критериями (C) и показателями (I) их качества, при этом отношения между ними могут быть заданы отображениями и множества индикаторов на множество критериев и показателей качества подготовки, по сути представляющие собой бинарное отношение в числовом или семантическом выражении, являющееся критерием оценки качества подготовки как меры соответствия индикаторов критериям и показателям качества подготовки.

Настоящее формализованное описание концептуальной модели системы оценки качества подготовки специалистов позволяет определить предметную сферу и проблематику оценивания.

В дискурсе оценки качества подготовки специалистов обозначается комплексная проблема обеспечения достоверности оценки в организационно-технологическом и экспертно-аналитическом аспектах, когда:

- определяются требования к результатам подготовки;

- проводятся контролирующие мероприятия;

- обрабатываются зафиксированные ответы аттестуемых;

- агрегируются результаты оценивания (оценки) отдельных количественных и качественных параметров индивидуальных образовательных достижений - объектов числовой и нечисловой природы.

На современном этапе развития психологии и педагогики оценить качество подготовки обучающихся и выпускников образовательных учреждений возможно по фиксированным проявлениям выполняемых ими предметных действий - индивидуальным образовательным достижениям, под которыми подразумеваются достижения образовательных целей, выраженных в виде требований к результатам подготовки в предметно-деятельностной форме. Существующая практика оценки качества подготовки обучающихся основана на экспертных оценках и на математических операциях агрегирования численных величин, характеризующих состояние уровня подготовки, что не отвечает компетентностной парадигме, реализованной во ФГОС профессионального образования. Несовершенство экспертного оценивания обусловлено субъективностью. Существует проблема погрешности педагогических измерений и определения интегральной оценки. В соответствии с положениями теории измерения определяется:

интегральная оценка качества подготовки будет достоверной, если ее истинность (или ложность) сохраняется при любых допустимых преобразованиях, входящих в нее объектов числовой и нечисловой природы;

чтобы обеспечить достоверность интегральной оценки качества подготовки, необходимо привести количественные индикаторы индивидуальных образовательных достижений к их качественным аналогам с последующим их обобщением в сочетании с другими качественными оценками.

Одной из основных проблем профессионального образования является формирование «диагностичных» целей и требований к результатам подготовки, которые постоянно изменяются в контексте перманентной модернизации системы профессионального образования, в т.ч. вызванной интеграцией отечественной экономики с зарубежными экономическими системами. Изменения образовательных целей и требований к качеству профессионального образования со стороны работодателей и государства порождает проблему отставания сложившейся отечественной массовой практики оценки качества подготовки от современных требований, решение которой означает ориентацию на международные требования к оценке и обеспечению качества образования. Причины отставания порождаются:

- неполнотой законодательной и нормативной базы, определяющей требования к качеству образования;

- отсутствием образовательных стандартов нового поколения и соответствующих им стандартизированных фондов оценочных средств и технологий оценки качества подготовки;

- несформированностью культуры оценки качества подготовки и публикации соответствующих результатов;

- несогласованностью требований к качеству подготовки выпускников учреждений профессионального образования со стороны работодателей и государства и др.

Формированию требований к качеству подготовки препятствуют:

- постоянное изменение и повышение требований к качеству подготовки специалистов со стороны работодателей вследствие динамично развивающейся отечественной экономики;

- инерционность отечественной системы образования;

- недостаточная разработанность теоретических основ формирования требований к результатам освоения образовательных программ;

- противоречивость в подходах к детализации требований к качеству подготовки со стороны представителей «рынка труда» и «рынка образования».

Эти причины приводят к тому, что при оценке качества образования возникает проблема, выражающаяся в невозможности получения согласованного мнения со стороны обучающихся и членов их семей, представителей образовательных учреждений, государства и работодателей, в т.ч. из-за использования ими различных подходов.

В силу сложившихся институциональных отношений в системе отечественного профессионального образования доминантными являются требования к качеству подготовки со стороны работодателей и государства, поэтому на первый план выходит проблема их несогласованности.

Анализ положений федеральных нормативных правовых актов в сфере трудового и образовательного законодательств показывает смысловые расхождения в понимании сущности требований к качеству подготовки со стороны государства и работодателей.

Проблема формирования «диагностичных» целей и требований к результатам подготовки, а в контексте ФГОС - к результатам освоения профессиональных образовательных программ, может быть решена при определении соответствующих концептуальных основ, что сделано во второй главе.

Изменение образовательных целей, как следствие введения в действие ФГОС профессионального образования, влечет изменение содержательной части как в обучении, так и проведении контрольно-оценочных процедур. Цели и содержание как сущностная часть системы оценки качества подготовки специалистов во многом определяют ее процессуальную часть. Как правило, изменения процессов влекут изменения в функционально-организационной структуре, поскольку добавление новых процессов требует введения новых функций и наоборот - добавление новых функций приводит к появлению новых процессов. Таким образом, процессуальная содержательная и организационная части систем оценки качества подготовки специалистов адекватно отражают друг друга.

Изменения требований к результатам подготовки, возможности современных педагогических и информационных технологий и необходимость обучающихся в самооценке (в т.ч. в удаленном режиме) определяют принципы развития систем оценки качества подготовки специалистов:

- научная обоснованность и междисциплинарность, реализуемые посредством использования новых достижений в педагогике, психологии и информационных технологиях;

- преемственность в теории и практике контрольно-оценочной деятельности, достигаемая за счет использования продуктивного опыта в контроле и оценке знаний, умений и навыков, организации и проведении контролирующих мероприятий, использовании информационных технологий для автоматизации процессов обработки информации и др.;

- субъектно-предметная ориентированность выражающаяся в получении достоверной мультиаспектной информации об индивидуальных образовательных достижениях, в т.ч. в контексте предметной деятельности, по которой можно сделать выводы как в количественном, так и в качественном выражении результатов подготовки как отдельного аттестуемого, так и их групп;