Развитие систем оценки качества подготовки специалистов

- преемственность в теории и практике контрольно-оценочной деятельности, достигаемая за счет использования продуктивного опыта в контроле и оценке знаний, умений и навыков, организации и проведении контролирующих мероприятий, использовании информационных технологий для автоматизации процессов обработки информации и др.;

- субъектно-предметная ориентированность выражающаяся в получении достоверной мультиаспектной информации об индивидуальных образовательных достижениях, в т.ч. в контексте предметной деятельности, по которой можно сделать выводы как в количественном, так и в качественном выражении результатов подготовки как отдельного аттестуемого, так и их групп;

- ориентированность на изменение информационных потребностей государства, общества и личности, выражающаяся в готовности системы в кратчайшие сроки удовлетворить возникающие потребности в информации о качестве подготовки специалистов;

- открытость и прозрачность контрольно-оценочной деятельности, необходимые для признания достоверности результатов оценки качества подготовки специалистов со стороны государства, общества и личности.

В этом дискурсе определяются основные тенденции развития систем оценки качества подготовки специалистов:

- реорганизация организационных структур учреждений профессионального образования с выделением (аутсорсинг) отдельных специализированных структурных элементов - «держателей» технологий, фондов оценочных средств, баз данных участников и результатов и аппаратно-программных средств автоматизации процессов контрольно-оценочной деятельности;

- модернизация технологий оценки качества подготовки на основе комплексного применения современных педагогических, информационных, полиграфических, организационно-распорядительных, транспортных и др. технологий.

Аутсорсинг предполагает делегирование функций по оценке качества подготовки или сертификации квалификаций специализированным отделам, организациям или экспертам, в т.ч. «внешним». Модернизация технологий контрольно-оценочной деятельности рассматривается в плане:

- бенчмаркинга - использование достижений науки, передового организационного, методического и технологического опыта оценки качества подготовки;

- стандартизации в части: регламентации процессов разработки и экспертизы качества КИМ; организации и проведения контролирующих мероприятий и процедур экспертно-аналитической деятельности; применения сертифицированных аппаратно-программных средств для автоматизации процессов; независимая аккредитация организаций, специализирующихся на сертификации квалификаций и/или оценки качества подготовки;

- внедрения систем менеджмента качества.

Сущность развития систем оценки качества подготовки специалистов заключается в определении целевого состояния, исходного состояния и пути движения от исходного к целевому состоянию, которые осуществляются исходя из целей контроля и оценивания, а также на основе типологии систем оценки качества подготовки специалистов. Предложенные в диссертации десять типологических оснований являются инструментом сравнительного анализа существенных признаков, связей, функций, отношений и уровней организации исходного и перспективного состояния систем оценки качества подготовки специалистов, необходимых для определения стратегии их развития. Причиной, побуждающей к развитию, является противоречие между потребностью обучающихся и членов их семей, преподавателей и администрации учреждений профессионального образования, представителей работодателей и государства в содержательно новой достоверной информации о результатах освоения учебных дисциплин и образовательных программ и невозможностью ее получить из-за применения методик и средств определения уровня подготовки обучающихся и выпускников, непредназначенных для оценки компетенций.

Поскольку системы оценки качества подготовки специалистов являются социальными, определяется механизм их развития - экстенсивное или интенсивное развитие систем оценки качества подготовки специалистов происходит от исходного состояния к планируемому, в зависимости от норм и правил, определенных группой ведущих субъектов контрольно-оценочной деятельности - агентов институциональных изменений, в форме стратегии, соответствующей основополагающим принципам и тенденциям развития в содержательном, процессном и организационном планах в целях удовлетворения потребностей личности, государства и общества в актуальной, достоверной информации о качестве подготовки

Сдерживающим фактором развития является недостаточность научного обоснования теоретических основ формирования и оценки компетенций и технологических основ развития систем оценки качества подготовки специалистов. С другой стороны, оценка качества подготовки должна быть достоверной, а это означает применение релевантных методик и средств контроля и оценивания, объединенных в надежную технологию комплексной оценки индивидуальных образовательных достижений, что раскрывается во второй и третьей главах.

Проведенный во второй главе «Теоретические основы формирования и оценки компетенций в системе профессионального образования» анализ психолого-педагогических исследований развития и социализации обучающихся позволил определить, что:

- развитие человека в контексте его целенаправленной деятельности определяется линейной триадой: целеформирование - самоопределение - самореализация, при этом самореализация, рассматриваемая как составляющая развития человека, представляет собой деятельность (процесс) по достижению им сформированных целей, характеризующуюся получением определенных результатов - индивидуальных достижений;

- при рассмотрении образования как совокупности процесса и результатов обучения и воспитания уточняется формулировка понятия индивидуальные образовательные достижения - результаты целенаправленной учебно-познавательной деятельности обучающегося, представляющие собой системную совокупность социально значимых сущностных свойств, качеств обучающегося, приобретаемых им в процессе обучения и воспитания;

- конкуренция и развитие производства приводят к постоянному обновлению технических и технологических ресурсов, вносят существенные изменения в позиции работодателей и стимулируют готовность ведущих российских инновационных учреждений профессионального образования работать на опережение с целью подготовки компетентных специалистов;

- основной целью профессионального образования является подготовка профессионально компетентных, конкурентоспособных и социально ответственных специалистов, способных к высококвалифицированному, творческому труду в сфере наукоемкого производства.

Анализ тенденций формирования требований к результатам подготовки на основании компетентностного подхода показал, что:

в отечественном педагогическом сообществе ведется активный поиск методологического обоснования формирования требований ФГОС к результатам освоения основных образовательных программ на основании компетентностного подхода;

под компетентностью понимается интегрированная характеристика качеств личности как результат подготовки выпускника учреждения профессионального образования для выполнения деятельности в определенных областях.

Проведенный анализ классификаций компетентностей и компетенций, предложенных отечественными и зарубежными исследователями, показывает, что:

- такие свойства личности как конкурентоспособность и социальная ответственность рассматриваются разными исследователями в качестве составляющих компетентности специалиста и могут выражаться в общих или профессиональных компетенциях;

- отсутствует четкое обоснованное разграничение сущности компетентности и компетенции;

- компетентность включает в себя когнитивную и операциональную - технологическую, мотивационную, этическую, социальную и поведенческую составляющие, либо когнитивный (познавательный), мотивационно-ценностный и эмоционально-волевой компоненты;

- проявление компетентности оценивается на основе сформированной у выпускника совокупности умений (интегративно отражающих эту компетентность) и его поведенческих (психологических) реакций, проявляющихся в разнообразных жизненных ситуациях;

- компетентность личности носит интегративный характер и может включать в себя компетенции;

- так же, как и компетентность, компетенции разделяются по видам (сферам) деятельности человека, либо на первичные и вторичные (академические и профессиональные; базовые и специальные; общие и переносимые), либо на внутренние и внешние (персональные и социальные; отношение к себе и к обществу);

- компетенции личности рассматриваются, в основном, как способности, основанные на знаниях, умениях, навыках, опыте, ценностях и склонностях человека;

- проблема систематики компетентности и компетенций обучающихся и выпускников образовательных учреждений является актуальной.

В результате исследований системных свойств и закономерностей формирования компетенций с позиций психологии, педагогики и системного анализа:

обоснована структура компетентности, состоящая из «ядра», представляющего собой «Я-концепцию», основанную на ценностных ориентациях, потребностях, мотивах и индивидуально-типологических особенностях индивида, и внешней составляющей - «оболочки» как системного комплекса социально-профессиональных компетенций;

определено, что свойства компетенций должны соответствовать их качественным определенностям и системным взаимосвязям, а именно: компетенции должны быть равнозначимы; сравнимость компетенций, основывается на объективной связи между ними и на соответствии по смыслу; сравниваемые компетенции могут различаться только одним существенным видом признака.

На основе обобщения моделей компетентности А.В. Хуторского и обобщения моделей компетентности В.И. Байденко и И.А. Зимней предложена структура социально-профессиональной компетентности обучающегося в учреждении профессионального образования (рис.1).



Рисунок 1 - Структура социально-профессиональной компетентности обучающегося в учреждении профессионального образования.

Анализ структуры (рис. 1) показывает, что при обучении формирование профессиональных компетенций обучающегося происходит с опорой на общие и предметные компетенции. С другой стороны, по мере формирования и закрепления профессионального опыта происходит обновление и развитие общих компетенций. Под предметной компетенцией понимается компетенция, проявляемая в использовании обучающимся способностей предметной направленности (по предмету изучения).

Согласно положениям психологии и педагогики знания и способности индивида выступают в роли средств формирования умения и навыка (В.Д. Шадриков). При этом в процессе перерастания умения в навык происходит развитие способностей субъекта деятельности, определяющих формирование и системную взаимосвязанность способностей личности как компетенций (рис. 2). С позиций системного анализа способность как системное новообразование субъекта деятельности, должна проявлять свойство эмерджентности в результате интеграции элементов (знаний, умений, навыков и задатков). Интеграция ЗУН и задатков основана на их сочетаемости. В контексте достижения образовательной цели ЗУН, способности и компетенции сочетаются человеком в различных комбинациях.



Рисунок 2 - Схематическое представление компонентного состава компетенций

Исходя из того, что знания, умения, навыки, способности и компетенции как результаты учебно-познавательной деятельности являются для обучающегося индивидуальными образовательными достижениями, присущее им свойство - интегрироваться в определенных характером умственной или предметной деятельности комбинациях можно обозначить как валентность. Мерой выраженности валентности является число этих взаимодействий.

Применение в данном случае термина валентность вполне оправдано по аналогии с валентностью действия принятой в теории мотивации В. Врума, где с помощью понятия валентности действия обозначают тот факт, что одно действие может выполнять инструментальную роль по отношению к цели другого действия, т.е. служить средством для ее достижения. Справедливость применения термина валентность в данном случае подтверждается с языковедческих позиций, поскольку формализация знаний, умений и навыков осуществляется посредством языкового выражения. Принятое в языкознании понятие валентность означает потенциальную сочетаемость языковых элементов (фонемы, морфемы, слова и т.д.), определяющую способность вступать в комбинации с другими языковыми элементами, преимущественно того же уровня.

Проявления валентностей индивидуальных образовательных достижений выражаются в их отношениях между собой в конкретном виде деятельности. Основой для проявления валентности элементов знаний, отдельных умений и навыков, а также способностей и компетенций является комплекс отношений между ними и их элементами в конкретном виде деятельности, когда ЗУН выполняют инструментальную роль в достижении цели деятельности, тем самым, являясь средством для формирования способностей и компетенций.

Формирование компетенции определяется:

- наличием всех элементарных знаний, умений, навыков и способностей, необходимых для ее формирования (целостность системы);

- осуществлением умственной и предметной деятельности, приводящей к интеграции знаний, умений, навыков и способностей;

- сформированностью ее системоопределяющего элемента - способности достигать результата деятельности.

Компетенция как система:

- неаддитивна, т.е. простая сумма элементарных ЗУН и способностей еще не является системой без проявленности ее ключевого системообразующего элемента (конфигуратора);

- обладает системной вложенностью - компетенция представляет собой сложную систему, состоящую из подсистем - способностей субъекта деятельности;

- имеет целенаправленность, являющийся системообразующим фактором ее формирования, который определяется целями выполнения комплекса действий, направленных на решение определенных задач деятельности;

- обладает свойством обособленности, что объясняется целенаправленностью, отличной от целенаправленности других компетенций, тем самым, определяя ее некоторую изолированность в общей иерархии построения компетентности;

- совместима с другими компетенциями посредством взаимосвязанности их элементов (конкретные знания, умения, навыки и способности как элементы одной компетенции субъекта деятельности могут являться элементами другой);

- адаптивна, что связано с сохранением ее свойств (без существенного изменения) в случае ее применения для выполнения аналогичной функции в конкретном или смежном виде деятельности.

Состав элементов конкретной компетенции профессионального характера как системы включает в себя ЗУН и способности не только профессионального, но и общего характера, поскольку любые профессиональные функции не возможно выполнить без опоры на общие ЗУН и способности. То же относится и к предметным компетенциям, где в качестве их элементов выступают ЗУН и способности общего характера (рис. 3).

На рисунке 3 показано, что компетенции любого вида могут интегрировать разные способности, а также знания, умения и навыки.

Рисунок 3 - Иерархическая модель социально-профессиональной компетентности обучающегося (пунктирными линиями обозначены внутривидовые связи, а точечными линиями - межвидовые связи)

Дефиниции компонентов социально-профессиональной компетентности приведены в таблице 1.

Таблица 1 - Структурные и содержательные аспекты иерархической классификационной модели социально-профессиональной компетентности обучающегося

№	Наименование	Дефиниции	Компоненты
1.	Социально-профессиональная компетентность	Системная характеристика личности. Комплекс интегрированных компетенций, проявленных на практике в успешной социальной и профессиональной сферах деятельности с осознанием личной ответственности за результаты деятельности и ее социальной значимости.	Общие и профессиональные компетенции
1.1.	Группа компетенций	Совокупность различных компетенций, принадлежащих к определенной сфере деятельности.	Общие, профессиональные или предметные компетенции
2.	Компетенция	Характеристика, выступающая как интегральное проявление способностей субъекта деятельности, знаний, умений и навыков, характеризующая его готовность к выполнению функций в рамках конкретного вида деятельности	Способности субъекта деятельности, знания, умения и навыки
2.1.	Общие компетенции	Компетенции, имеющие общий характер и проявляемые в социальной и профессиональной деятельности	Способности субъекта деятельности, знания, умения и навыки общего характера, необходимые для успешной социальной и профессиональной деятельности
2.2.	Профессиональные компетенции	Компетенции, проявляемые при работе с объектами профессиональной деятельности	Способности субъекта деятельности, знания, умения и навыки специального характера, необходимые для успешной профессиональной деятельности
2.3.	Предметная компетенция	Компетенция, проявляемая в использовании способностей в целях учебно-познавательной деятельности по предмету изучения	Способности субъекта деятельности, знания, умения и навыки специального характера, необходимые для успешной учебно-познавательной деятельности
3.	Способности субъекта деятельности	Системное качество субъекта деятельности, выступающее как интегральное проявление элементарных знаний, умений, навыков и способностей индивида при выполнении определенной функции	Знания, умения и навыки, способности индивида
3.1.	Знания	Переработанная субъектом деятельности информация, получившая «свое место» в системе представлений человека о себе и окружающем его мире, которая имеет для него ценность	Элементы знаний
3.2.	Умения	Усвоенный субъектом деятельности способ контролируемого, успешно выполняемого действия на основе имеющихся знаний в измененных или новых условиях	Элементарные умения
3.3.	Навыки	Умение выполнять какие-либо действия автоматически, без поэлементного контроля	Элементарные навыки
3.4.	Способности индивида	Свойства функциональных систем индивида, реализующих отдельные психические познавательные и психомоторные функции	Задатки - анатомо-физиологические особенности организма человека

Процесс системогенеза компетенций характеризуется количественными изменениями - накоплением знаний и формированием умений, навыков и способностей. Примером качественных изменений может служить переход в новое качественное состояние, характеризующееся образованием у обучающегося определенной компетенции. Предполагается, что процесс формирования компетенции как системы заключается в сведении числа допустимых взаимодействий каждой из способностей и элементарных ЗУН (элементов) по мере их интеграции к некоторому минимуму взаимодействий каждой из них. Показатель формирования компетенции как системы - минимизация числа допустимых взаимодействий ее элементов в логике деятельности, направленной на достижение результата. Достижение цели деятельности приводит к комбинации способностей и элементарных ЗУН в допустимые сочетания. Число допустимых сочетаний (взаимодействий) определяет их валентность. При этом энтропию компетенции характеризует неупорядоченность взаимодействия элементов - способностей и элементарных ЗУН. На основании этих положений по аналогии с известными теоретико-информационными моделями итеративного научения в диссертации приводится математическая модель формирования способностей и на их основе компетенций в соответствии с логистической закономерностью.

Целенаправленность и успешность активной учебной деятельности обучающегося во многом зависит от его способностей, его опыта и мотивации к усвоению нового учебного материала. Анализ логистической кривой формирования способности показывает, что начало обучения характеризуется процессами целеполагания, восприятия, запоминания и воспроизведения новой информации (1 этап, рисунок 4 А).

А Б

Рисунок 4 - Графическое представление зависимостей формирования способности субъекта деятельности () от времени (t) (А - логистическая, Б - экспоненциальная)

В процессе целеполагания обучающийся посредством самоорганизации актуализирует свой потенциал (ЗУН, сформированные у него способности, опыта и самомотивация к обучению). Скорость процессов получения, обработки и хранения информации вначале низкая, но по мере запоминания новой информации и создания новых ассоциативных связей с уже имеющимися знаниями возрастает экспоненциально. По мере формирования способности посредством системной интеграции ЗУН подключается не только логическое мышление, но и эвристическое, при этом скорость обучения снижается, поскольку требуется значительное количество усилий.

В педагогической практике встречаются случаи, когда одни обучающиеся лучше других подготовлены к изучению нового учебного материала и быстрее адаптируются в новой сфере деятельности. Для них характер кривой зависимости количественного изменения формирования способности от времени может иметь экспоненциальный характер (рисунок 4 Б). Подобные кривые описаны В.П. Беспалько на примере процесса усвоения деятельности. В своей концептуальной основе механизм формирования способностей соответствует модели уровней усвоения знаний по В.П. Беспалько (таблица 2).

Таблица 2 - Соответствие этапов формирования способности субъекта деятельности уровням усвоения знаний.

Вид деятельности	Уровни усвоения знаний (по В.П. Беспалько)	Этапы формирования способности субъекта деятельности
Репродуктивная деятельность	1 уровень - узнавание объектов, свойств, процессов данной области явлений действительности (знания-знакомства) при повторном восприятии ранее усвоенной информации о них или действии с ними.	1 этап - восприятие, запоминание и воспроизведение информации, актуализация и агрегирование новой информации, а также знаний, умений и навыков, полученных ранее.
	2 уровень - репродуктивное действие (знания-копии) путем самостоятельного воспроизведения и применения информации о ранее усвоенной ориентировочной основе для выполнения известного действия	2 этап - применение знаний в сходной ситуации, по определённому образцу или известному алгоритму действий, данному извне, формированием репродуктивных ЗУН.
Продуктивная деятельность	3 уровень - деятельность по образцу на некотором множестве объектов (знания-умения и навыки); в этом случае испытуемым добывается субъективно новая информация в процессе самостоятельного построения или трансформации известной ориентировочной основы для выполнения нового действия	3 этап - формирование умений и навыков применения знаний для разработки новых алгоритмов действий в практическом плане с целью создания значимых для субъекта деятельности ценностей или получения новой информации (формирование продуктивных ЗУН)
	4 уровень - «творческое действие», выполняемое на любом множестве объектов путем самостоятельного конструирования новой ориентировочной основы для деятельности (знания-трансформации)	4 этап - формирование новых способностей субъекта деятельности за счет интеграции ЗУН

Механизм системогенеза компетенций аналогичен механизму формирования способностей субъекта деятельности (кривые 1, 2 и 3, рисунок 5).

Рисунок 5 - Графическое представление системогенеза компетенций обучающегося (1 фаза - формирование способностей, 2 фаза - формирование компетенции)

Разница в том, что формирование компетенции за счет интеграции способностей будет успешной при достижении определенной цели в ходе выполнения комплекса смежных функций в рамках конкретного вида деятельности. При этом способности и ЗУН рассматриваются как элементы более сложного системного комплекса - компетенции. В нулевой точке (рисунок 5) - начало формирования компетенции, происходит фокусировка обучающегося на решение комплекса задач (проекта), составленных в логике достижения образовательной цели - формирование конкретной компетенции в выбранной сфере деятельности. Далее процесс формирования компетенций проходит последовательно по этапам (кривая 4, рисунок 5) в соответствии с логистической закономерностью. В качестве этапов формирования компетенций выделяются: 1) активация способностей и 2) интеграция способностей.

На первом этапе обучающийся актуализирует способности, необходимые для выполнения смежных функций путем решения поставленных задач. Второй этап характеризуется активными усилиями обучающегося, направленными на интеграцию способностей и формирование способности достигать результата деятельности. По мере достижения происходит формирование компетенции как системы. В соответствии с механизмом системогенеза способностей и компетенций определяется, что оценка их сформированности может быть только бинарной - сформированы (1 - да) или не сформированы (0 - нет).

Разработанные на основании иерархической классификационной модели социально-профессиональной компетентности формализованные модели системных комплексов требований к результатам подготовки обучающихся и выпускников учреждений профессионального образования с позиций государства, работодателей и образовательных учреждений позволили:

- провести анализ требований к результатам подготовки обучающихся и выпускников учреждений профессионального образования и определить присущие им расхождения и общности;

- на основе общностей формализованных моделей разработать инвариантный алгоритм формирования требований к результатам подготовки выпускников учреждений профессионального образования и определить семантико-синтаксические приемы формулирования дескрипторов компетенций, способностей, знаний, умений и навыков.

Таким образом, требования к результатам освоения профессиональной образовательной программы представляют собой иерархический комплекс дескрипторов знаний, умений, навыков, способностей и компетенций, формируются в логической последовательности (вид профессиональной деятельности > компетенции > способности > знания, умения, навыки) и являются:

- базой сравнения для оценки индивидуальных образовательных достижений;

- основой для модульной организации образовательного процесса с учетом различных (синхронных или асинхронных) траекторий обучения и формирования фондов оценочных средств - системы педагогических КИМ.

С целью определения логической последовательности процедур, полномочий и ответственности субъектов контрольно-оценочной деятельности построена структурно-функциональная модель контроля и оценки качества подготовки обучающихся и выпускников учреждений профессионального образования на основе анализа:

основных видов контроля, применяемого к практике профессионального образования, и функций оценки индивидуальных образовательных достижений;

федерального законодательства в сфере образования в части разграничения компетенций государства, работодателей и образовательных учреждений при организации и проведении контроля качества подготовки обучающихся и выпускников образовательных учреждений профессионального образования.

В соответствии с методологией функционального моделирования разработанная структурно-функциональная модель контроля и оценки качества подготовки является основой для разработки моделей организационных систем контроля и оценки индивидуальных образовательных достижений обучающихся и выпускников учреждений профессионального образования, которые разработаны и описаны в третьей главе.

В целях определения содержательных и процессных аспектов технологии комплексной оценки индивидуальных образовательных достижений в системе профессионального образования разработаны формализованные модели оценки индивидуальных образовательных достижений по результатам изучения учебных модулей (учебных дисциплин, междисциплинарных курсов и др.), защиты ВКР и неформального обучения. На их основе разработана модель интегральной оценки качества подготовки выпускников учреждений профессионального образования () формализуемая в виде многокомпонентного кортежа:

,

где:

- оценка результатов защиты выпускной квалификационной работы (ВКР) выпускником;

- интегральная оценка успеваемости выпускника учреждения профессионального образования;

- оценка результатов неформального обучения;

- группа членов ГАК;

- множества требований ФГОС профессионального образования к общим и профессиональным компетенциям выпускников;

- шкала оценивания сформированных у выпускников компетенций;

- множество отношений, возникающих при определении членами ГАК соответствия требованиям ФГОС оценок за результаты за результаты освоения профессиональной образовательной программы, неформального обучения, выполнения и защиты ВКР при выставлении выпускнику интегральной оценки качества подготовки, представленных в нормативно-методических документах в виде требований к организации и проведению итоговой аттестации () с использованием средств автоматизации контроля и оценивания ().

Применение методов и средств контроля и оценки индивидуальных образовательных достижений предполагает получение достоверной информации, поэтому были определены следующие критерии достоверности оценки индивидуальных образовательных достижений: адекватность, объективность, обоснованность, однозначность, результативность, сопоставимость, своевременность и точность.

Анализ методов и средств контроля и оценки индивидуальных образовательных достижений позволил определить комплекс требований к их адекватному применению в соответствии с критериями достоверности:

1) экспертное оценивание индивидуальных образовательных достижений должно применяться в случаях многокритериального многоэтапного оценивания, основанного на слабоформализуемых требованиях к результатам подготовки, с использованием методов, позволяющих учитывать множество альтернатив в ситуации разных оценок экспертов, и с применением методов оценки компетентности экспертов и статистических методов обработки экспертной информации;

2) метод наблюдения целесообразно использовать: при контроле и оценке освоения учебного материала на практических занятиях, в ходе выполнения и защиты лабораторных работ, курсовых и дипломных проектов; при оценке практических умений и навыков в ситуации, максимально приближенной к реальной обстановке, на основе релевантных методов экспертного оценивания и обработки экспертной информации;

3) коллоквиумы, зачеты, письменные и устные экзамены должны проводиться с максимально возможным применением аппаратно-программных средств автоматизации процессов обработки, проверки и учета результатов контроля и оценки, обеспечивающих минимизацию ошибок;

4) тестирование как объективное средство контроля и оценки, основанное на применении стандартизированных тестов и научно обоснованных методик математической обработки результатов, должно проводиться при использовании объективно формализуемых в компетентностной парадигме критериев и показателей результатов подготовки по учебным модулям и/или образовательным программам;

5) использование психологических тестов диагностики свойств личности возможно только с целью получения дополнительной информации для подтверждения достоверности оценки сформированности у обучающихся компетенций по результатам освоения профессиональных образовательных программ;

6) КИМ как стандартизованные педагогические оценочные средства, предназначенные для контроля и оценки индивидуальных образовательных достижений, включающие разнообразные контрольные материалы, их спецификации, шкалы и методики шкалирования результатов, должны быть компетентностно-ориентированными и отвечать основным требованиям валидности и надежности;

7) релевантность аналитических средств обработки экспертных оценок индивидуальных образовательных достижений обеспечивается применением бинарных экспертных оценок (градации качественных признаков, ранжировки, разбиения, результаты парных сравнений, нечеткие предпочтения и т.д.) с последующей их агрегацией до результирующей экспертной оценки посредством использования метрики, определяющей монотонное распределение индивидуальных экспертных оценок;

8) релевантность математических методов обработки результатов контроля обеспечивается применением статистических методов (в т.ч. методов IRT) обработки дихотомических или политомических (многобалльных) оценок, выражающих дидактические характеристики компетентностно-ориентированных КИМ и латентные параметры обученности испытуемых, позволяющих с высокой степенью достоверности оценить уровень их подготовки;

9) релевантность шкалирования результатов оценивания как типологическая классификация уровня подготовки определяется теоретико-методологической и эмпирической обоснованностью применения решающих правил, обеспечивающих с высокой вероятностью принятие истинной и отклонение ложной гипотезы о достижении образовательных целей.

Результаты анализа типовых ошибок контрольно-оценочных процедур, а также вызывающих их факторов, позволили систематизировать и формализовать их в виде уравнений, на основании которых можно определить погрешность оценки качества подготовки обучающихся и выпускников учреждений профессионального образования.

На основе моделирования систем оценки индивидуальных образовательных достижений и анализа методов и средств контроля и оценки результатов подготовки выявлен и обоснован аналитический аппарат оценки компетенций, включающий:

1) комплексный алгоритм оценки результатов освоения профессиональных образовательных программ, сочетающий алгоритмы оценки результатов освоения учебных модулей, неформального обучения, защиты выпускной квалификационной работы, основанные на дихотомической оценке полученных знаний и сформированных умений, навыков, способностей и компетенций, определенной с учетом меры неупорядоченности их элементов и интегральной оценки качества подготовки выпускников учреждений профессионального образования, получаемой как результирующая качественных оценок (медиана), характеризующая уровень подготовки по учебному модулю или образовательной программе в целом;

2) критерий сформированности компетенции (способности), определяемый по значению энтропии (мере минимальной неупорядоченности элементов) - 0,5 (и ниже), что соответствует 80 % (и выше) положительных дихотомических оценок их элементов;

3) универсальную шкалу оценки индивидуальных образовательных достижений как типологическую классификацию уровней подготовки, основанную на закономерностях системогенеза способностей и компетенций, и результатах теоретических и эмпирических исследований, применение которой позволяет сравнивать результаты различных испытаний и получать достоверную информацию о качестве подготовки как в отдельном образовательном учреждении, так и в целом по системе образования, в т.ч. на разных ее уровнях и в различных видах образования;

4) модель рейтинговой системы оценки компетенций обучающихся, основанную на расчете методом строчных сумм общей суммы оценок индивидуальных образовательных достижений (как балльных, так и дихотомических) каждого обучающегося с последующим их ранжированием. За счет конкретизации целей обучения использование дихотомических оценок сформированности способностей и компетенций для расчета рейтинга успеваемости в большей мере стимулирует студентов к обучению, потому что прозрачная логическая связь рейтинга студента с оценкой сформированных способностей и компетенций более информативна, чем с оценкой уровня подготовки (обученности) - обобщенного понятия качества подготовки.

В дискурсе этих положений возникает вопрос получения достоверной оценки индивидуальных образовательных достижений в контексте развития систем оценки качества подготовки специалистов. Для этого необходимо определить технологические основы развития систем оценки качества подготовки специалистов.

В третьей главе определяется, что базисом развития систем оценки качества подготовки специалистов в содержательном, процессном и организационном планах являются технологические основы развития систем оценки качества подготовки специалистов, включающие:

- инвариантную модель технологии комплексной оценки индивидуальных образовательных достижений;

- базовые принципы и требования к организационно-технологическому обеспечению контрольно-оценочной деятельности;

- модель мониторинга контрольно-оценочных процедур;

- организационно-методический аппарат исследований динамики социально-педагогических отношений субъектов контрольно-оценочной деятельности в контексте ее развития;

- модель блочно-модульной системы профессиональной подготовки тестологов - специалистов в области педагогических измерений.

Инвариантная модель технологии комплексной оценки индивидуальных образовательных достижений (рис. 6) представляет собой упорядоченную совокупность приёмов и способов организации сложных технологических процессов.

Рисунок 6 - Инвариантная модель технологии комплексной оценки индивидуальных образовательных достижений

Технология комплексной оценки индивидуальных образовательных достижений обучающихся и выпускников учреждений профессионального образования направлена на решение задач:

- определения объема усвоенных знаний и количества сформированных умений, навыков, способностей и компетенций;

- оценки уровня подготовленности как интегральной характеристики освоения профессиональных образовательных программ в целом или отдельных учебных модулей;

- оценки квалификации на основании сравнения количества сформированных компетенций и уровня подготовленности с нормативно заданными ФГОС профессионального образования требованиями к результатам освоения профессиональных образовательных программ;

- обеспечения достоверности получаемых результатов и удовлетворения интересов личности, государства и общества;

- интеграции с информационными системами и технологиями оценки качества образования в целях формирования информационного пространства общероссийской и региональных систем оценки качества образования;

- реализации государственно-общественных механизмов управления образованием;

- обеспечения эффективного управления образовательного процесса;

- развития систем оценки качества подготовки специалистов.

В диссертации приводится подробное описание основных компонентов инвариантной модели технологии комплексной оценки индивидуальных образовательных достижений:

- модели динамической организационной структуры системы оценки качества подготовки специалистов, которая содержит временные (аттестуемые, экспертные, экзаменационные, аттестационные комиссии, текущая документация и т.п.) и постоянные (руководство, организаторы, тестологи, инфраструктурный комплекс, в т.ч. аппаратно-программные средства, базы данных и фонды оценочных средств) компоненты - системные интеграторы, обеспечивающие достоверность получаемых результатов;

- модели экспертизы требований к результатам освоения профессиональных образовательных программ, определяющей разработку и экспертизу дескрипторов компетенций, способностей, знаний, умений и навыков;

- технологической модели разработки и стандартизации КИМ, определяющей комплекс процессов по разработке, формальной, тестологической и интегральной экспертизе качества КИМ, в т.ч. по результатам апробации;

- функционально-процессной модели комплексной оценки индивидуальных образовательных достижений, разработанной на основе механизма оценки качества подготовки выпускников учреждений профессионального образования и методологии функционального моделирования технологических операций контроля и оценки ЗУН, и оценки сформированных компетенций в алгоритмически заданной последовательности с момента начала обучения до защиты ВКР с учетом ресурсного обеспечения,

разработанных с использованием теоретических основ формирования и оценки компетенций в системе профессионального образования.

Комплекс необходимых ограничений, адресованных субъектам контрольно-оценочной деятельности, позволяющий обеспечить достоверность получаемой информации об индивидуальных образовательных достижениях, апробированных в рамках широкомасштабных экспериментов по независимой оценке качества подготовки студентов ТПУ и введения ЕГЭ в Российской Федерации, раскрывается:

в содержательном плане через базовые принципы и требования к организационно-технологическому обеспечению контрольно-оценочной деятельности и результаты исследований социально-педагогических отношений субъектов контрольно-оценочной деятельности;

в процессном - посредством мониторинга контрольно-оценочных процедур, соблюдения технологии комплексной оценки индивидуальных образовательных достижений и проведения исследований социально-педагогических отношений субъектов контрольно-оценочной деятельности.

Организационно-методический аппарат исследований социально-педагогических отношений субъектов контрольно-оценочной деятельности в контексте ее развития, апробированный в течение пятилетних исследований в рамках эксперимента по введению ЕГЭ в Российской Федерации, включает:

- комплекс социологических методов и инструментария исследований социально-педагогических отношений;

- организационную сетевую систему сбора необходимой для анализа информации;

- аппаратно-программные средства автоматизации процессов сканирования и верификации распознанных символов с «машиночитаемых» анкет, и статистическую обработку результатов опросов,

что позволяет в кратчайшие сроки с минимальной погрешностью проводить массовые социологические исследования. Применение этого аппарата позволяет реализовать институциональный подход к возникающим между субъектами контрольно-оценочной деятельности социально-педагогическим отношениям в условиях ее развития. При этом, институты рассматриваются как формальные и неформальные "правила игры", определяющие качество проведения процедур и признание достоверными результатов контроля и оценки индивидуальных образовательных достижений обучающимися и членами их семей, преподавателями и администрацией образовательных учреждений, специалистами организаций - работодателей и государственных органов управления образованием.

Одним из условий обеспечения достоверности оценки качества подготовки является релевантность применения средств и приемов аналитического аппарата оценки компетенций, которое невозможно реализовать без специально подготовленных высококвалифицированных специалистов - тестологов. Основной идеей иерархической блочно-модульной системы профессиональной подготовки тестологов является непрерывность повышения квалификации и профессиональной подготовки в процессе выполнения своих профессиональных обязанностей с минимальным отвлечением на консультации и лекционные занятия с целью получения дополнительной к основной квалификации «Тестолог - специалист в области педагогических измерений», владеющих компетенциями организаторов - технологов, экспертов по оценке индивидуальных образовательных достижений, разработчиков КИМ. Массовая профессиональная подготовка тестологов на базе модели блочно-модульной системы профессиональной подготовки позволила ликвидировать специфичную для контрольно-оценочной деятельности потребность в высококвалифицированных специалистах в ТПУ и Томской области. Применение этой системы рассматривается как необходимое условие развития контрольно-оценочной деятельности, осуществляемое высококвалифицированными профессионалами - авангардом кадрового обеспечения развития систем оценки качества подготовки специалистов.

Практическое применение технологических основ развития систем оценки качества подготовки специалистов обеспечит достоверность оценки качества подготовки обучающихся и выпускников учреждений профессионального образования посредством:

- устранения возможности несанкционированного использования КИМ;

- эквивалентности и сравнимости результатов разных видов контроля и оценки качества подготовки за счет применения универсальной шкалы оценки индивидуальных образовательных достижений;

- усиления контроля и надзора за проведением контрольно-оценочных процедур и использованием результатов за счет автоматизации выполнения технологических операций и участия общественности;

- применения релевантных методик экспертного оценивания и аналитических средств обработки результатов контроля и оценивания, в т.ч. с использованием средств автоматизации.

В заключении сформулированы основные выводы исследования.

1. Исследование проблем оценки качества подготовки специалистов позволило выявить проблемы: несогласованности требований к результатам подготовки со стороны государства и работодателей; формирования «диагностичных» целей и требований к результатам подготовки; обеспечения достоверности оценки в организационно-технологическом и экспертно-аналитическом аспектах; недостаточности научного обоснования теоретических основ формирования и оценки компетенций и технологических основ развития систем оценки качества подготовки специалистов.

2. Определенные с учетом изменений требований к результатам подготовки, возможностей современных педагогических и информационных технологий и потребностей обучающихся типология, принципы, тенденции и механизм развития систем оценки качества подготовки специалистов являются инструментами стратегического планирования развития этих систем.

3. Разработанный с учетом потребностей личности, государства и общества механизм формирования требований к результатам освоения профессиональных образовательных программ, выступает в роли теоретического базиса разработки иерархических комплексов дескрипторов компетенций.

4. Разработан механизм интегральной оценки качества подготовки выпускников учреждений профессионального образования, являющийся системообразующим элементом технологии комплексной оценки индивидуальных образовательных достижений и позволяющий определять структурно-функциональный состав систем оценки качества подготовки специалистов.

5. Разработанные технологические основы развития систем оценки качества подготовки специалистов, содержат инновационные технологические решения и ограничения контрольно-оценочной деятельности, необходимые для получения достоверной информации о качестве подготовки в контексте реорганизации организационных систем и модернизации технологии комплексной оценки индивидуальных образовательных достижений.

6. Разработанная Концепция развития систем оценки качества подготовки специалистов как научная система принципов, целей, задач, методов и моделей развития контрольно-оценочной деятельности в системе профессионального образования определяет комплекс теоретических основ формирования и оценки компетенций и технологических основ развития систем оценки качества подготовки специалистов.

7. Гипотеза о том, что использование актуальной и достоверной информации об индивидуальных образовательных достижениях в целях управления и обеспечения качества подготовки специалистов приведет к повышению качества профессионального образования, если будут применены концептуальные положения, определяющие развитие систем оценки качества подготовки специалистов - подтверждается актами практического использования (внедрения) результатов исследования.

8. Результаты исследования развития систем оценки качества подготовки специалистов могут быть использованы при проведении научных изысканий и в практической деятельности при организации подготовки обучающихся в учреждениях профессионального образования, создании или модернизации систем оценки качества подготовки специалистов, формировании региональных систем оценки качества профессионального образования.

Основные положения и выводы отражены в следующих публикациях автора

I. Монографии и научные труды

1. Пермяков О.Е. Методологические основы и технологии оценки индивидуальных образовательных достижений в системе профессионального образования: Монография. - М.: Федеральный институт развития образования, 2008. - 422 с.

2. Пермяков О.Е., Иванкина Л.И., Берестнева О.Г. Современный технический университет: Философский и психолого-социологический аспекты исследования состояния и развития университета: Монография. - Томск.: Изд-во Том.ун-та, 2003. - 110 с.

3. Пермяков О.Е., Максимова О.А. Основы технологии комплексной экспертизы качества педагогических тестов: Монография. - Томск: Изд-во ТОИПКРО, 2008. - 100 с.

4. Пермяков О.Е., Менькова С.В. Диагностика педагогических проблем системы образования в условиях эксперимента по введению Единого государственного экзамена: Монография. - Томск: Дельтаплан, 2003. - 28 с.

5. Пермяков О.Е., Менькова С.В. Интерсубъективность социально-педагогических измерений в условиях эксперимента по введению единого государственного экзамена (в Томской области): Монография. - Томск: Изд-во «Дельтаплан», 2005. - 60 с.

6. Пермяков О.Е., Менькова С.В. Теоретико-информационный анализ социально-педагогической оценки ЕГЭ в Томской области: Монография. - Томск: Изд-во «Дельтаплан», 2006. - 92 с.

7. Пермяков О.Е., Менькова С.В. Лонгитюдные социологические исследования в сфере оценки качества образования (на примере эксперимента по введению ЕГЭ в Томской области): Монография. - Томск: Лито-Принт, 2007. - 68 с.

8. Пермяков О.Е., Солодов Г.А., Косинцев В.И. Техническая и экологическая безопасность промышленного предприятия. Анализ аварий, катастроф и их причин, подготовка руководителей производственных коллективов к действиям при авариях и аварийных ситуациях, организация и безопасная эксплуатация промышленных предприятий: Монография. - Томск: Дельтаплан, 2004. - 184 с.

9. Пермяков О.Е., Татур А.О., Митрофанов К.Г., Новиков А.М. и др. Концепция общероссийской системы оценки качества образования. - М.: ОИЦ «Академия», 2008. - 28 с.

II. Публикации в изданиях, включенных в реестр ВАК РФ

10. Пермяков О.Е. Иерархическая модель социально-профессиональной компетентности и подходы к формированию требований к результатам подготовки студентов. Вестник Адыгейского государственного университета. - 2008. № 7, С. 81 - 88.

11. Пермяков О.Е. Концептуальные кинетические модели системогенеза способностей и компетенций. Преподаватель XXI век. . - 2009. № 1, С. 45 - 50

12. Пермяков О.Е. Методологические основы формирования иерархической классификационной модели социально-профессиональной компетентности студента. Вестник Адыгейского государственного университета. - 2008. № 8, С. 78 - 86.

13. Пермяков О.Е. Методологические подходы к моделированию личностно-профессиональной компетентности специалиста в контексте формирования государственных образовательных стандартов нового поколения. Изд-во ТПУ. Известия Томского политехнического университета. - 2007. - Т. 310. - № 1. С. 275 - 281

14. Пермяков О.Е. Методологические подходы к проектированию систем оценки качества образования. Известия Томского политехнического университета. - 2005. - Т. 308, № 4, 2005. - С221 - 225.

15. Пермяков О.Е. Мониторинг качества профессионального образования с позиций кибернетики и системного анализа. Изд-во ТПУ. Известия Томского политехнического университета. - 2006. - Т. 309. - № 6. С. 222 - 227.