Статистические методы регулирования учебного процесса

Размещено на http://www.allbest.ru

Статистические методы регулирования учебного процесса

Мамонтова М.Ю.

К важным условиям функционирования и развития любой организации относится изменение и совершенствование систем управления и контроля текущих процессов. Не стали исключением и высшие учебные заведения: ключевым в вузе является учебный процесс, наряду с которым осуществляется множество других процессов, в том числе оценка и управление качеством подготовки специалистов.

Структура управления учебным процессом в вузе строится, с одной стороны, по вертикально-функциональному принципу, с другой стороны, многие виды деятельности, связанные с учебным процессом, требуют горизонтальной организации работ. Например, учет и контроль качества подготовки специалистов, являясь важной составляющей данного процесса, осуществляются в вузе как по “вертикали” (ректорат деканат кафедра), так и по “горизонтали” (взаимодействие преподавателей одного цикла дисциплин; нескольких отделов и подразделений, обеспечивающих регулирование и управление учебным процессом на уровне университета: учебный отдел, отдел аттестации, отдел качества, центр тестирования). Таким образом, учет и контроль оказываются распределенными по разным структурным подразделениям. Для ориентации всех видов деятельности на конечный результат необходимо управление основным и вспомогательными процессами как по вертикали, так и по горизонтали.

На наш взгляд, одним из наиболее эффективных средств, обеспечивающих переход вуза от ориентации на контроль конечного результата к концепции выявления и предупреждения недостатков в подготовке специалистов, может быть систематическое регулирование как самого учебного процесса, так и сопровождающих его процессов.

Важной составляющей системы регулирования и управления качеством является обратная связь. Традиционно в вузе основное внимание уделяется управлению учебным процессом. Учебный процесс характеризуется слабой обратной связью. Под обратной связью понимается воздействие результатов учебного процесса (результатов обучения) на протекание самого процесса. При отрицательной обратной связи процесс стабилизируется. Положительная обратная связь приводит к колебаниям или развитию процесса. В системах управления качеством обратная связь должна быть замкнутой. На практике контроль качества академической подготовки студентов традиционно осуществляется преподавателем в ходе изучения дисциплины, а также на сессионных зачетах и экзаменах. Информация о качестве представляется в деканат и далее в виде распределения студентов по уровням подготовки (“неудовлетворительно”, “удовлетворительно”, “хорошо” и “отлично”) в учебный отдел и отдел качества. Оценивается качество программ учебных курсов (проверка соответствия содержания и структуры требованиям государственного образовательного стандарта), фактическое же качество преподавания дисциплины практически не отслеживается.

Введение государственных образовательных стандартов и независимой оценки качества подготовки студентов повлекло за собой изменение процессов контроля и внутри вуза. В практику работы вуза внедряются процедуры самообследования как в период подготовки к независимой проверке со стороны государственных органов (Федеральная служба по надзору в сфере образования, Российское аккредитационное агентство в сфере образования), так и в межаттестационный период. Процедура самообследования, безусловно, способствует усилению обратной связи, но при отсутствии постоянного регулирования процессов контроля остается малоэффективной.

Эффективность процедуры самообследования существенно повысилась в связи с регулярным участием университета в федеральном Интернет-экзамене в сфере профессионального образования (ФЭПО), проводимом Российским аккредитационным агентством в период зимних и весенних экзаменационных сессий с 2005 2006 учебного года. Экзамен проводится в форме компьютерного тестирования.

Участие университета в ФЭПО создало условия для развития внутривузовской системы контроля. В последние годы заметно усилилась обратная связь по структурно-функциональной вертикали управления учебным процессом, развиваются “горизонтальные” взаимодействия на уровне кафедр, факультетов и различных общеуниверситетеских структур.

В качестве механизма регулирования учебного процесса выбрано статистическое регулирование корректировка значений параметров учебного процесса по результатам выборочного статистического контроля качества подготовки студентов. Статистическое регулирование осуществляется с целью обеспечения и поддержания требуемого уровня качества подготовки специалистов. В качестве основных методов используются контрольные карты Шухарта (схемы синхронного и диахронного анализа результатов, полученных в ходе оценки качества подготовки студентов). Ниже приводится описание методики (схемы) статистического регулирования и опыт ее использования в Уральском государственном педагогическом университете.

Итак, основная задача может быть сформулирована как изменение учета и контроля качества подготовки специалистов с целью усовершенствования учебного процесса. Считается, что многие виды деятельности, среди которых контроль и учет, не уступают по сложности основному процессу и при определенных условиях приводят к совершенствованию последнего.

Изменение и совершенствование процесса контроля осуществляется поэтапно. Обеспечение функционирования процесса контроля во взаимосвязи с различными структурными подразделениями университета, совершенствование и повышение эффективности процесса должен осуществлять управляющий процессом. Необходимо отметить, что ряд процессов в вузе (в их числе и процесс контроля)либо не имеют своих управляющих, либо функции управляющего распределены между несколькими работниками или службами и чаще всего не выполняются или не координируются. В этой связи на первом этапе необходимо четко определить границы процесса независимого контроля, источники информации на входе процесса, выход процесса информацию для передачи “потребителю”, назначить управляющего процессом. Речь идет об изменении процесса внутривузовского контроля качества в связи с внедрением независимой оценки качества подготовки студентов, осуществляемой в ходе компьютерного тестирования по дисциплинам разных циклов. Источником информации о качестве подготовки студентов являются информационно-аналитические карты и рейтинглисты, формируемые Росаккредагентством в ходе Интернет-экзамена и передаваемые в вуз. Организацию и проведение тестирования студентов, статистическую обработку и анализ данных на уровне университета осуществляет Центр компьютерного тестирования в составе Управления информатизации УрГПУ. Выходная информация о качестве результатов обучения в виде информационно-аналитической карты, контрольных карт и диаграмм передается основным “потребителям” ректорату, деканатам и кафедрам, отделу качества, учебному отделу, где и принимаются управленческие решения о регулировании учебного процесса. В информационной карте представлены результаты тестирования на определенном этапе Интернетэкзамена по каждой специальности и академической группе. В контрольных картах и диаграммах информация обобщена и представляет сравнительную информацию о качестве результатов обучения на разных этапах. Роль управляющего процессом контроля (координатора работ) в Уральском государственном педагогическом университете отведена отделу качества.

На втором этапе создается группа по усовершенствованию процесса контроля. Группа по усовершенствованию процесса контроля должна включать представителей факультетов и кафедр, отделов, Центра компьютерного тестирования, связанных своим функционалом с данным процессом. Основные задачи группы: разработка маршрутной схемы процесса; определение участков контроля и линий обратной связи; аттестация процесса; разработка и внедрение планов совершенствования процесса; подготовка отчетов о качестве результатов процесса, его эффективности и изменениях в нем.

На маршрутной схеме процесса контроля указываются все виды работ и ответственные за их проведение. Также определяются процедуры и средства, необходимые для выполнения работ. Определяется наличие документации, устанавливаются требования к уровню квалификации работников, определяются формы и сроки обучения участников процесса. Результатом работы группы на данном этапе является перечень проблем, с которыми сталкиваются основные участники процесса и перечень предложений по усовершенствованию процесса, разработка программы обучения работников (консультирование, повышение квалификации). Выявляются недостатки существующей системы контроля. Недостатками следует признать слабую мотивацию преподавателей, управленцев на улучшение процесса контроля, работа по принципу “от аттестации до аттестации”, отсутствие направленности на систематичность и всесторонность контроля, независимость и гласность. Перечисленные выше недостатки приводят к нарушению ряда основополагающих принципов контроля в вузе. Улучшить процесс контроля позволяет использование результатов Интернетэкзамена. К преимуществам в этом случае можно отнести следующие: 1) все факультеты находятся в одинаковых условиях; 2) используется более объективное средство проверки качества подготовки студентов; 3) обеспечивается систематичность контроля; 4) обязательность внешнего контроля; 5) единые формы представления результатов тестирования; 6) возможность принимать решения на основе полученной информации по “вертикали” и “горизонтали” системы управления учебным процессом.

Установление точек измерения и линий обратной связи связано с особенностями Интернет-экзамена. Экзамен проводится по дисциплинам трех циклов два раза в году. В соответствии с установившимися на уровне федерации правилами студенты каждой специальности в ходе Интернетэкзамена должны пройти тестирование не менее чем по трем дисциплинам из каждого цикла. В этой связи каждому факультету предоставляется право выбора дисциплин и количества групп-участниц. Руководство факультетов зачастую ограничивается теми дисциплинами, по которым результаты соответствуют предъявляемым в ходе аттестации требованиям, “проблемные” же дисциплины (низкое качество преподавания, отсутствие постоянных преподавателей и тому подобное) и академические группы (“слабо” подготовленные студенты) оказываются за рамками контроля. Этот факт необходимо учитывать при определении дисциплин для экзамена и корректировать выбор факультетов в соответствии с учебными планами и расписанием экзаменационных сессий.

Выбор показателей качества подготовки студентов обусловлен критериями аттестации отдельно взятого студента, академической группы и специальности, разработанными Росаккредагентством и используемыми в ходе комплексной проверки деятельности вуза. Показателем качества подготовки студента является число освоенных им разделов дисциплины. Решение об аттестации принимается в том случае, если освоены все разделы. Показателем качества подготовки академической группы является доля студентов, полностью освоивших дисциплину. Для аттестации группы эта доля должна превышать половину (50%). Аналогичные показатели введены и для специальности в целом. Подробно показатели качества представлены в работе Б.А Савельева и А.С. Масленникова [1].

Важно отметить, что представленные выше показатели качества подготовки можно регулировать с помощью методов статистического контроля. Технические аспекты статистического контроля качества рассматриваются в многочисленных учебниках и монографиях по управлению качеством, математически обоснованы и обеспечены компьютерными программами. Ряд статистических пакетов (например, БРББ) предоставляют возможность построения контрольных карт, диаграмм Парето и других видов диаграмм, относящихся к группе “простых” статистических методов контроля качества [2]. Перспективным представляется “встраивание” этих методов в технологический процесс контроля качества подготовки специалистов.

Формирование системы статистического регулирования следует проводить последовательно: сначала учебный процесс необходимо стабилизировать в соответствии с требованиями к качеству подготовки студентов, а затем совершенствовать. Типичный процесс проходит четыре стадии: 1) процесс не контролируется; 2) процесс стабилен; 3) поэтапное усовершенствование процесса; 4) постоянное совершенствование учебного процесса.

Для каждой из стадий процесса необходимы определенные действия со стороны группы по его усовершенствованию. На первой стадии основная задача сводится к выявлению причин выхода процесса за установленные пределы и усиленному контролю элементов, приводящих к таким нежелательным результатам. В рассматриваемом случае процесс считается вышедшим за пределы регулирования, если доля аттестованных студентов в группе или по специальности ниже заданной в стандарте (менее 50%).

Выявление причин отклонений процесса от заданной нормы позволяет отлаживать его, постепенно переводя в стадию стабилизации. На этой стадии статистически стабильная картина может не обеспечивать результаты, удовлетворяющие требованиям конкурентоспособности. В этой связи процесс совершенствуют. После каждого мероприятия по совершенствованию дается время на стабилизацию. Важно исследовать влияние намеченных мероприятий на улучшение процесса. Поскольку требования работодателей к уровню подготовки меняются, изменяются государственные образовательные стандарты, процесс должен совершенствоваться постоянно.

Важно отметить, что группа по усовершенствованию процесса координирует и контролирует решение выявленных проблем, а не определяет способы их решения. Основным документом, на основании которого вуз участвует в ФЭПО, является распоряжение проректора по учебной работе. Для регулирования учебного процесса этого распоряжения недостаточно. Группа при необходимости может разработать экспериментальную программу усовершенствования, целью которой является изучение влияния различных мероприятий на качество учебного процесса и его результатов.

При проведении анализа и поиске наиболее рациональных путей и способов повышения и обеспечения качества подготовки специалистов применяются разнообразные методы. Чаще всего используют те, которые доступны и просты. Среди них

так называемые “простые” статистические методы. Результаты анализа представляются наглядно с помощью диаграмм особого вида. Для интерпретации данных на диаграммах, как правило, не требуется серьезной математической подготовки. Обработка результатов тестирования проводится поэтапно, по мере накопления данных становится возможным проведение мониторинга и оценка эффективности принятых управленческих решений относительно изменений в учебном процессе.

Одним из “простых” методов статистического регулирования и контроля качества является метод контрольных карт. Контрольные карты специальный вид диаграммы, предложенной У. Шухартом. Контрольные карты отображают характер изменения качества объекта управления во времени. С помощью контрольных карт можно проверить, лежат ли средние значения контролируемых переменных в пределах области рассеивания, объясняемой действием случайных факторов, или же они выходят за пределы этой области. Вариабельность данных имеет разную природу. Если вариабельность проявляется как присущая системе, то результаты относительно стабильны и предсказуемы. В этом случае отклонения показателей от установленных эталонов рассматривают как случайные. Если параметры процесса соответствуют заданным требованиям, то в него вмешиваться нецелесообразно. Когда же на естественный разброс накладывается особая вариабельность, то процесс необходимо корректировать. К особым случаям, когда вмешательство не только не уместно, но и необходимо, относится вариабельность процесса, обусловленная деятельностью людей, участвующих в процессе. Именно с таким случаем имеем дело при управлении учебным процессом. Вмешательство может привести к необходимым результатам. Регулирование с помощью контрольных карт Шухарта снижает вероятность принятия неэффективных управленческих решений.

Контрольная карта это разновидность графика. На графике имеются линии, называемые контрольными границами, или границами регулирования. Эти границы обозначают величину разброса, образующуюся в обычных условиях течения процесса. Если все точки графика входят в область, ограниченную контрольными границами, то это показывает, что процесс протекает в относительно стабильных условиях.

На практике используются различные виды контрольных карт. Подразделение данных может производиться как по временным интервалам (диахронная схема), так и посредством других показателей (синхронная схема). В общем случае различают карты, оценивающие количественные показатели качества и качественные показатели. В первом случае используется та или иная размерность, выраженная числом. Во втором случае учитываются две оценки “качественно” и “некачественно”. При количественной оценке работают с так называемыми (-Я)-картами, при качественной оценке чаще применяют р-карты. Для статистического регулирования учебного процесса, когда в качестве основного параметра его результата используются доли студентов, освоивших дисциплину полностью, а число испытуемых на разных этапах ФЭПО различно, целесообразно использование Р-карты.

В работе применяются две разновидности контрольных карт: 1) для представления результатов тестирования студентов одного факультета (одной специальности) на нескольких этапах экзамена диахронная схема анализа; 2) для представления результатов тестирования студентов нескольких факультетов на одном этапе (в этом случае для изучения динамики сопоставляются контрольные карты, построенные в одном масштабе времени, то есть рассматривается не реальное физическое время, а “системное”, представляемое учебными годами или этапами) сочетание синхронной и диахронной схем анализа.

Для построения карты первого вида учитываются доли аттестованных студентов по выбранной дисциплине в каждой академической группе и определяется средняя доля по факультету для каждого этапа экзамена и по нескольким этапам. Для построения карты второго вида для каждого факультета для конкретной дисциплины определяется число академических групп, принимающих участие в экзамене на определенном этапе ФЭПО, для каждой академической группы определяется число и доля аттестованных студентов. Для каждой специальности (факультета) определяется средняя доля аттестованных студентов и размах. Для всех факультетов рассчитывается средняя доля аттестованных студентов и средний размах.

В результате обработки данных строятся контрольные карты, с помощью которых организуется регулирование процесса. Для построения контрольных карт может быть использован статистический пакет БРББ [2].

Продемонстрируем использование метода контрольных карт. Для примера взяты результаты нескольких этапов федерального Интернет-экзамена по дисциплине “Отечественная история”. Чтобы оценить динамику изменения результатов во времени, необходимо сопоставить данные нескольких контрольных карт. УрГПУ впервые принял участие в ФЭПО весной 2006 года (ФЭПО-3). На данном этапе ставилась задача определить уровень подготовки студентов по ряду дисциплин (в их числе “Отечественная история”). К экзамену в такой форме ни студенты, ни преподаватели не были готовы. Результаты экзамена выявили серьезные недостатки в подготовке студентов. Практически не было аттестовано ни одной академической группы (доля аттестованных студентов во всех группах была меньше 50%). Анализ результатов выполнения заданий по разделам дисциплины выявил те разделы и темы, которые отнесены к неосвоенным.

Обсуждение результатов на кафедре отечественной истории позволило выявить причины их низкого уровня. Основные причины недостатков следующие: учебный материал изучался студентами самостоятельно и слабо проверялся преподавателями, некоторые темы предъявлялись студентам в меньшем объеме, чем представленный в государственном стандарте, преподаватели и студенты были слабо мотивированы на получение высоких результатов и с недоверием относились к новшеству. Все свидетельствовало о необходимости вмешательства в процесс. Между этапами проводилась консультационная работа с преподавателями, для некоторых кафедр были проведены курсы повышения квалификации, студентов познакомили с технологией проведения экзамена, также были внесены изменения в содержание рабочих программ учебных курсов. Через год (ФЭПО-5) результаты существенно улучшились: число аттестованных студентов и аттестованных групп превысило необходимый уровень на всех факультетах, зона регулирования переместилась выше минимально достаточного уровня.

Вместе с тем, по-прежнему наблюдались различия между факультетами. На первый взгляд, процесс вышел на необходимый уровень и не требовал вмешательства, но результаты следующего этапа показали обратное. На ФЭПО-6 ряд факультетов, хотя и были аттестованы, снизили свои показатели. Их результаты вышли за пределы зоны регулирования. Это говорит о том, что процесс на этих факультетах попрежнему нуждается в независимом контроле и корректировке. Сопоставление контрольных карт позволяет дифференцировать факультеты по уровню подготовки студентов и своевременно принимать меры по корректировке процесса.

Подведем итоги. Использование простых статистических методов позволяет перейти от измерения и оценки результатов учебного процесса к оценке, управляющему контролю и совершенствованию учебного процесса; снижает риск принятия неэффективных управленческих решений для корректировки учебного процесса; обеспечивает руководство университета информацией о целесообразности вложения средств в модернизацию учебного процесса (улучшение материально-технического обеспечения процесса, обучение кадров, изменение процедур, предупреждающих повторение ошибок и тому подобное); по мере накопления данных делает возможным проведение мониторинга и оценку эффективности управленческих решений, принятых относительно изменений в учебном процессе.

Литература

качество учебный образовательный стандарт

Савельев Б.А., Масленников A.C. Оценка уровня обученности студентов в целях аттестации образовательного учреждения профессионального образования: Учебное пособие. М., 2003.

SPSS: искусство обработки информации: Анализ статистических данных и восстановление скрытых закономерностей. М. СПб. Киев, 2002.

Размещено на Allbest.ru