К проблеме автоматизированного проектирования и генерации тестов нового поколения

Размещено на http://www.allbest.ru/

К ПРОБЛЕМЕ АВТОМАТИЗИРОВАННОГО ПРОЕКТИРОВАНИЯ И ГЕНЕРАЦИИ ТЕСТОВ НОВОГО ПОКОЛЕНИЯ

Г.Н. Зверев

д.т.н., проф. каф. компьютерной математики, Уфимский государственный авиационный технический университет

Н.Н. Зверева, ст. преподаватель каф. информатики и ИТ,

А.С. Беляева, к.х.н., зав. каф. информатики и ИТ

Башкирский государственный аграрный университет

Рост темпов информатизации системы образования и процессов обучения, переход на новые образовательные стандарты и повышенные требования к достоверным оценкам качества приобретаемых обучаемыми знаний и компетенций ставят перед тестологией и практической педагогикой весьма серьезные проблемы. Существующие формы тестов и технологии тестирования далеко не всегда удовлетворяют насущным требованиям к образовательным процессам и вызывают в обществе, в научно-педагогической среде справедливые нарекания. Причины этому кроются в высокой сложности объекта исследования - приобретаемых знаний и умений обучаемого, существенного влияния на результаты оценивания субъективности экзаменаторов и применяемых средств педагогических измерений, обработки фактической и априорной информации об испытуемых, далеких от высокого уровня исследований, достигнутых в метрологии, физике, технике.

контроль знание тестирование

Модели процессов обучения и контроля знаний

Проблемным объектом педагогического исследования являются приобретенные обучаемым знания по определенной дисциплине. Измеряемое/вычисляемое свойство - это степень соответствия полученных знаний эталонным знаниям учебного курса. Приобретенные знания обычно оцениваются в позитивных (точность, полнота) или негативных (погрешность, незнание) шкалах оценок. Цели педагогических исследований определяются разнообразием задач, которые решает педагог в учебном процессе: контроль знаний, умений и навыков обучаемых, оценка полноты охвата материала дисциплины, ранжирование обучаемых (по успеваемости, одаренности, креативности), оценка уровня сложности заданий и т.д. Эти и другие понятия, процедуры педагогики и тестологии подлежат формализации, конструктивному воплощению в программно-аппаратных средствах информационных технологий.

Первые теоретические модели психологических и педагогических измерений [7-9] имели реляционную (аксиоматическую) форму и были ориентированы на обоснование шкал измерений. Более информативна функциональная (конструктивная) формализация процессов измерения/вычисления искомых свойств проблемных объектов и оценки точности результатов [6], построенная для физических экспериментов, технической, медицинской диагностики и т.д. в виде функциональной модели исследования (рис.1).

Рис.1. Функциональная модель исследования

В этой схеме генор Г есть модель генерации параметров проблемных ситуаций - вектора влияющих причин u, полезных и мешающих факторов, влияющих на измерительную систему - сенсор А, на выходе которой находятся результаты измерения y, поступающие на вход вычислительной системы - рефор В, который обрабатывает результаты наблюдений и априорную информацию J о проблемной ситуации, получая на выходе оценки искомых параметров . Эти оценки сравниваются с эталонными, истинными значениями искомых x, которые порождает прецизионная система - целевой оператор исследования С. Сравнение и x выполняет адекватор D, на выходе которого - оценка адекватности = в позитивной шкале, либо оценка погрешности в негативной шкале. Для всего множества возможных значений вектора причин u, вычисляются интегральные оценки точности и погрешности оператором связывания. Они поступают на вход эффектора Е, который осуществляет обратную связь в управлении процессами и вносит изменения в системы Г, А, В,… посредством управляющих воздействий z.

Функциональная модель технологии тестирования в абстрактном представлении совпадает с рассмотренной выше моделью исследования, но имеет иную семантику операторов ГАВСDES и входных/выходных объектов операторов . Модель генерации порождает очередное тестовое задание -u. Целевой оператор С формирует эталонный ответ x. Студент воспринимает сенсорами А текст задания u, выделяет в нем рефором B₁ известные по накопленным знаниям J компоненты y, наделяя их соответствующей семантикой, определяет неизвестные и способы их нахождения рефором B₂. При этом могут возникать синтаксические и семантические ошибки, контролируемые рефором B₃. В этом случае составной рефор B=B₁B₂B₃ в результате формирует ответ . Адекватор D сравнивает решение с эталоном x и получает оценку достоверности или расхождения по конкретному тестовому заданию, а оператор связывания S вычисляет среднюю оценку ошибочности и итоговую оценку правильности решений заданий по всему тесту. Результаты измерений и вычислений обрабатывают программные модули рефора B по каждому целевому параметру эталонного вектора x совместно с априорной информацией педагогической ситуации.

Основными компонентами априорной информации о проблемной области тестирования служат: модели знаний и умений обучаемых, модели существенных факторов, влияющих на результаты тестирования, модели предметной области или ее фрагментов. Модель обучаемого включает информацию о характеристиках его памяти, поведения, накопленных знаний и умений. Можно выделить следующие факторы, влияющие на достоверность результатов тестового контроля знаний испытуемых: репрезентативность теста учебному материалу дисциплины; качество формулировок и содержания тестовых заданий; последовательность предлагаемых знаний; соблюдение правил проведения тестирования; физическое и психологическое состояние испытуемых, окружающая обстановка.

Нарушение репрезентативности теста ведет к ошибкам в анализе полноты и качества усвоения знаний, не обеспеченных контролем. Субъективные оценки репрезентативности теста выполняются экспертами. Объективные методы оценки репрезентативности, учитывающие зависимости между контролируемыми и неконтролируемыми ДЗУ, между тестовыми заданиями, в настоящее время находятся лишь в начальной стадии разработки. Простейшей оценкой репрезентативности теста служит отношение объема информации ДЗУ, контролируемых тестом, к общему объему учебного материала.

К основным негативным факторам этапа обработки результатов педагогических измерений, которые снижают качество итоговых оценок тестирования, относятся: ошибки оценок параметров процесса тестирования; невысокое качество алгоритмов обработки фактических и априорных данных; ошибки в классификации обучаемых; неточности в назначении весов тестовых заданий; неопределенности граничных значений при переводе оценок из 100-балльной шкалы в 5-балльную экзаменационную шкалу, либо 2-балльную зачетную (сдал/не сдал).

В тестологии вводится понятие истинного балла ученика - это идеал достоверности результата тестирования, к которому должны стремиться педагогические исследования. Пусть эталонные знания ДЗУ и знания обучаемого ДЗУ' по разделу либо дисциплине в целом характеризуются количественными либо качественными (классификационными, логическими) признаками. Введем функцию расстояния, которая количественно оценивает меру различия между эталоном и приобретенными знаниями ученика: r(ДЗУ',ДЗУ)?0. Значение r=0 характеризует полное совпадение значений признаков: ДЗУ'=ДЗУ, максимальное расстояние r=r_max означает предельную искаженность знаний и умений обучаемого, охарактеризованных этими признаками.

Относительная мера неполноты, искаженности знаний принимает значения из единичного интервала . Мера точности, полноты и достоверности приобретенных знаний лежит в том же интервале. Единичная шкала [0;1] оценок знаний и умений является унифицирующей для всех видов тестов и заданий [6], оценивания математических и субъективных вероятностей случайного угадывания.

Признаки знания ДЗУ' обучаемого недоступны для непосредственных измерений и оцениваются косвенно процедурами тестирования. Кроме того, результаты измерений и их обработки искажены перечисленными выше факторами. Пусть есть истинные баллы знаний испытуемого, а - их оценка в результате тестирования, уровень ошибок тестирования в баллах есть разность между оцененными ошибками обучаемого и действительными ошибками: . Иначе, , следовательно, ошибки тестирования могут занижать при , либо завышать при итоговую оценку испытуемого: .

Ошибка тестирования включает систематическую и случайную составляющие: . Они имеют разные источники и разные способы коррекции. Систематическая ошибка тестирования в основном порождается нарушением репрезентативности теста, недостаточным качеством тестовых заданий и алгоритмов обработки, ошибками в априорных данных. Случайная составляющая зависит от психологического состояния испытуемого, нарушений технологии тестирования и определяет уровень воспроизводимости (повторяемости) результатов тестирования.

Формализация основных понятий процесса автоматизированного контроля знаний

Традиционные методы разработки контрольно-измерительных материалов и реализации процедур тестирования, описанные во многих работах [1-4,10], предъявляют жесткие требования к тестам, тестовым заданиям, технологиям измерений, обработки, анализа полученных результатов и принятия окончательных решений. Для автоматизированного проектирования средств контроля процесса обучения необходимо формализовать все педагогические понятия, используемые в традиционных подходах к контролю знаний на интуитивном (субъективном) уровне, обеспечить их принципиальную измеримость/вычисляемость, оценить точность результатов, сформировать описатели тестового задания, теста и технологии тестирования.

Типовой описатель тестового задания содержит следующие сведения:

- проблемный объект тестирования;

- тип тестового задания;

- шкалы измерения качества решения задания;

- контролируемые понятия и ДЗУ изучаемой дисциплины;

- ожидаемое (среднее) и фактическое время решения задания;

- теоретическая сложность задания;

- фактическая (статистическая) трудность решения задания;

- дифферент задания, мера различимости студентов по их способностям к решению задания;

- вероятность случайного угадывания правильного ответа;

- оценки качества формулировок в тексте задания;

- веса элементов задания, из которых формируется решение.

Проблемный объект исследования при тестировании - это понятийные и фактические знания, виды умений, навыков, творческих способностей в соответствии с целями тестирования.

Выделяют следующие типы формализованных заданий и меры точности решений [6]:

- выбор одного элемента из множества альтернатив, представленных в тексте задания, оценивается точностью в двоичной шкале {0,1} баллов;

- выбор подмножества правильных ответов N_п из заданного множества N альтернатив оценивается точностью решения из числового интервала: ;

- упорядочения элементов множества по заданному признаку, точность ответа оценивается в числовой шкале [0,1];

- установление соответствия между двумя множествами (объектов и классов объектов), точность принимает значения из интервала [0,1];

- заполнение пропусков в представленном тексте оценивается точностью в числовой шкале [0,1].

Помимо точности, качество решения характеризуется временем решения задания и другими целевыми характеристиками тестирования, также приводимыми к единичному интервалу оценок [0,1].

Следует различать сложность задания и трудность его решения для испытуемого. Сложность есть объективная характеристика задачи, входящих в нее понятий, связей с другими понятиями и ДЗУ, шагов их преобразований при получении правильного ответа. Меры сложности задач представлены в [4], меры сложности сети понятий описаны в [10]. Трудность решения задания характеризует затраченные усилия испытуемых и зависит от их подготовки и сложности задания. Меры трудности строятся по субъективным сравнительным оценкам, полученным в результате опроса студентов, и мнениям экспертов, либо по объективным результатам тестирования, оцениваемым в двоичной шкале, либо в числовой шкале точности [0,1], отражающей частичность, неполноту ответа.

Эмпирическая трудность в двоичной шкале оценок

,

эмпирическая легкость задания

,

где и - число студентов, решивших и не решивших данное задание; - общее число студентов. Эмпирическая легкость, измеряемая в единичном числовом интервале - оценка вероятности решения задания; - эмпирическая трудность, оценка вероятности для студента из заданной группы не решить задание.

По значениям трудности и легкости задания вычисляется его дифференцирующая способность. Эмпирическая дисперсия двоичных значений точности есть , дифферент задания является квадратным корнем из значения дисперсии: . Более точная оценка дифферента задания выполняется по формуле:

.

Результаты эмпирических оценок трудности и дифферента отражают свойства тестового задания, если выбранная группа студентов репрезентативна поставленным целям. Простота и адекватность формулировок заданий, а также веса его альтернатив пока определяются экспертным путем.

Типовой описатель теста содержит следующую информацию:

- предметная область, контролируемая дисциплина;

- тип теста;

- количество заданий в тесте (для гетерогенного теста - число заданий, их номера для каждого измеряемого свойства);

- репрезентативность теста;

- ожидаемое суммарное среднее время решения всех заданий теста и фактической время, затраченное испытуемым по каждой цели тестирования;

- веса тестовых заданий для каждой цели тестирования;

- средневзвешенные сложность, трудность, дифферент теста для целевой группы заданий;

- валидность теста.

Тип теста определяется видом контроля знаний в процессе обучения, целями тестирования, измеряемыми свойствами компетенций обучаемых и т.д. Средневзвешенные оценки количественного свойства теста определяются по формуле:

,

где - свойство j-го задания, - его вес, - количество заданий, . Веса заданий в основном назначаются экспертами с учетом их сравнительной важности, сложности, трудности.

Понятие валидности, пришедшее из психологии, понимается по-разному. Приемлемая формализация смысла этого понятия состоит в следующем: валидность - это сводная, интегральная характеристика теста, означающая его теоретическую и практическую пригодность при условии, что тест репрезентативен, соответствует целям тестирования, языковым нормам, доступен для испытуемых.

Технология тестирования, как правило, включает выполнение следующих операций:

- разработка банка тестовых заданий по дисциплине;

- сбор данных об условиях проведения тестирования, группах студентов, влияющих факторах, средствах обработки результатов выполнения заданий, средствах контроля процесса тестирования;

- разработка теста, оценка его свойств, пробная проверка, внесение корректив;

- составлений инструкций для преподавателей и обучаемых, ознакомление с правилами проведения тестирования, тренинг;

- получение студентами заданий, их выполнение, контроль за соблюдением правил, исключающих искажения процедуры тестирования;

- обработка результатов тестовых измерений и априорных данных о процессах тестирования, выставление студентам итоговых оценок в баллах, - число студентов в группах.

При объективации педагогических исследований знаний испытуемых к этим операциям добавляют процедуру оценки точности/погрешности результатов тестирования:

где - известный испытуемому и педагогу результат тестирования, - неизвестные истинные баллы, - погрешность тестирования. Процедура получения оценки истинной величины погрешности основного процесса тестирования, называемая адеквативным процессом [6], на порядок сложнее основного процесса получения оценки . Она также подвержена искажениям:

,

где - неизвестная истинная погрешность результата тестирования, - погрешность погрешности, равная разности баллов . Основное требование к адеквативному процессу (в данном случае - это контроль контроля знаний) в целом состоит в том, чтобы уровень ошибок контроля не превышал уровень ошибок основного процесса: .

По априорной информации и контрольным проверкам процедуры измерений можно приближенно определить уровни систематической и случайной составляющих ошибки результатов тестирования. Знак случайной составляющей неизвестен, но можно оценить средний уровень влияния случайных факторов, порождающих невоспроизводимость результатов тестирования. Если с приемлемой точностью известна систематическая составляющая результатов тестирования, то она должна учитываться в итоговых оценках тестирования: - исправленное значение за счет некачественности теста и процесса тестирования.

На основании вышеизложенных формализованных описаний педагогических понятий, используемых при автоматизированном контроле знаний, можно определить типовую структуру тестовой подсистемы в АОС. Тестовая подсистема реализует интерактивные алгоритмы разработки тестовых заданий, тестов, используя описатели понятий, доз знаний и умений, компетенций, а также алгоритмы обработки результатов тестирования. Приведем перечень основных программных модулей тестовой подсистемы и их назначение:

- модуль формирования контента (формирование описателей контролируемых понятий, ДЗУ, компетенций, построение семантической сети дисциплины и сети ДЗУ, вычисление сложности понятия, ДЗУ);

- модуль генерации тестовых заданий (формирование описателей тестового задания, теста, банка тестовых заданий, технологии тестирования, вычисление сложности тестового задания, определение весов тестовых заданий, формирование индивидуального теста для каждого испытуемого, расчет репрезентативности теста по объемам ДЗУ);

- модуль обработки результатов тестирования (оценка трудности/легкости тестовых заданий по матрице результатов тестирования размерности N_з x N_c, , вычисление суммарного ожидаемого времени решения всех тестовых заданий, оценка погрешности/точности и достоверности решений тестовых заданий различного типа, вычисление мер точности, неопределенности решений тестовых заданий в шкалах информационных логик, преобразование числовых значений результатов тестирования в 5-балльную шкалу итоговых оценок, коррекция модели понимания студента по результатам тестирования).

Выводы

Для повышения точности и объективности теории и практики тестовых испытаний в данной работе предложены формализованные определения основных педагогических понятий, используемых в традиционных подходах к контролю знаний. Предложена модель тестирования, которая является частным случаем функциональной модели исследования и учитывает особенности педагогических измерений. Это доказывает, что педагогическая диагностика имеет единую информационную основу с технической, медицинской и т.д. диагностикой и, в свою очередь, должна учитывать специфику взаимодействия с “проблемным объектом” - учеником, студентом.

Литература

1. Челышкова М. Б. Теория и практика конструирования педагогических тестов. Уч. пособие. - М.: Логос, 2002.

2. Измерение и оценка качества образования / А.А.Глушенко и др.- М.: МПА-Пресс, 2003. - 237 с.

3. Красильникова В.А. Теория и технология компьютерного обучения и тестирования. - М.: Дом педагогики, 2009. - 337 с.

4. Зверев Г.Н., Зверева Н.Н. Семиотическое моделирование педагогических процессов //Материалы III междунар. заоч. научно-практич. конференции «Человек: информация, технология, знак», Т.1. - Ульяновск: УлГТУ, 2011. - С.130-134 с.

5. Зверева Н.Н. Совершенствование форм тестовых заданий // Материалы III научно-методической конференции «Инновационные технологии в профессиональном образовании», Т.2. - Грозный: 2012. - с.154-159.

6. Зверев Г.Н. Теоретическая информатика и ее основания. В двух томах. - М.: Физматлит, Т.1, 2007. - 592 с., Т.2, 2009. - 576 с.

7. Scott D., Suppes P. Foundational aspects of theories of measurement, J. Symbolic Logic, 23 (1958), 113-128.

8. П. Суппес, Дж. Зинес, Р. Льюс, Е. Галантер. Психологические измерения. - М.: Мир, 1967. - 196 с.

9. Пфанцагль И. Теория измерений. - М.: Мир, 1976. - 248 с.

10. Карпенко А.П., Добряков А. Н. Модельное обеспечение автоматизированных обучающих систем. Обзор ////Наука и образование: электронное науч.-техн. издание, 07.2011. URL: http://www.technomag.edu.ru/doc.

11. Карпенко А.П., Соколов Н.К. Оценка сложности семантической сети в обучающей системе // Наука и образование: электронное науч.-техн. издание, 11.11.2008. URL: http://www.technomag.edu.ru/doc.

Размещено на Allbest.ru