Основы и критерии разработки тестовых заданий

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

14

1

Основы и критерии разработки тестовых заданий

Разработка тестовых заданий

тестовое задание педагогический контроль

Соответствие требованиям тестовой формы - необходимое, но не достаточное условие. Исход противоборства испытуемого с предлагаемым заданием оценивается баллом x_ij.

i - номер испытуемого;

j - номер задания.

Тестовые задания проходят процесс специальной апробации.

1. Экспертная проверка содержания.

2. Определение статистических характеристик заданий.

Тестовые свойства заданий:

1. Требования формы.

2. Известная трудность.

3. Технологичность.

4. Вариативность баллов.

5. Дифференцирующая способность.

6. Коррелируемость с критерием.

Для проверки тестовых свойств заданий используется матрица результатов тестирования. Матрица - компактная форма записи элементов, связанных общностью содержания. В матрице тестовых результатов количественные данные представляются в систематизированной и сжатой форме, чтобы обеспечить их дальнейшую обработку и интерпретацию. Формирование матрицы начинается с выбора определенного правила для оценки ответов учеников на задания теста. Обычно результаты ответов оцениваются дихотомически, а именно: за каждый правильный ответ учащийся получает один балл, а за неправильный ответ или за пропуск задания - нуль баллов.

Строки матрицы, состоящие из нулей и единиц, соответствуют ответам учеников на различные задания теста. По столбцам располагаются профили ответов испытуемых на каждое задание теста.

Пример: 4 испытуемых, 5 заданий.

Испытуемые	Номера заданий	Yi
Гусев	1	0	1	1	1	4
Ежов	1	1	1	1	0	4
Канарейкин	1	1	0	1	0	3
Медведев	0	1	0	0	0	1
Rj	3	3	2	3	1

Из матрицы тестовых результатов устраняются строки и столбцы, состоящие только из нулей или только из единиц.

Индивидуальный тестовый балл испытуемого получается суммированием всех единиц, полученных им за правильно выполненные задания теста. Сложение по строкам дает тестовый балл испытуемого Y_i.

Сложение по столбцам дает тестовый балл задания R_j.

Матрица упорядочивается по испытуемым и по заданиям. Для этого производят перестановку столбцов, располагая числа R_i в порядке убывания. Затем меняют местами строки матрицы так, чтобы верхняя строка соответствовала обучаемому с максимальным индивидуальным тестовым баллом. Значения Y_i располагают сверху вниз в порядке убывания.

1 строка - самый успешный испытуемый.

Последняя строка - самый неуспешный испытуемый.

1 столбец - самое легкое задание.

Последний столбец - самое трудное задание.

Доля правильных ответов на задание

.

R_j - число правильных ответов на j-е задание.

Доля неправильных ответов на задание

.

W_j - число неправильных ответов на j-е задание.

N - число испытуемых.

Справедливо соотношение

,

Поскольку

.

Высокая технологичность позволяет весь процесс тестирования вести с помощью технических средств (точно, быстро, экономно, объективно).

Вариация баллов предполагает неодинаковость ответов различных испытуемых на данное задание. Вариация равна 0, если в столбце одни 1 или 0. Вариация максимальна, если

.

Мера вариации тестовых баллов - стандартное отклонение s_y. Дисперсия тестовых баллов составляет_. Стандартное отклонение и дисперсия вычисляются программой MS Excel и другими программами статистической обработки данных.

Дифференцирующая способность - способность отличать сильных испытуемых от слабых.

Коррелируемость задания с критерием рассчитывается по классическому коэффициенту корреляции Пирсона r_xy. Этот коэффициент вычисляется программой MS Excel и другими программами статистической обработки данных. В качестве критерия используется вектор-столбец индивидуальных тестовых баллов испытуемых. Чем выше r_xy, тем больше вероятность превращения задания в тестовой форме в тестовое задание. Норма включения задания в тест r_xy ? 0,4. При r_xy ? 0, 2 задание безусловно удаляется.

В полной корреляционной матрице представляются также интеркорреляции - коэффициенты корреляции каждого задания со всеми остальными заданиями. Отрицательная интеркорреляция указывает на разнонаправленность вариации баллов.

Производится графическая интерпретация эмпирических данных. Эмпирические результаты тестирования можно представить, например, в виде гистограммы.

Критериально-ориентированные тесты (зачет-незачет). Проверка на минимум содержания учебных дисциплин. В.С. Аванесов и некоторые другие исследователи считают, что критериально-ориентированные тесты не являются тестами в классическом понимании.

Нормативно-ориентированные тесты. Оценка знаний испытуемых во всем диапазоне знаний - от низшего до высшего.

Нормативно-ориентированные и критериально-ориентированные тесты

Нормативно-ориентированные	Критериально-ориентированные
Цель тестирования - оценка учащегося относительно других учащихся	Цель тестирования - описание усвоенного или не усвоенного материала. Оценка учащегося относительно набора характеристик достаточного для достижения результата.
Статистические методы оценивания. Специалисты необходимы для статистической обработки результатов.	Экспертное оценивание. Специалисты для экспертизы учебного материала.
Может быть отобран широкий спектр материала.	Отбирается материал, который касается ограниченной тематики.
Апробация тестовых заданий, в том числе для определения трудности и дискриминативности.	Апробация тестовых заданий для отработки содержания заданий.
Отбираются задания с максимальной дискриминативностью. Слишком простые и слишком сложные задания отбрасываются.	Отбираются задания, максимально покрывающие обследуемую область критерия. Сложные и простые задания включаются в тест.
Статистические нормы, рассчитываемые для нормативной выборки или определение места ученика относительно других учеников, принимавших участие в тестировании.	Описание критерия достижения результата или описание тех учебных задач, с которыми учащиеся должны справиться.

Критерии качества теста

Надежность - характеристика теста, отражающая точность тестовых измерений, а также устойчивость тестовых результатов к действию случайных факторов.

Методы оценки надежности тестов

1. Ретестовый метод оценки надежности теста (двукратное тестирование);

2. Метод параллельных форм (двукратное тестирование);

3. Метод расщепление теста (однократное тестирование).

Значения надежности теста

Отличная	0,90 и больше
Хорошая	0,80-0,89
Удовлетворительная	0,70-0,79
Неудовлетворительная	0,69 и меньше

Валидность теста - характеристика его способности проверять то, что он должен проверять по замыслу авторов. Валидным или невалидным тест можно назвать лишь с указанием сферы его применения.

Мера валидности - коэффициент корреляции ответов по заданию с критерием.

Валидность теста по содержанию. Содержательная валидность тестов проверяется экспертным методом. Экспертиза теста проводится опытными экспертами. У экспертов должна быть уверенность в том, что:

· задания теста находятся в соответствии с программой;

· задания теста охватывают всю программу курса;

· высока вероятность того, что студент, успешно ответивший на задания теста, знает предмет в соответствии с полученной оценкой.

Конструктная (концептуальная) валидность

Конструктная валидность дидактического теста - это отражение в нем теоретической модели курса, его структурных пропорций и основных компонентов на всех уровнях, устанавливается путем доказательства правильности теоретических концепций, положенных в основу теста.

Критериальная (эмпирическая) валидность

Валидизация теста по критерию состоит в сравнении результатов, полученных испытуемым за решение теста с данными по критерию и вычислении коэффициента корреляции тестового результата с внешним критерием.

Очевидная (внешняя, доверительная) валидность

Валидность с точки зрения испытуемого. Объективно не устанавливается.

Значения валидности теста

Отличная	0,75 и больше
Хорошая	0,50 - 0,74
Удовлетворительная	0,40 - 0,49
Малоудовлетворительная	0,100 - 0,39
Неудовлетворительная	0,009 и меньше

Планирование содержания теста

I. Разработка плана теста

1. Примерная раскладка процентного соотношения содержания разделов (подсчет планируемого исходного числа заданий в тесте, обычно предельное число не превышает 60_80 заданий, поскольку время тестирования выбирают в пределах 1,5-2 часов, а на выполнение одного задания отводится в среднем не более 2 минут)

2. Определение числа заданий по каждому разделу дисциплины, исходя из важности раздела и числа часов, отведенных на его изучение в программе.

Стандартизованные и нестандартизованные тесты

Стандартизованным тестом (СТ) называется такой тест, который опробован на достаточно большом (500-1000 человек) и представительном контингенте тестируемых и который имеет стабильные и приемлемые показатели качества, а также спецификацию - паспорт с нормами, условиями и инструкциями для его многократного использования в разных условиях.

Представительность контингента означает, что выборка тестируемых по их данным (возраст, пол, обученность, обучаемость, национальность и др.) представляет такие же данные какой-то более крупной выборки, которую невозможно и нецелесообразно тестировать с помощью предварительных вариантов СТ. Разные условия использования ЛДТ обычно довольно ограничены и должны быть указаны в спецификации - паспорте.

Нестандартизованными называются преподавательские/учительские (classroom, home-made) тесты (ПТ), которые составлены самими преподавателями/учителями для своих учащихся. Они имеют на практике несколько названий - просто тест, тестовая контрольная работа, квиз (quiz). ПТ коротки

Имеет смысл ввести еще одну разновидность ЛДТ, промежуточную между СТ и ПТ. Эту разновидность целесообразно назвать локально стандартизованным тестом (ЛСТ). Как вытекает из названия, его отличие от СТ состоит в том, что представительной выборкой является контингент тестируемых одной школы, одного вуза или школ/вузов одного города в пределах 100-300 человек. С одной стороны, это улучшенный, возможно более полный ПТ, с другой стороны, это менее строгий по показателям качества СТ. Если ПТ составляют 1-2 человека, а ЛСТ - небольшая группа (4-5 человек), то составлением "широко" стандартизованных тестов охвачены целые коллективы.

Таким образом, степень стандартизованности ЛДТ заключается в степени их разработанности, в разной представительности выборок тестируемых для опробования и использования, а также в качестве самих тестов.

Отличительные свойства лингводидактических тестов (ЛДТ)

Лингводидактическое тестирование (language testing) занимается разработкой и использованием языковых и речевых тестов и, с одной стороны, является областью методики преподавания иностранных языков, а с другой стороны, относится к педагогическому (предметному) тестированию как часть общей тестологии.

1. Объект тестирования - коммуникативная компетенция - знания, навыки и умения, тестируемые в речевых действиях. ЛДТ имеют вербальный характер (либо задания, либо ответ является вербальным);

2. В случае ЛДТ есть возможность построения шкалы абсолютной оценки с помощью понятия образованного носителя иностранного языка (ИЯ);

3. В педагогических тестах отдельные задания независимы друг от друга.

Классификация ЛДТ по целям тестирования

1. Тесты учебных достижений (achievement tests). Составляются точно по программе (учебнику). Используются для текущего, промежуточного, итогового контроля.

2. Тесты общего владения иностранным языком (ИЯ) (proficiency tests). Составляются независимо от программ (учебников) предыдущего обучения. Проверка умений и навыков, необходимых для дальнейшей работы или учебы.

3. Диагностические тесты (diagnostic tests). Выявляют трудности и ошибки, типичные для данного контингента испытуемых.

4. Тесты способностей (aptitude tests).

5. Placement tests (распределительные, вступительные тесты). Служат для распределения тестируемых в равные по уровню обученности учебные группы. Это либо тесты достижений, либо тесты общего владения языком.

ЛДТ можно разделить на две группы:

1. языковые тесты

2. речевые тесты

Языковые тесты измеряют в основном лингвистическую компетенцию тестируемых. Примерами языковых тестов являются лексические и грамматические тесты.

Речевые тесты - тесты чтения, аудирования и др. можно условно разделить на:

а) традиционные

б) прагматические

в) коммуникативные.

Традиционные речевые тесты предназначены для выявления навыков и умений чтения, аудирования и письма с помощью традиционных приемов, например, вопросно-ответных заданий.

Примерами прагматических тестов являются тесты восстановления типа клоуз, диктанты и др.

Коммуникативные тесты - это в основном тесты устной речи.

Все речевые тесты измеряют какие-то компоненты коммуникативной компетенции.

Прагматические тесты - тесты, с помощью которых определение коммуникативной компетенции проводится на основе восстановления элементов текста (букв, слов, предложений), предъявленного визуально или аудиально, в котором определенным образом уменьшена избыточность информации. Проверяют лексико-грамматические и фонетико-грамматические навыки, память и ряд других способностей. Являются тестами общего уровня владения ИЯ.

Типы прагматических тестов

1. Диктант на фоне шума;

2. Классический клоуз-тест;

3. С-тест;

4. Б-тест.

Разновидности визуальных клоуз-тестов (подстановочных тестов)

1. Классический клоуз-тест. Пропускается каждое 4-7 слово текста. Минимальное количество заданий - 50. Недостаток: даже носитель языка не восстанавливает текст на 100%.

2. С-тест (си-тест). В каждом втором слове пропускается вторая половина букв. При нечетном количестве букв в слове пропускается бульшая половина букв. Слово из 1 буквы не пропускается, далее следуют 2 задания подряд. Минимальное количество заданий - 100.

3. Б-тест. Шаг 3-4 слова. В каждом слове-пропуске указана первая буква. Минимальное количество заданий - 70.

4. Тесты с целенаправленной выборкой пропусков.

5. Редакторский тест. В тексте имеются лишние слова, которые нужно найти.

Для всех типов клоуз-тестов используются незнакомые тексты.

Преимущества ЛДТ

1) Возможность проконтролировать одновременно всю группу учащихся;

2) Более высокое качество заданий по сравнению с нетестовыми формами, благодаря их предварительной проверке в предтесте;

3) Экономия аудиторного времени за счет компактной письменной формы;

4) Возможность стандартизации процедур проведения тестов;

5) Более положительная мотивация и отношение тестируемых к тестовым формам контроля, так как исключена субъективность оценки;

6) Сравнительная легкость перевода тестов на ЭВМ.

Общим недостатком языковых и речевых тестов является их уменьшенная внешняя валидность. В случае языковых тестов это вытекает из искусственности изолированных от большого контекста заданий, а также из-за выборочных ответов.

Педагогический контроль

Функции педагогического контроля

Выделяются четыре основные функции педагогического контроля в вузе:

- диагностическая,

- обучающая,

- организующая

- воспитывающая.

Принципы контроля

Процесс контроля регламентируется рядом принципов, среди которых ведущими являются: принципы

- научности

- эффективности,

- объективности,

- систематичности,

- справедливости и всесторонности.

В зависимости от времени обучения педагогический контроль делится на входной, текущий, тематический, рубежный, итоговый и заключительный.

Входной контроль (он же предварительный, установочный) выявляет базовый, исходный уровень подготовки учащихся к обучению. Проводится обычно до начала обучения.

Текущий контроль мотивирует обучение в результате осуществления дифференцированного подхода к успевающим и неуспевающим студентам. Используются устный опрос, письменные контрольные работы, ознакомление с дневниковыми записями и документами, с текущими отчетами по учебной и производственной практике, с данными самоконтроля.

Цель тематического контроля - оценка результатов изучения определенного раздела или темы программы.

Осуществление этапного контроля, зачеты по разделам программы, степень готовности курсовых проектов, дипломных работ - задача рубежного контроля, в котором выявляются учебные достижения каждого студента перед тем, как преподаватель переходит к изучению следующей части учебного материала.

В текущем, тематическом и рубежном контроле целесообразно как можно шире использовать стандартные программы и технические средства, позволяющие каждому студенту самому выявить имеющиеся у него пробелы в знаниях и принять меры по их устранению. Предусмотренное реформой высшей школы увеличение времени на самообразование заметно актуализировало потребность в таких программах.

Итоговый контроль осуществляется преподавателем после прохождения всего учебного курса. Данные итогового контроля позволяют оценить работу и педагогов и студентов. Здесь подводится итог изучения учебной дисциплины, выявляются индивидуальные достижения, способности отдельных студентов углубленно изучать данный предмет.

Заключительный контроль проводится обычно в составе комиссии, которая призвана коллегиально принять окончательное решение о результатах подготовки. Это относится к экзаменам при переводе студентов с курса на курс, к выпускным экзаменам, к защите диплома.

Типы шкал

Шкала - средство для измерения свойств объекта; представляет собой числовую систему, в которой отношения между различными свойствами объектов выражены свойствами числового ряда.

1. Шкала наименования, классификационная шкала

Шкала наименований получается путем присвоения "имен" объектам. При этом нужно разделить множество объектов на непересекающиеся подмножества. Объекты сравниваются друг с другом и определяется их эквивалентность - неэквивалентность. В результате данной процедуры образуется совокупность классов эквивалентности. Объекты, принадлежащие к одному классу, эквивалентны друг другу и отличны от объектов, относящихся к другим классам. Эквивалентным объектам присваиваются одинаковые имена.

О шкале наименований можно говорить в том случае, когда эмпирические объекты просто "помечаются" числом. Примером таких пометок являются номера на майках футболистов: цифру "1" по традиции получает вратарь, и это указывает на то, что по своей функции он отличен от всех остальных игроков; но его функция на футбольном поле эквивалентна функции других вратарей, если не учитывать качество игры.

С помощью номинальной шкалы можно измерять только качественные признаки, поэтому обработку количественных данных следует проводить не с самими этими числами, а с удельными весами количества объектов данного класса. В этой шкале допустимы следующие статистические операции:

- расчет частот (удельных весов) объектов данного класса;

- определение моды изучаемого признака.

2. Шкала порядка (ранговая)

В порядковой шкале вводятся числа и отношение "больше - меньше", поэтому по числу, соответствующему оцениваемому объекту, можно узнать о месте объекта в совокупности. Например, по результатам экзаменов можно приписать ранги каждому ученику, но только в пределах той группы, где проводился экзамен. Пятибалльная шкала, по которой сейчас выставляют оценки в школе, является частным случаем порядковой. В ней ученики делятся на отдельные группы. Например, группа троечников может включать довольно много учеников, объединенных вместе и никак не ранжированных внутри своего объединения.

По оценкам в порядковой шкале можно ранжировать учащихся, но делать вывод о том, насколько один лучше другого, нельзя в силу отсутствия единицы измерения.

При измерении признака в порядковой шкале возможны только монотонные преобразования, допускающие умножение на постоянный множитель, возведение в степень, извлечение корня. В качестве средней оценки используют медиану.

3. Интервальная шкала

Интервальная шкала - количественная. Она определяет величину различий между объектами в проявлении свойства. С помощью шкалы интервалов можно сравнить два объекта. При этом выясняют, насколько более или менее выражено определенное свойство у одного объекта, чем у другого. Классическим примером применения этой шкалы в физике является измерение температуры по Цельсию. Шкала интервалов имеет масштабную единицу, но положение нуля на ней произвольно, поэтому нет смысла говорить о том, во сколько раз больше или меньше утренняя температура воздуха, измеренная шкалой Цельсия, чем дневная.

В интервальной шкале допустимы почти все статистические операции, кроме тех, которые предполагают знание "истинно" нулевой точки шкалы.

4. Шкала отношений

Шкала отношений - наиболее часто используемая в физике шкала. В данном случае можно сказать, во сколько раз один объект больше или меньше другого. Шкала отношений отличается от шкалы интервалов тем, что на ней определено положение "естественного нуля". Классический пример - шкала температур Кельвина. В ней можно выполнять все арифметические и статистические операции.

Размещено на Allbest