Технология конструирования педагогических тестов

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Содержание

Введение

1. Теоретическая часть

1.1 Тестирование как метод педагогического контроля

1.2 Основные этапы конструирования педагогических тестов

1.3 Формы тестовых заданий

1.4 Интерпретация результатов тестирования

2. Практическая часть

Заключение

Список использованной литературы

Введение

Закон Республики Беларусь «Об образовании» провозглашает в качестве одного из основных принципов государственной политики - адаптивность системы образования к уровням и особенностям развития учащихся. До сих пор результатом педагогического контроля безоговорочно считается оценка успеваемости учащихся, которая определяет соответствие деятельности учащихся требованиям конкретной педагогической системы и всей системы образования. Адаптивность системы образования требует обратного - определения соответствия деятельности конкретной педагогической системы возможностям и образовательным потребностям каждого учащегося. Адаптивность системы образования должна предполагать и адаптивность системы педагогического контроля, что также влечет изменение смысла этого процесса. Педагогическая система должна поставить корректно дидактическую задачу и с помощью педагогических технологий быть способной решить ее. При этом интерпретации должны подвергаться не единичные оценки и тем более не средний балл учащегося, а величины, отражающие динамику изменения некоторого измеряемого качества, например, овладение учащимися учебным материалом.

Реформа образования в Республике Беларусь предусматривает обеспечение системного реформирования содержания образования, развитие Национальной системы оценки качества образования и на этой основе создание условий для объективного контроля качества образования.

Изменения в системе образования, последовательно проводимые в нашей стране, привели к значительному росту роли тестовых технологий. Сегодня тесты рассматриваются как один из основных инструментов контроля качества образования.

Тесты как специальный инструмент оценивания и контроля появились более века назад. Они нашли широкое применение в психологии, педагогике и других областях научного знания. Это обусловлено тем, что тесты позволяют с достаточной степенью объективности и достоверности выявить наличие подлежащих контролю характеристик, а также оценить уровень их сформированности. Важным аргументом в пользу тестов является наличие теоретически обоснованных и апробированных на практике методик обработки результатов тестирования. В течение многих десятилетий тесты активно применяются в мировой педагогической практике.

К сегодняшнему дню имеется весьма широкий спектр разноплановых исследований, посвященных проблеме педагогического тестирования. Среди них фундаментальные исследования В.С. Аванесова, Т.А. Ильиной, А.Н. Майорова, М.Б. Челышковой и др.

Цель курсового исследования: изучение технологии конструирования педагогических тестов.

Объект исследования: технология педагогического контроля в образовательных учреждениях.

Предмет исследования: технология конструирования педагогических тестов.

Задачи:

1. Дать характеристику тестирования как метода педагогического контроля.

2. Раскрыть основные этапы конструирования педагогических тестов.

3. Изучить существующие формы тестовых заданий и возможные варианты интерпретации результатов тестирования.

4. Разработать алгоритм конструирования педагогических тестов.

Методы исследования: теоретический анализ литературных источников по проблеме исследования, обобщение, синтез.

1. Теоретическая часть

1.1 Тестирование как метод педагогического контроля

Реформа образования в нашей стране предусматривает обеспечение системного реформирования содержания образования, развитие Национальной системы оценки качества образования и на этой основе создание условий для объективного контроля качества образования.

В связи с этим актуализируется в современной педагогической теории и практике проблема научно-обоснованных методов контроля качества образования как учащихся общеобразовательной школы, так и студентов.

В процессе обучения постоянно ощущается потребность в объективной оценке качества знаний учащихся. Классифицируя виды контроля, в которых могут применяться как традиционные (контрольные и лабораторные работы, коллоквиумы, курсовое проектирование, зачеты, экзамены), так и тесты, большинство авторов выделяют:

· текущий контроль - наиболее простой для преподавателя способ получить оперативную информацию о знаниях обучаемых, которая создает условия для своевременной их коррекции;

· тематический контроль выявляет степень усвоения выделенной темы программы. При этом важная роль отводится традиционным методам проверки, но и в этом случае преподаватель может разработать наборы коротких контрольных заданий в тестовой форме;

· рубежный контроль фиксирует результаты определенного этапа обучения. Важным показателем качества тематического и рубежного контроля является уровень сформированности умения контролировать результаты собственной деятельности и корректировать ее в процессе выполнения заданий. Новые возможности для формирования навыков самоконтроля открывают педагогические тесты;

· итоговый контроль (аттестация) - оценка работы обучающихся после изучения ими дисциплины или комплекса дисциплин (государственные экзамены, подготовка и защита дипломной или квалификационной работы). Формой итоговой оценки является его отметка на экзамене или при защите дипломной работы, а также результаты выполнения итогового теста. При итоговом контроле роль общепризнанной нормы играют требования образовательных стандартов или других нормативных документов, действующих в условиях отсутствия стандартов. Процедура аттестации предполагает использование различных форм контроля, среди которых важное место отводится опять таки педагогическим тестам [9, с.14-15].

Основными функциями контроля являются:

· диагностическая функция вытекает из самой сущности текущего контроля, выявляющего пробелы в подготовке учащихся и принятия по результатам диагностики управленческих решений. Помимо выявления пробелов к сфере диагностики относятся установление причин пробелов, получения информации о характере трудностей. В условиях массового обучения к высокоэффективным средствам диагностики принято относить диагностические тесты;

· обучающая - реализуется в процессе устного опроса, анализа ответов и дополнительного объяснения преподавателя. Решающая роль при этом принадлежит педагогическим тестам;

· воспитывающая функция контроля призвана играть ведущую роль в формировании мотивационной основы деятельности обучающегося, поскольку, когда ее удается реализовать, проявляется в становлении таких качеств личности как интерес к знаниям, умение систематически работать, навыки самоконтроля, самооценки, самоуправления и самоорганизации;

· развивающая функция контроля обусловлена тем, что «контроль развивает память, формирует умения и навыки применять знания на практике». Формированию этих качеств способствует контроль традиционный и тестовый, но наиболее полно реализуется развивающая функция контроля, если контроль осуществляется с помощью тестов. Это связано с тем, что разные типы и виды тестовых заданий позволяют как формировать, так и контролировать одновременно и предметные, и общеучебные (интеллектуальные) умения [9, с.26-27].

Появление тестов повлекло за собой расширение перечня функций контроля - введение еще одной - прогностической, позволяющей предсказать потенциальные возможности обучаемого в освоении нового материала.

Итак, при оценке качества знаний возможно применение как традиционных методов контроля, так и тестов.

По мнению В.С. Аванесова, современное понимания тестов и тестирования можно разделить три уровня.

· первый популярный уровень, здесь тест понимается как набор вопросов с вариантами ответов;

· второй уровень понимания тестирования можно назвать научно-популярным, когда выделяют основные элементы тестирования, не учитывая особенности процедуры создания, использования, анализа, специфичные для той или иной сферы применения;

· третий уровень понимания может быть назван научным, характеризуется адекватностью целей и соответствующих им квалификационных характеристик, учитывает границы применения тестирования, наиболее точен, учитывает особенности тестов и отражает требования к тестам, которые появляются в процессе развития и научного обоснования тестирования [1, с.65].

В отечественной и зарубежной педагогической литературе существуют различные определения термина «тест». Приведем лишь некоторые из них:

Тест - это объективное и стандартизированное измерение, поддающееся количественной оценке, статистической обработке и сравнительному анализу [11, с.11].

Педагогический тест - это инструментальное средство контроля знаний, возможность с заданной точностью определить надежность проводимых измерений [17, с.6].

В.С. Аванесов подчеркивает, что определение теста представляет собой нелёгкую проблему. Одна из причин - кажущаяся очевидность сущности и видимость простоты. Главным, а нередко и единственным признаком теста чаще других воспринимается возможность выбора одного ответа из нескольких, предлагаемых на выбор. В наши дни такое восприятие, как и простой перевод с английского слова «test» - проверка, проба, вряд ли можно считать признаком просвещённости в данном вопросе. При опоре на такого рода обыденный смысл почти полностью исчезает специфика теста, как научно обоснованного метода исследования, обладающего совокупностью существенных признаков, отличающих тест от всех других форм и методов проверки знаний. Естественная при этом подмена научного понятия «тест» элементарным истолкованием смысла этого слова создает много трудностей. Но при таком толковании смысла слова «тест» под него можно подвести почти любое средство контроля [2, с.17].

На самом деле смыслы слова «тест» и научного понятия «тест» сильно различаются. Игнорирование этого момента в теории приводит к засорению понятийного аппарата науки словами обыденной речи, не имеющими заметного научного содержания. А в практике это порождает тысячи разного рода публикаций под общим именем «тест». Однако это, по мнению В.С. Аванесова, не тест.

Он формулирует это понятие следующим образом: педагогический тест - репрезентативная система параллельных заданий равномерно возрастающей трудности, специфической формы, определённого содержания, позволяющая качественно оценить структуру и эффективно измерить уровень подготовленности испытуемых. По сравнению с данными ранее определениями, здесь добавились два термина - «репрезентативная система» и «равномерно возрастающей трудности» [2, с.18].

В основу этого определения положены три идеи.

Первая - тест рассматривается не как обычная совокупность или набор заданий, а в виде более богатой по научному содержанию категории «система».

Вторая идея, заложенная в определении, состоит в том, что в нем совершен отход от укоренившейся традиции рассмотрения теста как простого средства проверки, пробы, испытания. В нем подчеркнуто, что тест является качественным средством педагогического измерения, проводимого на латентной шкале, не существующей в явно заданном виде.

Третья идея, выдвинутая в определении теста - это включение нового критерия, эффективности теста, который ранее в литературе по тестам не рассматривался в качестве специально-научного критерия анализа и конструирования тестов.

Главный термин определения теста - «система» - означает, что в тесте собраны такие задания, которые обладают системообразующими свойствами. Хотя любой тест состоит из тестовых заданий, последние представляют не совокупность произвольно объединенных заданий, а именно систему. Среди системных признаков выделяется, в первую очередь, общая принадлежность заданий к одной учебной дисциплине, коррелируемость с внешним критерием, место задания на латентной переменной, относительно других заданий, точность измерения испытуемых данным заданием интересующего свойства. О точности измерения можно судить на основе соотношения уровня подготовленности испытуемых и уровня трудности задания.

Тест, как система, обладает составом, целостностью и структурой. Тест состоит из заданий, правил их применения, оценок за выполнение каждого задания и рекомендаций по интерпретации тестовых результатов. Целостность означает взаимосвязь заданий, их принадлежность общему измеряемому фактору. Каждое задание теста выполняет отведенную ему роль и потому ни одно из них не может быть изъято из теста без потери качества измерения. Структуру теста образует способ связи заданий между собой. В основном это так называемая факторная структура, в которой каждое задание связано с другими через общее содержание и общую часть вариации тестовых результатов

Репрезентативная система заданий означает необходимость рассматривать тест как статистическую выборку из генеральной совокупности всех мыслимых заданий, которые потенциально можно было бы использовать для тестирования испытуемых [2, с.21].

В рамках курсовой работы мы будем придерживаться следующего определения: педагогический тест - это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, изменение которых возможно в процессе систематического обучения. Это определение, на наш взгляд, достаточно кратко и вместе с тем полно отражает состав теста и его целевое назначение.

Педагогические тесты весьма разнообразны. С точки зрения целей применения можно выделить:

· тесты достижения;

· критериально-ориентированные тесты, позволяющие сопоставить уровень индивидуальных учебных достижений с полным объемом знаний, умений и навыков;

· нормативно-ориентированные тесты, сравнивающие испытуемых друг с другом по уровням и учебным достижениям;

· аттестационные тесты, определяющие степень обученности;

· тесты прогнозирования результатов обучения [17, с.7].

Тесты могут использоваться для всесторонней оценки состояния испытуемых, например, до начала процесса их интеллектуального развития, способностей к конкретному учебному предмету, установления уровня обучаемости, уровня достижений в рассматриваемой области знаний.

В зависимости от характера деятельности испытуемого при выполнении теста различают:

· тесты со свободно конструируемыми ответами;

· тесты на дополнение ответов, приведенных в заданиях;

· тесты выбора верных ответов из общего числа предложенных в задании (альтернативные тесты);

· комбинированные тесты [17, с.7-8].

Как отмечает М.Б. Челышкова, «в последние годы в практике образования складывается ситуация, под влиянием которой традиционное тестирование, осуществляемое с помощью стандартизированных тестов фиксированной длины, перерастает в современные эффективные формы адаптивного тестирования, базирующегося на отличных от традиционных теоретико-методологических основах и иных технологиях конструирования и предъявления тестов» [15, с.4-6].

Основная идея, движущая исследователей в сфере адаптивного тестирования, заключается в том, что тестовые задания необходимо адаптировать (подогнать) под трудности к уровню подготовленности испытуемых в тестируемой группе. При этом исследователи исходят из тех соображений, что слабым испытуемым бесполезно давать трудные задания, так как с большой вероятностью они не сумеют их выполнить верно. Отдельные исключения из сформулированного выше утверждения, конечно, бывают, но они крайне нежелательны, поскольку приводят к снижению валидности профилей ответов слабых испытуемых, способствуя тем самым росту ошибочного компонента в их тестовых оценках.

Столь же бесполезными выглядят легкие задания при тестировании сильных испытуемых. Очевидно, что использование слишком легких заданий может привести к тому, что все или почти все получат примерно одинаковые высокие баллы и, следовательно, измерение не состоится по причине несоответствия уровня трудности заданий подготовленности тестируемых учеников или студентов [15, с.16-17].

Эта очевидная связь между трудностью заданий и подготовленностью испытуемых натолкнула исследователей на мысль об исключении бесполезных заданий и повышении таким путем эффективности теста. Если процесс адаптации организован верно, то исключение должно привести к оптимизации состава теста, сокращению времени тестирования при условии сохранения либо увеличения точности измерений по сравнению с той, которая могла бы быть достигнута в традиционном тесте фиксированной длины.

Поскольку все испытуемые отличаются по уровню подготовленности, оценки которой к тому же меняются по мере выполнения теста, очередное задание приходится подбирать, подстраиваясь под текущие оценки. Из этих соображений легко предположить, что адаптивный тест состоит из заданий, каждое из которых на момент предъявления было оптимальным по трудности для текущего результата тестируемого. Также легко понять, что все адаптивные тесты внутри группы тестируемых состоят из разных заданий и отличаются по количеству и трудности тем сильнее, чем больше разброс по подготовленности среди испытуемых тестируемой группы [10, с.63].

В итоге, адаптивное тестирование определяется как «совокупность процессов генерации, предъявления и оценки результатов выполнения адаптивных тестов, обеспечивающую прирост эффективности измерений по сравнению с традиционным тестированием благодаря оптимизации подбора характеристик заданий, их количества, последовательности и скорости предъявления применительно к особенностям подготовки тестируемых обучающихся» [15, с.28].

Актуальность тестового метода объясняется его несомненными преимуществами перед другими педагогическими методами.

Так, М.Б. Челышкова указывает на следующие преимущества тестового метода:

· тесты являются значительно более качественным и объективным способом оценивания (объективность тестирования достигается путем стандартизации процедуры проведения и путем стандартизации и проверки показателей качества заданий и тестов целиком);

· тесты являются более емким инструментом (показатели тестов ориентированы на измерение степени, определение уровня усвоения ключевых понятий, тем и разделов учебной программы, умений, навыков и пр., а не на констатацию наличия у учащихся определенной совокупности усвоенных знаний);

· тесты представляют собой более широкий инструмент (выполняя тестовую работу, каждый ученик выполняет задания по всем темам, изучение которых предусматривала программа);

· тесты оснащены жесткой процедурой проведения тестирования, регламентирующей отношения между испытуемыми и проводящими тестирование, процедурой обработки результатов и интерпретации данных;

· тесты ставят всех учащихся в равные условия, используя единые критерии оценки и предполагая стандартные условия проведения;

· тесты позволяют уменьшить уровень психического травмирования учащихся [16, с.29].

Е.Е. Шестернинов отмечает, что применение тестовой методики позволяет осуществлять количественный анализ успешности обучения по различным учебным классам, что невозможно в рамках традиционной системы. Профессионально составленный тест позволяет за короткий промежуток времени проверить знания большого количества учащихся по полной программе преподаваемой дисциплины, в то время как традиционные экзамены представляют собой лишь выборочную проверку знаний [17, с.12].

Тесты как измерительный инструмент используются в большинстве стран мира. Они не являются универсальным средством, границы их использования достаточно хорошо известны. Известно, например, что профессионально подготовленный и использованный тестовый инструмент дает качественную и надежную информацию, соответствующую реальному положению дел.

Итак, педагогический тест - это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, изменение которых возможно в процессе систематического обучения.

Тестирование - один из наиболее эффективных методов оценки знаний студентов. К достоинствам метода относится: объективность оценки тестирования; оперативность, быстрота оценки; простота и доступность; пригодность результатов тестирования для компьютерной обработки и использования статистических методов оценки.

Тестирование является важнейшим дополнением к традиционной системе контроля уровня обучения.

1.2 Основные этапы конструирования педагогических тестов

Технология конструирования педагогических тестов - дело исключительно ответственное и трудоемкое, поскольку они являются основой контроля и диагностики в управлении процессом обучения. Отсюда и исключительно высокие требования к их содержанию и форме.

Дать оценку качества измерения позволяют критерии, важнейшими из которых являются:

· объективность;

· надежность;

· валидность [12, с.32].

Если сказать в самом общем виде, то тест должен быть пригодным (валидным) с точки зрения поставленных перед ним целей измерения.

Понятие валидности трактуется довольно широко. В теории тестирования различают два типа валидности: внешнюю и внутреннюю. Внешняя присуща тестам, не имеющим сходных компонентов с оцениваемой системой. Внутренняя свойственна тем тестам, которые содержат в себе компоненты оцениваемой педагогической системы. Мера валидности теста определяется несколькими способами, например, сравнением с тестом-эталоном и сопоставлением с более объективными показателями, полученными другими методами. Сопоставление с объективными показателями предусматривает сравнение достижений испытуемого в тесте с результатами, полученными с помощью экспертов. В этом случае обычно берутся оценки, выставляемые испытуемому преподавателями-экспертами традиционным образом, без использования тестов, после чего результаты по заданиям теста и по оценкам экспертов коррелируются. Если получены однотипные измерения общих результатов, то считается, что тест обладает валидностью. Мера согласованности указывает на меру валидности [17, с.12].

Следует отметить, что тест нельзя назвать валидным или невалидным без указания сферы его применения. Тест считается содержательно валидным, если аспекты измерения соответствуют целям тестирования (аспектная полнота теста). При этом основное внимание в тесте (наибольшее число заданий) уделено наиболее важным из аспектов измерения (тест сбалансирован). Наконец, последовательность, в которой расположены задания и ответы к ним, логически обоснована, и тест представляет собой единое целое (конструктивно целостный). В педагогических тестах, разрабатываемых для контроля, диагностики знаний, решающую роль играет валидность по содержанию.

Выбор критериев, по которым предстоит оценивать результаты работы испытуемых с тестом, должен быть безупречен (критериальная валидность), гарантируя надежность, объективность, обеспечивая нужную точность измерения, давая возможность разделить испытуемых (дифференцирующие возможности теста). Считается, что к тестовым заданиям относятся те, которые отвечают одновременно трем требованиям - корректности содержания, форме и наличию системообразующих свойств. Первому требованию отвечают задачи, вопросы, и потому этот признак необходим, но не достаточен. Тестовые задания представляют собой не вопросы и не задачи, а утверждения, которые в зависимости от ответов испытуемых могут превращаться в истинные или ложные высказывания. Традиционные вопросы не бывают ложными или истинными, а ответы на них бывают столь неопределенными и многословными, что для выявления их истинности требуются большие затраты интеллектуальной энергии и преподавательского труда. В этом смысле традиционные вопросы и ответы не технологичны, вследствие чего их не рекомендуется включать в тест [17, с.12-13].

Принцип системности предполагает последовательную организацию всей работы по созданию тестов.

В.С. Аванесов предлагает концепцию поэтапного становления тестового педагогического процесса. Согласно этой концепции, процесс конструирования теста проходит четыре этапа:

1. формулирование целей и задач, разработка концепции теста, создание заданий в тестовой форме;

2. разработка тестовых заданий;

3. композиция теста, как системы;

4. использование математических моделей измерения [3, с.27].

Рассмотрим подробнее схему конструирования теста, предложенную Н.Б. Подопригорой [13, с.34-37].

Первым и одним из наиболее важных этапов разработки педагогического теста является определение целей тестирования. Каждая цель должна быть поставлена диагностично, то есть так, чтобы ее достижение можно было проверить.

Определившись с целями, можно приступать к следующему этапу составления теста - выделению аспектов тестирования, то есть того, что будет конкретно проверяться в ходе проверочной процедуры. При этом выделяемые аспекты должны:

· соответствовать сформулированным целям;

· соответствовать структуре и содержанию проверяемого материала;

· отражать определенный предмет измерения.

При определении аспектов тестирования необходимо учитывать важность каждого элемента учебного материала, подвергающегося проверке.

Все значимые элементы должны найти отражение в соответствующих аспектах. Кроме того, с аспектной точки зрения составляемый тест должен быть максимально полным.

После того, как выделены аспекты тестирования, можно приступать к следующему этапу разработке тестовых заданий, соответствующих сформулированным целям и аспектам и отражающих содержание темы. На этом этапе составления теста Н.Б. Подопригора считает необходимым соблюдение следующих критериев:

1. Усвоение материала на каждом уровне проверяется с помощью заданий определенного типа.

2. Тест должен быть сбалансированным: все аспекты тестирования должны найти отражение в соответствующих заданиях, при этом наиболее существенным аспектам должно соответствовать большее число заданий.

3. В тесте должны присутствовать задания, связанные между собой общей структурой знаний. Это обстоятельство важно для того, чтобы задания педагогического теста коррелировали между собой.

4. Составленные тестовые задания не являются окончательным вариантом педагогического теста, так как в процессе дальнейшей работы они будут корректироваться. После экспериментальной проверки иногда приходится удалять некоторые задания, поэтому в первоначальном варианте полезно иметь тест с избыточным числом заданий.

5. Составленные тестовые задания следует расположить в порядке возрастания трудности с учетом системообразующих связей.

6. Анализ тестовых заданий может быть проведен двумя основными способами: экспертным и математическим. Первый способ позволяет устранить наиболее явные дефекты заданий еще до проведения пробного тестирования, а второй скрытые дефекты уже после него.

7. Для каждого задания устанавливается эталон. В закрытых тестах это точный вариант ожидаемого ответа, в открытых - алгоритм решения.

Кроме того, разработанному педагогическому тесту Н.Б. Подопригора считает необходимым приложить специально составленную спецификацию или инструкцию по его использованию. Такую спецификацию целесообразно составить и для преподавателя, и для испытуемого, для которого этот тест предназначен.

Обозначим схему такой инструкции.

1. Общее описание теста:

· сообщение основных целей, для которых предназначен тест;

· информация о том, что этот тест измеряет по замыслу его создателей.

2. Характеристика теста:

· описание его конструкции;

· характеристика формы всех заданий, включенных в тест, и формы ожидаемых ответов;

· указание аспектов тестирования и заданий теста, соответствующих этим аспектам.

3. Методика обработки результатов тестирования.

4. Варианты использования теста.

5. Примечания (если они необходимы).

На взгляд автора, выборочное содержание пунктов 1 и 2 описанной выше спецификации могут быть предложены студенту или учащемуся как инструкция по выполнению педагогического теста.

Получившийся пробный педагогический тест должен пройти экспериментальную проверку. Поэтому после того, как будут получены результаты первого тестирования, на основе их анализа в тест вносятся необходимые коррективы.

Итак, выделяют следующие этапы конструирования педагогического теста: формулирование целей и задач, разработка концепции теста, создание заданий в тестовой форме; разработка тестовых заданий; композиция теста; интерпретация результатов тестирования.

1.3 Формы тестовых заданий

В тестовом задании внимание педагога привлекает, в первую очередь, содержание и форма. Содержание определяется как отображение фрагмента учебной дисциплины в тестовой форме, форма - как способ связи, упорядочения элементов задания. Содержание теста существует, сохраняется и передается в одной из четырех основных форм заданий. Вне тестовых форм ни тест, ни его содержание не существуют.

По форме все известные в теории и практике тестовые задания можно разделить на четыре основные группы:

1. задания закрытой формы, в которых испытуемые выбирают правильный ответ из данного набора ответов к тексту задания;

2. задания открытой формы, требующие при выполнении самостоятельного формулирования ответа;

3. задание на соответствие, выполнение которых связано с установлением соответствия между элементами двух множеств;

4. задания на установление правильной последовательности, в которых от испытуемого требуется указать порядок действий или процессов, перечисленных преподавателем [5, с.26].

Некоторые формы можно разделить на виды. Например, для закрытой формы можно выделить задания с двумя, тремя и большим числом выборочных ответов. Выбор формы задания зависит от целей тестирования и от содержания контролируемого материала. Предложенные четыре формы тестовых заданий являются основными, но при этом не исключается применение других, новых форм.

Можно выделить ряд общих требований, предъявляемых к тестовым заданиям:

· каждое задание имеет свой порядковый номер, установленный согласно объективной оценке трудности задания и выбранной стратегии тестирования;

· задание формулируется в логической форме высказывания, которое становится истинным или ложным в зависимости от ответа студента;

· к разработанному заданию прилагается правильный ответ;

· для каждого задания приводится правило оценивания, позволяющее интерпретировать ответ студента как правильный или неправильный;

· на выполнение одной задачи (вопроса) тестового задания у студента должно уходить не более 2-5 минут [4, с.19].

В дополнение к основным общим требованиям существует еще ряд других, обусловленных спецификой выбранной тестовой формы.

Задания закрытой формы. В задании можно выделить основную часть утверждения, содержащую постановку проблемы, и готовые ответы, сформулированные преподавателем. Среди ответов правильным обычно бывает только один, хотя не исключаются и другие варианты. Число неправильных ответов определяется видом задания, обычно оно не превышает пяти.

В дополнение к общим имеется еще ряд требований к заданиям закрытой формы:

· в тексте задания должна быть устранена всякая двусмысленность или неясность формулировок;

· в основную часть задания следует включать как можно больше слов, оставляя для ответа не более двух-трех наиболее важных, ключевых слов для данной проблемы;

· частота выбора одного и то же номера места для правильного ответа в различных заданиях теста должна быть примерно одинакова, либо номер места для правильного ответа выбирается в случайном порядке;

· из числа неправильных исключаются ответы, вытекающие один из другого.

Задания закрытой формы имеют как достоинства, так и недостатки. Их преимущества связаны с быстротой тестирования и с простотой подсчета баллов. Среди недостатков обычно отмечают эффект угадывания, характерный для слабо подготовленных студентов при ответах на наиболее трудные задания теста.

Задания закрытой формы сопровождаются инструкцией: «Обведите номер правильного ответа». В случае компьютерной выдачи заданий используют инструкцию: «Наберите номер правильного ответа».

Задания открытой формы. При ответе на открытое задание испытуемый дописывает пропущенное слово, формулу или число на месте прочерка. Задание составляется так, что требует четкого и однозначного ответа и не допускает двоякого толкования. В том случае, если это возможно, после прочерка указываются единицы измерения.

Прочерк ставится на месте ключевого термина, знание которого является существенным для контролируемого материала. Все прочерки в открытых заданиях для одного теста рекомендуется делать равной длины.

В процессе разработки задания необходимо упрощать усложненные синтаксические конструкции.

Для задания открытой формы рекомендуется использовать инструкцию, состоящую из одного слова: «Дополните».

Задания на соответствие. В этих заданиях преподаватель проверяет знание связей между элементами двух множеств. Слева обычно приводятся элементы данного множества, справа - элементы, подлежащие выбору. Число элементов второго множества может превышать число данных.

К заданиям предлагается стандартная инструкция, состоящая из двух слов: «Установите соответствие».

Как и в заданиях закрытой формы, наибольшие трудности при разработке связаны с подбором правдоподобных избыточных элементов во втором множестве. Эффективность задания будет существенно снижена, если неправдоподобные элементы легко различаются студентами.

Задания на установление правильной последовательности. Тестовые задания четвертой формы предназначены для оценивания уровня владения последовательностью действий, процессов, вычислений и т.д.

В задании приводятся в произвольном случайном порядке действия или процессы, связанные с определенной задачей. Испытуемый должен установить правильный порядок предложенных действий и указать его с помощью цифр в специально определенном для этого месте.

Стандартная инструкция к заданиям четвертой формы имеет вид «Установите правильную последовательность».

Задания на установление правильной последовательности действий обладают определенными преимуществами при разработке комплексных тестов, так как они удобны для оценки уровня профессиональной подготовки студентов, непосредственно связанной с их будущей деятельностью [5, с.32].

При выборе формы тестового задания необходимо помнить о том, что каждой дисциплине присуще свое собственное содержание, отличное от других. Поэтому нет и не может быть единых рекомендаций для правильного выбора формы. Многое здесь зависит от искусства преподавателя, от его опыта и умения разрабатывать задания теста.

Процесс тестовых измерений предельно стандартизируется:

· все инструкции к одной форме даются одними и теми же словами;

· заранее разработанная система подсчета баллов применяется ко всем испытуемым студентам одинаково;

· все испытуемые отвечают на задания одинаковой сложности [4, с.21].

Чтобы исключить возможность списывания, подсказки и других нарушений, в заданиях следует вводить переменные параметры, изменение которых в допустимых пределах обеспечивает многовариантность каждого задания теста. При этом все испытуемые группы выполняют однотипные задания, но с разными значениями параметра и, соответственно, с разными ответами. Таким образом, решаются одновременно две задачи: устраняется возможность списывания и обеспечивается параллельность вариантов заданий, предлагаемых различным испытуемым.

Особенно эффективны задания в открытой форме с переменным параметром при компьютерной выдаче, когда значения параметра выбираются в случайном порядке, поэтому при разработке компьютерного варианта теста этим заданиям следует отдать предпочтение, хотя окончательное решение вопроса выбора формы зависит от содержания контролируемого предмета.

Итак, по форме все известные в теории и практике тестовые задания можно разделить на четыре основные группы: задания закрытой формы, в которых испытуемые выбирают правильный ответ из данного набора ответов к тексту задания; задания открытой формы, требующие при выполнении самостоятельного формулирования ответа; задание на соответствие, выполнение которых связано с установлением соответствия между элементами двух множеств; задания на установление правильной последовательности, в которых от испытуемого требуется указать порядок действий или процессов, перечисленных преподавателем.

1.4 Интерпретация результатов тестирования

На уровне обыденного сознания любая интерпретация результатов тестирования представляется не трудным делом. Полученная сумма баллов принимается за истинный уровень знаний, хотя каждый признает, что знание и баллы, полученные по показателям знаний - разные явления. Ведь можно придумать тысячи разных показателей и все они будут с разным количеством баллов показывать на уровень знаний. Возникает естественный вопрос, - какие из показателей правильно указывают на наличие знаний, а какие - ошибочно?

В.С. Аванесов в этой связи отмечает, что возросшая роль правильной интерпретации данных даёт основание для выделения трёх видов интерпретации результатов тестирования [1, с.112].

Если главной задачей ставится стремление выяснить - какие элементы содержания учебной дисциплины усвоены тем или иным испытуемым, то мы имеем дело с предметно-педагогическим подходом к интерпретации результатов тестирования. При этом требуется большое число заданий, посредством которых определяется - что из генеральной совокупности заданий испытуемый знает, и что он не знает.

При ориентации на такие тесты требуется большое число заданий и достаточно полное определение содержания изучаемой дисциплины. Интерпретация результатов ведется педагогами-предметниками, на языке учебной дисциплины.

Второй вид интерпретации результатов тестирования связан с ориентацией на такие конкретные цели и задачи, как, например, проверка уровня усвоения требуемых знаний, умений и навыков, выступающих в качестве заданного стандарта или критерия усвоения. Эта задача возникает при аттестации, приеме в вуз, профотборе и т.п., где важно определить соответствие испытуемых заранее заданному требованию, уровню подготовленности или компетенции - в общем, какому-либо уровню, который на Западе тоже называется критерием. Именно в этих случаях используются тесты с критериально-ориентированной интерпретацией. Но здесь имеется в виду сравнение содержания аттестационных материалов с результатами тестирования, с заранее принятыми решающими правилами и с выводом - что реально, из включенного содержания в тест, усвоено испытуемыми, и можно ли их аттестовать на основании полученных данных. Например, для аттестации выпускников образовательных учреждений важно иметь такие задания, которые позволяют делать вывод о минимально допустимой компетентности выпускников.

При разработке таких «тестов» особое внимание обращается на определение зачетного уровня трудности. При отборе с очень низкими и очень высокими значениями критерия (например, значения проходного балла) тестовые результаты сильно теряют в своём качестве. При проверке минимально допустимого уровня знаний содержание заданий носит принципиально облегченный характер. Поскольку такие задания должны выполнять почти все выпускники, допущенные учебным заведением к аттестации, здесь трудно говорить о тесте с достаточной дисперсией результатов, равно как и утверждать о методе объективного и эффективного измерения испытуемых с разным уровнем подготовленности.

При критериально-ориентированной интерпретации требуется несколько меньшее число заданий, посредством которых определяется - что испытуемый знает, и что не знает из заданного перечня заданий. Иначе говоря, здесь ответы оцениваются относительно не всей области требуемых знаний, а только из области, ограниченной конкретным набором заданий. Интерпретация результатов ведется на языке учебной дисциплины, но уже преимущественно работниками органов управления образованием и теми педагогами, на мнения которых управленцы опираются при аттестации. Используемые при этом «тесты» не соответствуют требованиям, предъявляемым к традиционным и адаптивным тестам. Поэтому для диагностики заранее заданного уровня подготовленности используются, по существу, не тесты, а совокупности заданий.

Третий вид интерпретации тестовых результатов, полученных в традиционных тестах, называется нормативно-ориентированным. В тестах с нормативно-ориентированной интерпретацией результатов роль на первое место выходит задача определения не столько полноты содержания проверяемых знаний, сколько определения сравнительного места, или рейтинга, каждого из тестируемых. Для этого и нужен тест со сравнительно меньшим, но достаточным, для данной задачи, числом заданий.

Интерпретация результатов тестирования ведется на языке педагогических измерений, с опорой на так называемые процентильные нормы. Эти нормы показывают: сколько процентов испытуемых имеют тестовый результат хуже, чем у любого взятого для анализа испытуемого, с его (её) тестовым баллом? [8, с.206].

Такая интерпретация называется нормативно-ориентированной. Главные вопросы такой интерпретации - не «кто знает что», а кто подготовлен лучше и кто по результатам тестирования оказался выше или ниже нормы, кто занимает какое место? В этом суть нормативно-ориентированной интерпретации тестовых результатов.

Для ответа на эти вопросы не требуется тест с очень большим числом заданий. Наоборот, стоит задача, которую можно назвать, для краткости, минимаксом: минимумом заданий получить достаточный максимум дисперсии истинных компонентов измерения. А на основе таких баллов далее считаются так называемые процентильные нормы и проводится рейтинг испытуемых посредством расчета процентного ранга испытуемых.

Тестирование с нормативно-ориентированной интерпретацией результатов нередко противопоставляется тестированию с критериально-ориентированной интерпретацией, как, якобы, более лучшее и более приближенное к содержанию учебного предмета. Но это, можно сказать, признак непонимания роли каждого вида интерпретации в общем тестовом процессе.

Итак, выделяют три вида интерпретации результатов тестирования: предметно-педагогический подход к интерпретации результатов тестирования; критериально-ориентированная и нормативно-ориентированная интерпретация.

Выводы:

1. Педагогический тест - это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, изменение которых возможно в процессе систематического обучения.

2. Тестирование - один из наиболее эффективных методов оценки знаний студентов. К достоинствам метода относится: объективность оценки тестирования; оперативность, быстрота оценки; простота и доступность; пригодность результатов тестирования для компьютерной обработки и использования статистических методов оценки. Тестирование является важнейшим дополнением к традиционной системе контроля уровня обучения.

3. Выделяют следующие этапы конструирования педагогического теста: формулирование целей и задач, разработка концепции теста, создание заданий в тестовой форме; разработка тестовых заданий; композиция теста; интерпретация результатов тестирования.

4. По форме все известные в теории и практике тестовые задания можно разделить на четыре основные группы: задания закрытой формы, в которых испытуемые выбирают правильный ответ из данного набора ответов к тексту задания; задания открытой формы, требующие при выполнении самостоятельного формулирования ответа; задание на соответствие, выполнение которых связано с установлением соответствия между элементами двух множеств; задания на установление правильной последовательности, в которых от испытуемого требуется указать порядок действий или процессов, перечисленных преподавателем.

5. Выделяют три вида интерпретации результатов тестирования: предметно-педагогический подход к интерпретации результатов тестирования; критериально-ориентированная и нормативно-ориентированная интерпретация.

2. Практическая часть

Теоретический анализ литературных источников по проблеме технологии конструирования педагогических тестов позволил нам сделать вывод о том, что при составлении тестов можно придерживаться определенного алгоритма.

Поэтому во второй части курсовой работы нами сделана попытка разработки алгоритма конструирования педагогических тестов.

При создании алгоритма мы опирались на подходы к организации педагогического тестирования, разработанные в трудах отечественных ученых В.С. Аванесова, М.Б. Челышковой, Н.Б. Подопригора, В.В. Борисовой, Н.А. Сеногноевой, Н.П. Валишевской, О.Н. Ивановой, О.Н. Кононова и др. [1; 2; 3; 4; 5; 15; 16; 13; 6; 14; 7; 10].

Алгоритм конструирования педагогических тестов

I. Определение целей тестирования:

· оценка знаний специфических фактов, терминов, понятий;

· проверка умения давать определения, понятия, определять их содержание и объем;

· проверка знания формул, законов, теорий, принципов, методов, умение применить их;

· умение находить сходства и различия;

· умение представлять материал на графиках, схемах, таблицах;

· знание правил методик;

· понимание концепций, теорий и т.д.

II. Определение вида контроля - текущий, тематический, рубежный, итоговый.

III. Выбор формы тестового задания, который зависит от целей тестирования и содержания.

· закрытые, где есть готовые ответы: выбрать правильный ответ из 2, 3, 4, 5 предоставленных альтернативных ответов, установление истинности, ложности, соответствия, установление последовательности;

· открытые: которые не имеют готовых ответов, их надо конструировать самостоятельно дополнить, закончить, составить.

IV. Основным элементом тестовых заданий является инструкция, текст задания и ключ (ответ который находиться у преподавателя).

V. Инструкция определяет характер интеллектуальной деятельности испытуемых: должна быть чёткой, понятной для выполнения:

· «Выбрать правильный ответ из нескольких предложенных (если правильных ответов несколько, то отметить что ответ может быть не один)»;

· «Дополнить, вписать, заполнить, закончить...»;

· «Упорядочить по величине»;

· «Установить соответствия»;

· «Установить правильную их последовательность»;

· «Определить истинность (ложность) утверждений».

VI. При формулировке теста задания необходимо придерживаться следующих методических советов:

· основной текст задания содержит не более 8-10 слов;

· каждый тест должен выражать одну идею, одну мысль;

· задания должны быть кратким, четкими, легко читаемыми, суждения выражены простоязычно, лучше иметь утвердительную, а не вопросительную форму;

· формулировка заданий не должна содержать двусмысленностей, а тем более ловушек;

· избегать таких слов как «иногда», «часто», «обычно» в правильных утверждениях и слов «всегда», «иногда», «невозможно» в неправильных;

· располагать тесты по возрастанию трудности;

· каждое задание и ответ формулировать так, чтобы верный ответ могли дать только те, кто хорошо усвоил материал;

· задания сформулировать так, чтобы ответы могли быть получены путем рассуждения, а число неверных ответов в первую очередь включать такие, которые являлись результатом типичных ошибок, допускаемых испытуемыми;

· правильные ответы должны распределяться в случайном порядке;

· ответы на один вопрос не должны зависеть от ответов на другие вопросы;

· ответы не должны содержать подсказки.

VII. Тест должен включать разнообразные тестовые задания по форме, содержанию, степени сложности и количеству и достаточно полно охватить материал проверяемой темы.

VIII. Тестовые задания должны быть разноуровневыми по степени сложности:

· уровень А - задания, рассчитанные на усвоение основных понятий, на простое отображение материала, на уровне узнаваемости и воспроизведения;

· уровень Б - задания, требующие размышления, охватывают малый материал, выявляют умения применять знания в стандартных ситуациях;

· уровень В - задания, требующие творческого исполнения приобретенных знаний и позволяют выявить умения, применять знания в нестандартных ситуациях.

IX. Задание теста должно обеспечивать проверку знаний и умений на трех уровнях: узнавания и воспроизведения, применения в знакомой ситуации, применения в новой ситуации или творческого применения. Такая дифференциация требований к учащимся на основе достижения всеми обязательного уровня подготовки поможет создать основу для разгрузки слабых учащихся, обеспечивая их посильной работой и формируя положительное отношение к учебе. За нижнюю границу успешности выполнения задания за оценку «3» может быть принято 70% правильных ответов на обязательные вопросы. Этот критерий основан на том, что до уровня усвоения примерно 30% общего объема знаний и умений учебная деятельность учащегося находится в стадии формирования. Если учащиеся овладели более чем 70% объема знаний и умений, то в дальнейшем они могут успешно пополнять знания и развивать умения и со временем достигнут планируемого уровня обучения.

Оценка «9» должна ставиться при успешном выполнении всей обязательной части задания. Оценка «10» ставится при успешном выполнении всей обязательной части задания и правильных ответах хотя бы на часть вопросов, требующих проявления самостоятельности, способности применять знания в новой ситуации.

X. Время на выполнение каждого задания определяется в зависимости от сложности:

· уровень А - 2-3 минуты;

· уровень Б - 4-5 минут;

· уровень В - 9-10 минут.

При составлении тестов желательно использовать вопросы и задачи, проверяющие все основные знания и умения в соответствии с программными требованиями. Основная часть задания должна быть ориентирована на проверку достижения учащимися планируемых результатов обучения. В конце задания должны быть вопросы и упражнения, позволяющие проверить способности учащихся применять полученные знания в новой или измененной ситуации.

Тесты обеспечивают возможность объективной оценки знаний и умений учащихся в баллах по единым для всех учащихся критериям. Это позволяет определить, кто из учащихся не овладел программным материалом, кто овладел им на минимальном уровне, кто из учащихся полностью и уверенно владеет знаниями и умениями в соответствии с требованиями программы, кто из учащихся не только полностью овладел необходимыми знаниями, но может применить их в новых ситуациях, владеет умениями на более высоком уровне, чем это предусмотрено программой. Составленные с учетом всех требований тесты удобны как для текущего, так и для итогового контроля знаний и умений учащегося, а также для проведения поэлементарного анализа этих знаний.

Естественно, не все необходимые характеристики усвоения учебного материала возможно получить средствами тестирования. Такие, например, показатели, как умение конкретизировать свой ответ примерами, знание фактов, умение связано, логически, доказательно выражать свои мысли, некоторые другие характеристики знаний, умений, навыков диагностировать тестированием невозможно. Это значит, что тестирование должно обязательно сочетаться с традиционными формами и методами проверки.