Эволюция моделей педагогического тестирования обучающихся в системе высшего профессионального образования

Размещено на http://www.allbest.ru/

УДК 378.146

эволюция моделей педагогического тестирования обучающихся в системе высшего профессионального образования

О.В. Артюшкин¹, Т.А. Артюшкина²

(1)Хакасский государственный университет им. Н.Ф. Катанова (г. Абакан)

(2)Хакасский филиал Красноярского государственного аграрного университета (г. Абакан)

В статье рассматриваются особенности применения классической модели педагогического тестирования, моделей тестирования с возрастающей сложностью, с разделением заданий по уровням усвоения, с учетом времени ответа на задание, с ограничением времени на тест, а также модели тестирования по сценарию. В заключении обосновывается эффективность применения в педагогическом тестировании адаптивной модели и модели на нечеткой математике.

Ключевые слова: тестирование, модели педагогического тестирования, классическая модель тестирования, адаптивная модель тестирования.

модель педагогический тестирование сценарий

THE EVOLUTION OF MODELS OF THE PEDAGOGICAL TESTING OF STUDENTS IN THE SYSTEM OF HIGHER PROFESSIONAL EDUCATION

O.V. Artyushkin 1, T.A. Artyushkina 2

(1) Katanov Khakas State University (Abakan)

(2) Khakas branch of the Krasnoyarsk state agrarian University (Abakan)

Artyushkina Tatiana Anatolyevna - Acting Associate Professor of Economics and Management, Associate Director for Academic Affairs Khakas finan-liala Krasnoyarsk State Agricultural University.

The article discusses the features of the classic model of the pedagogical testing, testing models of increasing complexity, with different tasks by dividing the levels of assimilation, with the response time to the task, with the restriction time of the test, as well as the testing model scenario. In conclusion justified substantiate the effectiveness of the pedagogical model and adaptive testing model on fuzzy math.

Key words: testing, model of the pedagogical testing, classical the model of testing, the adaptive model of testing.

Важной частью процесса обучения является контроль знаний, который позволяет получить всестороннюю оценку уровня знаний обучаемых. Одной из хорошо зарекомендовавших себя форм контроля знаний является тестирование. Тестирование обладает множеством определенных недостатков, однако, является единственным по-настоящему технологическим средством для измерения уровня знаний и незаменимо как инструмент, позволяющий должным образом организовать управление учебным процессом и обеспечить эффективный педагогический контроль.

Вопросами научной разработки тестов для объективного контроля знаний и обработки результатов тестирования, согласно концепции В. С. Аванесова, занимается педагогическая тестология. Анализ результатов исследований зарубежных (Д. Вилфорд, К. Ингенкамп) и отечественных (В.С. Аванесов, В.П. Беспалько, Ю.Ф. Гущин, Г.У. Матушанский, М.Б. Челышкова, А.О. Татур, и др.) ученых педагогов показал, что педагогические тесты являются одним из наиболее мощных, надежных и объективных методов определения успехов (достижений) учащихся и студентов.

Разработка тестовых заданий и обработка результатов тестирования подробно изложены в работах В.С. Аванесова, А.Н. Майорова, Ю.М. Неймана, М.Б. Челашковой [1, 4, 5 и 8]. Однако не менее важное значение имеет порядок предъявления заданий обучаемому и метод определения его уровня знаний по результатам тестирования, т.е. модель тестирования. Необходимо отметить, что рассматриваемые модели применяются для педагогического тестирования, т.е. оценки знаний и отличаются от моделей, применяемых в психологических тестах для определения характеристик личности, поэтому их принято называть моделями педагогического тестирования.

При работе с тестами всегда нужно учитывать надежность результатов тестирования. Под надежностью тестовых результатов понимается характеристика, показывающая точность измерения знаний заданиями теста. Нужно отметить, что речь идет не о надежности теста, а о надежности результатов тестирования, т.к. на нее сильно влияет степень однородности различных групп обучаемых, уровень их подготовленности и ряд других факторов, связанных не с самим тестом, а с условиями проведения процесса тестирования.

В теории и практике педагогического тестирования выделяют следующие модели тестирования:

а) классическая модель тестирования;

б) классическая модель тестирования с учетом сложности заданий;

в) модель тестирования с возрастающей сложностью;

г) модель тестирования с разделением заданий по уровням усвоения;

д) модель тестирования с учетом времени ответа на задание;

е) модель тестирования с ограничением времени на тест;

ж) адаптивная модель тестирования;

з) модель тестирования по сценарию;

и) модель на нечеткой математике.

Классическая модель является самой первой и самой простой. В этой модели из определенного множества заданий случайным образом выбирается некоторое количество тестовых заданий. Тестируемый выбирает правильный, по его мнению, ответ, получая оценку «правильно» или «неправильно». Результатом тестирования является процент правильных ответов обучаемого.

При простоте реализации эта модель имеет следующие недостатки:

1) из-за случайности выборки невозможно определить, какие задания по сложности достанутся обучаемому;

2) оценка по тесту зависит от количества правильных ответов и не учитывает сложность заданий.

Классическая модель из-за своих недостатков имеет самую низкую надежность, т.к. отсутствие учета параметров заданий часто не позволяет объективно оценить знания обучаемого.

В настоящее время происходит уход от использования данной модели к более совершенным и эффективным моделям, например, к адаптивному тестированию.

Развитием классическая модель является учет сложности тестовых заданий. В классической модели с учетом сложности заданий при подсчете результата тестирования учитывается сложность вопросов, на которые обучаемый дал правильный ответ. Чем выше сложность вопроса, тем выше будет результат тестирования. Для вопросов, на которые был дан неправильный ответ, сложность не учитывается.

Недостаток этой модели является невозможность из-за случайности выборки заранее определить, какие задания по сложности достанутся обучаемому. В итоге одному обучаемому могут достаться легкие задания, а другому - сложные.

Модели с учетом сложности заданий позволяют более адекватно подойти к оценке знаний. Но случайность выбора заданий не позволяет добиться параллельности тестов по сложности, т.е. одинаковости суммарных характеристик сложности заданий, что снижает надежность тестирования.

В модели с возрастающей сложностью предлагается несколько уровней сложности. При этом в тесте присутствуют задания всех уровней сложности. Из всего множества тестовых заданий случайным образом выбирается определенное количество заданий. Выбранные задания сортируются по возрастанию сложности, после чего предлагаются обучаемому. Результат тестирования определяется аналогично модели с учетом сложности. Данная модель обеспечивает параллельность тестов по сложности, т.е. надежность результатов тестирования еще выше, чем в предыдущих моделях.

Модель с разделением заданий по уровням усвоения. Данная модель описывается в работах В.П. Беспалько, Ю.Г. Татур и А.В. Соловова [2] и [7]. За основу тестирования принимается уровни усвоения учебного материала:

1) Нулевой уровень (Понимание) - это такой уровень, при котором обучаемый способен понимать, т.е. осмысленно воспринимать новую для него информацию. Фактически речь идет о предшествующей подготовке обучаемого.

2) Первый уровень (Опознание) - это узнавание изучаемых объектов при повторном восприятии ранее усвоенной информации о них или действиях с ними, например, выделение изучаемого объекта из ряда предъявленных объектов.

3) Второй уровень (Воспроизведение) - это воспроизведение усвоенных ранее знаний от буквальной копии до применения в типовых ситуациях. Примеры: воспроизведение информации по памяти, решение типовых задач по образцу.

4) Третий уровень (Применение) - это такой уровень усвоения информации, при котором обучаемый способен самостоятельно воспроизводить и преобразовывать усвоенную информацию для обсуждения известных объектов и применения ее в нетиповых ситуациях. При этом обучаемый способен генерировать новую для него информацию об изучаемых объектах. Примеры: решение нетиповых задач, выбор подходящего алгоритма из набора ранее изученных алгоритмов для решения конкретной задачи.

5) Четвертый уровень (Творческая деятельность) - это такой уровень владения учебным материалом темы, при котором обучаемый способен создавать новую информацию, ранее неизвестную никому. Пример: разработка нового алгоритма решения задачи.

Задания составляются для каждого из пяти уровней. Сначала проводится тестирование с использованием заданий по уровню 0, затем по уровню 1, 2 и т.д. Перед переходом с уровня на уровень вычисляется степень владения учебным материалом на данном уровне и определяется возможность перехода на следующий уровень.

Для измерения степени владения учебным материалом на каждом уровне используют коэффициент К, определяемый как отношение количество правильно выполненных существенных операций в процессе к общему количеству существенных операций в тесте.

Под существенными понимают те операции, которые выполняются на проверяемом уровне a. Операции, принадлежащие к более низким уровням, в число существенных не входят. Исходя из этого: 0 ? К ? 1.

Таким образом, уровень усвоения учебного материала может быть использован для оценивания качества знаний у обучаемого и выставления оценки. Для выставления оценок предлагаются критерии: К < 0,7 - неудовлетворительно; 0,7 ? К < 0,8 - удовлетворительно; 0,8 ? К < 0,9 - хорошо; К ? 0,9 - отлично. При К < 0,7 рекомендуется продолжить процесс обучения на том же уровне.

Модель с учетом времени ответа на задание. В данной модели при определении результата тестирования учитывается время ответа на каждое задание. Это делается для того, чтобы учесть возможность несамостоятельного ответа на задания: обучаемый может долго искать ответ в учебнике или других источниках, но в итоге его оценка все равно будет низкой, даже если на все вопросы он ответил правильно. С другой стороны, если он не пользовался подсказками, а долго думал над ответами, это означает, что он недостаточно хорошо изучил теорию, а в результате даже при правильных ответах оценка будет снижена [6].

Модели с учетом времени ответа на задание также позволяют повысить надежность результатов тестирования, особенно в сочетании с моделью с учетом сложности заданий.

Модель с ограничением времени на тест. В процессе организации и проведения тестирования по этой модели указывается максимальное время для прохождения теста (ответа на все выбранные задания). Для оценки результатов тестирования берутся только те задания, на которые успел ответить обучаемый за данное время. Сам тест может быть построен по выше приведенным моделям.

В некоторых работах рекомендуется обязательно сортировать задания по возрастанию сложности и устанавливать такое время тестирования, за которое на все задания теста не сможет ответить ни один, даже самый сильный обучаемый. Такой подход предлагается применять при тестировании на бланках, когда обучаемых видит перед собой сразу все задания. Суть его в том, что когда обучаемый ответит на все задания, а время у него еще останется, он может начать проверять свои ответы, сомневаться, а в итоге может исправить правильные ответы на неправильные. Поэтому рекомендуется или ограничивать время на тест или забирать бланк сразу после ответа на все задания теста.

Адаптивная модель является продолжением классической модели с учетом сложности заданий.

Адаптивным называется тест, в котором сложность заданий меняется в зависимости от правильности ответов испытуемого. Если обучаемый правильно отвечает на тестовые задания, сложность последующих заданий повышается, если неправильно - понижается. Также есть возможность задания дополнительных вопросов по темам, которые обучаемый знает не очень хорошо для более тонкого выяснения уровня знаний в данных областях. Таким образом, можно сказать, что адаптивная модель напоминает преподавателя на экзамене - если обучаемый отвечает на задаваемые вопросы уверенно и правильно, преподаватель достаточно быстро ставит ему положительную оценку. Если обучаемый начинает «плавать», то преподаватель задает ему дополнительные или наводящие вопросы того же уровня сложности или по той же теме. И, наконец, если обучаемый с самого начала отвечает плохо, оценку преподаватель тоже ставит достаточно быстро, но отрицательную.

Данная модель применяется для тестирования обучаемых с помощью компьютера, т.к. на бумажном бланке невозможно заранее разместить столько вопросов и в том порядке, сколько и в котором они должны быть предъявлены обучаемому [2, 9].

Тестирование обычно начинается с заданий средней сложности, но можно начинать и с «легких» заданий.

Тестирование заканчивается, когда обучаемый выходит на некоторый постоянный уровень сложности, например, отвечает подряд на некоторое критическое количество вопросов одного уровня сложности.

Адаптивная модель тестирования имеет следующие достоинства:

1) позволяет более гибко и точно измерять знания обучаемых;

2) измеряет знания меньшим количеством заданий, чем в классической модели;

3) выявляет темы, которые обучаемый знает плохо и позволяет задать по ним ряд дополнительных вопросов.

К недостаткам этой модели можно отнести:

1) заранее неизвестно, сколько вопросов необходимо задать обучаемому, чтобы определить его уровень знаний. Если вопросов, заложенных в систему тестирования, оказывается недостаточно, можно прервать тестирование и оценивать результат по тому количеству вопросов, на которое ответил обучаемый;

2) возможно применение только с использованием компьютерной техники.

Надежность результатов тестирования в данном случае самая высокая, т.к. осуществляется приспособление под уровень знаний конкретного обучаемого, что обеспечивает более высокую точность измерений.

Модель тестирования по сценарию также является продолжением классической модели. Данная модель реализуется в системе Дистанционного Асинхронного Обучения, разрабатываемой в Татарском Институте Содействия Бизнесу (ТИСБИ).

Существенным недостатком классической модели является непараллельность тестов для различных обучаемых, т. к. нельзя заранее определить, какие задания по сложности и по каким темам достанутся обучаемому. Поэтому при сценарном тестировании преподаватель перед тестированием формирует сценарий тестирования, где может указывать:

· количество заданий по каждой теме, которые должны быть включено в тест;

· количество заданий каждого уровня сложности, которые должны быть включено в тест;

· количество заданий каждой формы, которые должны быть включено в тест»;

· время прохождения теста.

Сценарий может создаваться по любому объему учебного материала: разделу, предмету, специальности и т.д.

В этой модели применяют четыре формы тестовых заданий:

1. Задания с выбором, которые делятся на 3 подгруппы: задания с выбором одного правильного ответа или одновариантные задания, задания с выбором нескольких правильных ответов или многовариантные задания, задания с выбором наиболее правильного ответа;

2. Открытые задания;

3. Задания на установление соответствия;

4. Задания на установление правильной последовательности.

Непосредственно при тестировании выборка заданий каждого уровня сложности, по каждой теме, каждой формы и т.д. производится случайным образом из общей базы заданий, поэтому каждый обучаемый получает свои задания. Получаемые тесты для всех обучаемых являются параллельными, т.е. имеют одинаковое число заданий и одинаковую суммарную сложность. Но в отличие от модели с возрастанием сложности, которая также обеспечивает параллельность, здесь разработчик теста решает сам, сколько и каких заданий должно быть предъявлено по каждой теме, следовательно, обеспечиваются абсолютно одинаковые условия тестирования для всех обучаемых.

По сравнению с адаптивной моделью данная модель является менее эффективной, т.к. не настраивается под индивидуальные особенности каждого обучаемого, однако имеет преимущество психологического характера: при тестировании по адаптивной модели обучаемые отвечают на разное количество вопросов и как будто бы находятся в разных условиях. В случае тестирования по сценарию все обучаемые получают одинаковое количество вопросов по каждой теме и по каждому уровню сложности.

Надежность результатов тестирования сопоставима с надежностью, получаемой при тестировании с возрастанием сложности.

Модель на нечеткой математике. Цель введения нечеткой математики - попытка математической формализации нечетких, качественных явлений и объектов с размытыми границами встречающихся в реальном мире. Нечеткое управление оказывается особенно полезным, когда описываемые процессы являются слишком сложными для анализа с помощью общепринятых количественных методов или когда доступные источники информации интерпретируются качественно, неточно или неопределенно. Экспериментально показано, что нечеткое управление дает лучшие результаты по сравнению с получаемым при общепринятых алгоритмах управления. Нечеткая логика, на которой основано нечеткое управление, ближе по духу к человеческому мышлению и естественным языкам, чем традиционные логические системы. Нечеткая логика, в основном, обеспечивает эффективные средства отображения неопределенностей и неточностей реального мира. Наличие математических средств отражения нечеткости исходной информации позволяет построить модель, адекватную реальности.

Данная модель тестирования является развитием любой предыдущей модели, в которой вместо четких характеристик тестовых заданий и ответов используются их нечеткие аналоги. Примерами могут служить:

· сложность задания («легкое», «среднее», «выше среднего», «сложное» и т.п.);

· правильность ответа («правильно», «частично правильно», «скорее неправильно», «неправильно» и т.п.);

· время ответа («маленькое», «среднее», «большое», «очень большое» и т.п.);

· процент правильных ответов («маленький», «средний», «большой», «очень большой» и т.п.);

· итоговая оценка.

Введение нечетких характеристик может помочь преподавателям разрабатывать тесты. Например, преподаватель может достаточно быстро определить, является ли задание сложным или нет. Но сказать точно, насколько оно сложно, например, по 100-бальной шкале или точно оценить разницу сложностей двух заданий будет для него достаточно трудно. С точки зрения обучаемого нечеткая оценка его знаний в виде «хорошо», «отлично», «не очень хорошо» и т.п. более понятна ему, чем четкое количество баллов, которое он набрал в результате тестирования [6].

На основе выше перечисленных базовых моделей комбинируются следующие:

· классическая модель с учетом сложности заданий и модель с учетом времени ответа на задание;

· модель с возрастающей сложностью и модель с учетом времени ответа на задание;

· модель с возрастающей сложностью и модель с ограничением времени на тест;

· модель с учетом времени ответа на задание и адаптивная модель;

· модель с учетом времени ответа на задание и модель на нечеткой математике;

· модель с разделением заданий по уровням усвоения и модель с учетом сложности заданий.

Опыт организации и проведения тестирования обучающихся во многих вузах страны говорит о редком использовании старые классические модели, которые не позволяют достаточно быстро и эффективно оценивать знания. В связи с этим разрабатываются и внедряются новые модели тестирования, которые настраиваются на особенности обучаемых, в том числе, с использованием нечеткой математики.

С появлением адаптивных тестов и тестов, построенных на принципах нечеткой математики, теория тестирования вышла на новый уровень функционирования и получила более широкое применение. Решён ряд вопросов по повышению качества контроля знаний учащихся, которые не могли быть решены при классических моделях тестирования.

Практический опыт многих высших учебных заведений нашей страны показывает, что использование таких передовых моделей педагогического тестирования как адаптивная модель и модель на нечеткой математике повышает эффективность тестовых измерений, точность оценок испытуемых, дает более объективную оценку знаний, умений и навыков обучаемых, а также позволяет экономить время и, соответственно, стоимость проведения тестирования.

Библиографический список

1. Аванесов, В.С. Композиция тестовых заданий / В.С. Аванесов - М. : Центр тестирования, 2002. - 240 с.

2. Адаптивное тестирование: учеб.-метод. пособие / Н.М. Опарина и др. - Хабаровск: Изд-во ДВГУПС, 2007. - 95 с.

3. Беспалько, В.П. Системно-методическое обеспечение учебно-воспитательного процесса подготовки специалистов : учебно-метод. пособие / В.П. Беспалько, Ю.Г. Татур. - М. : «Высшая школа», 1989. - 144 с.

4. Майоров, А.Н. Теория и практика создания тестов для системы образования: Как выбирать, создавать и использовать тесты для целей образования / А.Н. Майоров. - М.: Интеллект-центр, 2001. - 296 с.

5. Нейман, Ю.М. Введение в теорию моделирования и параметризации педагогических тестов / Ю.М. Нейман, В.А. Хлебников - М: 2000. - 168 с.

6. Попов, Д.И., Способ оценки знаний в дистанционном обучении на основе нечетких отношений / Д.И. Попов. - М: // Дистанционное образование, 2000, № 6. - с. 26 - 28.

7. Соловов, А.В. Проектирование компьютерных систем учебного назначения: учебное пособие / А.В. Соловов. - Самара: СГАУ, 1995. - 140 с.

8. Челашкова, М.Б. Теория и практика конструирования педагогических тестов: учеб. пособие / М.Б. Челашкова. - М. : Логос. 2002. - 432 с.

9. Челашкова, М.Б. Адаптивное тестирование в образовании (теория, методология, технология) / М.Б. Челашкова. - М: Исследовательский центр проблем качества подготовки специалистов, 2001. - 165 с.

Сведения об авторах

Артюшкин Олег Валентинович - кандидат педагогических наук, доцент кафедры программного обеспечения вычислительной техники и автоматизированных систем института информационных технологий и инженерного образования ХГУ им. Н.Ф. Катанова.

Артюшкина Татьяна Анатольевна - и.о. доцента кафедры экономики и менеджмента, заместитель директора по учебной работе Хакасского филиала Красноярского государственного аграрного университета.

Размещено на Allbest.ru