Разработка подсистемы анализа ответов в открытой форме тестовых заданий

Размещено на http://www.allbest.ru/

Ведение

В процессе написания курсового проекта должна быть разработана подсистема, способная проводить анализ ответов, данных испытуемым на вопросы в открытой форме при прохождении им тестирования, таким образом, чтобы в случае опечатки или введения развернутого ответа на четко поставленный вопрос информационная система смогла идентифицировать его как правильный даже в том случае, когда его написание не совпадает, в точности, с тем, который храниться в базе данных, как правильный.

На сегодняшний день актуальность использования тестирования в учебном процессе повышается с каждым днем. Тесты используются для контроля знаний, как в процессе обучения, так и для подведения итогов изучения того или иного предмета. Для получений качественных результатов тестирования, тест должен соответствовать определенному набору правил и иметь строго оговоренную систему оценивания и идентификации введенного ответа на поставленный вопрос.

Что касается закрытой формы тестовых заданий, а также заданий на соответствие и порядок, то при оценивании правильности данного ответа существуют строго установленные нормы, по которым программное средство может однозначно определить степень правильности предложенного ответа. А вот при оценивании открытой формы тестовых заданий возникает ряд трудностей.

Во-первых, для упрощения определения степени правильности предложенного испытуемым ответа на поставленный вопрос, тестируемая система сопоставляет строку, введенную пользователем с оригиналом, то есть с ответом, который предполагается на поставленный вопрос. В случае их абсолютного сходства, ответ считается правильным. Но если же, регистр хотя бы одной буквы не совпадает с тем, который имеет эта же буква в правильном ответе, то такой вариант будет определен как неправильный. Это значит, что испытуемый получит штрафной бал за правильно данный ответ.

Для снижения вероятности неточного определения степени правильности ответа, прибегают к следующему методу. Он заключается в увеличении числа ответов в базе данных, при обнаружении которых программное средство должно утвердить правильность данного ответа испытуемым. Но при использовании такого метода возникает еще несколько трудностей.

Для снижения степени ошибочного оценивания ответов, число заведомо верных комбинаций ответа должно быть максимально велико, причем, чем оно больше, тем меньше вероятность ошибочного оценивания. В этом случае, необходимо хранить огромное количество ответов на каждый вопрос, тем самым, усложняя структуру базы данных. Но помимо этого, возникает серьезная проблема в генерировании такого количества правильных ответов, причем это необходимо проделывать только вручную.

Сложившаяся ситуация приводит к тому, что приходится отказываться от использования в тестах открытой формы заданий в пользу других. При этом, лишь при использовании открытой формы заданий степень угадывания правильного ответа равняется нулю, по сравнению со всеми остальными.

Учитывая все вышесказанное можно сделать вывод, что использование открытой формы заданий в тестировании исключает возможность угадывания правильного ответа, но при этом велика возможность принятия правильного ответа за неправильный, что не является приемлемым в тестировании.

Для решения всех перечисленных проблем необходимо разработать такую подсистему, которая сможет, используя лишь один ответ из базы данных с высокой степенью уверенности предположить, является ли введенный испытуемым ответ правильным или нет. При этом помимо того, что для сравнения потребуется лишь один правильный ответ, подсистема автоматически должна проверять тысячи комбинаций для устранения возможной опечатки, но при этом исключая возможность принятия неправильного ответа за правильный.

Использование такой подсистемы в тестовых комплексах позволит использовать в них задания в открытой форме и при этом не сталкиваться с трудностями их формирования и оценивания.

Формирование требований к подсистеме анализа ответов в открытой форме тестовых заданий

Прежде чем приступить к формированию требований к подсистеме, необходимо определить ее функциональное предназначение и область применения, а также перечень решаемых задач.

Рассматривая функциональное предназначение подсистемы, следует отметить, что она не является самостоятельной программой тестирования, а лишь представляет собой один из ее блоков, отвечающий за принятие решения, касающегося определения степени точности данного ответа на вопрос открытой формы. Исходя из этого, функциональным предназначением разрабатываемой подсистемы можно выделить обработку результатов тестирования испытуемого при использовании открытой формы тестовых заданий с дальнейшим принятием решений относительно степени правильности того или иного ответа на поставленные вопросы.

Что же касается области применения подсистемы, то к таковой можно отнести все области образования, где применяется методика контроля изученного материала при помощи тестирования с использованием открытой формы тестовых заданий. Подразумевается, что данная подсистемы будет внедрена в тестовый комплекс, в составе которой она будет выполнять только лишь поставленные перед ней задачи. Что же касается ее индивидуального использования, то это не представляется возможным, так как основная цель ее разработки заключается в создании некой функции, способной определять степень правильности представленных ответов на вопросы, а не проводить непосредственное тестирование испытуемых.

Исходя из функционального предназначения и области применения можно сделать вывод, что основные требования, предъявляемые к разрабатываемой подсистеме, будут относиться к ее функционированию и корректности принятия решений. Так как подсистема не является самостоятельным программным средством, следовательно, перечень решаемых ею задач будет отражать специфику ее использования, а предъявляемые к ней требования будут формироваться только на основании ее функционального предназначения.

Рассматривая, непосредственно, перечень решаемых задач, можно сформировать и требования, которым должна соответствовать подсистема. В данном случае, основным требованием, которое должна выполнять подсистема, будет являться идентификация с высокой степенью точности правильных и неправильных вариантов ответов, представляемых испытуемыми информационной системе при прохождении ими тестирования с использованием открытой формы тестовых заданий. При этом, чем выше точность принятия решений, тем выше качество работы подсистемы и тем больше она удовлетворяет поставленным перед ней задачам и требованиям.

Требования на входные данные

Входной информацией в разрабатываемой подсистеме служат три блока данных. К первому блоку входных данным можно отнести множество эталонных ответов, которые передаются подсистеме в процессе работы информационной системы. Эту информацию информационная система черпает из базы данных и передает для сравнения ее с ответом, представленным пользователем. Ответ пользователя представляет собой второй блок входной информации. Третьим блоком входной информации является логическая переменная, в зависимости от значения которой будет изменяться и структура работы подсистемы. Если переменная принимает значение - «истина», то подсистема работает в основном режиме, в противном случае подсистема смотрит на строгое соответствие представленного ответа пользователя с эталонным ответом и только в этом случае считает его верным.

Основной же спецификой входной информации является то, что она в полном объеме черпается из тестирующей системы и не имеет прямого взаимодействия с пользователем. Все это свидетельствует о том, что для организации работы подсистемы внутри большой системы достаточно передать ей набор параметров, без необходимости организации пользовательского интерфейса.

Требования на выходные данные

Выходными данными является степень соответствия ответа, введенного пользователем с ответами, которые являются эталонными и охраняться в базе данных. Подсистема возвращает одно из 3х значений: -1, 0, 1. -1 означает, что пользователь дал неверный ответ, 0 означает, что после соответствующих преобразований подсистема приняла решение о правильности предложенного варианта ответа, 1 означает, что пользователь дал абсолютно правильный ответ на поставленный вопрос.

Разработка диаграммы вариантов использования

Диаграмма вариантов использования, представленная в приложении В, разработана в соответствии со спецификой использования подсистемы. Диаграмма задумана так, чтобы дать наиболее общее представление о функциональности подсистемы, не вдаваясь в детали взаимосвязей функций.

Методические аспекты тестирования

Совершенствование контроля - одна из самых важных проблем системы современного образования. Применяемый в настоящее время метод экспертных оценок результатов обучения имеет существенный недостаток - субъективность. Поэтому особое значение приобретает разработка средств и форм объективного контроля. Этому требованию отвечает все шире применяемая в образовании сравнительно новая для нашей страны технология оценки обученности, основанная на тестах. Использование тестов как формы контроля позволяет также значительно экономить время проверки.

Тестирование - это специально разработанная и научно оптимизированная аттестационная процедура, позволяющая максимально объективно оценить уровень достижений учащегося и выразить результат в форме числа. Такая проверка проводится с использованием специально разработанных материалов - тестов.

Педагогический тест - это система заданий специфической формы, позволяющая качественно оценить структуру и уровень усвоения знаний, умений и навыков (уровень обученности) испытуемых.

Не каждый набор заданий, имеющих специфическую форму, является тестом. Профессионально разработанные тесты позволяют объективизировать педагогические измерения, уменьшить погрешность оценки. Для этого они проходят процедуру стандартизации: проверку качеств по итогам выполнения теста репрезентативной группой испытуемых, доработку, определение статистических норм (характеристик). Стандартизованный тест должен иметь спецификацию-паспорт с нормами, условиями тестирования, инструкциями.

Если тест должен измерять обученность испытуемого, он должен соответствовать поставленной цели. Такое соответствие называют валидностью, т.е. задания теста должны измерять те навыки и умения, для проверки которых они были составлены.

Погрешность тестового измерения определяет его надежность - степень стабильности, устойчивости результатов измерения. Надежным считается тест, который дает постоянные (или очень близкие) результаты при повторном выполнении.

Разработка теста требует решения ряда методических задач.

1) Определить цели тестирования (текущий контроль, тематический, проверка конечного уровня обученности).

2) Выделить объекты контроля - знания, навыки и умения, которые должны быть проверены. Для этого необходимо провести методический анализ учебных материалов действующих учебников, требований стандарта или программ к обязательным результатам обучения. Перечень и структура объектов контроля зависят от уровня требований, предъявляемых к учащимся: проверяются базовые результаты обучения или умения и навыки более высокого уровня.

3) Разработать структуру теста, т.е. расположить выделенные объекты контроля и задания для их проверки в определенной последовательности - от более простых к более сложным, и определить форму заданий. Выбор формы заданий диктуется целью и объектом тестирования.

4) Отобрать материал для теста, проанализировать типичные ошибки учащихся.

5) При составлении теста особое внимание необходимо уделить формулированию заданий, а также подбору дистракторов, т.е. неправильных ответов в тестах множественного выбора. Дистракторы должны быть правдоподобны, равнопривлекательны либо по форме, либо по содержанию. Тестовые задания также должны отвечать некоторым требованиям: точное соответствие задания цели проверки для обеспечения валидности теста; краткость и корректность формулировок; исключение зависимых заданий, в которых правильный ответ зависит от ответа на предыдущее задание (цепных заданий).

6) Провести экспериментальную проверку теста с целью сбора статистического материала для анализа тестовых заданий и ответов к ним. В результате статистического анализа делается вывод о целесообразности их включения в окончательный вариант теста.



Компьютерное тестирование

Обучение - многогранный процесс, и контроль знаний лишь одна из его сторон. Однако именно в ней компьютерные технологии продвинулись максимально далеко, и среди них тестирование занимает ведущее место. В ряде стран тестирование потеснило традиционные формы контроля - устные и письменные экзамены и собеседования.

По-видимому, многие преподаватели уже прошли через некоторую эйфорию при создании тестов и поняли, что это весьма непростое дело. Куча бессистемно надерганных вопросов и ответов далеко еще не тест. Оказывается, что для создания адекватного и эффективного теста надо затратить много труда. Компьютер может оказать в этом деле немалую помощь.

Существует специальная теория тестирования, оперирующая понятиями: надежность, валидность, матрица покрытия и т.д., не специфических именно для компьютерных тестов.

Как отмечалось выше, широкое распространение в настоящее время получают инструментальные авторские системы по созданию педагогических средств: обучающих программ, электронных учебников, компьютерных тестов. Особую актуальность для преподавателей школ и вузов приобретают программы для создания компьютерных тестов - тестовые оболочки. Подобных программных средств существует множество, и программисты-разработчики готовы строить новые варианты, так называемых, авторских систем. Однако широкое распространение этих программных средств сдерживается отсутствием простых и нетрудоемких методик составления тестовых заданий, с помощью которых можно «начинять» оболочки.



Технология проектирования компьютерных тестов предметной области

Экспертами чаще используется метод нисходящего проектирования модели знаний (технология «сверху - вниз»). Вначале строится генеральное содержание предметной области с разбивкой на укрупненные модули (разделы). Затем проводится детализация модулей на элементарные подмодули, которые, в свою очередь, наполняются педагогическим содержанием.

Другой метод проектирования «снизу - вверх» (от частного к общему) в большинстве случаев реализуется группой экспертов для разработки модели знаний сложной и объемной предметной области или для нескольких, близких по структуре и содержанию, предметных областей.

Каждый модуль предполагает входящую информацию, состоящую из набора необходимых понятий из других модулей и предметных областей, а на выходе создает совокупность новых понятий, знаний, описанных в данном модуле.

Модуль может содержать подмодули. Элементарный подмодуль - неделимый элемент знания - может быть представлен в виде базы данных, базы знаний, информационной модели. Понятия и отношения между ними представляют семантический граф.

Модульное представление знаний помогает:

* организовать четкую систему контроля с помощью компьютерного тестирования, поскольку допускает промежуточный контроль (тестирование) каждого модуля, итоговый контроль по всем модулям и их взаимосвязям, а также эффективно использовать методику «черного ящика»;

* осуществлять наполнение каждого модуля педагогическим содержанием;

* выявить и учитывать семантические связи модулей и их отношения с другими предметными областями.

Проектирование модели знаний играет важную роль для образовательного процесса. От этого, в конечном счете, зависит обучающая среда: учитель с его квалификацией и опытом, средства и технологии обучения, а главное - контроль обучения.

Модульный принцип построения модели знаний позволяет использовать принцип исчерпывающего контроля - полный перебор всех тестовых заданий для заданной предметной области, что характерно для итоговых измерений уровня обученности.

Можно выделить два принципиальных способа контроля (тестирования) некоторой системы:

1) метод «белого ящика» - принцип тестирования экспертной модели знаний;

2) метод «черного ящика» - тестирование некоторой сложной системы по принципу контроля входных и выходных данных (наиболее подходит к компьютерному тестированию).

Для упрощения дальнейшего изложения введем ряд определений и понятий.

Тестирование - процесс оценки соответствия личностной модели знаний ученика экспертной модели знаний. Главная цель тестирования - обнаружение несоответствия этих моделей (а не измерение уровня знаний), оценка уровня их несоответствия. Тестирование проводится с помощью специальных тестов, состоящих из заданного набора тестовых заданий.

Тестовое задание - это четкое и ясное задание по предметной области, требующее однозначного ответа или выполнения определенного алгоритма действий.

Тест - набор взаимосвязанных тестовых заданий, позволяющих оценить соответствие знаний ученика экспертной модели знаний предметной области.

Тестовое пространство - множество тестовых заданий по всем модулям экспертной модели знаний.

Класс эквивалентности - множество тестовых заданий, таких, что выполнение учеником одного из них гарантирует выполнение других.

Полный тест - подмножество тестового пространства, обеспечивающее объективную оценку соответствия между личностной моделью и экспертной моделью знаний.

Эффективный тест - оптимальный по объему полный тест.

Самой сложной задачей эксперта по контролю является задача разработки тестов, которые позволяют максимально объективно оценить уровень соответствия или несоответствия личностной модели знаний ученика и экспертной модели.

Подбор тестовых заданий осуществляется экспертами-педагогами методологией «белого ящика», а их пригодность оценивают с помощью «черного ящика».

Самый простой способ составления тестовых заданий - формирование вопросов к понятиям, составляющим узлы семантического графа, разработка упражнений, требующих для их выполнения знания свойств выбранного понятия. Более сложным этапом является разработка тестовых заданий, определяющих отношения между понятиями. Множество тестовых заданий (тестовое пространство), вообще говоря, согласно принципу исчерпывающего тестирования, может быть бесконечным. Например, для исчерпывающего контроля знании таблицы умножения целых чисел от 1 до 100 необходимо использовать 100х100 всех возможных комбинаций двух чисел. А для всех натуральных чисел тестовое пространство становится бесконечным.

Однако в каждом реальном случае существует конечное подмножество тестовых заданий, использование которых позволяет с большой вероятностной точностью оценить соответствие знаний ученика заданным критериям по экспертной модели знаний (полный тест).

Из полного теста можно выделить эффективный тест (оптимальный по объему набор тестовых заданий, гарантирующий оценку личностной модели ученика заданным критериям). Выбор эффективного теста зависит от удачного разбиения тестового пространства на классы эквивалентности, пограничные условия, создание тестов на покрытие путей и логических связей между понятиями и модулями.

В примере с таблицей умножения одним из классов эквивалентности может выступить множество заданий перемножения всех натуральных чисел на 1: 1*1, 1*2, 1*3 и т.д. Поэтому в тест достаточно включить всего лишь несколько тестовых заданий из этого класса эквивалентности.

В дальнейшем необходим тестовый эксперимент на группе учащихся, который позволит провести корректировку и доводку теста до вида эксплуатации (методика «черного ящика»).

Таким образом, построение компьютерных тестов можно осуществлять по следующим последовательным шагам:

1) формализация экспертной целевой модели знаний;

2) нисходящее (или снизу - вверх) проектирование тестового пространства;

3) формирование и наполнение тестовых заданий;

4) формирование полного компьютерного теста;

5) тестовый эксперимент;

6) выбор эффективного теста;

7) анализ, корректировка и доводка теста до вида эксплуатации.

Типы компьютерных тестов

В соответствии с моделью знаний выделим три класса компьютерных тестов на знания, умения и навыки. Отметим, что типы компьютерных тестовых заданий определяются способами однозначного распознавания ответных действий тестируемого.

1) Типы тестовых заданий по блоку «знания»:

* вопросы альтернативные (требуют ответа да - нет);

* вопросы с выбором (ответ из набора вариантов);

* вопросы информативные на знание фактов (где, когда, сколько);

* вопросы на знание фактов, имеющих формализованную структуру (в виде информационной модели или схемы знаний);

* вопросы по темам, где имеются однозначные общепринятые знаковые модели; математические формулы, законы, предикатные представления, таблицы;

* вопросы, ответы на которые можно контролировать по набору ключевых слов;

* вопросы, ответы на которые можно распознавать каким-либо методом однозначно.

2) Типы тестовых заданий по блоку «навыки» (распознание деятельности: манипуляции с клавиатурой; по конечному результату):

* задания на стандартные алгоритмы (альтернативные да - нет, выбор из набора вариантов);

* выполнение действия.

3) Типы тестовых заданий по блоку «умения». Те же самые, что навыки, но использующие нестандартные алгоритмы и задачи предметной области при контроле времени их решения:

* задания на нестандартные алгоритмы (альтернативные да - нет, выбор из набора вариантов);

* выполнение действия.

Выбор типов тестов определяется:

* особенностями инструментальных тестовых программ (тестовыми оболочками);

* особенностями предметной области;

* опытом и мастерством экспертов.

подсистема анализ ответ



Инструментальные тестовые оболочки

Для создания тестов по предметной области разработаны и разрабатываются специальные инструментальные программы-оболочки, позволяющие создавать компьютерные тесты путем формирования базы данных из набора тестовых заданий.

Инструментальные программы, позволяющие разрабатывать компьютерные тесты, можно разделить на два класса: универсальные и специализированные. Универсальные программы содержат тестовую оболочку как составную часть. Среди них “Адонис” (Москва), “Linkway” (Microsoft), “Фея” (Томск), “Радуга” (Москва) и т.п. Специализированные тестовые оболочки предназначены лишь для формирования тестов. Это - “Аист” (Москва), “I_now” (Иркутск), “Тест” (Красноярск) и др.

Для того, чтобы разработать компьютерный вариант теста с помощью одной из названных выше программ, необходимо уяснить, какие формы тестовых заданий они допускают.

Формы тестовых заданий

Как правило, компьютерные формы представления тестовых заданий могут выглядеть следующим образом:

1) Вопросы с фасетом. Задание вопроса, в котором меняются признаки.

Пример: Назовите столицу страны АНГЛИЯ : ? _____.

2) Вопросы с шаблоном ответа.

Пример: В каком году произошла Октябрьская революция? В ___ году.

3) Вопросы с набором ключевых слов (изображений, обозначений), из которых можно конструировать ответ.

Пример: Какие силы действуют на тело, движущееся по наклонной плоскости? (сила трения, сила упругости, сила тяжести, сила реакции опоры).

4) Закрытая форма вопроса: номер правильного ответа.

Пример: Какой климат в Красноярском крае?

1. Континентальный.

2. Субтропики.

3. Умеренный.

4. Резко-континентальный.

5) Задание на соответствие: несколько вопросов и несколько ответов.

Пример: а) Кто автор планетарной модели?

б) Кто автор закона тяготения?

в) Кто автор поэмы “Мцыри”?

а) М.Ю.Лермонтов

б) Э.Резерфорд

в) И. Ньютон

6) Конструирование ответа (шаблонный и бесшаблонный варианты): ответ формируется путем последовательного выбора элементов из инструментария по типу меню.

Пример: Чему равна производная функции у = Sin(x) + Cos(x) ?

у' = (Sin(x), Cos(x), tg(x), +, -, /, *, log(x), 1, 2, 3, 4, 5 и т.д.)

7) Задание на конструирование изображений: с помощью графредактора.

8) Задание на демонстрацию с движущимися объектами. Ответ - в виде действия тестируемого (определенный набор клавиш).

Пример: Клавиатурный тренажер на время.

Перечисленные формы компьютерного представления тестовых заданий не исчерпывают их многообразия. Многое зависит от мастерства и изобретательности эксперта по тестированию. При создании тестов важно учитывать многие обстоятельства: личность тестируемого, вид контроля, методику использования тестов в учебном процессе и т.п.

Хорошим считается тест, если

* он восприимчив к угадыванию тестируемым;

* он восприимчив к невнимательности и ошибочным действиям тестируемого;

* он положительно влияет на тестируемого и педагога, который использует тест. При этом тест используется обучаемым как:

* обучение (тренажер, самоконтроль);

* контроль.

Для учителя тест служит:

* корректировке учебного процесса;

* использованию как вспомогательного средства для контроля (текущего);

* использованию как дидактического средства для обучения;

* для дистанционного обучения.

Проблема формы тестовых заданий

Форма определяется как способ связи организации, упорядочения и существования содержания в общей композиции тестовых заданий. Сложность проблемы состоит в противоречии между теоретическим и практическим мышлением относительно формы. Большинству практиков тестового процесса форма заданий кажется знакомой и вполне понятной. А потому они не видят здесь никаких проблем. Соответственно, практики не считают нужным что-то менять в формах, учиться формотворчеству и методике разработки новых тестовых заданий. Из-за такой позиции практика тестирования начинает деградировать.

Если практики видят в форме привычное средство создания теста, то теоретики обращают внимание на достоинства и недостатки существующих форм, на поиск дополнительных возможностей автоматизации тестового процесса, а также на поиск таких форм, которые позволяют проверить знания полнее, глубже, точнее, быстрее и объективнее. Вот почему исследование формы становится важной частью теории педагогических измерений.

Теоретическое мышление отношение практиков к форме находит ограниченным и вредным, тормозящим развитие тестовой культуры. Потому что от качества формы зависит понимание содержания заданий, технологичность тестового процесса, точность и эффективность измерений. Малейшее нарушение требования формы часто делает задание непонятным. Например, при нечетких инструкциях испытуемые не знают, как им надо отвечать на задания. Нарушение требований формы является также одним из самых распространенных источников погрешностей педагогического измерения. Можно выразиться ещё более определенно: пока преподаватели не овладеют методикой формообразования, нет надежд на появление качественных тестов. Например, результаты тестирования посредством самых распространенных заданий с выбором одного правильного ответа из 3-5 предлагаемых на выбор ответов, подвержены известным искажениям - тем большим, чем меньше число ответов в каждом задании. В таких заданиях, наряду с одним правильным ответом, есть несколько неправильных, но правдоподобных.

В заданиях с выбором одного правильного ответа из трёх вероятность угадывания равна 1/3, что приводит к тому, что одна треть всех заданий может быть решена не за счет знаний учебного материала, а за счет ответов наугад. В тесте, состоящем, скажем, из тридцати заданий таких «правильных» ответов может оказаться около десяти, за что педагоги могут выставить привычные три балла. Но это ошибочная практика. Не случайно студентам и школьникам нравятся задания с тремя ответами, где всегда есть реальная возможность угадывания. Именно таких заданий с тремя и четырьмя ответами особенно много в пособиях по русскому и иностранным языкам, а также по русскому языку, как иностранному.

Феномен угадывания правильных ответов в теории педагогических измерений исследовался неоднократно; он рассматривается как источник погрешностей измерения - тем больший, чем больше доля угадываемых правильных ответов.

Если взять, для примера, тест, состоящий из 30 заданий с четырьмя ответами, то в случае 20 правильных и 10 неправильных ответов получим округленно, 17 баллов. Видно, что с увеличением количества правильных ответов число вычитаемых на догадку баллов в заданиях с четырьмя ответами заметно уменьшается. Из чего видно, что хорошо подготовленных испытуемых коррекция баллов на догадку не должна беспокоить.

Немногим лучше дела обстоят в заданиях с выбором одного правильного ответа из пяти ответов. Такие задания широко применяются во всех российских и зарубежных центрах тестирования. При выборе из пяти ответов могут быть угаданы правильные ответы примерно в пятой части от общего числа заданий. В итоге испытуемые получают баллы, которые они не заслужили. Это и есть одна из самых распространенных форм искажения тестовых результатов за счет устарелой и несовершенной формы заданий.

Если задания с выбором одного из 4-5 ответов применяются в так называемом «едином государственном экзамене (далее ЕГЭ)», и при этом государство не проводит никакой коррекции результатов на догадку, то оно само становится инициатором и проводником методов, содержащих явные источники погрешностей измерения. Подобная ситуация возможна только в одном случае - если чиновники перестают бояться научной критики и при этом полагают, что в тестовом деле они знают больше, чем специалисты. Однако подобное положение дел долго продолжаться не будет, так как последствия же такой практики - отрицательны для личности и государства.

Не случайно в западных странах государственные органы управления образованием не занимаются тестированием. Там это проблема не государственная, а общественно-профессиональная; это сфера деятельности общественных ассоциаций преподавателей по различным учебным дисциплинам и профессиональных тестовых служб, независимых от государства. Посредством тестов орган управления образованием не может проверять результаты собственной деятельности.

Специалистами по ЕГЭ с целью преодоления феномена угадывания принято решение использовать задания открытой формы, где угадывания почти нет. Ответы по таким заданиям в ЕГЭ оцениваются в два раза выше; в предположении, что задания открытой формы труднее для испытуемых, чем задания с выбором одного правильного ответа из 4-5 ответов. Надо ли убеждать авторов таких решений в простых истинах: трудность заданий зависит, главным образом, не от формы, а от содержания заданий! Не случайно даже в ЕГЭ ряд заданий с выбором оказывается труднее заданий открытой формы. Из этого видно, что принятая в ЕГЭ система оценивания порождает ещё один, очередной источник погрешностей измерения.

Ошибки оценивания в этих частях столь велики, что по некоторым дисциплинам результаты испытуемых не коррелируют, положительно, с результатами испытуемых по первой части «А». А иногда связаны и отрицательно. Вопрос - можно ли складывать полученные по частям баллы в общую оценку за ЕГЭ, и если это делается, то каковы научные основания? Здесь скрывается третий источник ошибок измерения, вызванный неверным толкованием тестовых форм и их возможностей, ошибками сложения баллов, не обладающих свойством аддитивности.

Задания открытой форме для проведения массовых исследований не годятся из-за нетехнологичности. Ведь не случайно настоящие тестовые службы в массовых обследованиях используют только задания с выбором, используя далее автоматизированную считку результатов с бланков посредством оптических сканеров очень высокой производительности, от 5 до 50 тысяч бланков в час. Хороший пример успешного применения такой техники даёт служба Единого Национального Тестирования абитуриентов Республики Казахстан.

Что же можно сделать для улучшения практики тестирования? На этот вопрос можно дать несколько ответов. Во-первых, надо скорее менять формы тестовых заданий. Вместо заданий с выбором одного правильного ответа из 3-5 ответов надо переходить (где это оправданно) к заданиям с выбором нескольких правильных ответов. К таким заданиям даётся инструкция: Вашему вниманию предлагаются задания, в которых могут быть один, два, три и большее число правильных ответов. Обведите кружком номера всех правильных ответов!

Преимущество таких заданий - в технологичности, что позволяет, при правильной организации тестового процесса, исключить элементы субъективизма в оценивания и минимизировать коррупцию. Кроме того, испытуемые не знают точное число правильных ответов, что делает такие задания труднее. Помимо повышения трудности и технологичности, задания данного варианта позволяют проверить знания полнее, глубже и точнее. В таких заданиях испытуемые могут получить от нуля до трёх баллов, что повышает вариацию данных и, как следствие, точность измерения.

Во-вторых, помимо заданий с выбором нескольких правильных ответов можно предложить использовать сдвоенные задания.

За правильный ответ в каждом из сдвоенных заданий испытуемый получает по одному баллу. Таким образом, за такие задания оценки могут варьироваться от двух до нуля. Это обстоятельство так же благотворно отражается на повышении точности измерения.

В-третьих, для создания параллельных вариантов теста полезно применять так называемые фасеты. Все элементы одного фасета считаются одинаково трудными по содержанию. Каждому испытуемому компьютерная программа подбирает один вариант из фасета.

В-четвертых, надо внедрять в учебную практику тематические задания в тестовой форме и текстовые задания. За каждое правильно восстановленное слово испытуемый получает один балл. В каждом тексте можно требовать восполнения всех (100%) ключевых слов. И только после этого разрешать переход к компьютерной проработке других учебных текстов. Можно использовать и несколько смягчённые требования. Решения о критериях успешности принимает сам педагог или кафедра. Хотя данный текст переработан преимущественно в задания открытой формы, желательно использовать все четыре формы, особенно с выбором нескольких правильных ответов.

Текстовые задания могут представляться в любой форме. Предпочтительна первая форма, с выбором нескольких правильных ответов.

От правильного выбора тестовых форм зависит точность выражения содержания теста и качество тестовых оценок. Образовавшийся в практике застой с применением только формы с выбором одного правильного ответа из 3-4 дистракторов подменяет педагогический принцип контроля принципом угадывания. Что неизбежно приведет к росту критики и дискредитации тестового метода. Хотя тесты в этом случае не при чём; виноваты те, кто остановились в своём развитии и в развитии тестовой культуры. Представленные формы позволяют проверять различные виды знаний, делать самоконтроль интереснее и качественным.

Проектирование подсистемы анализа ответов в открытой форме тестовых заданий

Как уже говорилось выше, разрабатываемая подсистема не является самостоятельной программой, а представляет собой блок, который будет внедряться в тестируемый комплекс для принятия решения по поводу правильности или не правильности ответа на тот или иной вопрос в открытой форме.

Для разработки и дальнейшего тестирования подсистемы необходимо разрабатывать его на базе готовой и работающей информационной системы. Для этого была выбрана информационная система, реализующая алгоритм адаптивного тестирования. Для упрощения процесса дальнейшего тестирования разработанной подсистемы в базу данных информационной системы были внесены только вопросы открытой формы. При этом ответы подобраны таким образом, чтобы охватить все варианты возможных ошибок, которые в процессе работы обрабатываются и устраняются разрабатываемой подсистемой.



Проектирование функциональности подсистемы

В процессе проектирования подсистемы следует определить критерии ее работы, относительно которых разрабатываемая подсистема будет удовлетворять поставленным задачам. Чтобы данный программный блок смог с высокой степенью точности отличать правильные вопросы от неправильных, следует установить критерии правильности и неправильности ответов, а также, при необходимости, разбить ответы на группы.

Для этого следует рассмотреть, какие ответы на поставленный вопрос могут быть получены. Ответом может являться цифра, число, символ (не являющийся цифрой), набор символов, слово, словосочетание, предложение. Все множество ответов целесообразно разбить на две группы, ответы, в которых могут присутствовать только цифры и все остальные ответы. Это необходимо, чтобы исключить возможность принятия неправильного числового ответа за правильный.

Рассмотрим более подробно механизм оценивания степени правильности цифровых ответов. В таких ответах не должно допускаться каких-либо неточностей, опечаток и прочего, так как изменение в числе одной цифры предполагает не допущение опечатки или неточности написания (такой вывод можно сделать при написании слова с ошибкой), а получение совершенно иного числового значения. Но помимо жестких требований к числовым значениям не следует забывать, что испытуемый к правильно записанному числовому значению может добавить его расшифровку (в место «2000» записать «2000 г.»), при этом данный ответ должен быть учтен как верный. Но не следует забывать, что в место одной даты испытуемый может предложить для ответа несколько, надеясь обмануть тем самым тестирующий комплекс, в этом случае подсистема должна аннулировать правильность ответа. Таким образом, при соблюдении всех перечисленных требований с большой степенью уверенности можно предположить, что цифровые ответы будут идентифицироваться точно, при этом возможность обмануть тестирующее программное средство будет сведена к нулю.

Что касается ответов в символьной форме, будь то предложения, отдельные слова или несвязный набор символов, то здесь следует рассматривать человеческий фактор и фактор волнения при вводе набора символов. Если при написании числа в место одной цифры была введена другая, то определить, было ли это сделано случайно или умышленно невозможно, но в том случае, если слово написано с ошибкой, то можно идентифицировать, было ли оно изначально правильным ответом, или же нет. Для этого введем ряд ограничений и рассмотрим различные ситуации.

Во-первых, рассмотрим ситуацию, когда по количеству символов предложенный и правильный ответ совпадают, но при этом абсолютного их сходства нет. Различие же заключается в использовании различного реестра написания букв («Москва» и «МОСКВА»), в таком случае необходимо не обращать внимания на реестр и засчитывать ответ как абсолютно верный.

Помимо реестра, при совпадении длинны текстовых значений, они могут отличаться написанием одного символа («Воронеж» и «Варонеж»), в этом случае данное разночтение должно считаться опиской, а ответ должен быть рассмотрен как правильный.

Но довольно часто встречается, когда описка в слове заключается в изменении взаимного места расположения двух символов («Калининград» и «Калинниград»). При обнаружении таких случаев полученный ответ также необходимо относить к числу правильных, так как подобная неточность написания слова есть ничто иное, как неаккуратность ввода букв.

И, во-вторых, следует рассмотреть ситуацию, когда длина данного ответа и правильного не совпадают. При этом следует уточнить, на какое число символов отличаются значения, если такое отличие превосходит один символ, то ответ автоматически должен быть идентифицирован как неправильный.

Что же касается ситуации, когда различие длин составляет всего единицу, то необходимо рассмотреть эти значения более подробно. Разница в один символ может появиться в том случае, если при написании правильного ответа испытуемый либо не дописал или пропустил один символ в ответе, в этом случае введенное значение будет короче верного, либо при написании ответа испытуемый случайно ввел лишний символ, при этом получиться, что введенное значение будет длиннее верного. Оба эти случая необходимо рассматривать как опечатку или не аккуратность ввода и при получении подсистемой для проверки рассмотренных ответов, она должна принять решение об их правильности, не смотря на отличие написание их от оригинала.

При соблюдении всех вышеперечисленных условий разработанная подсистема будет с большой степенью уверенности идентифицировать ответы на вопросы в открытой форме, при этом, исключая возможность ее обмана испытуемым.

Определение способа внедрения подсистемы в ИС

Для удобства использования подсистемы в информационной системе она должна быть разработана таким образом, чтобы существовала возможность легкого ее внедрения в ИС даже при условии, что язык программирования, на котором написана подсистема, будет отличаться от того, на котором была разработана информационная система. Для этого следует разработать подсистему в виде отдельного блока программы, но не в виде класса. Это связано с тем, что в случае отличая языков разработки системы и подсистемы, могут возникнуть ошибки при компилировании проекта. Процесс их устранения будет более простым в том случае, если подсистема будет разработана в виде отдельного блока программы (функции), а не класса.

Что касается, непосредственно, процесса внедрения кода в информационную систему, то он должен быть разработан таким образом, чтобы необходимые для его работы параметры использовались в той форме, в которой они хранятся в самой системе. Это необходимо для того, чтобы процесс внедрения подсистемы не предполагал написание дополнительного кода конвертирования типов данных.

При соблюдении этих условий процесс внедрения подсистемы в информационную систему станет относительно простым и при этом не потребует от программистов подробного изучения структуры внедряемого модуля.

Программная реализация подсистемы

При реализации подсистемы также следует учитывать особенность ее функционирования. Это заключается в том, что подсистема не будет иметь пользовательского интерфейса, так как вся необходимая информация в нее будет передаваться в процессе работы тестирующего комплекса. Помимо отсутствия интерфейса также будет отсутствовать ее взаимодействие с имеющейся в комплексе базой данных. Все это связано с тем, что подсистема представляет собой исполняемый блок команд, управление которым происходит тестируемым программным средством.

Выбор средств реализации подсистемы

При написании подсистемы следует учитывать, что ее внедрение должно быть простым, даже в случае, когда язык программирования, на котором разработана подсистема не совпадает с тем, на котором написано программное средство, в код которого необходимо внедрить данный блок. Для этого подсистема не должна быть привязана к определенному языку программирования путем использования в ее коде функций, являющихся специфическими для выбранной среды программирования.

При соблюдении этих правил, полученная подсистема может быть достаточно просто внедрена в код любой информационной системы. В случае несовпадения сред разработки подсистемы и самой системы, достаточно будет лишь немного изменить код таким образом, что основные его элементы останутся неизменными, а программисту не придется вникать в суть работы подсистемы.

Для реализации подсистемы была выбрана среда Microsoft Visual Studio .NET 2003 и язык программирования C#. Это, прежде всего, связано с тем, что языки «Си» достаточно широко распространены и пользуются большой актуальностью на сегодняшний день. А также переработка некоторых частей кода подсистемы под какой-либо другой язык не потребует больших временных затрат от программиста, а также этот процесс будет достаточно простым, в связи с тем, что его структура и специфика не слишком кардинально отличается от языков программирования, являющихся наиболее актуальными на сегодняшний день.

Таким образом, полученная подсистема будет являться достаточно гибкой и адаптируемой к любой информационной среде, в которой необходимо ее использовать. При этом для ее доработки не потребуются знания основ программирования в той среде, в которой она была разработана и знания основного алгоритма ее функционирования.

Реализация функциональности подсистемы

В процессе реализации подсистемы следует ориентироваться на критерии ее работы, относительно которых разрабатываемая подсистема будет удовлетворять поставленным задачам.

В процессе реализации следует обратить внимание на то, что подсистема является не самостоятельной программой, а, следовательно, отсюда должна вырабатываться специфика разработки ее архитектуры. Наиболее приемлемым вариантом реализации подсистемы будет являться заключение ее в одну функцию, тем самым, упростив процесс ее интеграции в информационную систему.

Что касается разработки самой подсистемы, то алгоритм ее функционирования должен быть построен таким образом, чтобы порядок выполнения операторов внутри нее определялся значениями параметров, которые передаются в процессе работы информационной системы. Рассматривая тот или иной параметр, процесс выполнения может пойти по разным путям. Это может быть проверка абсолютной схожести ответа, либо возможности допущения в нем ошибки; проверка ответа, представляющего собой число или символьное значение; просмотр одного или нескольких вариантов правильных ответов из базы знаний.

При многообразии возможных вариантов функционирования подсистемы, ее структура не разбивается на отдельно выполняемые блоки, а представляет собой одну функцию с различными вариантами ее исполнения.

Руководство программиста

Для внедрения подсистемы в тестирующий комплекс необходимо скопировать функцию «ПроверкаОтвета» в любое место кода той формы, которая отвечает за проведение тестирования. В том месте, где необходимо проверить правильность ответа на вопрос открытой формы необходимо написать строку вызова функции и передать ей четыре необходимых параметра. Первый параметр «количество» определяет количество ответов, которые хранятся в базе, как правильные. Второй параметр «ответ» представляет собой строку символов, которую ввел пользователь на поставленный информационной системой вопрос. Третьим параметром «правильныйОтвет» является массив строк, в котором содержится определенное количество ответов, которые являются правильными. Их количество может быть любым, большим либо равным единице. И последним четвертым параметром «проверять» является логическая переменная. В том случае, если ее значение - истина - подсистема допускает возможность опечатки во введенном ответе, в противном случае подсистема ищет точное совпадение с имеющимся ответом.

В результате работы подсистема возвращает целое числовое значение, которое определяет степень соответствия введенного пользователем ответа с правильным по следующей шкале: -1 - неправильный ответ; 0 - ответ, который в точности не совпадает с правильным, но признается подсистемой как правильный; 1 - абсолютно правильный ответ.

Тестирование подсистемы

Для тестирования подсистемы была выбрана информационная система, являющаяся тестирующим комплексом для контроля знаний по дисциплине «Основы систем контроля качества подготовки специалистов». В ее код была внедрена разработанная подсистема, а база данных составлена таким образом, что все ее вопросы имели открытую форму. В процессе тестирования подсистема показала 100%-й результат по определению степени правильности вводимого ответа. Данный результат был получен в процессе многократных прохождений тестирования, с использованием различных видов вопросов и всех возможных вариантов ответов. В таблице 1 приведены некоторые из них.

Таблица 1.

Ответ пользователя	Правильный ответ	Решение подсистемы о степени правильности
в 1958-м году	1958	0
1985	1958	-1
Релексивность	Рефлексивность	0
Реффлексивность	Рефлексивность	0
Рефликсивность	Рефлексивность	0
Рифликсивность	Рефлексивность	-1
Релфексивность	Рефлексивность	0
Рефлексивность	Рефлексивность	1



Как видно из таблицы, даже при условии, что в базе данных находится одно уникальное значение, которое можно считать правильным ответом, подсистема способна сделать из него несколько десятков, а при некоторых условиях (большой длинны ответа) и несколько сотен относительно правильных ответов. Ответ считается относительно правильным, если он абсолютно не совпадает с правильным ответом, но при этом имеет такую степень отличия, которая удовлетворяет критерию возможной опечатки.

Учитывая этот факт в процессе тестирования правильности и надежности подсистемы было установлено, что она с легкостью способна отличить заведомо не верный ответ, от относительно верного, тем самым, показав, что при ее использовании пользователю не удастся путем ввода заведомо неточного ответа обмануть подсистему и получить заветный положительный балл.

Что касается стресс-теста, то для его организации вводились ответы на вопросы максимальной длины, это предназначалось для определения времени, которое потребуется подсистеме для обработки подобных ответов на вопрос. В процессе такого тестирования выяснилось, что подсистемы мгновенно обрабатывает ответы любой величины и любого содержания, при этом пользователь не замечает, каких бы то ни было задержек или простоя в работе информационной системы.

Таким образом, по завершении тестирования подсистемы выяснилось, что она полностью соответствует тем требованиям, которые предъявлялись к ней в процессе моделирования и разработки, а также устойчива к любым нестандартным ситуациям, которые могут возникнуть в процессе ее функционирования.

Заключение

В процессе написания курсового проекта была разработана подсистема для анализа ответов в открытой форме тестовых заданий. Данная подсистемы призвана идентифицировать ответы тестируемого и определить степень их правильности, используя для этого заведомо правильный вариант ответа.

Внедрение данной подсистемы в работу тестирующего комплекса позволит свести к нулю вероятность принятия правильного ответа за неправильный, а также возможность обмана тестируемым программного комплекса при ответе на вопрос открытой формы. Основным достоинством разработанной подсистемы является ее гибкость к внедрению в любую информационную систему и возможность отличать неправильные ответы от ответов, в которых допущена грамматическая, синтаксическая ошибки, или присутствует опечатка. Подобные ответы при стандартном подходе к проверке ответов для вопросов в открытой форме были бы признаны неправильными, в то время как разработанная подсистема способна учитывать фактор волнения, которое присуще испытуемому.

Анализирую результаты работы подсистемы в тестируемом комплексе в процессе отладки можно сделать вывод о том, что она полностью соответствует тем требованиям, которые предъявлялись к разрабатываемой подсистеме на ранних стадиях ее написания, что в свою очередь свидетельствует о том, что основная цель разработки подсистемы в процессе курсового проектирования была достигнута и полностью удовлетворяет запросам, предъявляемым к ней.

В итоге можно сказать, что внедрение разработанной подсистемы в тестовый комплекс поможет повысить точность определения уровня знаний испытуемого путем использования вопросов открытой формы, не опасаясь за возможные неточности в процессе принятия решения о правильности или неправильности предложенного на проверку ответа.