2. Педагогическое тестирование как средство повышения качества контроля и оценки эффективности учебного процесса

2.1 Понятие педагогического теста. Подходы к классификации педагогических тестов

В настоящее время отмечается методологически слабая обеспеченность тестирования. Она во многом определяется недостаточной разработанностью категорийно-понятийного аппарата педагогического тестирования. Постоянно смешиваются такие ключевые понятия, как "тест" и "тестовое задание", не конкретизирована терминология видов тестов и тестовых заданий. Кроме того, большинство педагогов-практиков не имеют представления о таких важных элементах обеспечения качества экспериментальной работы, как репрезентативность выборки, надежность, валидность.

Зарубежные психологи называют науку по теории тестов психометрикой (Psychometrika). а педагоги - педагогическим измерением (Educational measurement). Поскольку общего названия на русском языке пока нет. то мы будем придерживаться устоявшегося названия данной науки - тестология [13], которое используется в педагогическом, психологическом или социологическом контексте. Само название "тестология" определяется как наука о тестах.

Педагогическая тестология является прикладной методической теорией научной педагогики, которая призвана заниматься вопросами разработки тестов для объективного контроля подготовленности учащихся.

Ключевыми понятиями тестологии являются педагогическое задание, тест, содержание и форма заданий, надежность и валидность результатов измерения. Кроме того, в тестологии используются такие понятия статистической науки, как выборочная и генеральная совокупность, корреляция и др.

Исходным понятием тестологии является понятие "педагогическое задание". Педагогическое задание - средство интеллектуального развития, образования и обучения, способствующее активизаций учения, повышению подготовленности учащихся, а также повышению эффективности педагогического труда [13]. Задания могут формулироваться как в тестовой, так и в нетестовой форме.

Еще одним важным понятием является понятие теста. В настоящее время существует несколько десятков определения понятия "тест". Для обыденного сознания тест означает перевод с английского test - проба, испытание, метод. Смысл этого слова охватывает любой метод проверки, даже субъективный.

Часто мы встречаемся с упрощенным пониманием данного термина как системы заданий с выбором правильного ответа из представленных вариантов. Положение усугубляется многочисленными примерами "тестов" в газетно-журнальной периодике, многочисленными книжными публикациями под одноименным названием. Часто под такими развлекательными и даже педагогическими заданиями оказываются не тесты, а нечто, только внешне похожее на них. Между тем различия в понимании сущности тестов следует искать в самом отношении к тестам

С.Л. Рубинштейн в 1938 г. дал следующее определение теста: "Тест - это испытание, которое ставит своей целью градирование, определение рангового места личности в группе или коллективе, установление ее уровня. Тест направлен на личность, он должен служить средством диагноза и прогноза" [14]. Его современник, один из основоположников советской психотехники С.Г. Геллерштойн писал: "Тест - это испытательный эксперимент, носящий характер определенного задания, которое стимулирует определенную форму активности и выполнение которого, поддаваясь количественной и качественной оценке, служит симптомом совершенствования определенных функций" [14].

Под термином "тест" в советской психолого-педагогической литературе до 1980-х гг. имелось в виду задание с четким и однозначным вариантом правильного ответа, ориентированным на определенные нормативы.

В целом сегодня научное мышление под термином "тест" понимает но только метод тестирования, но и научно-педагогическую систему. B.C. Аванесов рассматривает тест как единство метода, результата, полученного определенным методом, и интерпретации результатов.

Традиционный тест представляет собой стандартизированный метод диагностики и уровня структуры подготовленности школьников. В таком тесте все испытуемые отвечают на одни и то же задания, в одинаковое время, в одинаковых условиях и с одинаковыми правилами оценивания ответов. Цель применения данных тестов - установить отношение порядка между испытуемыми по уровню проявляемых при тестировании знаний И на этой основе определить место каждого на заданном множество тестируемых испытуемых.

Далеко не однозначен и термин "дидактический тест": как синонимы используются термины "педагогические", "учительские", "преподавательские тесты", "тесты достижений", "тесты исполнения", "тесты контроля знаний", "тесты умений и навыков", "учебные тесты", "контрольные тесты".

При этом разные авторы вкладывают свое (не всегда четко определенное) понимание в эти термины. Например, у Ч. Куписевича "преподавательский тест - это не стандартизированные тесты, которые "могут быть составлены лицами, исследующими результаты учебы, достигнутые на проведенных ими учебных занятиях" [15, с. 27].

С.М. Вишнякова в словаре профессионального образования дает следующее определение теста. Тест, во-первых, стандартное задание, соответствующее определенным требованиям (однозначности, краткости и простоты). выполнение которого позволяет оценить некоторые психофизиологические характеристики испытуемого (умственное развитие, способности.

полевые качества), а также уровень его знаний, умений и навыков. Во-вторых. тест является объективным методом контроля качества знаний учащегося, инструментом, позволяющим выявить факт усвоения. В-третьих, cостоит из контрольного задания и эталона - образца последовательного и правильного выполнения задания. Задание выдается испытуемому, а эталон используется преподавателем или заложен в техническое средство для сравнения с ответом испытуемого и выведения оценки. Следует отметить, что этот метод требует:

- объемного и дорогостоящего методического обеспечения (набора тестов по каждой цели обучения) и высокой квалификации разработчиков тестов;

- вопросник для конкретных социологических исследований;

- информационную задачу с известным решением, предназначенную для проверки правильности работы вычислительной машины [16].

А Н. Майоров рассматривает тест как инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, изменение которых возможно в процессе систематического обучения [17, с. 23-34.].

B.C. Аванесов определяет педагогический тест как систему параллельных заданий возрастающей трудности, специфической формы, которая позволяет качественно и эффективно измерять уровень и структуру подготовленности испытуемых [18].

При этом под системой понимается, что в тесте собраны такие задания. которые обладают системообразующими свойствами. Это, в свою очередь. означает общую принадлежность заданий к одной и той же системе знаний, а также их связь и упорядоченность. Еще одним необходимым атрибутом настоящего теста является расположение заданий по мере возрастания трудности - от самого легкого до самого трудного. Иначе говоря, главным формальным системообразующим признаком теста является различие заданий по степени их трудности.

Показатель трудности теста и тестовых заданий является содержательным и формальным одновременно. Содержательным показателем - потому что в хорошем тесте трудность может зависеть только от содержания и от уровня подготовленности самих испытуемых, в то время как в плохом тесте на результаты начинают заметно влиять форма заданий (особенно если она не адекватна содержанию), плохая организация тестирования, если имеются возможности списывания, утечки информации.

Формальная составляющая сторона показателя трудности возникает при рассмотрении тестирования как процесса противоборства каждого испытуемого с каждым предлагаемым ему заданием. Получаемый при этом исход полезно рассматривать как результат такого противоборства

Специфическая форма тестовых заданий говорит о том. что задания теста представляют собой и не задачи, а задания, сформулированные в форме высказываний, истинных или ложных. Такие задания носят название "тестовые задания" или "задания в тестовой форме" в зависимости от употребляемого контекста. Традиционные вопросы, напротив. истинными или ложными не бывают, а ответы на них часто бывают многословны, они не поддаются сравнению с жестким эталоном. В этом смысле традиционные вопросы и ответы менее нетехнологичны, чем задания в тестовой форме или тестовые задания.

Нельзя не согласиться с B.C. Аванесовым, который указывает на то, что не всякое содержание поддается представлению в форме тестового задания. Затруднительным представляется выражение доказательств, обширных вычислений, многословных описаний в тестовой форме.

Определенное содержание означает, что при тестировании проверяется не весь программный материал, а лишь та часть учебной программы, которая входит в содержание проверяемых знаний учащихся. Остальное в педагогический тест не включается. При этом некоторые элементы проверяемых знаний используются только в текущем контроле, другие - в рубежном контроле, например, в конце учебной четверти. И, наконец, в итоговом контроле используются задания, правильные ответы на которые требуют знания многих, а иногда и всех тем, изученных в течение учебного года. Особое внимание следует уделять комплексности и сбалансированности содержания теста [13]. Согласно этому положению тест, разработанный для итогового контроля знаний, не должен строиться на материале одной темы, даже самой основной. Тест необходимо конструировать, исходя, из сбалансированности всех тем курса. В то же время необходимо добиваться комплексного включения в тест как вопросов теории, так и методов научной и практической деятельности, умения эффективно решать основные профессиональные задания.

Согласно принципу научной достоверности [13] в тест включается только то содержание учебной дисциплины, которое является объективно истинным и обладает аргументацией. Не следует включать спорные вопросы, то есть вопросы, имеющие неоднозначное решение. Кроме того, в педагогический тест, предназначенный для контроля. диагностики обученности и обучаемости, недопустимо включать вопросы, которые выясняют оценки, мотивацию, мнения.

По своей длине тесты могут быть короткими (10-20 заданий), средними (40-60 заданий) и длинными (до 500 заданий). Оптимальное количество заданий определяется целями контроля, но практика показывает, что это примерно 40-60 заданий. Количество заданий в тесте принято называть длиной теста. К настоящему времени сложилась практика организации различных видов тестирования, требующих соответственно разных тестов. Таким образом. кроме приведенных подходов, тесты можно классифицировать по целому ряду оснований.

1. Прежде всего по процедуре создания могут быть выделены стандартизированные и нестандартизированные тесты.

Стандартизируются процедура и условия проведения тестирования, способы обработки и интерпретации результатов, которые должны привести к созданию равных условий для испытуемых и минимизировать случайные ошибки и погрешности как на этапе проведения, так и на этапе обработки результатов и интерпретации данных

В образовании можно выделить ряд задач, которые могут быть решены нестандартизированными тестами. Однако для целей мониторинга необходимо использовать только стандартизированный тестовый инструмент. [19;20;21]

2. По степени однородности задач выделяют гомогенные и гетерогенные тесты.

3. По средствам предъявления выделяют бланковые тесты (""бумага и карандаш").

Эти тесты в свою очередь можно разделить на два вида:

1) с использованием тестовых тетрадей, в которых находятся тестовые задания и в которых испытуемый фиксирует результаты;

2) с использованием бланков, в которых испытуемые отмечают или вписывают правильные ответы (фиксируют ответы). Бланки предъявляются отдельно от заданий:

предметные, в которых необходимо манипулировать материальными объектами, результативность выполнения этих тестов зависит от скорости и правильности выполнения заданий;

аппаратурные - тесты с использованием устройств для изучения особенностей внимания, восприятия, памяти и мышления;

практические, появившиеся относительно недавно. Эти тесты сходны с известными у нас лабораторными работами (по химии, физике, биологии и пр.). однако снабженные соответствующими инструкциями и имеющие тестовое оснащение;

компьютерные тесты.

4. По направленности развития и формирования человеческих качеств:

- тесты интеллекта, выявляющие особенности последнего;

- тесты общих умственных способностей, умственного развития;

- тесты специальных способностей в различных областях деятельности;

- тесты обученности, успеваемости, академических достижений;

- тесты для определения отдельных качеств (черт) личности, личностные тесты (иногда называемые тестами темперамента), с помощью которых изучаются особенности личности испытуемого (память, мышление, характер, эмоции и др.);

- тесты для определения уровня воспитанности (сформирован- мости общечеловеческих, социально-нравственных, обще интеллектуальных, общекультурных и других качеств);

- тесты достижений.

Правильно составленные тесты учебных достижений (обученности) должны удовлетворять определенным требованиям. Желательно сделать их:

- краткосрочными, чтобы не требовались большие затраты времени;

- однозначными, не допускающими произвольного толкования тестового задания;

- правильными, исключающими возможность формулирования многозначных ответов;

- краткими, требующими сжатых ответов;

- информационными, т.е. такими, которые обеспечивают возможность соотнесения количественной оценки за выполнение теста с порядковой или даже интервальной шкалами измерений; удобными, т.е. пригодными для быстрой математической обработки результатов;

- стандартными, пригодными для широкого практического использования - измерения уровня обученности возможно более широких групп учеников, овладевающих одинаковым объемом знаний на одном и том же уровне обучения.

Применение тестов будет наиболее эффективным и обеспечит надежные выводы лишь при условии правильного сочетания всех выделенных групп тестов. Поэтому тестовые испытания всегда имеют комплексный характер: выводы одних дополняются и корректируются другими.

При подготовке материалов для тестового контроля необходимо придерживаться следующих основных правил.

1) Нельзя включать ответы, неправильность которых на момент тестирования не может быть обоснована учащимися.

2) Неправильные ответы должны конструироваться на основе типичных ошибок и должны быть правдоподобными.

3) Правильные ответы среди всех предлагаемых должны размещаться в случайном порядке.

4) Вопросы не должны повторять формулировок учебника.

5) Ответы на одни вопросы не должны быть подсказками для ответов на Другие.

6) Вопросы не должны содержать "ловушек" .

5. По характеру действий.

Вербальные (связанные с необходимостью произведения умственных действий - словесно-логические тесты, вопросники на проверку знаний, установление закономерностей и пр.). Данные тесты требуют сформированности навыков и наличия определенных знаний. Поэтому именно те дети, которые хорошо успевают в школе, как правило, набирают большее количество баллов при прохождении этих тестов.

Невербальные (практические), связанные с практическим манипулированием предметами - карточками, блоками, деталями. Невербальные тесты, по мнению многих английских педагогов, меньше зависят от школьной успеваемости, домашних условий воспитания, социального положения. При выполнении этих тестов учащийся должен анализировать, сравнивать, делать выводы на основе наборов картинок, диаграмм, предметов, фигур и т.д. С заданиями невербальных тестов нередко лучше справляются учащиеся с высоким уровнем интеллекта из семей с низким социальным статусом, отличающиеся плохим поведением, частыми нарушениями дисциплины и т.д. .

6. По ведущей ориентации.

Тесты скорости, содержащие простые задачи, время решения которых ограничено настолько, что ни один испытуемый не успевает решить все задачи в заданное время.

Тесты мощности или результативности, включающие трудные задачи. время решения которых либо вовсе не ограничено, либо мягко лимитировано. Оценке подлежит успешность и способ решения задачи. Примером такого рода тестовых заданий могут быть задания для письменных итоговых экзаменов за курс школы.

Смешанные тесты, которые объединяют в себе черты двух вышеперечисленных. В таких тестах представлены задачи различного уровня сложности. от самых простых до очень сложных. Время испытания в данном случае ограничено, но достаточное для решения предлагаемых задач большинством обследуемых. Оценкой в данном случае служат как скорость выполнения заданий (количество выполненных заданий), так и правильность решения.

Эти тесты наиболее часто применяются на практике, и именно к ним относится большинство тестов учебных достижений, которые можно использовать для нужд мониторинга.

7. По характеру объективности.

Объективные тесты - тесты, объективность оценки результатов которых обусловливается тем обстоятельством, что в процессе обработки результатов тестирования не предусматривается использование их субъективных толкований тестирующим, к этой группе тестов относятся тесты школьных достижений.

Проективные тесты - совокупность методик, разработанных в рамках проективного подхода в психологии и характеризующихся неопределенностью. неоднозначностью используемых в ходе тестирования стимулов. Соответственно, такой подход допускает большое разнообразие ответов и их интерпретацию.

8. По степени ориентированности.

Широко ориентированные, позволяющие оценить эффективность процесса обучения по степени реализации одной из его основных целей, то есть степени освоения учащимися системы знаний, умений и навыков в ходе учебного процесса.

Узко ориентированные, направленные на выявление достижений учащихся в процессе освоения отдельных предметов, отдельных тем и т.д..

9. По целям использования выделяются следующие группы тестов:

- знаний или поведения студента в начале обучения (определяющий тест):

- прогресса, достигнутого в процессе обучения (формирующий тест):

- трудностей обучения и их источников во время процесса обучения (диагностический тест):

- основных достижений в конце обучения (суммирующий тест).

Предварительный определяющий тест предназначен для оценки начальных способностей, обычно является несложным и охватывает очень небольшой диапазон знаний. Он может затрагивать минимум базовых знаний по теме обучения или другой ограниченный набор требуемых знаний.

Формирующий тест, используемый для контроля за прогрессом обучения, затрагивает ограниченный сегмент обучения, например, раздел или главу, и с его помощью делается попытка оценить все важные результаты данного сегмента. Акцент делается на оценке степени владения материалом изучаемых задач и обеспечения обратной связи со студентом по корректировке отдельных ошибок.

Диагностический тест содержит относительно большое число вопросов, имеющих отношение к конкретной тестируемой области. В связи с тем, что целью теста является определение трудностей обучения, внимание фокусируется на ответах учащихся на конкретный вопрос или группу вопросов, и общий балл имеет второстепенное значение. Этот тест обычно больше фокусируется на распространенных ошибках, которые делают учащиеся, чем на попытке широкого отбора ожидаемых результатов обучения.

Суммирующий тест разрабатывается для оценки широкого диапазона результатов обучения, ожидаемого в конце учебного процесса. Сложность и представительность выборки являются важными аспектами данного теста в связи с тем. что результаты используются для простановки баллов и определения степени достижения задач курса обучения. Для того чтобы адекватно отобрать все ожидаемые результаты обучения, суммирующий тест обычно содержит вопросы, которые представляют более высокий уровень сложности, чем другие виды тестов.

10. По широте использования.

Для использования учителем.

Для использования группой учителей или администрацией образовательно по учреждения.

Для целей отбора и формирования групп. [19;20;21]

2.2 Характеристика педагогических тестов, применяемых для контроля и диагностики образовательных достижений в системе профессионального образования

Научными основами разработки и применения педагогических тестов занимается наука, называемая дидактической тестологией. Тестология - наука, о принципах разработки, научной апробации и эффективном применении тестов, проведении тестирования и анализа результатов в различных областях человеческой деятельности.

Разработка и применение педагогических тестов в системе образования является предметом исследований в работах А. Анастази, B.C. Аванесова, Т.М. Балыхиной, В.И. Звонникова, Н.А. Гулюкиной, С.В. Клишиной, В.Ю. Переверзева, М.Б. Челышковой, Н.Ф. Ефремовой, Д. Эденборо, К. Денека, W.N. Angoff, G. Rasch, F. Lord Trevor, G. Bond, Christine M. Fox и др.

В теории дидактической тестологии различают две группы тестов: тесты достижений и тесты способностей. В свою очередь, тесты достижений представлены двумя разновидностями: широко ориентированные тесты и тесты достижений по конкретным учебным предметам.

Широко ориентированные тесты достижений ориентированы на оценку навыков по основным целям обучения (например, тесты на понимание научных принципов).

Тесты достижений по конкретным предметам ориентированы на оценку усвоения элементов учебных дисциплин, конкретных тем, уровня овладения навыками. По мнению М.Б. Челышковой, такие тесты выполняют несколько функций: выступают как средство оценки знаний, выявляют недостатки обучения, подсказывают направление последующего обучения, обеспечивают мотивацию студента, помогают приспособить обучение к потребностям индивида, дают информацию об уровне знаний, усвоенных студентами.

Таким образом, главная цель применения педагогических тестов - систематическое измерение и получение достоверных сведений о качестве результатов учебной деятельности. На сегодняшний день тесты достижений являются лидером в системе средств педагогического контроля в профессиональном образовании за счет ряда преимуществ перед традиционными формами, к таковым можно отнести: технологичность, оперативность, объективность, систематичность, комплексность, полифункциональность, универсальность, элиминирование негативного восприятия со стороны обучаемого на преподавателя.

Для контроля и оценки учебных достижений обучающихся в системе профессионального образования применяется большое разнообразие педагогических тестов. В первую очередь, педагогические тесты различаются по времени предъявления: тесты для входного (предварительного) контроля, которые служат основой для установления исходного уровня подготовленности обучающихся; для текущего контроля - осуществляют оперативную функцию обратной связи в ходе изучения дисциплины; для рубежного контроля - оценивание объема накопленных знаний и тесты для итогового контроля, которые позволяют установить уровень овладения материалом изученной дисциплины.

С точки зрения диагностической направленности тесты бывают нормативно-ориентированные (позволяют сравнивать уровень достижений отдельных испытуемых друг с другом) и критериально-ориентированные (оценивание степени овладения необходимым учебным материалом). В настоящее время в практике профессионального образования наибольшее применение нашли две разновидности критериально-ориентированных педагогических тестов: domian-referenced test (используется для оценивания доли от полного объема учебного материала) и mastery tests (квалификационные тесты).

По процедуре создания тесты бывают стандартизированные (педагогические тестовые измерители) и нестандартизированные (тестовые материалы или предтесты). Под стандартизацией понимается процесс создания теста, его экспериментальная проверка и апробация среди большого контингента испытуемых для выявления соответствия теста требованиям единого стандарта, а также выявления эффективности тестовых материалов при контроле заданных параметров. Стандартизация теста осуществляется на большой репрезентативной выборке испытуемых того типа, для которого предназначен тест. Процедуры стандартизации тестовых материалов базируются на стандартах, содержащих в себе требования к содержанию, к форме, к статистическим данным о результатах выполнения теста и т.д.

По содержанию тесты бывают гомогенные, проверяющие уровень знаний по отдельной дисциплине; гетерогенные - по нескольким смежным дисциплинам; интегративные - по нескольким учебным дисциплинам.

По цели тестирования выделяют: тесты достижений (в свою очередь, тесты достижений могут различаться по задачам измерения, в этом случае различают тесты общей результативности, степени усвоения знаний, общего развития, интеллектуальных способностей и т.д.); тесты способностей (тесты общего интеллекта).

В зависимости от расположения заданий в тесте различают тесты: возрастающей сложности (каждое последующее задание, труднее предыдущего); смешанные (задания в тесте располагаются в соответствии с логикой изучения дисциплины); адаптивные (очередность предъявления задания зависит от успешности выполнения предыдущего, если тестируемый выполнил задание верно, ему предъявляется задание более высокого уровня сложности, если не справился с заданием, предъявляется задание более "легкое").

По количеству испытуемых, для которых предназначено использование теста, различают: индивидуальные тесты и групповые.

По технологии предъявления выделяют компьютерные и бланковые тесты. При компьютерном тестировании текст заданий, варианты ответов и поля для верных ответов располагаются на мониторе персонального компьютера, при бланочном тестировании - на специальных бумажных бланках. По мнению, В.И. Нардюжева компьютерное тестирование обладает рядом преимуществ, которые позволяют:

- применять новые адаптивные алгоритмы тестового контроля;

- использовать в тестах мультимедийные возможности компьютеров;

- уменьшить объём бумажной работы и ускорить подсчёт результатов,

- упростить администрирование и проводить тестирование круглый год;

- обеспечить комфортные условия работы для каждого тестируемого;

- повысить секретность и оперативность передаваемой информации;

- снизить затраты на организацию и проведение тестирования.

Главным составляющим элементом теста является тестовое задание.

Общепризнанной классификацией видов тестовых заданий в отечественной практике является классификация, предложенная B.C. Аванесовым, которая включает в себя 4 основных типа тестовых заданий:

- задания с выбором ответа (закрытые задания) - к заданию предоставляются готовые ответы, один или несколько из которых правильные и "отвлекающие" варианты ответов (дистракторы). Основная цель заданий закрытой формы - быстро проверить ориентированность студента в данной учебной дисциплине по профориентированной работе для самопроверки. При этом используется выборочность ответа на поставленный вопрос;

- задания открытой формы - представляют собой утверждение с неизвестной переменной и используются для проверки основных понятий, законов, фактов. Ответ заданной формы тестового задания определяется в виде одного (реже двух) ключевого термина, значение которого является обязательным;

- задания на установление правильной последовательности - предназначены для проверки правильного владения последовательностью действий, процессов, операций, суждений, вычислений. Эти задания используются, преимущественно, для оценки уровня профессиональной подготовки, а также для контроля знаний основных понятий и законов изучаемой учебной дисциплины;

- задания на установление соответствия - это задания, в которых необходимо установить соответствие элементов одного множества элементам другого. Каждый вид тестового задания подразделяется на подтипы, основанием для выделения которых является форма представленности вариантов правильных ответов.

Несмотря на многообразие видов, типов тестов и тестовых заданий и очевидную привлекательность тестовых технологий в целом, применение их в практике образования до сих пор не стало масштабным по ряду причин:

- педагогические тесты, являясь измерительным инструментом, предназначены для оценивания учебных достижений обучающихся с некоторой долей погрешности, которая устанавливается эмпирически;

- достоверность оценки учебных достижений обучающихся зависит не только от качества педагогического теста, но и от качества технологии разработки и применения педагогических тестов в целом;

- процесс разработки стандартизированного педагогического теста достаточно длителен по времени и трудоемок, требует специально подготовленных специалистов;

- отсутствие интеграции тестовых технологий и традиционных форм контроля в процессе обучения и аттестации обучающихся.

В этой связи возникает необходимость в поиске путей повышения качества педагогических тестов с целью обеспечения достоверной оценки учебных достижений обучающихся.

Изначально качество педагогического теста задается на этапе их разработки посредством соблюдения рекомендуемых этапов. Процедура разработки едина для всех видов педагогических и психологических тестов. В методической литературе по дидактической тестологии авторы описывают разное количество этапов данной процедуры, так М.Б. Челышкова выделяет 18 этапов конструирования педагогических тестов, А, Анастази, B.C. Аванесов, А.Н. Майоров, В.Ю. Переверзев и т.д. Количество выделяемых этапов у разных авторов зависит от степени их укрупненности.

Наиболее полное описание процедуры разработки тестов представлено М.Б. Челышковой. Она выделяет и описывает следующие этапы:

- Определение цели тестирования, выбор вида теста и подхода к его созданию.

- Анализ содержания учебной дисциплины.

- Определение структуры теста и стратегии расположения заданий.

- Разработка спецификации теста, априорный выбор длины теста и времени его выполнения.

- Создание предтестовых заданий.

- Отбор заданий в тест и их ранжирование согласно выбранной стратегии предъявления на основании априорных авторских оценок трудности заданий.

- Экспертиза содержания предтестовых заданий и теста.

- Экспертиза формы предтестовых заданий.

- Переработка содержания и формы заданий по результатам экспертизы.

- Разработка методики апробационного тестирования.

- Разработка инструкций для учеников и для преподавателей, проводящих апробацию теста.

- Проведение апробационного тестирования.

- Сбор эмпирических результатов.

- Статистическая обработка результатов выполнения теста.

- Интерпретация результатов обработки в целях улучшения качества теста. Проверка соответствия характеристик теста научно обоснованным критериям качества.

- Коррекция содержания и формы заданий на основании данных предыдущего этапа. "Чистка" теста и добавление новых заданий для оптимизации диапазона значений параметра трудности и улучшения системообразующих свойств заданий теста. Оптимизация длины теста и времени его выполнения на основании апостериорных оценок характеристик теста. Оптимизация порядка расположения заданий в тесте.

- Повторение этапа апробации для выполнения очередных шагов по повышению качества теста.

- Интерпретация данных обработки, установление норм теста и создание шкалы для оценки результатов испытуемых.

В процессе конструирования педагогического теста средством оценки его качества является процедура экспертизы. Главная цель экспертизы - выявление некачественных тестовых материалов. Проблема заключается в том, что экспертиза, являясь обязательным этапом разработки тестовых материалов, до сих пор методологически полностью не исследована, не описаны возможности и роль экспертизы качества тестовых материалов с точки зрения системного и квалиметрического подходов. Отсутствие методической и технологической стороны экспертизы качества тестовых материалов на практике приводит к тому, что экспертиза очень часто пропускается и в результате для тестирования применяются некачественные тестовые материалы.

Основополагающим вопросом в методологии экспертизы качества тестовых материалов является определение "качества" тестовых материалов. Качество объекта обнаруживается в совокупности его свойств, но объект не состоит из свойств, а обладает ими. При этом категория качества не сводится к отдельным свойствам, а является целостной характеристикой существенного, выражает внутреннюю и внешнюю определенность, относительную устойчивость объекта, его отличие от других объектов или сходство с ними. Следовательно, качество тестовых материалов можно рассматривать как соответствие совокупности требований к качеству тестовых материалов. Для описания совокупности требований к качеству тестовых материалов необходимо выявить свойства, характеризующие данный объект. Традиционно тест рассматривается как средство педагогического измерения. В рамках данного подхода под тестом понимается "инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, измерение которых возможно в процессе систематического обучения". В соответствии с данным определением "тест должен содержать как минимум назначение (диагностические цели и задачи в операциональных терминах конкретных действий); точные сведения об авторах-разработчиках; данные об особенностях и репрезентативности выборки контингента обследуемых, на котором апробировался тест; краткое описание основных нормативов, критериальных оценок или получаемых при апробации результатов (по разным выборкам, если их было несколько); сведения о надёжности теста, о его валидности; инструкции организаторам по проведению процедуры тестирования, обработке данных результатов тестирования". Помимо традиционного подхода существует и иной, который характеризует тест как результат применения теста как метода измерения. В последнее время в работах исследователей по дидактической тестологии и др. наметился качественно иной подход к определению теста с позиций системного и квалиметрического подходов, согласно которому тест рассматривается как измерительное средство, представляющее собой стандартизированную систему калиброванных заданий специфической формы, позволяющее надежно и объективно оценить уровень учебных достижений испытуемых и выразить результат в числовом эквиваленте. Применение квалиметрического и системного подходов позволило выявить ряд специфических свойств, присущих тестовым материалам. С позиций квалиметрического подхода тестовые задания (ТЗ) и тест в целом детализируют в логике системодеятельностного подхода требования к результатам подготовки обучающихся, которые выступают в качестве базы сравнения при оценке индивидуальных образовательных достижений. С позиций системного подхода - тест рассматривается как система, состоящая из подсистем - тестовых заданий, обладающий рядом свойств, характерных для системы в целом: целостность, неаддитивность, эмерджентность, синергизм, обособленность, совместимость и адаптивность.

Целостность теста характеризуется рядом свойств и особенностей. Многогранность целостности отражается наличием у теста общей цели - гарантии оценки качества подготовки обучающихся и характеризуется дифференциацией, интеграцией и асимметрией тестовых заданий, решающих различные задачи для достижения заданной цели.

Неаддитивность означает появление нового качества теста как системы, возникающее в результате интеграции ТЗ в единое целое. При этом интеграция ТЗ во многом определяется их совместимостью - взаимосвязанностью внутри теста в логике совместимости самого теста с элементами других систем, входящих в систему обучения:

- требованиями государственного образовательного стандарта и образовательной программы к содержанию и результатам подготовки обучающихся;

- программой и кодификатором учебной дисциплины;

- другими контролирующими (оценочными) материалами (контрольными заданиями, опросниками, заданиями на выполнение лабораторных работ и пр.).

При успешной интеграции ТЗ тест проявляет свойство синергизма, что означает одно направленность действий тестовых заданий и теста в целом.

Эмерджентность означает появление у теста эмерджентных свойств, которые не присущи составляющим ее элементам - ТЗ.

Обособленность теста как системы заключается в некоторой его изолированности системы от взаимодействия с другими контролирующими (оценочными) материалами в общей иерархии построения системы обучения, контроля и оценки образовательных достижений обучающихся.

Адаптивность - свойство теста как системы, характеризуется возможностью применения теста в изменяющихся внешних и внутренних условиях вследствие коррекций в целях обучения и содержания учебных дисциплин.

Таким образом, тест характеризуется совокупностью внутренних и внешних свойств. Внутренние свойства отражаются во взаимодействии в системе "объект-объект" во внутренней структуре теста и являются качественными неотъемлемыми характеристиками (атрибутами), стабильными и не зависящими от исследуемого контингента учащихся. Они имманентно присущи тестовому заданию. К таковым можно отнести: содержание и форму ТЗ, логичность структуры, тематическую принадлежность и пр. В отличие от внутренних свойств внешние свойства теста отражают взаимодействие в системе "субъект - объект". При этом внешние свойства ТМ представляют собой динамический элемент качества, проявляющийся во взаимодействии внутри теста - источник появления новых свойств у качества теста по отношению к качеству его частей (тестовых заданий) и во взаимодействии вне теста, либо с другими измерителями оценки образовательных достижений, либо внешней средой (группа испытуемых и условия проведения тестирования) - источник изменения свойств во времени. Внешние свойства тестовых заданий и тестов характеризуются количественными характеристиками, полученными в результате обработки результатов тестирования. В соответствии с выше изложенным, под качеством тестового материала будем понимать интегральное свойство содержательных, формальных, функциональных и структурно - логических характеристик, обусловливающих достоверность оценки образовательных достижений обучающихся.

Таким образом, выявление внутренних и внешних свойств качества тестовых материалов дает возможность описать основные требования к качеству тестовых материалов, тем самым определить методологическую базу оценки качества. [22;25]

2.3 Общая методика разработки педагогических тестов

Основные этапы разработки теста по учебной дисциплине

Первый этап. Чтобы разработать педагогический тест по конкретной учебной дисциплине или предмету, нужно вначале содержание этой дисциплины проструктурировать, во-первых, по основным его разделам или темам, во-вторых, каждый раздел или каждую тему - по понятийным индикаторам первой, второй, третьей и т.д. ступеней, входящих в изучаемый раздел или тему.

Второй этап. Разрабатывается план теста. Если, например, учебная дисциплина состоит из четырех разделов, то вначале делается примерная раскладка необходимого числа заданий на каждый раздел, исходя из общего предельного числа, обычно не превышающего 30 - 60 коротких заданий разного уровня сложности. Число заданий, выделяемых на каждый раздел, зависит от его важности в изучении дисциплины. Предварительная раскладка заданий дается на примере таблицы 2.1.

Таблица 2.1Пример предварительной раскладки задания

Разделы учебной дисциплины	Количество заданий	% к общему числу
I	12	20
II	18	30
III	24	40
IV	6	10
Итого	60	100

Третий этап. Разрабатывается перечень задач, которые ставятся перед тестированием, например: А - умение давать определения; Б - знание формул, законов и принципов; В - умение применять формулы, законы и принципы для решения задач и примеров; Г - умение находить сходство и различия; Д - умение представить материал на графиках и схемах. Если на проверку умения A отвести, к примеру, 10 % всех заданий, Б и В - по 30 %, Г - 20 % и Д - 10 %, то общая раскладка числа заданий для рассмотренного примера принимает вид, представленный в таблице 2.2.

Таблица 2.2 Общая раскладка числа заданий для примера из таблицы 2.1

Умения и % заданий по их проверке	Номера разделов, % и число заданий	Всего для проверки каждого умения
	I - 20 %	II - 30 %	III - 40 %	IV - 10 %
A - 10 %	1	2	2	1	6
Б - 30 %	4	5	7	1	17
В - 30 %	4	5	7	2	18
Г - 20 %	2	4	5	1	12
Д - 10 %	1	2	3	1	7
Итого заданий	12	18	24	6	60

После выработки общего плана теста начинается самый ответственный четвертый этап- составление и подбор заданий. Эта работа обычно поручается самым опытным учителям, неоднократно преподававшим курс и проверявшим знания учащихся по нему. При формировании заданий они руководствуются рядом требований. Первое касается количества заданий. Их должно быть примерно в два-три раза больше запланированного числа. Это объясняется тем, что не все предлагаемые задания являются, образно говоря, работоспособными в той мере, в какой это первоначально считалось: некоторые задания окажутся слишком легкими, другие, наоборот, - более трудными, чем ожидалось; одни окажутся более информативными, другие - менее. Поэтому примерно с половиной заданий приходится расставаться после первой же проверки, а с некоторыми другими - в процессе последующего углубленного анализа.

Второе требование касается форм заданий. Задания должны иметь такую форму, чтобы их можно было заложить в компьютерную программу и тем самым обеспечить машинную обработку получаемых результатов, т.е. чтобы можно было использовать элементы информационной технологии. В.С. Аванесов предлагает четыре основные формы: закрытую и открытую формы, задания на соответствие и задания на установление правильной последовательности.

Задания закрытой формы могут быть нескольких видов.

Первый - задания с двумя ответами. Ниже приводится несколько примеров:

Слова, противоположные по значению: 1) антонимы, 2) синонимы.

Второй вид заданий закрытой формы: с тремя ответами. Например:

Кинетическая энергия тела зависит от: 1) массы, 2) скорости; 3) массы и скорости.

Задания закрытой формы с четырьмя ответами обладают несколько большими возможностями в смысле снижения вероятности отгадать правильный ответ.

Тело, падающие на землю в Северном полушарии, отклоняется к: 1) северу; 2) югу; 3) востоку; 4) западу.

Еще меньше вероятность догадки в заданиях с пятью и большим числом ответов. В практике считается достаточным иметь задания с четырьмя или пятью ответами.

Поверхность жидкости в цилиндрическом сосуде, вращающемся вокруг вертикальной оси, имеет форму: 1) гиперболоида; 2) сферы; 3) эллипсоида; 4) параболоида; 5) конуса.

Одно из возражений против заданий с готовыми ответами - быстрое "рассекречивание" теста. После первого тестирования учащиеся сообщают друг другу содержание запомнившихся заданий и правильные ответы к ним. Нередко имеет место и организованная утечка тестовой информации.

Средством борьбы против нарушений такого рода является увеличение числа заданий, их классификация по темам, по уровню трудности. По сути, для каждого задания создается десяток, а то и больше вариантов по сходной учебной тематике, но так, чтобы ответы на них были сравнимы по трудности. Еще одно возражение, чисто педагогическое: пользуясь готовыми ответами, учащиеся перестают думать, они не учатся творчеству и т. п. Однако в хорошо сделанном задании ученику приходится думать, сопоставляя один правдоподобный ответ с другими в поисках правильного ответа.

Понятие правдоподобный ответ требует некоторого истолкования. В заданиях с выборочными ответами правдоподобные, но все-таки неправильные ответы играют не меньшую роль, чем само задание, ибо неправдоподобные ответы легко различаются учащимися от правильного ответа, и задание "не работает" из-за плохой формулировки ответов. Каждый ответ должен как бы привлекать к себе школьников с той или иной структурой подготовленности. Мера привлекательности каждого ответа определяется долей учащихся, выбравших данный ответ. Чем выше эта доля в неправильных ответах, тем лучше ответ сформулирован. Однако один удачный ответ не делает задание хорошим. Для этого нужно, чтобы и все другие ответы были привлекательными, причем надо добиваться более или менее равномерной правдоподобности. Только тогда задание с выборочными ответами становится удачным. Мера привлекательности каждого ответа устанавливается эмпирически.

Что касается творчества, то эти способности в кратковременный период контроля развить невозможно; это следует делать в процессе занятий. Есть и другие возражения, однако перевешивают отмеченные преимущества в смысле возможностей автоматизации.

С появлением новых моделей тестового измерения вскрылся еще один дефект заданий с выборочным ответом, связанный с параметром догадки. Если до начала 80-х годов закрытые задания были самыми распространенными, то теперь популярность постепенно переходит к открытым заданиям.

Открытые задания. Эти задания долгое время были привлекательными для педагогов, использующих безмашинный контроль, и совсем неприемлемыми для тех, кто занимался машинным контролем. Объясняется это обстоятельство нетехнологичностью таких заданий: они требовали ручной обработки данных и больших затрат педагогического труда. Обратимся к примерам из различных учебных дисциплин. Отвечая на каждое задание, ученик дописывает ответ вместо прочерка.

Предполагается, что учащиеся должны давать ответы в коротких и четких формулировках, о чем следует предупредить в инструкции к тесту. Для ответа в бланке отводится столько места, сколько необходимо. Число таких заданий, называемых открытыми, бывает небольшим, обычно не более 10 - 15 в одном тесте.

Поступающая сейчас в школы новая контрольно-обучающая техника позволяет вводить ответы в виде слов, формул и других знаков. Это существенно меняет отношение педагогической общественности в пользу открытых заданий, главным образом из-за того, что в них исключается догадка. Ответ вводится в виде одного (реже двух, но не более) ключевого термина, знание которого является обязательным. Открытые задания применяются для проверки основных понятий, фактов. Они эффективны в процессе текущего, тематического и итогового контроля.

К открытой форме заданий примыкают и задания, выраженные в виде составного предиката.

Например: программа для навигации и просмотра веб-ресурсов.

Это задание состоит из двух частей: первая - условие, вторая - заключение, или вывод. Условие задается однозначно, вывод представляется в виде переменной с только одним правильным ответом из множества возможных.

Методика создания открытых заданий довольно проста. Вначале разработчик формулирует вопрос. Затем записывает такой же точный и немногословный ответ. Из ответа далее исключается ключевое слово, которое учащийся должен дополнить. Рассмотрим пример.