Педагогические тесты как исторический источник

Знания в педагогическом смысле определяются как продукт познания людьми предметов и явлений действительности, законов природы и общества . В философском смысле слова знания - это духовная деятельность, отражение объективной действительности, рассмотренная с точки зрения не процесса, а результата. Вся предшествующая деятельность общества выступает перед человеком в форме готового знания, которое он должен освоить, сделать своим, то есть уметь применять их на практике. Вовлекая знания в свою деятельность, осваивая его, человек тем самым развивает свои духовные способности, формирует себя как активного творца, субъекта культуры .

Анализ методологических основ школьного кура истории был проведен Л.Н. Алексашкиной в 1999 г. Исследователем были очерчены основные проблемы соотношения элементов образовательной цепочки «историческая наука > учебный предмет «история» > образовательные стандарты по истории». Рассмотрение процесса разработки в отечественной дидактике теории содержания общего образования позволило автору сделать важные выводы о возможности «моделирования учебного предмета в единстве его содержательных и деятельностных компонентов» .

В основу изучения истории в школе, по мнению Л.Н. Алексашкиной, необходимо положить «рассмотрение событий жизни и деяний людей в их неповторимости, и вместе с тем временной обусловленности и последовательности» . Важным вкладом истории в школьное образование является, по мнению Л.Н. Алексашкиной, развитие у учащихся историзма мышления. «Оно выражается в осознании принадлежности общественных явлений к тому или иному времени, неповторимости конкретных событий и вместе с тем изменения, движения самого бытия человека и общества» .

В настоящее время, после принятия ИКС, положение, на наш взгляд, несколько изменилось. Школьные учебники создаются на основе ИКС, то есть следуют за установками и формулировками историко-культурного стандарта, а не наоборот.

Проблема требований к умениям учащихся выдвигалась дидактами и методистами на протяжении второй половины ХХ - начала XXI в. [Л.Н. Алексашкина , Э.В. Ванина , П.В. Гора , Н.Г. Дайри , Н.И. Запорожец , Ф.П. Коровкин , А.И. Купцов , И.Я. Лернер , М.В. Одинович , П.Г. Постников и др.]. Многие исследователи отмечают, что задачи развития учащихся включают в себя формирование исторических знаний, исторического мышления учащихся, их эмоций чувств и воли, вооружение их рациональными приемами учения, развитие познавательных умений.

В 2012 г. перспективу развития КИМ по истории команда разработчиков видела во включении в экзаменационные материалы заданий, содержащих картографический, иллюстративный, статистический материал. В последующие годы иллюстративный и картографический материал был включен в экзаменационные материалы ЕГЭ, а статистические материалы в виде небольших таблиц можно теперь видеть в материалах ОГЭ. Проверяет ли само наличие такого материала умения выпускников на более высоком интеллектуальном уровне (анализировать, сопоставлять, систематизировать и т.п.), мы рассмотрим в следующем разделе.

Руководители системы образования, в частности директор ФИПИ О.А. Решетникова, поднимают проблему создания заданий, направленных не на простое воспроизводство знаний по памяти, а на раскрытие творческого потенциала учеников. Творческой называют деятельность, направленную на создание чего-либо нового, ранее не существовавшего. Руководитель ФИПИ ссылается на таксономию И.Я. Лернера: «…самостоятельный перенос усвоенных знаний и умений в новую ситуацию; видение проблемы в новой ситуации; видение новой функции объекта; определение структуры объекта (проблемы); видение альтернативы решения или его способа; комбинирование ранее усвоенных способов деятельности в новый применительно к возникшей проблеме - все эти ситуации относятся к творческому уровню» . Эта отсылка перекликается с целями ГОС и ИКС в части усиления деятельностной составляющей в обучении и воспитании, о которых говорилось в главе 1 настоящей работы.

3.2 Анализ практической реализации подходов к КИМ ЕГЭ по истории

Содержание КИМ ЕГЭ по истории в целом затрагивает очень большой объем отечественной истории - с VIII по XXI вв., а с 2016 г. и некоторые наиболее значимые эпизоды зарубежной истории (с 476 г. до конца ХХ в.). В данном исследовании мы остановимся на анализе представленности в КИМ ЕГЭ разных лет одного из разделов содержания - периоде истории России XVIII - начала XX вв., от преобразований Петра I до 1914 г.

В спецификации КИМ ЕГЭ по истории содержание подразделяется на три раздела: Древность и Средневековье, Новое время, Новейшая история. К разделу «Древность и Средневековье» спецификация относит период VIII - XVII вв., к разделу «Новое время» - период с XVIII до начала ХХ вв., к разделу «Новейшая история» - период с 1914 г. до наших дней. В каждом из разделов выделены подразделы. Таблица 3, представленная ниже, показывает количество разделов и подразделов содержания и число содержательных элементов в каждом из разделов.

Таблица 3. Распределение заданий по разделами и подразделам содержания в тестах для подготовки к ЕГЭ по истории

Элементы содержания, связанные с историей России Нового времени в кодификаторе ЕГЭ по истории распределены так: 6 - внешняя политика; по 5 элементов - история общественного движения и социально-экономическое развитие; 4 - внутренняя политика; 2- культурное развитие. Анализ заданий вариантов пособия по подготовке к ЕГЭ показал, что количество заданий по внешней политике России значительно преобладает среди всех других в разделе «Новое время», что не вполне соответствует спецификации и другим официальным документам.

Диаграмма 1. Доля заданий различных аспектов содержания в тестах для подготовки к ЕГЭ 2010 г.

На диаграмме 1 видно, что преобладающая доля заданий в тестах для подготовки к ЕГЭ приходится на содержание, касающееся внутренней политики. Число вопросов, посвященных внешней политике, в 2010 г. занимает второе место. Вопросы, посвященные истории общественных движений и идеологических направлений в них, находятся на третьем месте, незначительно уступая «внешней политике». Иную картину мы можем видеть в тестах по подготовке к ЕГЭ в 2019 г.



Диаграмма 2. Доля заданий различных аспектов содержания в тестах для подготовки к ЕГЭ 2019 г.

На первом месте по числу заданий оказываются вопросы, связанные с внешней политикой, в основном с войнами. На втором месте оказываются задания, связанные с внутренней политикой государства. Значительно уменьшается доля заданий, связанных с вопросами общественных движений и идеологических направлений.

Следующее направление анализа тестов по подготовке к ЕГЭ - выявление равномерности или неравномерности представленности различных периодов истории в содержании заданий.

Диаграмма 3. Доля заданий по теме «Новое время» в разных вариантах тестов для подготовки к ЕГЭ 2010г.



Диаграмма 4. Доля заданий по теме «Новое время» в разных вариантах тестов для подготовки к ЕГЭ 2019г.

На диаграммах 3 и 4 можно видеть, что количество заданий по теме «Новое время» существенно различается от варианта к варианту. В 2010 г. наибольшее различие было в 13 заданий. В 2019 г. максимальный разрыв составил 12 заданий. Следовательно, соотношение числа заданий на другие разделы содержания различается так же. Из этого можно сделать вывод, что данные тесты не вполне отвечают своему главному предназначению - объективно оценить и сравнить между собой качество подготовки выпускников.

Результаты проведения ЕГЭ по истории в 2019 г. в документе, размещенном на сайте Федерального института педагогических измерений .

На графике, размещённом ниже (диаграмма 5), представлены результаты выполнения заданий первой части экзаменационной работы группами выпускников с различным уровнем подготовки .

Понять, на каком уровне осуществляется проверка знаний или умений КИМами ЕГЭ, помогает анализ методических материалов, созданных разработчиками тестов. В методических материалах разных лет ими приводятся предположения о причинах успешного или неуспешного выполнения заданий. Приведем результаты анализа в таблице.

Таблица 4. Причины успешности выполнения заданий КИМ ЕГЭ по истории (по методическим материалам разработчиков тестов)

Анализ представленной выше таблицы показывает, что сами разработчики тестов связывают плохие результаты выпускников в основном с объективными причинами, недостатками самой практики исторического образования. Наиболее существенными причинами удач является «везение»: по какому периоду попалось больше заданий в варианте теста: на хорошо известный или недостаточно освещенный в учебнике? Успел учитель в течение года объяснить данную тему или нет? В профильной школе обучался выпускник или в обычной? Таким образом, сами разработчики сознают, что они нарушают нормативные документы, ставя школьников в неравные условия.

Спецификация КИМ ЕГЭ по истории содержит таблицу 2, в которой разработчики устанавливают соответствие между требованиями ИКС и заданиями частей 1 и 2 теста по истории. Анализ данной таблицы показывает, что на проверку знаний (событий, дат, понятий, фактов истории культуры по различны периодам истории) направлены задания 1, 2, 3, 4, 5, 7, 8 (знание фактов Великой Отечественной войны), 9, 11, 17, 18, 19, то есть из 19 заданий 1-ой части теста впрямую, по мнению разработчиков, на проверку знаний направлено 12 заданий. Иначе говоря, более 63% заданий части 1 КИМ ЕГЭ направлены на проверку объективизированных (формализованных) знаний. Для анализа заданий будут взяты задания демонстрационного варианта КИМ ЕГЭ 2020 г., который целиком приведён в приложении I данной работы.

Проанализируем, на проверку каких умений, кроме воспроизведения по памяти, направлены 37% заданий, не отнесенные таблицей 2 спецификации, к проверке знаний. Задания 13 - 16 теста, как указано в таблице 2 Спецификации, направлены на работу с исторической картой, а задания 6, 10, 12 - на работу с историческими источниками. Представляется, что классификация требований ИКС проведена довольно странным образом: произошло смешение: к одним заданиям указаны требования к знанию различных аспектов исторического содержания, а к другим - требования к формам представления исторического содержания. На основе каких знаний и умений проверяются задания 13 - 16 и 6, 10, 12 КИМ ЕГЭ мы более подробно проанализируем ниже.

В Спецификации КИМ представлена и таблица 3 «Распределение заданий экзаменационной работы по видам проверяемых умений и способам действий». И в этой таблице указано, что на проверку знаний, в отличие от данных таблицы 2, направлено только 7 заданий. Сопоставив с планом теста, определяем, что на проверку знаний дат, событий, терминов, фактов, персоналий, явлений культуры направлены всего семь заданий (2, 3, 4, 5, 8, 9, 17)., а не 12. Получается, что разработчики либо по невнимательности, либо сознательно вводят пользователей в заблуждение относительно заданий 1, 7, 11, 18, 19, относя в таблице 2 Спецификации эти задание к проверке знаний, а в таблице 3 и в плане теста утверждая, что эти задания проверяют разнообразные умения и виды деятельности. Мы убеждаемся, что противоречие внутри самого нормативного документа - Спецификации, приводит к противоречиям в реализации целей, установленных в противоречивом документе.

Спецификация КИМ ЕГЭ по истории содержит таблицу 2, в которой разработчики устанавливают соответствие между требованиями ИКС и заданиями частей 1 и 2 теста по истории. Анализ данной таблицы показывает, что на проверку знаний (событий, дат, понятий, фактов истории культуры по различны периодам истории) направлены задания 1, 2, 3, 4, 5, 7, 8 (знание фактов Великой Отечественной войны), 9, 11, 17, 18, 19, то есть из 19 заданий 1-ой части теста впрямую, по решению разработчиков, на проверку знаний направлено 12 заданий. Иначе говоря, более 63% заданий части 1 КИМ ЕГЭ направлены на проверку объективизированных (формализованных) знаний.

Необходимо отметить, что очень непросто разобраться в кодировке заданий, предлагаемой спецификацией КИМ. Анализируя задание 1 демоверсии 2020 года, сталкиваемся даже с двумя противоречиями, заложенными в спецификации. Задание проверяет, с одной стороны, согласно таблице 2 спецификации, знания основных дат (установку хронологической последовательности), а, с другой стороны, согласно кодификатору и плану теста, приведенному в приложении к спецификации, оно проверяет умение 2.6. Умение 2.6 из кодификатора звучит так: уметь «систематизировать разнообразную историческую информацию на основе своих представлений об общих закономерностях исторического процесса» . Во-первых, такое умение не может подлежать проверке и оцениванию при помощи заданий стандартизированной формы. Данное умение требует от выпускника систематизировать информацию на основе своих (выделено мной - О.Д.) представлений, то есть эти представления неизбежно будут носить субъективный характер. Оценить субъективное мнение при помощи задания стандартизированной формы (например, как в данном случае, на установление последовательности) невозможно без искажения результата выполнения задания. Для оценки мнения обязательно требуется анализ экспертом ответов на основе критериев, оценивающих качество аргументации, а не правильность или неправильность субъективного мнения. Так производится оценивание ответов на задания части 2 КИМ. Во-вторых, на что же, по расчетам разработчиков, направлено задание 1 - на проверку знания дат или проверку систематизировать на основе своих(!) представлений? Думается, что тут проверяется чисто умение воспроизвести три даты по памяти и затем расположить их по порядку возрастания (в хронологической последовательности).

Задание 7 из демоверсии 2020 года направлено, согласно плану теста, так же на проверку умения 2.6. Это задание стандартизированной формы. Выше уже приведено разъяснение, почему такая форма задания не позволяет оценивать заявленное умение. А также мы вновь встречаем противоречие между информацией из таблицы 2 спецификации, где сказано, что задание 7 направлено на проверку знания основных событий, и планом теста.

Проанализируем, на проверку каких умений, кроме воспроизведения по памяти, направлены остальные 37% заданий. Задания 13-16 теста, как указано в таблице 2 Спецификации, направлены на работу с исторической картой, а задания 6, 10, 12 - на работу с историческими источниками. Представляется, что классификация требований ИКС проведена довольно странным образом: произошло смешение: к одним заданиям указаны требования к знанию различных аспектов исторического содержания, а к другим - требования к формам представления исторического содержания. На основе каких знаний и умений проверяются задания 13 - 16 и 6, 10, 12 КИМ ЕГЭ мы более подробно проанализируем в разделе 2.4 настоящей работы.

Вернемся к рассмотрению заданий, включенных в демоверсию КИМ ЕГЭ 2020 г. На основе исторической карты строятся задания 13-16. В демонстрационном варианте приведена карта, на которой стрелками обозначены походы русских князей и области проживания древнерусских племенных союзов. Некоторые города на данной схематической карте обозначены цифрами. Испытуемым предлагается, рассмотрев карту-схему, выполнить задания 13 - 16.

Проанализируем, какие мыслительные операции необходимо сделать испытуемому, чтобы выполнить задание 13.

Задание 13. Укажите век, когда произошли события, обозначенные на схеме стрелками. Ответ запишите словом.

Итак, первое - (связано не с припоминанием, а с анализом картографической информации) человеку нужно рассмотреть, где на карте расположены стрелки, а затем проанализировать направление похода. Следующие операции по выполнению задания направлены на воспроизведение по памяти: А) кто из русских князей мог совершить эти походы (из Киева на Булгар, по Волге до ее устья, на Тмутаракань, на Дунай). Вспоминаем - это князь Святослав. Следующее: Б) вспоминаем даты правления князя Святослава - 964 - 972 гг. Теперь мы В) устанавливаем, что эти годы относятся к Х в. И теперь нам еще надо Г) вспомнить, что записать ответ необходимо не римской цифрой, как обычно принято в исторической и учебной литературе, а словом «десятый». Таким образом, это задание фактически является заданием на воспроизведение по памяти похода князя Святослава и соотнесения даты похода с веком, то есть задание направлено на проверку умения воспроизводить по памяти имеющиеся знания. В плане теста указано, что задание 13 проверяет требование ГОС «анализировать историческую информацию, представленную в различных знаковых системах». Но элемент анализа «знаковой системы» составляет лишь небольшую часть - установить по карте, через какие города и реки проходил поход и связать эти стрелки (по памяти) со Святославом. Делаем вывод, бульшая часть мыслительных операций в данном задании связана с воспроизведением по памяти.

Рассмотрим следующее задание по этой же карте.

Задание 14. Укажите имя князя, походы которого обозначены в легенде схемы цифрой «1».

В процессе выполнения задания 13 мы уже выполнили это задание. Если, конечно, правильно определили, чей это поход был. А если мы определили неправильно, то начнем вспоминать, кто из древнерусских князей вообще ходил в походы, и, возможно, угадаем имя. Таким образом, в этом задании нет даже небольшого элемента анализа. Представляется, что это задание вообще лишнее и сделано «для галочки». В этом задании есть еще один «провокационный» для испытуемых момент. Цифры 1 и 2 указаны не в «теле» самой карты-схемы, а в легенде. Чтобы эти цифры найти, надо либо очень внимательно перечитать задание, или, не найдя цифр 1 и 2 на карте, действовать методом угадывания. Рассмотрим еще одно задание по этой же карте.

Задание 15. Укажите название торгового пути, трижды обозначенного на схеме цифрой «3».

Для выполнения задания, в первую очередь, на карте надо отыскать три цифры 3, что само по себе мало соотносится с теми умениями, которые предполагается проверять в ходе ЕГЭ по истории. Из того содержания, которое изучается в школе, испытуемый может знать два названия торговых путей: «путь из варяг в греки» или «Волжский торговый путь». Таким образом, задание 15 имеет только два возможных ответа. Река Волга на карте подписана, цифры 3 на ней не обозначены. Остается ответ «путь из варяг в греки». Но теперь возникает проблема с записью ответа - если написать слово «путь», то не помещается ответ в предложенное в бланке количество клеточек в строке ответа, и как быть с предлогами: писать все буквы ответа без пробелов, или с пробелами, по правилам орфографии. Итак, мы видим, что в этом задании анализ исторической информации практически отсутствует.

Теперь рассмотрим самое объемное задание из предложенных к данной карте - № 16.

Задание 16. Какие суждения, относящиеся к исторической ситуации, обозначенной на схеме, являются верными? Выберите три суждения из шести предложенных. Запишите в таблицу цифры, под которыми они указаны.

1) Цифрой «5» на схеме обозначен город Новгород.

2) В ходе событий, обозначенных на схеме стрелками, русское войско взяло город Перемышль.

3) В городе, обозначенном на схеме цифрой «6», согласно Повести временных лет принял крещение киевский князь Владимир.

4) На схеме обозначен политико-административный центр восточнославянского племенного союза древлян.

5) Цифрой «4» на схеме обозначена столица Волжской Булгарии.

6) Киевский князь Олег совершил поход, обозначенный в легенде схемы цифрой «2».

Можно видеть, что задание 16 представляет из себя фактически набор из 6 заданий с выбором ответа. Это означает, что по карте испытуемым предложено выполнить не 4 задания, а 9 заданий (3 задания с ответом в виде слова и 6 заданий с выбором ответа). Проверяем правильность ответа 1. Находим на карте цифру 5, вспоминаем, что это и есть место расположения Новгорода.

Проверить правильность ответа 2 будет гораздо труднее. Это связано с тем, что содержание данного дистрактора вызывает очень много вопросов и не соответствует ГОС, ИКС и современным учебниками и содержанию учебно-методической литературы, а также содержит небрежность в оформлении карты. Во-первых, город Перемышль практически не упоминается ни в ныне действующих учебниках истории, ни в учебниках географии. Знать о нем может только очень небольшое число учащихся. А некоторые ученики, проживающие в Калужской области или в Троицком административном округе Москвы - регионах, где тоже есть топоним «Перемышль» , могут, внимательно рассмотрев карту, увидеть, что стрелки проходят по землям вятичей в бассейне реки Оки, в районе современных Калуги и Москвы, и отметить дистрактор 2 как правильный. Если сильному ученику из Калужской области, хорошо знающему географию и историю, умеющему анализировать (!) карту, попадется такое задание, он, продемонстрировав на высоком уровне свои мыслительные способности, будет за это наказан более низкими баллами, чем хуже подготовленные ученики или живущие в других регионах. И апелляции ученики Калужской области и Троицкого административного района Москвы подать не смогут, так как апелляции по части 1 к рассмотрению не принимаются . Во-вторых, город Перемышль, обозначенный на рассматриваемой карте, теперь является польским городом Пшемыслем . Знание этого факта российскими учениками не предусмотрено никакими государственными стандартами и документами. В-третьих, в карте атласа и в карте учебника стрелки несколько иначе, чем в рассматриваемой карте-схеме, показывают направление похода, и проходят по правому берегу Оки, южнее ее русла. На карте-схеме же, представленной в демоверсии, стрелки проходят по территории севернее русла Оки. Чему должен верить внимательный ученик, способный анализировать информацию, представленную в знаковой системе? Таким образом, дистрактор 2 проверяет уже даже не знание и воспроизведение этого знания по памяти, а степень внимательности и остроту зрения испытуемых: надо «прочесать» глазами всю карту - схему и найти, проходят ли стрелки походов через Перемышль. Ученик просматривает стрелки походов один раз и не находит Перемышля по пути следования стрелок. Просматривает второй раз - а вдруг он (она) что-то пропустил второпях (время на ЕГЭ лимитировано). Если повезет, то при внимательном просмотре карты в третий раз недалеко от среза карты, в стороне от стрелок в центре карты, самый глазастый и внимательный обнаружит Перемышль, и поймет, что дистрактор 2 неправильный. Если же ученику не повезет заметить на карте Перемышль, то, скорее всего, испытуемый просто бросит дистрактор 2 и перейдет к размышлению над ответом 3. Таким образом, дистрактор 2 не только не проверяет историческое содержание и умение анализировать информацию, представленную в виде схемы, но и создает излишние помехи при выполнении задания и теста в целом, заставляя ученика расходовать время, отпущенное на выполнение работы, неэффективно.

Проверяем далее правильность дистрактора 3. Находим на карте цифру 6. Вспоминаем, что здесь расположен город Константинополь (Царьград). Вспоминаем, где принял крещение князь Владимир. Очень хорошо подготовленные учащиеся могут знать версии о месте крещения Владимира. И эти версии не дают однозначного ответа, где принял крещение Владимир. Учебники тонко обходят этот вопрос. Например, «…Владимир после долгой осады захватил центр крымских владений Византии - Херсонес (Корсунь). Император [Византии Василий II] вынужден был уступить. Владимир принял крещение и женился на византийской принцессе, вернув Корсунь в качестве выкупа за невесту» . Большинство учащихся, в том числе и хорошо подготовленных, знают, что Русь приняла христианство от Византии. Очень велика вероятность, что сильные ученики выберут дистрактор 3 в качестве правильного. Надо отметить, что тестологами рекомендуется включать в задания только самое значимое для учебного предмета знание. Точное знание места крещения Владимира, как представляется, к такой информации не относится. Кроме того, в ИКС говорится, что «изложение [в учебнике] исторического материала не следует «мельчить», перегружать школьников обилием цифр, второстепенными именами, незначительными событиями» . В ИКС нет указания на обязательность знания информации о месте крещения Владимира. Нет такого указания и Федеральном компоненте ГОС.

Выполняем задание 16 дальше. Проверяем правильность ответа 4. Для этого нам надо сначала вспомнить название центра древлян. В одном из самых новых учебников по истории России под редакцией А.В. Торкунова название города Искоростень не упоминается. В ИКС и Федеральном компоненте эта информация также не приводится как обязательная. Сильный ученик, не помнящий название центра древлян, может попробовать найти ответ с помощью карты, то есть как раз проанализировать информацию. Но здесь его ожидает подвох: испытуемый находит на карте область, где жили древляне, и находит там два города: Искоростень и Туров. И тут опять надо действовать наугад.

Продолжаем выполнять задание 16. Дошли до ответа 5. Находим на карте цифру 4. Вспоминаем (вновь вспоминаем!), какой город лежал в устье Волги - Итиль (опять не самая, возможно, значимая информация для школьного курса истории). В ИКС приводится название «Хазарский каганат», но нет требования знать название столицы. Как нет, впрочем, и требования знать название столицы Волжской Булгарии. Однако хорошо подготовленные учащиеся, вероятнее всего, помнят расположение Волжской Булгарии, и обнаружат в области ее расположения обозначенный на карте Булгар. Делаем вывод, что определить верность ответа 5 в задании 16 можно с помощью анализа карты-схемы.

Остался один непроверенный ответ - 6. Нас опять направляют не к «телу» карты, а к ее легенде. Поэтому сначала мы по инерции поищем цифру 2 среди кружочков с цифрами на карте, но не найдем. Потом все-таки обнаружим цифру 2 в легенде под картой. Стрелка, обозначенная цифрой 2, берет начало от устья реки Южный Буг. Учащиеся хорошо помнят, что Олег захватил Киев, убив Аскольда и Дира, и поход его на карте в учебнике и в атласе указан как начавшийся из города Киева. Таким образом, условные обозначения на карте вводят испытуемых в заблуждение, заставляют идти их мысль по ошибочному пути и сомневаться в своих знаниях. Учащимся известно, что поход на Царьград совершал и князь Игорь. Вновь задание проверяет не знание исторического и картографического материала, а умение догадаться, что имели в виду разработчики заданий. В тестологии такие задания называют невалидными, то есть проверяющими нерелевантное содержание. Известно, что невалидные задания плохо дифференцируют сильных и слабых учащихся. Косвенно наше предположение подтверждается данными диаграммы 5. График, показывающий выполнение задания 16 во всех вариантах КИМ группой самых слабых учащихся (график черного цвета), повышается почти до 25%. А график «хорошистов» (синего цвета) показывает, что с этим заданием они справились хуже всех остальных заданий.

Обращая внимание на данный метод анализа ответов участников тестирования по группам с различным уровнем исторической подготовки, заметим, что впервые в нашей стране этот метод был предложен автором данной работы в 2006 году .

Сделаем общий вывод о том, насколько задания по карте соответствует тем требованиям, которые определяются нормативными и основополагающими документами. Из 9 заданий элементы анализа встречаются в задании 13 (одна из нескольких мыслительных операций) и в задании 16, в ответе 5, что составит только около 20% от общего числа мыслительных операций при выполнении заданий по карте. Остальные задания проверяют либо знание на память карты (географической номенклатуры карты), либо вообще психологические характеристики личности (внимательность/невнимательность, волю/безволие и т.п.).

Теперь рассмотрим задания 6, 10, 12, которые, как отмечено в таблице 2 Спецификации, направлены на проверку требования ИКС «Работа с историческими источниками». Задание 6 направлено на осуществление работы с источником по периоду VIII в. - 1914 г.

Задание 6. Установите соответствие между фрагментами исторических источников и их краткими характеристиками: к каждому фрагменту, обозначенному буквой, подберите по две соответствующие характеристики, обозначенные цифрами.

Фрагменты источников

А) «Дворы, между коими заключён Парижский трактат… вместе с прочими государями и державами, им союзными… повелели своим полномочным составить… один главный трактат и присоединить к оному как неотдельные части все прочие положения конгресса.

…Герцогство Варшавское, за исключение тех областей и округов, коим в нижеследующих статьях положено иное назначение, навсегда присоединяется к Российской империи. Оно в силу своей конституции будет в неразрывной с Россией связи и во владении его величества императора всероссийского, наследников его и приемников на вечные времена. Его императорское величество предполагает даровать, по своему благоусмотрению, внутреннее устройство сему государству, имеющему состоять под особенным управлением. Его величество сообразно с существующим в рассуждении прочих его титулов обычаем и порядком присовокупит к оным и титул царя (короля) польского».

(отрывок из документа в 15 строк)

Б) «Его королевское величество Свейское уступает сим за себя и своих потомков и наследников свейского престола и королевства Свейского его царскому величеству и его потомкам и наследникам Российского государства в совершенное неприкосновенное вечное владение и собственность в сей войне, чрез его царское величество оружия от короны Свейской завоёванные провинции: Лифляндию, Эстляндию, Ингерманландию и часть Карелии с дистриктом Выборгского лена.

…Против того же его царское величество обещает в 4 недели по размене ратификаций о сем мирном трактате или прежде, ежели возможно, его королевскому величеству и короне Свейской возвратить… Великое княжество Финляндское…»

(отрывок из документа в 11 строк)

Характеристики:

1) Данный договор был подписан в Берлине.

2) По данному договору Россия получила выход в Балтийское море

3) Данный договор был подписан в Вене.

4) Современником подписания данного договора был А.Л. Ордин-Нащокин

5) Данный договор был подписан по результатам Северной войны.

6) На территории, присоединенной к России по данному договору, в начале 1830-х гг. произошло крупное восстание.

Данное задание нельзя считать валидным по той причине, что отрывки из документов содержат много совершенно незнакомых большинству учащихся слов (эти слова выделены в тексте документов, приведенных в основной части задания 10). Знание особенностей и истории русского языка не является требованием государственных стандартов, поэтому подобный текст не должен быть включен в тест высокой значимости. В данном случае необходимо обратить внимание на требование ГОС 2004 г. - документа, определяющего содержание КИМ - что в области информационно-коммуникативной деятельности выпускники средней (полной) школы должны овладеть умением «свободной работы с текстами художественного, публицистического и официально-делового стилей, понимание их специфики; адекватное восприятие языка средств массовой информации» . В государственном образовательном стандарте нет требования уметь читать тексты, содержащие архаичные словарные обороты и давно устаревшие географические названия. Тем более, что ЕГЭ по истории сдают многие люди, для которых русский язык не является родным!

Но раз такое задание Каким образом испытуемому предстоит выполнять это задание? Сначала необходимо прочитать первый документ и понять, о чем там идет речь, то есть проверяется умение понимать прочитанный текст. В тесте попадаются верифицируемые признаки: «Парижский трактат», «Герцогство Варшавское», «конституция», «король польский» - и из контекста документа понимает, что речь в документе идет о каком-то договоре и конгрессе. Ученик привык опираться при выполнении заданий на анализ исторического источника на верифицируемые признаки. Но в данном документе «Парижский трактат» будет ассоциироваться у ученика с Парижским миром, заключенным по итогам Крымской войны, а «Герцогство Варшавское» «конституция», «король польский» - с вхождением Польши при Александре I в состав Российской империи. В пользу Польши говорит больше признаков, но при чем тут «Парижский трактат»? Учащимся хорошо известен Парижский мир 1856 г., но не Парижский мирный договор 1814 г. Вновь это задание играет против хорошо подготовленных учащихся, которые будут внимательно вчитываться в текст. Если бы в данном отрывке не было слов «Парижский трактат», то задание, действительно, позволяло бы, опираясь на анализ текста источника, правильно ответить на задание. Разработчики задания по небрежности или с умыслом постарались запутать, причем именно сильных учеников. А поверхностно знающие историю ученики увидят в самом начале текста «Парижский трактат» и будут пытаться угадать, что из ответов может относиться Крымской войне. В результате не ясно, кто ответит лучше - сильные или слабые ученики. Отметим, в ИКС есть указание на Парижский конгресс только в связи с Крымской войной.

Затем, мало что поняв в первом отрывке текста, ученик принимается за следующий отрывок. Здесь его несколько раз встречает «королевство Свейское». В каком из нормативных документов указано, что выпускники обязаны знать про такое королевство? Сильных учеников может спасти знание названий Лифляндии, Эстляндии, Ингерманландии и часть Карелии. Эти географические названия есть практически во всех учебниках истории, посвященных истории петровского времени. Но все им опять путает «дистрикт Выборгского лен» и стоящее через троеточие как отдельное предложение «…Великое княжество Финляндское». Терминов «дистрикт» и «лен» нет в учебниках по истории и в перечне терминов ИКСа. Делаем вывод, задание, возможно, задумывалось как направленное на проверку умения проводить анализ текста исторического источника, но реализация замысла привела к угадываниям и домысливаниям правильных ответов.

Еще одно задание позиционируется разработчиками КИМ ЕГЭ как направленное не на проверку знания (воспроизведения) фактов, на работу с источником, относящимся к 1914 - 2012 гг. - под номером 10.

Задание 10. Прочтите отрывок из воспоминаний и напишите фамилию автора.

«Я видел не только бесполезность, но и вред совмещения постов, и я даже ссылался: «Представьте мое положение: я критиковал Сталина за совмещение в одном лице двух таких ответственных постов в государстве и в партии, а теперь сам…» Выношу этот вопрос на суд историков. Сказалась моя слабость, а может быть, подтачивал меня внутренний червячок, подтачивая мое сопротивление. Еще до того, как я стал Председателем Совета Министров СССР, Булганин внес предложение назначить меня как Первого секретаря ЦК КПСС Главнокомандующим вооруженными силами. Тем более что в Президиуме ЦК военные вопросы, армия, вооружение относились к моей епархии. Это произошло без публикации в печати и было решено сугубо внутренним образом, на случай войны. Внутри вооруженных сил об этом известили высший командный состав».

Отмечаем, текст написан знакомым учащимся современным языком. Возникает вопрос: почему на устаревшем, непонятном учащимся языке им предложено прочитать и проанализировать два документа, а на современном русском языке - один? Никаких разъяснений по этому поводу обнаружить в документах ЕГЭ не удалось.

Верифицируемыми признаками, по которым в тексте задания 12 испытуемые могут определить автора воспоминаний, являются фразы: «критиковал Сталина за совмещение …постов», «я стал Председателем Совета Министра СССР», «меня как Первого секретаря ЦК КПСС». Должности, которые занимал Н.С. Хрущев в учебниках приводятся, как и факты, связанные с критикой Сталина. Сопоставляя между собой факты, приведенные в тексте, ученик успешно может справиться с заданием. Подытоживая, приходим к выводу, что задание может быть успешно выполнено на основе анализа текста. На проверку умения проводить поиск исторической информации задание, собственно, и направлено, согласно спецификации теста.

Рассмотрим задание 12.

Задание 12. Прочтите отрывок из телеграммы военачальника.

«Все отлично сознавали, что при создавшейся обстановке и при фактическом руководстве и направлении внутренней политики безответственными общественными организациями, а также громадного разлагающего влияния этих организация на массу армии последнюю воссоздать не удастся, и наоборот, армия как таковая должна развалиться через два - три месяца. И тогда Россия должна будет заключить позорный сепаратный мир, последствия которого были бы для России ужасны. Правительство принимало полумеры, которые, ничего не поправляя, лишь затягивали агонию, и, спасая революцию, не спасало Россию. Между тем завоевания революции можно было спасти лишь путем спасения России, а для этого прежде всего необходимо создать действительную сильную власть и оздоровить тыл. Генерал Корнилов предъявил ряд требований, проведение коих в жизнь затягивалось. При таких условиях генерал Корнилов, не преследую никаких личных честолюбивых замыслов и опираясь на ясно выраженное сознание всей здоровой части общества и армии, требовавшее скорейшего создания крепкой власти для спасения Родины, а с ней и завоеваний революции, считал необходимыми более решительные меры, кои обеспечили бы водворение порядка в стране…»

Используя отрывок и знания по истории, выберите в приведенном списке три верных суждения.

Запишите в таблицу цифры, под которыми они указаны.

1) Описанные в телеграмме события произошли в 1916 г.

2) Правительство, о котором идет речь в телеграмме, называлось СНК.

3) Автор телеграммы - сторонник продолжения войны с Германией.

4) Автор поддерживает действия генерала Корнилова.

5) Большевики поддерживали действия Корнилова.

6) «Решительные меры» генерала Корнилова, которые указаны в телеграмме, не были осуществлены.

Для выполнения данного задания требуется не только воспроизведение знаний по памяти, но и более сложные мыслительные операции: чтобы определить правильность или неправильность ответов 1, 2, 3, 4, надо сопоставить сведения, полученные из текста телеграммы, и информацию, имеющуюся у испытуемого. Правильность же ответов 5 и 6 проверяется простым воспроизведением в памяти знаний о Корниловском мятеже.

Если вновь обратиться к диаграмме 5, мы увидим, что при выполнении задания 6 все группы тестируемых снижают свои результаты - графики параллельны. Всем группам учащихся трудно анализировать два источника, написанных несовременным языком. А при выполнении задания 12 графики разнонаправленны: слабые учащиеся справляются относительно неплохо («слабые», как правило, не знают фактического материала, но их выручает умение анализировать), а «хорошисты», опирающиеся на воспроизведение материала по памяти, справляются с этим заданием слабее, чем с остальными.

Задания 18 и 19 позиционируются как задания, проверяющие факты истории культуры. Надо полагать, что слово «культура» употребляется здесь не в широком смысле (то есть как все результаты человеческой деятельности). Применительно к изучению учебного предмета «история» привычно употребляют слово «культура» как изучение событий, процессов, связанных с деятельностью общества в духовной сфере на каком-либо этапе развития. Например, в учебниках часто мы встречаем названия параграфов или разделов «Культура XVII в.» или «Золотой век русской культуры». И в данных параграфах учебника рассказывается о развитии науки, образования, искусства. В демоверсии КИМ ЕГЭ 2020 г. в задании 18 помещено изображение марки с портретом М.Н. Тухачевского. На каком основании знание о деятельности полководца отнесено к знаниям в области истории культуры, объяснений в документах ЕГЭ не представлено. В ИКС указание на М.Н. Тухачевского мы находим при перечислении персоналий Гражданской войны и революции. В учебниках кроме упоминаний о Тухачевском в период Гражданской войны, его имя можно встретить в разделе, посвященном «большому террору» , но не в разделах, посвященных истории культуры.

Задание 18. Какие суждения о данной марке являются верными? Выберите два суждения из пяти предложенных. Запишите в таблицу цифры, под которыми они указаны.

1) Военачальник, изображенный на марке, подвергся репрессиям.

2) Военачальник, изображенный на марке, родился в период правления в России Николая II. (на марке крупно указан год рождения, год смерти скрыт печатью).

3) События, изображенные на марке стрелками, произошли в ходе Первой мировой войны.

4) Военачальник, изображенный на марке, был участником Великой Отечественной войны.

5) Данная марка была выпущена в период руководства СССР Н.С. Хрущева. (на марке указан год выпуска марки - 1963 г.)

Решение о правильности ответов 2, 4, 5 в данном задании основывается на знании учеником дат, о которых в них спрашивается, и воспроизведении этих дат по памяти: ответ 1 - на воспроизводстве по памяти факта из биографии Тухачевского, дистрактор 4 - на знании фактов биографии Тухачевского и фактов из истории Великой Отечественной войны. Никакого анализа исторической информации здесь нет. Вновь наблюдается отход от нормативного документа - Спецификации.

Рассмотрим связанное по смыслу с заданием 18 задание 19, тоже обозначенное как задание на знание фактов истории культуры. В задании приведены изображения (фотографии) четырех юбилейных монет. Насколько монета является фактом, связанным с духовной культурой? Ответ на этот вопрос тоже неоднозначный.

Здание 19. Какие из представленных монет посвящены юбилеям событий, произошедших при жизни военачальника, изображенного на марке. В ответе запишите две цифры, которыми обозначены эти монеты*.

Выполнить данное задание ученики легко могут таким образом:

Годы жизни Тухачевского (указаны на марке)

1893 - 193…(последняя цифра видна неразборчиво) Годы событий, юбилеям которых посвящены монеты

1945 г. ХХ лет Победы над фашистской Германией (в задании 18 ученик уже отметил на этот дистрактор как неправильный)

1837 г. (если разглядит мелкую надпись, то определит дату) 170 лет российским железным дорогам, очень мелко надпись Санкт-Петербург-Царское село-Павловск

1906 г. 100-летие парламентаризма в России

1922 г. 60-лет, Союз Советских Социалистических республик

Задание 19 направлено на проверку знания дат и умение сравнить даты между собой.

Задания части 2 КИМ предполагают развернутый ответ. Согласно плану теста, они направлены на проверку умений: задание 20 - умение осуществлять критику источника, задание 21 - умение проводить поиск информации в источниках; задание 22 - умение анализировать; задание 23 - умение анализировать; задание 24 - умение аргументировать; задание 25 (сочинение) - умение представлять результаты историко-познавательной деятельности в свободной форме. В большинстве случаев заданные разработчиками параметры заданий реализуются, но не всегда.

Следует упомянуть о еще одном загадочном моменте в спецификации теста - пункте 6 «Распределение заданий ЕГЭ по уровню сложности». Сами разработчики понятие «уровень сложности» не разъясняют, но относят задания к базовому (Б), к повышенному (П) и к высокому (В) уровням. Поскольку разъяснение отсутствует, мы попробуем на уровне интуиции согласиться или нет с представлением о «базовости» или «повышенности» уровней заданий представленной ниже таблице 5.

Еще хотелось бы обратить внимание на уровни сложности, определяемые для задания 25 (историческое сочинение). Уровни сложности для этого задания различаются в зависимости от того, к какому критерию оценивания они относятся. Во всех случаях определения «базовости», «повышенности» или «высокости» уровня относительно этого задания можно согласиться, кроме критерия К6 - наличие/отсутствие фактических ошибок. Само указание на «фактические» ошибки говорит о том, что данный критерий оценивает правильность воспроизведения фактов по памяти. Сами разработчики в своих отчетах это подтверждают.

Например, как ошибку, за которую, надо полагать, был не поставлен дополнительный поощрительный за задание 25 балл по критерию К6, разработчики приводят следующий отрывок из работы выпускника: «В годы Великой Отечественной был изобретён танк Т-34». И комментируют: «На самом деле танк Т-34 серийно выпускался с 1940 года» . Конечно, это ошибка, но она носит чисто фактический характер. Ученик не выучил дату изобретения Т-34. В этой связи еще раз встает вопрос о значительности фактов, проверяемых на ЕГЭ. И, конечно, нельзя считать проверку знаний учеников на таком уровне «высокой». Критерий оценивания К1 задания 25 «указание событий (явлений, процессов)» относится к базовому уровню. Чем указание даты выпуска танка при оценивании по критерию К6 отличается от указания события по критерию К1?

Собственный опыт автора по подготовке выпускников к ЕГЭ по также подтверждает ориентированность критерия оценивания К6 на проверку точности воспроизводимых по памяти фактов. Так, несколько лет назад выпускник описывал в своем сочинении процесс образования СССР. И среди республик, вошедших в его состав, он указал четыре республики: «РСФСР, БССР, УССР и ЗССР». В названии Закавказской республики он пропустил букву «Ф». Если бы он написал просто «Закавказская республика», то балл, очень возможно, не был бы снижен, но снижение балла за пропуск одной буквы в названии - это оценка на очень «высоком» уровне проявленного умения!

Ниже представлена таблица 5, с которой приведены параметры заданий, присвоенные разработчиками этим заданиям, и результаты исследования этих заданий на соответствие присвоенным параметрам. Красным цветом в таблице обозначены задания, выполнение которых на самом деле направлено на проверку не того умения, которое заявлялось в спецификации. Знак, пересекающий ячейку таблицы, означает, что данное требование частично не соответствует заявленному.

Таблица 5. Требования, проверяемые заданиями КИМ по истории (запланированные и реализованные)

Анализ таблицы 5 показывает, что на простое воспроизведение исторического содержания по памяти направлены 17 заданий из 25. Из этих 17 заданий есть такие, где присутствуют элементы проверки умений, но и эти задания трудно считать заданиями, ориентированными на проверку сложных интеллектуальных умений. Подводя итог анализу заданий демонстрационного варианта КИМ ЕГЭ 2020 года, можно сделать вывод:

- спецификация и кодификатор КИМ ЕГЭ содержат внутри самих этих нормативных документов противоречия, что приводит к противоречиям и неясностям в строении теста и искажению получаемой на основе этих тестов информации;

- задания части 1 в основном направлены на проверку самого простого умения - воспроизводить по памяти знание фактов, дат, имен, названий и т.п., что не отвечает нормативным документам;

- варианты КИМ ЕГЭ содержат различающееся число заданий по различным периодам истории, что заведомо ставит в неравные условия школьников, получивших различные варианты;

- задания демонстрационного варианта КИМ ЕГЭ 2020 года содержит большое число помех, препятствующих успешному выполнению заданий, особенно хорошо подготовленными учениками, и не вполне соответствуют требованиям нормативных документов и научно обоснованным принципам создания педагогических тестов.



Заключение

Коренные изменения, происходящие в отечественной системе образования, поставили проблему создания эффективного, объективного и надежного способа контроля учебных достижений выпускников. Основные параметры процедуры такого контроля устанавливаются государственными документами.

На современном этапе развития образования способом объективного и надежного контроля выступают педагогические тесты. Расширение проведения массовых процедур тестового контроля достижений учащихся (ЕГЭ, ОГЭ, ВПР и др.) делает важным понимание и претворение в жизнь научно обоснованных принципов и правил тестирования.

Теория и практика проведения педагогических измерений носит междисциплинарный характер, объединяя в себе достижения педагогики, методики преподавания истории, психологии с достижениями в области математики, статистики и теории измерений.

Создание профессионально подготовленного итогового теста по истории - очень сложный и длительный процесс, требующий от разработчиков тестов высокой квалификации в различных областях знаний: исторической науке, педагогике, психологии, методике, тестологии. Создателям тестовых измерителей достижений учащихся необходимо в совершенстве освоить технологию разработки тестов, с тем чтобы задачи, поставленные государством в области школьного исторического образования, находили релевантное воплощение на практике.

Выводы, сделанные во второй главе, позволили считать педагогические тесты по истории значимым историческим источником, дающим информацию о состоянии школьного исторического образования и государственной политике в этой области.

Научная новизна настоящего исследования состоит в том, что был проведен анализ контрольно-измерительных материалов по истории с точки зрения принципов, заложенных в их основу нормативно-правовыми документами.

В настоящее время, в связи с проведением в государственном масштабе процедур тестирования высокой значимости, широкое распространение получили различные сборники тестовых материалов, часто обозначенные как созданные в формате ЕГЭ. Выявленные автором в процессе изучения педагогической и тестологической литературы правовые и методические основы создания педагогических тестов высокой значимости позволили выявить достоинства и недостатки КИМ ЕГЭ по истории. Показана необходимость обеспечить релевантность содержания контрольно-измерительных материалов ЕГЭ целям школьного курса истории и требованиям образовательных стандартов.

Исследование показало, что большинство заданий первой части КИМ ЕГЭ направлены на простое воспроизведение знаний. Отсюда возникает вывод, что параметры, заложенные разработчиками в основу КИМ ЕГЭ по истории, не вполне отвечают требованиям современного исторического школьного образования и нормативным документам, так как деятельностный и компетентностных подходы к образованию не находят в этих тестах своего необходимого воплощения.



Литература

1.Аванесов В.С. Композиция тестовых заданий. Учебная книга для преподавателей вузов, учителей школ, аспирантов и студентов педвузов. - М.: Адепт, 1998. - 217 с.

2.Аванесов В.С. Форма тестовых заданий. Учебное пособие для учителей школ, лицеев, преподавателей вузов и колледжей. 2 изд, переработанное и расширенное. М.: «Центр тестирования», 2005. - 156 с.

3.Алексашкина Л.Н. Методологические основы школьного курса истории. Дисс. …д.п.н. М., 1999. - 330 с.

4.Антипин Н.А. 50-летие русско-японской войны с СССР: коммеморативные практики 1954 -1955 гг. [Электронный ресурс] // Российское общество интеллектуальной истории, История и память - Режим доступа: https://roii.ru/dialogue/40/roii-dialogue-40_5.pdf, свободный. (Работа с публикацией, помещенной в Интернет, была завершена в феврале 2020 г.)