О результатах экспериментальной проверки инструмента оценки ИК-грамотности школьников

Размещено на http://allbest.ru

О РЕЗУЛЬТАТАХ ЭКСПЕРИМЕНТАЛЬНОЙ ПРОВЕРКИ ИНСТРУМЕНТА ОЦЕНКИ ИК-ГРАМОТНОСТИ ШКОЛЬНИКОВ

К.С. Абдиев¹, Г.К. Умербаева², А.Е. Турсынбекова²

¹ Университет «Туран»

² Национальный центр тестирования

В статье изложены результаты экспериментальной проверки инструмента оценки информационно-коммуникационной грамотности школьников. Проверка проводилась в рамках внешней оценки учебных достижений и итоговой аттестации на уровне средней школы. Проводилась оценка качества разработанных тестовых заданий, получены основные характеристики теста. Результаты обрабатывались по программе и получены статистические характеристики по заданиям теста. Учитывались такие показатели, как трудность задания, коэффициент корреляции и статистические согласия между баллами по заданию и уровнем подготовленности испытуемых. Выявлено, что имеются тестовые задания с коэффициентами корреляции ниже значения 0,3. Эти задания рекомендованы к исключению из теста.

В результате анкетирования было выявлено, что навыки планирования собственной индивидуальной и групповой деятельности, уровень сформированности первичных навыков анализа и критичной оценки получаемой информации, уважение к информации о частной жизни, отношение к оргтехнике у каждого учащихся сформированы неодинаковы.

По результатам такой работы вносились изменения в базу заданий.

Ключевые слова: ИК-грамотность, инструмент оценки, внешняя оценка учебных достижений, эмуляторы прикладных программ, информатика

Инструмент оценки ИК-грамотности выпускников основной средней школы (5--9 классы) разработан в рамках научно-исследовательского проекта «Научные основы моделирования оценки ИК-грамотности школьников» специалистами Национального центра тестирования Министерства образования и науки и группой ученых из вузов Казахстана [1]. В состав инструмента входят система тестирования, инструментальные средства, представляющие собой эмуляторы прикладных программ обработки информации, и база заданий. Предварительная апробация заданий и системы тестирования позволили подготовить инструмент к использованию в условиях реального проведения мероприятий национального масштаба.

Первым таким мероприятием стала внешняя оценка учебных достижений (ВОУД) в среднем образовании 2017 года. ВОУД в основной школе проводится с целью мониторинга со следующими задачами:

1) определение соответствия качества знаний обучающихся требованиям Государственного общеобязательного стандарта образования (ГОСО);

2) оценка эффективности организации учебного процесса;

3) проведение сравнительного анализа качества образовательных услуг, предоставляемых организациями образования.

Оцениваются предметные знания и функциональная грамотность обучающихся: математическая грамотность, грамотность чтения, естественнонаучная грамотность. Также оценивается информационно-коммуникационная грамотность, понимаемая как владение комплексом знаний, умений и навыков, обеспечивающих возможность использования цифровых технологий и инструментов коммуникаций в целях определения информации, получения доступа, управления, интегрирования, оценивания, создания и сообщения информации.

В рамках ВОУД для определения факторов, влияющих на качество знаний обучающихся, проводится анкетирование среди обучающихся, учителей и администрации школ. Результаты ВОУД могут использоваться организациями, проводящими рейтинговые исследования, и включаться в Национальный доклад о состоянии и развитии системы образования в республике Казахстан.

Целью проведения эксперимента в рамках ВОУД было установление степени соответствия разработанной информационной модели оценки ИК-грамотности школьников реальной практике мониторингового исследования, проводимого в рамках 20%-ной выборки обучающихся в 9-х классах основной средней школы. В рамках эксперимента были поставлены следующие задачи:

— настроить инструмент тестирования под задачи внешней оценки учебных достижений учащихся 9-х классов;

— проверить взаимодействие всех подсистем и блоков информационной системы в реальном режиме;

— получить данные о результатах тестирования участников по итогам мониторинга и провести психометрический анализ в целях определения качества тестовых заданий;

— собрать данные по итогам анкетирования для оценивания личностных результатов обучающихся согласно требованиям ГОСО и типовой учебной программы;

— определить форму итоговой оценки ИК-грамотности обучающихся по классам, школам и других заинтересованных сторон, и использовать ее при объявлении результатов.

Для использования в мероприятиях национального масштаба были разработаны 2000 тестовых заданий, из них около половины это задания, разработанные для оценки умения применять методы обработки информации представленной в различной форме.

Разработанная информационная система позволяет формировать варианты тестов для проверки знаний и проводить тестирование в локальной сети, через интернет или на индивидуальных компьютерах. Чтобы приступить к тестированию учащимся достаточно запустить полученный файл на компьютере из ОС Windows без установки каких-либо дополнительных программ. На одном компьютере тестирование могут проходить несколько учащихся, входя в программу под своими именами.

Основной тест инструмента оценки ИК-грамотности учащихся состоит из двух частей:

— первая часть «Основные понятия информатики», где проверяются теоретические знания, которая содержит 20 тестовых заданий с одним правильным ответом.

— вторая часть «Информационно-коммуникационные технологии», где определяется уровень сформированности практических умений по использованию компьютера для выполнения заданий по обработке информации представленной в разной форме с использованием прикладных программ: текст, сообщение электронной почты, информация из сети Интернет, презентации, алгоритм и блок- схема, электронная таблица. Каждое задание в этой части направлено на оценку компонент ИК-грамотности и представляет собой ситуацию, приближенную к повседневной жизни, всего предлагается 7 заданий [2].

На выполнение первой части теста отводится 35 мин, второй части -- 45 мин. В целом на выполнение всего теста отводится 80 мин.

В рамках ВОУД оценку ИК-грамотности прошли 17 учащихся одной из школ г. Астана. Средний балл показанный участникам составил -- 17,6 из 27 возможных. Средний процент выполняемости заданий учащимися варьируется между 43 и 78%.

Составная часть инструмента оценки ИК-грамотности, отражается через личностные результаты. В государственном стандарте среднего образования установлено, что личностные результаты отслеживаются в форме психолого-педагогического мониторинга уровня воспитанности, социализации и духовно-нравственного, творческого и физического развития обучающегося и фиксируются в его портфолио.

В целях определения социально-личностных результатов современного подростка было проведено анкетирование среди учащихся 9-х классов по Информатике, целью которого было выявление сформированности ряда навыков: способность к планированию индивидуальной и групповой деятельности, уровень сформированности первичных навыков анализа и критичной оценки получаемой информации, уважение к частной жизни, бережное отношение к оргтехнике.

Определить личностные результаты учащихся, их способность планировать индивидуальную деятельность позволяет следующий вопрос.

Вам дали задание написать реферат по информатике на тему «История кибернетики». Вы не выполнили задание, и учитель информатики сказал, что поставит неудовлетворительную оценку. Вы не хотите получить неудовлетворительную оценку. Укажите ваши действия (выберите один ответ):

1) скажу, что принесу на следующем уроке;

2) скажу, что у меня дома нет компьютера;

3) скажу, что мне стыдно, что не выполнил задание учителя;

4) скажу, что мне не нравится данная тема;

5) скажу, что мне не интересен урок Информатики.

В результате анализа ответов было определено, что группы учащихся, у которых данный навык сформирован полностью, составляют 86%, однако у 14% участников навык способности планировать индивидуальную деятельность -- частично. Можно сказать об отношении учеников к выполнению домашнего задания: большинство учащихся правильно выбрали первый ответ и готовый исправить свою ошибку, стараются выйти из сложившихся ситуаций.

Во втором примере проверяется степень уважения к информации и к частной жизни.

Общение посредством социальных сетей стало особенно популярным в последние годы. Хотел (а) бы ты иметь доступ к личной информации всех, кто зарегистрирован в социальной сети (ВКонтакте, Facebook, Однокласники, twitter и др.)? Почему? Выберите один из предложенных вариантов ответов:

1) да, это удобно для просмотра личных данных;

2) да, чтобы поддерживать связь издалека;

3) да, чтобы просматривать фотографии;

4) нет, мне не интересно личные данные;

5) нет, потому что не пользуюсь социальными сетями.

Данное задание нацелено на проверку первичных навыков анализа и критичной оценки получаемой информации. Анализ показал, что навык сформирован полностью у 50% учащихся, у 36% данный навык -- частично, не сформирован вообще у 14% учащихся. Большинство учащихся пользуются социальными сетями и используют его в качестве поддержания связи издалека, половина учащихся используют социальные сети для просмотра личных данных. Чем выше показатель уровня потребности в общении у учащихся, тем больше время, проводимое им в социальных сетях. Таким образом, можно сделать вывод, что основным мотивом посещения подростками социальных сетей является потребность в общении, так как они не могут полноценно выразить словесно информацию, которую с легкостью могут -- через социальные сети. Можно сделать вывод, общение в социальных сетях отрицательно влияет на общение подростков в реальном мире.

В результате анкетирования было выявлено, что навыки планирования собственной индивидуальной и групповой деятельности, уровень сформированности первичных навыков анализа и критичной оценки получаемой информации, уважение к информации к частной жизни, отношение к оргтехнике у каждого учащихся сформированы неодинаково. Те проверяемые навыки, которые даны в вопросах анкеты (5 вопросов), у большинства из них сформированы полностью. Навык бережного отношения к оргтехнике не сформирован у большинства участников тестирования.

Таким образом, используя инструмент оценки ИК-грамотности и разработанные анкеты для оценки личностных результатов учащихся можно получить полную информацию о соответствии результатов обучения требованиям государственных образовательных стандартов и типовых учебных программ.

Следующим мероприятием национального масштаба в рамках которой проводилась экспериментальная проверка авторского инструмента была итоговая аттестация на уровне общего среднего образования (11-е классы) 2017 года. Итоговая аттестация -- процедура, проводимая в целях определения степени освоения обучающимся объема учебных дисциплин, предусмотренных государственным общеобразовательным стандартом общего среднего образования. Предмет информатика -- предмет по выбору и оценивание проводится в виде тестирования.

Приведем анализ качества тестовых заданий использованных во время проведения тестирования. Работы по обработке и анализу результатов проводились в рамках современной и классической теории тестирования. При обработке в классической теории тестирования (программа Летай) были определены трудность задания, надежность, валидность и корреляция теста. Трудность задания определяется долей испытуемых выборки, которые отвечают на это задание правильно. Например, на задание, на которое отвечают правильно 85% испытуемых, будет иметь трудность ровную на 0,85. В соответствии с этой моделью каждое задание теста характеризуется одним параметром -- трудностью, каждый участник тестирования характеризуется одним параметром -- уровнем подготовленности.

Например, при тестировании 320 учащихся тест содержал 20 тестовых заданий закрытой формы с выбором из пяти предложенных вариантов правильного ответа, поэтому максимальный первичный балл за выполнение тестовых заданий был равен 20, были получена матрица результатов тестирования, выявлена общая характеристика теста.

1. Общее количество участников апробации -- 320.

2. Максимальный набранный балл -- 15.

3. Минимальный набранный балл -- 1.

4. Стандартное отклонение -- 2,020.

5. Средний показатель коэффициента трудности -- 0,76.

6. Максимальный показатель коэффициента трудности -- 1.

7. Минимальный показатель коэффициента трудности -- 0.

8. Средний показатель коэффициента дискриминативности -- 0,846.

9. Коэффициент надежности (Альфа-Кронбаха) -- 2,969.

10. Ошибка измерения -- 4,024.

Также рассматривается гистограмма распределения тестовых баллов и проводится анализ о качестве заданий и вариантов. Распределение тестовых баллов в идеале должно иметь вид нормального распределения. Анализируя распределение баллов можно делать выводы о соответствии результатов реальному уровню подготовленности участников тестирования.

Результаты прошли обработку также по программе М'1п81;ер8 и получены статистические характеристики по заданиям теста. Основные показатели при этом: трудность задания, коэффициент корреляции и статистические согласия между баллами по заданию и уровнем подготовленности испытуемых. Было выявлено, что имеются тестовые задания с коэффициентами корреляции ниже значения 0,3. Эти задания рекомендованы к исключению из теста.

Распределение испытуемых и заданий относительно друг друга на общей метрической шкале представлена на карте переменных (рисунок). Слева находится шкала логитов (уровень подготовленности испытуемых), справа сами задания. Более трудные задания и более сильные испытуемые расположены в верхней части карты, легкие задания и менее подготовленные испытуемые -- в нижней части карты.

инструмент оценка информационный коммуникационный грамотность

Распределение на карте близко к нормальному распределению. Следовательно, тест ориентирован на данную выборку и соответствует уровню подготовленности испытуемых. Об этом говорит центрированность множества заданий относительно выборки тестируемых. Данный тест оптимален по трудности, т.е. соответствует уровню подготовленности учащихся. Следует пересмотреть тестовые задания 13 и 17, которые находятся в плохом согласии с моделью. Также, можно было рекомендовано включить несколько трудных заданий для более точного оценивания сильных испытуемых. Надежность измерений равна 0,68, что означает приемлемый результат.

Результаты экспериментальной проверки информационной модели оценки ИК-грамотности проведенной в трех форматах позволяет сделать вывод о хорошем соответствии разработанного инструмента требованиям организации и проведения оценочных мероприятий разного уровня. Апробация заданий была проведена по правилам, разработанным в Национальном центре тестирования с учетом особенностей использования инструмента оценки ИК-грамотности. В результате были получены данные о характеристиках тестовых заданий, которые позволили провести работу по корректировке и редактированию текстов заданий и внести их в базу с улучшенным качеством.

В рамках мероприятий национального масштаба, таких как ВОУД, экспериментальная проверка и итоговая оценка выпускников были осуществлены в условиях реального проведения оценочных мероприятий (мониторинг и экзамен). Увеличение количества участников сдерживалось только тем, что в обоих случаях оценка проводилась по предмету выбираемому самими участниками тестирования.

По итогам проведенной проверки можно утверждать, что инструмент готов к использованию, как в рамках мониторинга, так и в рамках итоговой аттестации. Применение разработанного первого отечественного инструмента оценки ИК-грамотности школьников станет важным элементом Национальной системы оценки качества образования и даст толчок в развитии всех направлений связанных с формированием ИК-грамотности как составной части функциональной грамотности учащихся. Инструмент не учитывает обучение по профильным направлениям в старших классах, оценивая только общее содержание естественноматематического и общественно-гуманитарного направлений. Поэтому, при его применении в условиях итоговой аттестации необходимо использовать дополнительные оценочные средства для получения полной и качественной информации об учебных достижениях и уровня сформированности ИК-грамотности выпускников общей средней школы.

СПИСОК ЛИТЕРАТУРЫ

[1] Определение требований к разработке инструментария оценки ИК-грамотности школьников // Математическое моделирование и информационные технологии в образовании и науке: материалы VII межд. научно-метод. конф. Алматы: КазНПУ им. Абая, 2015. С. 558-562.

[2] Умербаева Г., Кунакова К., Тлемисов С., Каримжан Б., Турсынбекова А., Арбабаев Э. Методика конструирования заданий для оценки информационно-коммуникационной грамотности школьников: учебно-методическое пособие / под ред. К.С. Абдиева. Астана: Национальный центр тестирования, 2016. 60 с.

ABOUT THE RESULTS OF EXPERIMENTAL TESTING OF INFORMATIONAL COMMUNICATIVE LITERACY ASSESSMENT INSTRUMENT OF SCHOOL CHILDREN

K.S. Abdiev¹, G.K. Umerbaeva², A.E. Tursinbekova²

¹ “Turan” University

² National testing center

Key words: informational communicative literacy, assessment instrument, external assessment of educational achievements, emulators of applied programs, Computer sciences

Размещено на Allbest.ru