Преимущества и недостатки использования современных образовательных технологий для контроля уровня знаний обучаемых

66 Издательство ГРАМОТА www.gramota.net

Размещено на http://www.allbest.ru/

Центральный экономико-математический институт Российской академии наук

ПРЕИМУЩЕСТВА И НЕДОСТАТКИ ИСПОЛЬЗОВАНИЯ СОВРЕМЕННЫХ ОБРАЗОВАТЕЛЬНЫХ ТЕХНОЛОГИЙ ДЛЯ КОНТРОЛЯ УРОВНЯ ЗНАНИЙ ОБУЧАЕМЫХ

Ларин Сергей Николаевич, к.т.н.

Герасимова Елена Владимировна

Герасимова Людмила Ивановна

Аннотация

педагогический технология знание программный

В статье обобщены требования, предъявляемые к современным педагогическим технологиям и отдельным программным средствам для контроля уровня знаний обучаемых в информационных средах. Представлены результаты сравнения функциональных возможностей наиболее известных программных средств. Сделан вывод о том, что рассмотренные программные средства не обладают полным набором функциональных возможностей для контроля уровня знаний обучаемых.

Ключевые слова и фразы: мониторинг; качество обучения; оценка знаний; система тестирования; современные педагогические технологии; сравнение; функциональные возможности.

Annotation

ADVANTAGES AND DISADVANTAGES OF USING CONTEMPORARY EDUCATIONAL TECHNOLOGIES TO CONTROL THE LEVEL OF STUDENTS' KNOWLEDGE

Larin Sergei Nikolaevich, Ph. D. in Technical Sciences Gerasimova Elena Vladimirovna Gerasimova Lyudmila Ivanovna

Central Economics and Mathematics Institute of the Russian Academy of Sciences in Moscow

The article summarizes the requirements to contemporary pedagogical technologies and some software support to control the level of students' knowledge in information environments. The results of the comparison of the functional capabilities of the most popular software support are presented. The conclusion is made that the software support under consideration doesn't have a complete set of functional capabilities to control the level of students' knowledge.

Key words and phrases: monitoring; quality of training; assessment of knowledge; system of testing; contemporary pedagogical technologies; comparison; functional capabilities.

Основная часть

Процесс реформирования сферы образования в нашей стране непосредственно связан с расширением практики использования современных образовательных технологий (СОТ) и отдельных программных средств (ОПС), разработанных с использованием функциональных возможностей современных информационно-коммуникационных технологий (ИКТ) для контроля уровня знаний обучаемых. При этом основной упор в части получения обучаемыми новых знаний переносится на их самостоятельную работу и индивидуальную подготовку, выражающуюся в их более тесном взаимодействии с обучающими СОТ и контролирующими ОПС. В зависимости от уровня знаний каждого обучаемого СОТ помогают педагогам разработать для него индивидуальную программу обучения. В такой ситуации особое значение приобретает инструментарий для измерения уровня знаний и результатов усвоения обучаемыми дидактического контента образовательных программ, поскольку без этого индивидуальная работа с каждым обучаемым невозможна [2]. При любой схеме организации образовательного процесса необходимо своевременно проводить мониторинг качества обучения, а также осуществлять контроль уровня знаний и навыков обучаемых. Указанные обстоятельства предопределяют актуальность оценки качества обучения и контроля уровня знаний обучаемых в условиях реформирования сферы образования и расширения практики применения СОТ и ОПС в образовательном процессе.

Традиционная система оценки качества обучения и контроля уровня знаний обучаемых была достаточно удобной для дореформенного периода статистической информации. Однако к ее главным недостаткам следует отнести субъективный характер оценки, который проявляется в том, что практически все контрольные функции в текущем режиме обучения выполняются исключительно преподавателем. Данное обстоятельство оставляет много места для недостаточно объективных оценок уровня знаний обучаемых, которые, как показывает практика, во многом зависят от сложившихся отношений преподавателя и конкретного обучаемого. Большими потенциальными возможностями для решения этой проблемы обладает система педагогического тестирования, разработанная на основе использования в образовательном процессе СОТ и ОПС для контроля уровня знаний и навыков обучаемых.

Педагогический тест в СОТ или ОПС представляет собой некую систему заданий, в которой определенный дидактический контент знаний выражен в специфической форме вопроса. При этом каждый последующий вопрос представлен с учетом возрастающей сложности уровня знаний. Такой подход к формированию теста позволяет качественно оценить уровень знаний и навыков обучаемых. Для того чтобы выполнить функцию инструмента измерения, тест должен включать достаточное количество вопросов-заданий, число которых определяет его размерность [6].

Образовательные возможности контроля уровня знаний обучаемых наиболее оптимально осуществляют специальные модули СОТ, частью которых являются средства диагностики и контроля уровня знаний обучаемых, а также ОПС, которые предназначены исключительно для этих целей. Как правило, специальные модули СОТ и ОПС основаны на общих педагогических принципах, используемых для разработки обучающеконтролирующих электронных образовательных ресурсов (ЭОР). Поэтому в каждый специальный модуль СОТ или ОПС входят две практически не зависимые друг от друга программные подсистемы: генерирования вопросов-заданий тестов и интерпретации сложности представленного в них дидактического контента [5]. Эти подсистемы взаимодействуют между собой на основе структурных связей архитектуры баз данных учебных элементов и представленного в них дидактического контента. Пользователем подсистемы генерирования вопросов-заданий тестов является преподаватель, а пользователем подсистемы интерпретации представленного в них дидактического контента - обучаемый.

Для реализации алгоритма контроля и оценки уровня знаний обучаемых в специальных модулях СОТ или ОПС необходимо выбрать теоретическую концепцию их разработки, обосновать дизайн и систему навигации, а также учесть эргономические требования к работе с ними обучаемых. Вместе с тем, при реализации алгоритма контроля и оценки уровня знаний обучаемых целесообразно использовать метод диалогового взаимодействия преподавателя с обучаемыми на основе набора специальных фрагментов-модулей и настраиваемых по уровню сложности вопросов-заданий. Таким образом, для реализации алгоритма контроля и оценки уровня знаний обучаемых можно использовать наборы типовых заготовок различных сценариев обучения, в которых может меняться не только наполнение дидактическим контентом, но и его структура [4, с. 137].

Для практической реализации алгоритмов контроля и оценки уровня знаний обучаемых в специальных модулях СОТ или ОПС они должны опираться на возможности использования совокупности технологических преимуществ современных ИКТ, а именно:

1. сетевую технологию, позволяющую экономить ресурсы и обеспечивающую удобство формирования различных выборок по заданию пользователя;

2. мультимедиа-технологию, реализующую комбинированное применение текста, звука, анимации, видеофрагментов и др.;

3. технологию диалоговых режимов работы специальных модулей СОТ или ОПС, а также формирования исходной информации и представления дидактического контента в виде текстовых файлов;

4. технологию формирования любого числа вопросов-заданий теста;

5. технологию формирования любого числа ответов на вопросы-задания теста;

6. технологию конструирования вопросов-заданий теста в четырех основных формах (закрытой, открытой, на соответствие правилам и на установление правильной последовательности), а также их различных вариациях;

7. технологию выбора для каждого специального модуля СОТ или ОПС соответствующих им форм вопросов-заданий теста для обеспечения содержательной валидности и системности формирования теста.

При этом под содержательной валидностью теста понимается критерий соответствия его дидактического контента предметной области изучаемых дисциплин. Она показывает, насколько полно тест охватывает исследуемое множество измеряемых параметров дидактического контента знаний [9, с. 347];

1. технологию получения каждым вопросом-заданием дихотомической или политомической оценки в зависимости от его весового коэффициента и трудности. Характерной особенностью дихотомической оценки элементов (альтернатив) верного ответа на вопросзадание теста является то обстоятельство, что при отметке всех элементов вопросов-заданий, например 5-ти или 10-ти, обучаемый получает 1 балл, а при отсутствии отметки хотя бы одного - 0 баллов. При политомической оценке элементов (альтернатив) верного ответа на вопрос-задание теста подход изменяется, а именно: если из 5-ти или 10-ти элементов (альтернатив) верного ответа одно не отмечено, то сумма баллов будет равна соответственно 4 или 9 [7, с. 283];

2. технологию совместного использования различных шкал оценок (традиционной дифференцированной, абсолютной, относительной, бинарной, балльной и др.);

3. технологию использования принципа фасетности (предполагает форму записи нескольких вариантов одного и того же задания, то есть создание нескольких параллельных заданий по одной тематике) при конструировании вопросов-заданий теста, что позволяет снижать возможность «заимствования» ответа;

4. технологическую возможность выбора последовательности вопросов-заданий в тесте, в том числе строго определенную, случайную, специальную, блочную, либо же в порядке, сочетающем случайный или специальный подбор;

5. технологическую возможность выбора определенного количества вопросов-заданий теста из общего банка тестовых заданий;

6. технологическую возможность выбора временного периода, необходимого для прохождения каждого вопроса-задания и теста в целом;

7. основные методы технологии вывода и анализа ответа: альтернативный, выборочный, перестановочный, классификационный и др.;

8. мощную статистическую базу, позволяющую вести учет и оценку уровня знаний как по каждому обучаемому, так и в разрезе любых групп обучаемых, а также отдельно для преподавателя с возможностью просмотра результатов на экране;

9. технологию создания баз данных правильных и/или неправильных ответов;

10. технологию учета индивидуальных психологических особенностей обучаемых: способности к обучению, концентрации внимания, типа нервной системы, особенностей памяти, наличия мотивации для изучения конкретной дисциплины и др.;

11. технологическую возможность работы в режимах: отладки, контроля, тренажа, обучения и др.;

12. технологию обработки запросов помощи и подсказок через обращение к пояснениям, словарям, справкам, комментариям и другому дидактическому контенту теоретического характера;

13. технологию обработки ошибочных, неполных и неточных ответов;

14. технологию открытой модульной системы, которая, как современный инструментарий программирования теста, позволяет при необходимости добавлять в него новые блоки [10, с. 84-86].

Успех создания специальных модулей СОТ или ОПС для реализации алгоритмов контроля и оценки уровня знаний обучаемых, обладающих всей совокупностью указанных выше свойств, зависит от взаимодействия коллектива разработчиков вопросов-заданий тестов, а также от уровня квалификации программистов и понимания ими целей и задач, для выполнения которых разрабатывается конкретный тест. Практика показывает, что достичь этого удается далеко не всегда.

В подтверждение этому авторы систематизировали полученные другими исследователями результаты анализа более 70-ти ОПС, предназначенных для контроля уровня знаний обучаемых [1]. Цель систематизации заключалась в выявлении уровня их соответствия указанным выше требованиям моделирования информационной образовательной среды. Наиболее репрезентативно отражают ситуацию, сложившуюся в сфере контроля уровня знаний обучаемых, сравнительные данные по 10-ти ОПС. Как известно, под репрезентативностью принято понимать свойство выборки отражать характеристики изучаемой генеральной совокупности. Репрезентативность можно определить как свойство выборочной совокупности тестовых ОПС представлять параметры их большей совокупности, значимые с точки зрения нашего исследования. Репрезентативность определяет, насколько возможно обобщать результаты исследования с привлечением определённой выборки на всю генеральную совокупность, из которой она была собрана [8, с. 140].

Существуют статистические критерии репрезентативности выборки. Ее величина определяется видом статистических мер и выбранной точностью (достоверностью) принятия или отвержения экспериментальной гипотезы. В нашем случае экспериментальная выборка представляет собой значимую часть от рассматриваемой совокупности тестовых ОПС (14,3%), свойства которой частично или полностью отражают аналогичные показатели ее большей части. Она представлена в Таблице 1. При этом нами выбран наиболее простой вариант составления репрезентативной группы исследуемой совокупности тестовых ОПС, когда основные характеристики наиболее известных из них частично или полностью соответствуют характеристикам исследуемой нами совокупности.

Все многообразие тестовых ОПС, предназначенных для контроля уровня знаний обучаемых, можно разделить, с одной стороны, на распространяемые свободно и распространяемые на коммерческой основе. Но в этих группах лишь малое число разработок полностью соответствуют перечисленному выше набору требований. С другой стороны, на рынке представлены локальные и сетевые версии тестовых ОПС для контроля уровня знаний обучаемых.

Сравнение проводилось по группам параметров, предназначенным для контроля уровня знаний обучаемых, каждая из которых характеризует какую-либо сторону их взаимодействия в качестве пользователей с тестовыми ОПС.

Таблица 1

Сравнительные характеристики программных оболочек и сред, используемых для обучения и контроля уровня знаний обучаемых

Примечание: буквами в таблице обозначены следующие тестовые программы: A - Sokrat; B - Super Test v.2.4; C - Test Office Pro v.3.14; D - Test Runner; E - Test Shell; F - Gl Tests v.0.9; J - Hyper Test v.1.1; H - Java Script Test Builder; K - Mami-Testing v.1.0; L - Revisor; * 1 - в диалоговом режиме; 2 - создание текстового файла

Первая группа параметров характеризует работу с вопросами-заданиями тестов. К ним относятся: максимальное количество вопросов в заданиях тестов с возможностью выбора их требуемого числа из общего банка; порядок вывода вопросов на экран; число одновременно реализуемых форм вопросов-заданий тестов и др. Результаты сравнения свидетельствуют о том, что большинство тестовых ОПС соответствуют предъявляемым к ним требованиям, но лишь единицы из них позволяют реализовать на практике полиформность, что негативно отражается на всестороннем проведении контроля и определении уровня знаний обучаемых. При этом под полиформностью будем понимать наличие в исследуемых тестовых ОПС возможности представления более одной формы вопросов-заданий в тесте [3, с. 229].

Важным параметром представляется возможность выбора требуемого числа вопросов в задании, а также возможность выбора их подачи в тесте на альтернативной основе. В большинстве случаев реализована статичная возможность формирования числа вопросов в задании и значительно реже - последовательная, с возможностью смещения их количества на несколько единиц.

Повышенного внимания требует оценка параметров, характеризующих режимы работы тестовых ОПС с обучаемыми. Оптимальный результат достигается при сочетании в тестовых ОПС нескольких режимов работы: тренинг навыков, оценка и контроль уровня знаний и др. Положительным моментом является наличие режима отладки теста, что позволяет педагогу сформировать действительно качественный тестовый ОПС, вполне адекватный дидактическому контенту знаний предметной области конкретной образовательной дисциплины.

Режим тренинга оказывается наиболее эффективным, если тестовые ОПС обеспечивают мультимедийную поддержку вопросов-заданий теста или могут сопровождать неправильный ответ корректирующим вспомогательным действием с возможностью свободного возврата к вопросу.

Не менее важной группой параметров является комфортность работы с тестовыми ОПС, которая характеризуется наличием невербальной поддержки, возможностью внедрения объектов мультимедиа, что позволяет обеспечить настоящую интерактивность, а также визуализацию текущего и итогового контроля уровня знаний обучаемых. Визуализация результатов является непременным атрибутом качественного тестового ОПС. Ее наличие позволяет отражать на экране монитора во время прохождения тестирования не только текущее состояние (оставшееся или затраченное время, количество правильных или неправильных ответов и целый ряд других показателей), но и непосредственно итоги тестирования для любых групп обучаемых.

Наиболее важным параметром для сравнения тестовых ОПС, предназначенных для контроля уровня знаний обучаемых, является сама «оценка». Многие распространяемые свободно тестовые ОПС имеют такой существенный минус как отсутствие системы оценки. Между тем качественные тестовые ОПС должны поддерживать некоторую совокупность методов выставления оценок, например, бинарный, дифференцированный, гибкий дифференцированный, в процентном соотношении, по числу верно/неверно решенных вопросовзаданий. В рассмотренных нами продуктах чаще всего предлагается сочетание всего лишь двух методов оценки: дифференцированного и в процентном отношении, дифференцированного и бинарного, дифференцированного и гибкого дифференцированного и т.п. При этом сами параметры не всегда точно соответствуют предъявляемым к ним требованиям. Поэтому выставление итоговой оценки по результатам такого тестирования носит достаточно субъективный характер.

Наконец, еще одной группой параметров сравнения тестовых ОПС, предназначенных для контроля уровня знаний обучаемых, является возможность формирования статистической базы как самих вопросов-заданий и сформированных на их основе тестов, так и ответов обучаемых на вопросы тестов. Большая часть тестовых ОПС предлагает лишь краткий статистический отчет о результатах тестирования, который может сохраняться в базе данных ОПС, а может и не сохраняться, если такая возможность не предусмотрена при формировании конкретного продукта. Но уже сегодня имеются тестовые ОПС, обеспечивающие формирование полных итоговых отчетов тестирования уровня знаний обучаемых, где указаны идентификационные данные каждого обучаемого, затраченное им время на решение всех вопросов-заданий теста, общее количество вопросовзаданий в тесте, количество правильных и/или неправильных ответов, возможные альтернативы правильного ответа в случае ошибки, а также сами оценки уровня знаний каждого обучаемого. Наличие такого статистического отчета позволяет своевременно проводить корректировку теста в целом и его отдельных вопросовзаданий в частности. В таких случаях, как правило, обязательным условием функционирования тестовых ОПС является запись результатов каждого тестирования в отдельный файл и размещение его в базе данных ОПС.

На основании полученных в ходе исследования результатов можно сделать следующие выводы:

1) до настоящего времени существуют значительные сложности с наличием качественных тестовых ОПС, предназначенных для контроля уровня знаний обучаемых, поскольку:

- сетевые и коммерческие тестовые ОПС малодоступны вследствие их дороговизны, кроме того, в большинстве случаев требуется проведение адаптации этих ОПС к конкретным условиям, а иногда их практическое использование просто невозможно без дополнительной доработки;

- локальные и демо-версии тестовых ОПС относительно недороги, но существенно ограничены по своим функциональным возможностям;

1. в представленных на рынке тестовых ОПС практически нет программных продуктов, позволяющих учитывать индивидуальные способности обучаемых к усвоению новых знаний;

2. в большинстве существующих тестовых ОПС не всегда доступен ряд ключевых параметров, так, например, отсутствие статистического пакета не позволяет провести проверку основных характеристик теста: трудности, надежности, валидности, различительной способности, полиформности, наличия ошибок и др.;

3. в то же время сегодня существует программный инструментарий, позволяющий разрабатывать качественные тестовые ОПС, но при этом достаточно сложно выделить хотя бы одно ОПС, которое в полной мере соответствовало бы всей совокупности предъявляемых требований.

Безусловно, выявление всех достоинств и недостатков существующих тестовых ОПС в самом скором времени приведет к созданию действительно качественных программных продуктов, обладающих всей совокупностью функциональных возможностей для контроля уровня знаний обучаемых.

Список литературы

1. Балыкина Е. Н., Бузун Д. Н., Вайтович С. В. Компьютерные среды диагностики и контроля знаний: образовательные возможности // Оценивание: образовательные возможности: сб. науч.-метод. статей / под общ. ред. М. А. Гусаковского. Минск: Изд-во БГУ, 2006. Вып. 4. С. 157-170.

2. Гагарина Л. Г., Фоминова И. С., Калинников И. С. Теоретические основы интеллектуального тестирования // Информационные технологии. 2008. № 8. С. 64-70.

3. Кабанова Т. А., Новиков В. А. Тестирование в современном образовании: уч. пособие. М.: Высшая школа, 2010. 384 с.

4. Ким В. С. Тестирование учебных достижений: монография. Уссурийск: Издательство УГПИ, 2007. 214 с.

5. Кузнецов А. В. Методика тестирования знаний и устранение случайных ошибок // Educational Technology & Society. 2007. № 10 (1). P. 271-275.

6. Олейник Н. М. Тест как инструмент измерения уровня знаний и трудности заданий в современной технологии обучения [Электронный ресурс]. URL: http://opentest.com.ua/test-kak-instrument-izmereniya-urovnya-znanij/ (дата обращения: 15.12.2015).

7. Педагогические технологии: учебное пособие / под общ. ред. В. С. Кукушина. Ростов н/Д: Издательский центр «Март»; Феникс, 2010. 333 с.

8. Семенов В. А. Теория вероятности и математическая статистика. СПб.: Питер, 2012. 192 с.

9. Современные образовательные технологии: учебное пособие / под ред. Н. В. Бордовской. М.: КНОРУС, 2011. 432 с.

10. Углев В. А., Устинов В. А., Добронец Б. С. Системный подход к процессу обучающего компьютерного тестирования // Информационные технологии. 2008. № 4. С. 81-87.

Размещено на Allbest.ru