Разработка и оценка задании самостоятельной работы в рамках концепции смешанного обучения

Размещено на http://www.Allbest.Ru/

Дальневосточный федеральный университет

Разработка и оценка задании самостоятельной работы в рамках концепции смешанного обучения

Г.П. Озерова, к.т.н., доцент

Владивосток, Российская Федерация

Аннотация

Описывается методика разработки заданий самостоятельной работы, выполняемых на онлайн-платформе для дисциплин, реализуемых по технологии смешанного обучения. Предлагается использовать данные учебной аналитики систем организации обучения (LMS) для оценки качества заданий. В статье приводятся результаты оценки качества заданий самостоятельной работы на примере дисциплины «Информационные технологии», реализуемой по технологии смешанного обучения в Дальневосточном федеральном университете и размещенной в LMS BlackBoard.

Ключевые слова: смешанное обучение, самостоятельная работа, учебная аналитика, онлайн- обучение, система организации обучения.

Abstract

Methodology of self-study materials development of curses that apply blended learning is considered. Learning Management System (LMS) analytics data is proposed to be used in developing algorithms for evaluating self-studies assignment. This paper presents results of using developed methodology deployed in LMS Black Board on the example of Information Technology blended learning course in Far Eastern Federal University.

Key words: blended learning, self-study, learning analytics, e-learning, learning management system.

Введение

Смешанное обучение становится все более популярной парадигмой в высшем образовании. Исследователи предлагают различные варианты организации образовательного процесса в формате смешанного обучения, например «перевернутый класс», гибкая модель и др. [1]. При любом подходе необходимым техническим элементом является наличие электронной системы организации обучения (LMS). В российских вузах наиболее распространенными являются Moodle и BlackBoard. Эти системы предоставляют преподавателю инструменты для поддержки всех этапов учебного процесса: проведения лекционных и практических занятий, промежуточного и текущего контроля, организации самостоятельной работы.

Основу образовательного процесса при смешанном обучении составляет «целенаправленная, интенсивная и контролируемая самостоятельная работа» студента [2, с. 24]. При смешанном обучении самостоятельная работа может быть полностью реализована средствами online составляющей дисциплины, где все действия обучающегося оставляют «цифровой след» [3] в виде большого массива данных о его поведении в системе. Анализ таких данных (учебная аналитика) позволяет преподавателю оценить качество заданий самостоятельной работы и прогресс каждого студента.

Учебная аналитика - это измерение, сбор, анализ и представление данных об обучающихся и их действиях с целью понимания и оптимизации учебного процесса и той среды, где этот процесс происходит [4]. В исследовании «Использование учебной аналитики для улучшения преподавания и обучения в высшем образовании» обобщается понятие учебной аналитики, осуществляется ее классификация, определяются перспективы ее развития и применения [5]. Алгоритмы учебной аналитики позволяют не только контролировать регулярность занятий студента, осуществлять мониторинг его успеваемости, но и оценивать качество контрольно-измерительных заданий, размещенных на онлайн-платформе [6]. В то же время анализ современного состояния исследований по использованию данных учебной аналитики показывает недостаточную степень разработки современных методик и практических рекомендаций по оценке заданий самостоятельной работы студентов.

Целью исследования является разработка заданий самостоятельной работы и оценка их качества на основе данных учебной аналитики для дисциплин, реализуемых в формате смешанного обучения. В рамках поставленной цели решаются следующие задачи:

1) разработать типовую структуру и содержание заданий самостоятельной работы, размещаемых на онлайн-платформе;

2) разработать алгоритмы оценки их качества;

3) оценить качество заданий самостоятельной работы на основе эмпирических данных учебной аналитики.

Методы и организация исследования

В исследовании использовались данные учебной аналитики и учебные материалы дисциплины «Информационные технологии» Дальневосточного федерального университета, которая проводилась в формате смешанного обучения в 2018/2019 учебном году. Дисциплину в одинаковом объеме изучали студенты 1 курса всех направлений подготовки Инженерной школы (количество направлений - 23). Аудиторные занятия проводили 18 преподавателей; онлайн-составляющая дисциплины (курс), размещенная в LMS BlackBoard, была одинаковой для всех. В исследовании использовались данные о 590 обучающихся. Дисциплина включала несколько модулей, каждый модуль состоял из совокупности тем, по каждой теме предусматривалась самостоятельная работа, организованная на онлайн-платформе в виде обучающих тестов.

Студенту предлагалась следующая стратегия выполнения самостоятельной работы. По каждой теме он должен пройти обучающий тест в определенный преподавателем интервал времени. При этом не ограничивается ни количество попыток, ни время их выполнения, но генерируются новые задания для каждой попытки. Решение о необходимости повторного выполнения теста студент принимает самостоятельно, также самостоятельно регулирует время на выполнение заданий.

Каждое задание обучающего теста представляет собой практическую задачу. Студент, следуя инструкции, реализует ее решение средствами изучаемой программной системы (например, MathCad). Для проверки правильности своих действий переносит результаты вычислений, формулы или фрагменты кода в поля задания. По завершении студенту выдается результат, позволяющий ему самостоятельно оценить, какие шаги решения реализованы неверно.

По содержанию были разработаны следующие типы заданий.

1. Задания репродуктивного уровня (сложность I). Это может быть тестирование задач лабораторной работы или решение новой задачи на основе уже реализованных.

2. Задания реконструктивного уровня (сложность II). Такие задания предназначены для формирования у студентов навыков решения стандартных задач по разработанному преподавателем «шаблону».

3. Задания творческого уровня (сложность III). В этих заданиях не описывается подробный алгоритм решения, студент должен самостоятельно разобраться с постановкой задачи, сформулировать и реализовать этапы ее решения.

Для оценки заданий самостоятельной работы в данном исследовании используются следующие показатели, метрики для которых формируются на основе данных учебной аналитики.

1. Устойчивость - возможность получения одинаковых результатов у испытуемых в различных ситуациях [7]. Рассчитывается как коэффициент корреляции результатов обучающего теста между двумя параллельно выполняющими задания группами студентов. Для этого случайным образом отбираются две одинаковые по численности группы студентов, выполнявшие тест в один, случайно выбранный, день.

2. Внутренняя согласованность определяется связью каждого элемента теста с общим результатом [7]. Вычисляется как коэффициент корреляции результатов заданий с четными и нечетными номерами. В расчет включаются попытки студента с максимальным результатом.

3. Дискриминативность определяет способность дифференцировать обучающихся относительно минимальных и максимальных результатов теста [8]. Для вычисления данного показателя из отсортированного по убыванию списка результатов каждого задания обучающего теста выбирается 10% лучших и 30% худших, вычисляются среднеарифметические значения, а затем определяется разница между ними.

4. Валидность используется для выяснения степени достоверности измерения результатов теста по отношению к цели тестирования [8]. Количественно валидность обучающего теста можно оценить как коэффициент корреляции между средними результатами попыток студентов и результатами тех же студентов за итоговый тест по модулю.

5. Оценка соответствия предполагаемого и реального уровня сложности заданий осуществляется на основе данных о среднем результате теста и количестве выполненных попыток в соотнесении с группой успеваемости студентов.

6. Самостоятельность выполнения позволяет оценить «защищенность» теста от недобросовестного поведения обучающихся. Предлагается использовать следующие метрики: среднее количество вариантов заданий и отношение количества результативных попыток, выполненных студентами, к общему количеству попыток.

самостоятельный смешанный обучение онлайн платформа

Результаты и их обсуждение

Дисциплина «Информационные технологии» состояла из четырех модулей. По каждому модулю было подготовлено по 5 обучающих тестов. Тест включал от двух до пяти заданий, в каждом задании студент заполнял 5-10 полей. Для всех обучающих тестов была проведена процедура оценки их качества, в табл. 1 приведены результаты для двух тестов с наилучшими и наихудшими показателями.

Таблица 1

Оценка качества заданий самостоятельной работы