Оптимизация контента онлайн-курса по данным статистики активности пользователей

Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

Оптимизация контента онлайн-курса по данным статистики активности пользователей

Аннотация. Цифровизация современной образовательной среды приводит к изменению стиля учебной активности студентов и профессиональной деятельности преподавателей высшей школы. Требование профессионального стандарта работников образования обязывает преподавателей вузов не только разрабатывать образовательный контент дисциплины, но и применять средства ИКТ для управления учебной активностью обучаемых. Это особенно важно для заочной дистанционной формы обучения, в которой очный контакт в течение семестра ограничен вебинарами и скайп-консультациями. Анализ ситуации показывает, что в процессе обучения студентов заочной формы обучения присутствует значительная неравномерность освоения содержания дисциплин, с выраженным пиком активности в период сессии и после неё при ликвидации академической задолженности. Целью работы являлось исследование возможностей стандартных средств статистики активности пользователей в LMS MOODLE для оптимизации курса по трём параметрам: форма представления контента, временная структура курса и качество контрольно-измерительных материалов. Эти параметры, по мнению авторов, являются главными в мотивации пользователей к последовательному использованию онлайн-курса в течение семестра. В рамках темы в течение трёх лет проведено исследование статистических характеристик активности студентов электронного курса «Информатика», размещённого в системе управления обучением MOODLE. Эксперимент охватывал студентов первого курса, обучающихся по направлению «Электроэнергетика и электротехника». Полученные результаты оптимизации структуры и формы представления контента дисциплины свидетельствует о положительном изменении динамики освоения студентами содержания курса в плане увеличения числа посещений курса студентами в период учебного семестра. Аналогичным путём оптимизирована процедура диагностики результатов обучения студентов - анализ прохождения тестовых процедур с помощью средств статистики активности пользователей, им.еющихся в арсенале LMSMOODLE, - расчёта коэффициента лёгкости заданий теста и его эффективности дискриминации. Наблюдаемое увеличение абсолютной успеваемости студентов по оптимизированному курсу свидетельствует о результативности произведённых изменений. Таким образом, показано, что использование инструмента статистики действий пользователей в курсе на платформе MOODLE позволяет достоверно проверить эффективность инноваций в педагогическом дизайне онлайн-курса, обеспечивающих увеличение учебной активности студентов в течение семестра.

Ключевые слова.: онлайн-обучение, онлайн-курс, управление учебной активностью, статистика учебной активности, LMSMOODLE, оптимизация учебного процесса, микроцели, инфографика, контрольно-измерительные материалы

Optimization of Online Course Content According to Users Activity Statistics

Abstract. Digitalization of modern education leads to a change in the style of the educational activities of students and professional work of higher school teachers. The professional standard of education workers oblige educators not only to develop educational content discipline, but also apply ICT to manage student's training activity.

The aim of the research was to study the capacity of the standard user statistics tool in LMS MOODLE for course optimization on three parameters - content presentation, temporary course structure and quality of educational measurement tools. These options, according to the authors, are the main factors for users' motivation to consistent use of online courses during the semester. The study of statistical characteristics of student activity in e-course “Informatics” based on LMS MOODLE has been carried out during three years. The experiment covered the first-year students enrolled in the “Electricity and Electrical Equipment”. The results of the content optimization and presentation of the discipline have shown a positive change in the dynamics of the student's activity during the semester. The findings of this study have a number of practical implications. Optimization of the learning process with the use of online course requires designing of a course with week module structure and singled out micro-targets. The learning material should be presented in various formats taking into account students' preference for infographics. This contributes to raising the academic performance on the whole. Statistical analysis of test tasks differentiating capacity will substantially improve the quality of tools for educational measurement.

It is shown that the use of a MOODLE statistics tool to estimate the user activity makes it possible the documented testing the effectiveness of innovations in pedagogical design of e-course.

Keywords: e-learning, online course, statistics, LMS MOODLE, student training activity management, optimization of learning activity, micro-targets, infographics, educational measurement

Введение

В течение последних лет мировая и российская системы образования проходят этапы базовой трансформации, связанные с активным внедрением цифровых средств обучения в образовательный процесс. В рамках приоритетного проекта «Современная цифровая образовательная среда РФ» многими вузами России накоплен значительный опыт использования электронных образовательных ресурсов и технологии массовых открытых онлайн курсов (МООК). От локальных дисциплинарных и просветительских МООК реализуется переход к образовательным программам бакалавриата, магистратуры и в ряде случаев аспирантуры [1]. Вместе с тем электронные курсы на платформах LMSMOODLE, Sakai, OpenEdX и других остаются важными инструментами смешанного (blended) образовательного процесса, поддержанного информационно-коммуникационными технологиями [2]. В этом контексте становятся актуальными проблемы педагогического дизайна онлайн-курсов - качества образовательного контента и контролирующих процедур, эффективности обучения, доступности курсов для особых категорий пользователей и т.д. [3].

Вопросы повышения качества тестовых оценивающих мероприятий онлайн-курса рассмотрены в работах [4-8]. Авторы обращают внимание на необходимость корректировки курса после его первого применения в группах студентов с разными уровнями подготовки, а также тщательной проверки таких характеристик тестов, как коэффициент дискриминации (discriminative efficiency) и индекс лёгкости (facility index).

Комплексный подход к анализу качества онлайн-курсов реализуют специалисты Центра психометрических исследований в онлайн-образовании Высшей школы экономки, которые на основе анализа «больших данных» строят модели и разрабатывают сервисы, позволяющие преподавателям искать «слабые места» в онлайн-курсах и вносить корректировки в курсы в соответствии с выданными рекомендациями [9]. В перечень ожидаемых результатов анализа онлайн-курса входят такие позиции, как оценка качества контента, оценка динамики обучения слушателей, оценка качества тестовых заданий и другие.

Сотрудники Фонда развития онлайн-образования МИФИ используют данные статистики активности пользователей МООК для прогноза успешности обучения слушателей [10]. Методика статических и динамических диаграмм предложена в работе [11] для анализа совместной сетевой деятельности, а в работе [12] рассматриваются облачные технологии для контроля учебной деятельности студентов. Система мониторинга контента и активности пользователей в LMS MOODLE, предлагаемая Томским государственным университетом, позволяет провести аналитику и мониторинг степени вовлечённости студентов и преподавателей подразделений в систему электронного обучения (ЭО). Анализ данных, полученных в результате мониторинга, позволяет оценивать эффективность внедрения ЭО, работы отдельных субъектов ЭО и учебных подразделений в целом и принимать управленческие решения по оптимизации процессов электронного обучения [13]. Оценка качества онлайн-курсов в режиме «одного окна» включена в приоритетный проект «Современная цифровая образовательная среда в Российской Федерации» [14].

Наряду с масштабными проектами повышения качества дистанционно предоставляемых образовательных программ, имеет смысл поиск возможностей совершенствования образовательного процесса с помощью цифровых средств, имеющихся в обновлённых вариантах широко используемой в вузах России системы управления обучением LMS MOODLE.

Целью настоящей работы является анализ возможности использования статистических инструментов LMS MOODLE в практике повышения качества дизайна онлайн-курса и, как следствие, эффективности его освоения слушателями. Исследование предусматривало анализ динамики посещения курса студентами в течение семестра и качества диагностики результатов обучения по дисциплине «Информатика», которая использована в учебном процессе многих направлений бакалавриата в Национальном исследовательском Томском политехническом университете. Выбор данного курса обусловлен его значимостью для формирования цифровой компетенции студентов.

Материал и методы исследования

При использовании систем менеджмента обучения (LMSMOODLE, Sakai, OpenEdX и др.) контроль знакомства обучаемых с контентом электронного курса и прогресса в выполнении заданий осуществляется программно и отражается в разделах LMSMOODLE: «Управление курсом» «Отчёты». С их помощью производится формирующее оценивание индивидуальной учебной активности с применением балльно-рейтинговых процедур и поощрения достижений пользователей значками (баджами) [15; 16]. В оценке дидактических параметров МООК и других онлайн-курсов может быть использован сервис Web Accessibility Checker, который проверяет соответствие отдельных HTML-страниц стандартам специальных возможностей, чтобы обеспечить доступ к содержимому для всех [17]. Но для анализа онлайн-курсов, размещаемых в LMSMOODLE, достаточными будут встроенные инструменты платформы, в частности инструмент «Статистика» выполняемых пользователями действий в определённый период времени.

Чтобы воспользоваться инструментом, необходимо открыть страницу «Отчёты» в разделе «Управление курсом». В списке представленных отчётов выбрать вариант «Отчёт о деятельности». Данный вид статистического отчёта собирает информацию:

- о количестве просмотров каждого учебного элемента онлайн-курса (форумы, информационные страницы, дополнительные материалы в формате pdf, глоссарий, книги, лекции, тесты, индивидуальные задания и задания на взаимное оценивание),

- о количестве пользователей, осуществивших просмотр элемента онлайн-курса.

С помощью данного инструмента проанализировано 63 учебных элемента онлайн-курса и активность 365 пользователей. В ходе работы была проведена критическая оценка трёх дидактических характеристик онлайн-курса: востребованности у студентов различных форм представления содержания учебных материалов курса, временной структуры онлайн-курса и качества оценивающих мероприятий. Данными для анализа послужили статистические характеристики активности студентов по курсу «Информатика». Эксперимент длился в течение трёх лет, в нём участвовали 365 студентов первого курса, обучающихся по направлению «Электроэнергетика и электротехника».

Результаты исследования

По результатам первого года применения практико-ориентированного дистанционного курса была проанализирована востребованность форматов представления учебных материалов студентами-заочниками. Учебные материалы были представлены текстовыми фрагментами, записями вебинаров, скринкастами и инструкциями в форме инфографики. Статистические данные по активности студентов по одному из модулей онлайн-курса, предоставляемые LMSMOODLE, приведены на рисунке 1. Как следует из сравнения числа пользователей и количества просмотров для разных разделов модуля курса, студентов интересует прежде всего практическая часть - выполнение лабораторной работы. В среднем на одного из 123 студентов здесь зафиксировано 22 просмотра, тогда как аннотацию к модулю просмотрели в три раза меньше студентов. Только половина студентов потратили время на просмотр видеоинструкции к выполнению лабораторной работы. Это позволяет сделать вывод о том, что для онлайн-курса предпочтительными оказались инструкции, выполненные в форме инфографики. При этом с точки зрения текущей успеваемости студентов по теоретической части и по лабораторным работам существенных различий выявлено не было. В последующем редизайне курса количество инфографики было увеличено - в ожидании перехода «количества в качество».

образовательный онлайн курс студент

Рис. 1. Таблица LMS MOODLE со статистикой посещаемости элементов курса

Анализ статистики активности студентов в исходном варианте онлайн-курса в течение семестра (плюс период ликвидации академической задолженности) показал её явно выраженную неравномерность. Пики учебной активности студентов приходились на период сессии и далее держались на высоких показателях в период ликвидации академической задолженности, в то время как в начале семестра наблюдались очень низкие показатели активности студентов. Для решения выявленной проблемы, которая проявляется и на многих других онлайн-курсах, была изменена его структура.

Рис. 2. График активности студентов в онлайн-курсе

Анализ статистики активности студентов в онлайн-курсе с понедельной структурой показал совсем иную динамику, отличную от динамики обучения в исходном курсе, а именно, существенные улучшения. Как видно из рисунка 2, обучение в преобразованном курсе сопровождается заметной активностью студентов с самого начала семестра, с нарастанием активности в период сессии и значительно более низкой активностью в период ликвидации академической задолженности. При этом было отмечено повышение показателей успеваемости студентов, что коррелирует с понижением активности студентов в период ликвидации академической задолженности.

Изменение структуры онлайн-курса повлекло увеличение числа оценивающих мероприятий. В свою очередь, это потребовало проведения анализа как самих тестовых заданий, так и сценариев их реализации. Была поставлена задача увеличения количества тестовых испытаний при некотором сокращении количества тестовых заданий в контрольных процедурах. Необходимо было элиминировать вопросы, которые оказались лёгкими для основного контингента испытуемых, оставив задания, обладающие высокой дискриминирующей способностью, то есть способностью разделять слушателей по степени их подготовки (отделение «отличников» от «хорошистов» и «троечников»). Для выполнения этой задачи были использованы стандартные статистические характеристики тестов в LMS MOODLE, описанные в работах [4-8], такие как индекс лёгкости и эффективность дискриминации. Индекс лёгкости показывает, какая часть испытуемых ответила правильно на вопрос или задание теста; индекс эффективности дискриминации оценивает задания теста в целом.

Анализ дискриминирующей эффективности тестовых заданий был проведён с фиксированным набором вопросов в тестах. Тестировались разные по уровню подготовки группы студентов. Всего было проанализировано более 3 000 студенческих попыток выполнения тестовых заданий, осуществлённых 365 пользователями. В среднем из 20 вопросов в тестах около пяти-шести оказывались с низкой дифференцирующей способностью, поэтому они убирались из банка вопросов онлайн-курса. В целом по результатам анализа тестовых заданий онлайн-курса было отмечено, что высоким коэффициентом лёгкости и низким коэффициентом дискриминиации обладают вопросы, дословно дублирующие формулировки лекций, и вопросы типа «верно-неверно». Вопросы типа «вложенные ответы» имели лучшие показатели коэффициента дискриминации.

В рамках выполнения задачи совершенствования процедуры оценивания результатов обучения студентов по модулям был также проведён анализ дистракторов (неправильных, но правдоподобных ответов тестового задания) в вопросах типа «множественный выбор».

Относительная частота выбора испытуемыми тех или иных дистракторов при выполнении конкретных тестовых заданий была определена при помощи стандартной статистики LMS MOODLE, которая хранится в анализируемом вопросе теста в разделе «Статистика». По результатам проверки произведена корректировка дистракторов: все ответы, обладающие самой низкой частотой выбора, заменены на более адекватные варианты.

Вопрос защиты от недобросовестного поведения обучающегося потребовал изменения сценария применения контрольно-измерительных материалов тестового типа.

Во-первых, был закрыт доступ к просмотру эталонного ответа, во-вторых, включён режим компоновки испытания случайным набором тестовых заданий из банка вопросов, в котором уже были «выбракованы» вопросы с низкой дифференцирующей способностью.

Заключение

Результаты проведённого исследования показывают, что для оптимизации учебного процесса с применением онлайн-курса следует проектировать понедельную структуру модулей курса с выделенными микроцелями, что позволит повысить активность студентов на протяжении всего периода обучения и приведёт к повышению успеваемости. При этом учебный материал должен быть представлен в контенте в разных форматах, с учётом приоритетной востребованности у пользователей средств инфографики.

Статистический анализ тестовых заданий на уровень их дифференцирующей способности позволяет существенно повысить качество контрольно-измерительных материалов. Данный анализ необходимо проводить с фиксированным набором тестовых заданий после первого применения онлайн-курса в разных по уровню подготовки группах слушателей. Тестовый контроль со случайным набором тестовых заданий будет адекватным вариантом проверки знаний.

В целом использование инструмента статистики учебной активности пользователей электронного курса позволяет доказательно проверить результативность его педагогического дизайна и провести необходимые корректирующие мероприятия. Аналогичные процедуры могут быть полезными и в оценке педагогического дизайна МООК.

Литература

1. Shah D. MOOC Trends in 2016: College Credit, Credentials, and Degrees. URL: https://www.class-central.com/report/mooc-trends-credit-credentials-degrees/

2. Боголепова С.В., Малкова Н.В. Использование потенциала современных систем управления обучением в вузовском образовании // Высшее образование в России. 2017. № 5. С. 105-112.

3. Гречушкина Н.В. Онлайн-курс: определение и классификация // Высшее образование в России. 2018. Т. 27. № 6. С. 125-134.

4. Нестеров С.А. Анализ статистики выполнения тестовых заданий в среде дистанционного обучения MOODLE // Современные информационные технологии и ИТ-образование. № 4. С. 62-67.

5. Нестеров С.А., Сметанина М.В. Оценка качества тестовых заданий средствами среды дистанционного обучения MOODLE // Научно-технические ведомости Санкт- Петербургского государственного политехнического университета. Информатика. Телекоммуникации. Управление. 2013. № 5. С. 87-92.

6. Протасова И.В., Толстобров А.П., Коржик И.А. Методика анализа и повышения качества тестов в системе электронного обучения MOODLE // Информационная среда вуза XXI века: сб. тр. VII Международной науч.-практ. конф. Петрозаводск: Петрозаводский государственный университет, 2013. С. 191-194.

7. Муханова А.А., Муханов С.А. Технология проектирования и оценки тестов в СДО MOODLE // Сборник научных трудов SWorld. Иваново: Научный мир, 2013. С. 27-35.

8. Аббакумов Д.Ф., Лебедева М.Ю. Лексико-грамматический распределительный тест по РКИ: опыт создания, апробации психометрического анализа // Русский язык за рубежом. 2016. № 5. С. 73-78.

9. Разработка и внедрение методики и инструментария психометрической аналитики онлайн-курсов. ТОЬ https://docplayer.ru/73374892- Razrabotka-i-vnedrenie-onlayn-kursov.html

10. Купцов А. Специализация «Машинное обучение и анализ данных». URL: https://docviewer.yandex.ru/АлександрКупцов_Специализация «Машинное обучение и анализ данных» Яндекс и МФТИ.pd?forcedownbad=1

11. Патаракин Е.Д. Совместная сетевая деятельность и поддерживающая её аналитика // Высшее образование в России. 2015. № 5. С. 145-154.

12. Абрамова О.В. Использование облачных технологий для организации контроля учебной деятельности // Высшее образование в России. 2015. № 7. С. 155-159.

13. Система мониторинга контента и активности пользователей в LMSMOODLE. URL: https:// ido.tsu.ru/product/

14. Оценка качества онлайн-курсов. URL: http:// neorusedu.ru/activity/otsenka-kachestva- onlayn-kursov

15. Стародубцев В.А., Ряшенцев И.В. Элементы геймификации в LMSMOODLE// Международный научно-исследовательский журнал. № 7 (61). Ч. 1. С. 98-102.

16. Шиков А.Н., Баканова А.П., Логинов К.В., Окулов С.А., Чунаев А.В. Применение игровых механик в системах корпоративного обучения с использованием модели смешанного обучения // Информатика и образование. № 5. C. 44-48.

17. Web Accessibility Checker. URL: https:// achecker.ca/checker/index.php

18. Монахов В.М. Разработка прогностической модели развития теории обучения для IT- образования // Современные информационные технологии и ИТ-образование. 2017. Т. 13. №2. С. 111-121. DOI: https://doi.org/10.25559/ SITITO.2017.2.238

19. Distant Technologies as Cost Effective Way of Teaching / L.V. Vorobyova et al. // The European Proceedings of Social &Behavioural Sciences (EpSBS). 2017. Vol. 26: Responsible Research and Innovation (RRI 2016). P. 1002-1008. URL: dx.doi.org-10.15405-epsbs.2017.07.02.129.pdf

References