Вопросно-критериальный способ оценки качества цифровой образовательной среды организации

Размещено на http://www.Allbest.Ru/

Вопросно-критериальный способ оценки качества цифровой образовательной среды организации

Аннотация

Постановка проблемы. Вопросы оценивания качества цифровой образовательной среды (ЦОС) организации приобретают свою актуальность в связи с необходимостью цифровой трансформации образования. В основном мероприятия по мониторингу образовательных сред и ресурсов в учебных заведениях проводятся экспертными, ручными и трудозатратными способами. Представляет интерес создание технологичного, доступного и удобного метода оценивания многокомпонентных и многомерных образовательных систем, с максимальной долей автоматизации и интеллектуализации всех сопутствующих мероприятий.

Цель исследования - обоснование вопросно-критериального способа оценки качества цифровой образовательной среды организации, опирающегося на математические методы теории кластеризации и распознавания образов (на примере мониторинга развития цифровой образовательной среды практик дополнительного образования детей).

Методология. Качество образовательных систем или ресурсов можно оценивать с помощью присущих им критериальных показателей, представимых в виде информационного вектора. Текущие значения этих показателей определяют рейтинг заданной системы в совокупности подобных систем, а динамика их изменений во времени показывает степень развития каждого критериального признака. Листы мониторинга, описывающие каждую систему информационным вектором, представляют множество объектов, которые можно кластеризовать на определенные классы. С математической точки зрения подобные системы удобно разделять на классы с помощью горного алгоритма, а в качестве меры сходства объектов принять метрику городских кварталов.

Результаты. Мониторинг цифровой образовательной среды организации проводится по функциональным характеристикам среды на основе оценки официального сайта организации. По методу пирамиды разработано вопросное дерево по функциональным компонентам цифровой образовательной среды практик дополнительного образования детей, по нему сформирован информационный вектор среды, значения которого определены экспертно. Оценка сайтов осуществляется по экспертным оценкам в автоматизированной системе конкурсных процедур «АСКО».

Заключение. Предложенный метод позволяет проводить мониторинг цифровой образовательной среды организации с использованием математических методов теории кластеризации и распознавания образов.

Ключевые слова: цифровая образовательная среда, вопросно-критериальный способ, оценивание, кластеризация практик, дополнительное образование, дети, мониторинг цифровой среды

Abstract

N.I. Pak, A.A. Syromyatnikov. Question and criterion method for assessing the quality of the organization's digital educational environment

Problem statement. Issues of assessing the quality of the digital educational environment of the organization acquire their relevance in connection with the need for digital transformation of education. Basically, measures to monitor educational environments and resources in educational institutions are carried out in expert, manual and labor-intensive ways. It is of interest to create a technological, accessible and convenient method for evaluating multicomponent and multi-dimensional educational systems, with the maximum share of automation and intellectualization of all related events.

The purpose of the study is to substantiate the question and criterion method for assessing the quality of the digital educational environment of an organization based on mathematical methods of the theory of clustering and pattern recognition (using the example of monitoring the development of the digital educational environment of additional education practices for children).

Methodology. The quality of educational systems or resources can be assessed using their inherent criteria, presented in the form of an information vector. The current values of these indicators determine the rating of a given system in a set of similar systems, and the dynamics of their changes over time shows the degree of development of each criterion sign. Monitoring sheets describing each system with an information vector represent a plurality of objects that can be clustered into certain classes. From a mathematical point of view, it is convenient to divide such systems into classes using a mining algorithm, and to take the metric of city blocks as a measure of the similarity of objects.

Results. Monitoring of the organization's digital educational environment is carried out according to the functional characteristics of the environment based on the assessment of the organization's official website. According to the pyramid method, a question tree was developed on the functional components of the digital educational environment of additional education practices for children, according to which an information vector of the environment was formed, the values of which were determined by experts. Assessment of sites is carried out according to expert estimates in the automated system of competitive procedures “ASCO”

Conclusion. The proposed method allows monitoring the digital educational environment of an organization using mathematical methods of clustering theory and pattern recognition.

Keywords: digital educational environment, question-criterion assessment method, clustering of practices, additional education, children, monitoring, digital environment

Постановка проблемы

Создание и развитие цифровой образовательной среды (ЦОС) сегодня рассматривается как условие и как начальный этап цифровой трансформации образования. Ее создание подразумевает различные уровни реализации, и, в каждой образовательной организации, включая организации дополнительного образования детей, должна быть создана своя ЦОС. И на этом этапе становятся актуальными вопросы оценки состояния и мониторинга развития ЦОС на разных уровнях. ЦОС организации дополнительного образования детей должна строиться на основе принятой обобщенной модели Приказ Министерства Просвещения РФ от 02.12.2019 г. №649 «Об утверждении Целевой модели цифровой образовательной среды». в рамках федерального проекта «Цифровая образовательная среда» с учетом организационной и содержательной специфики деятельности. Однако, в программных документах не описаны механизмы такого оценивания. В соответствии с направлениями цифровой трансформации образования необходимо создание технологичной, отвечающей требованиям современного общества, системы оценивания, подлежащей автоматизации и интеллектуализации для мониторинга многоуровневой, многокомпонентной цифровой образовательной среды.

Цель работы - обоснование вопросно-критериального способа оценки качества цифровой образовательной среды организации, опирающегося на математические методы теории кластеризации и распознавания образов (на примере мониторинга развития цифровой образовательной среды практик дополнительного образования детей).

Проектирование и оценка образовательной среды - это задача, которая решается на протяжении многих лет. Рассматриваются различные аспекты оценки образовательных сред школы, вуза в условиях цифровизации, данный опыт и диагностический инструментарий является важным условием для развития подходов к оценке ЦОС. Так сделаны попытки оценки информационно-образовательной среды вуза в условиях ее цифровизации на основе экопсихологического подхода [1], предложена методика оценки качества информационно-образовательной среды школы на основе адаптированной системы оценки Self-review Framework for ICT (Naace SRF) [2], Однако, современные процессы цифровой трансформации образования приводят к необходимости делать определенные акценты при понимании и оценке информационно-образовательной среды. Так, определены критерии оценки ЦОС: согласованность, мобильность, открытость, неформальность, полнота, свобода, доступность, безопасность, а сама методика находится все еще в стадии разработки [3]. Авторами рассматриваются отдельные аспекты, однако комплексный, общепринятый подход оценки ЦОС до сих пор не разработан. В то же время, отмечается несостоятельность, ограниченность квалиметрического подхода к оценке информационно-образовательной среды [4].

В последнее время наибольшую популярность приобретает технология критериального оценивания. В основе критериального оценивания лежит четкое представление о том, как в идеале должен выглядеть результат, а оценивание означает такую шкалу как определение степени приближения к данной цели. Этот принцип делает критериальное оценивание наиболее подходящим инструментом для оценки и мониторинга образовательных достижений и сред. Для эффективного применения этой технологии необходимо определение основных компонентов системы критериального оценивания. Ключевым является критерий, под ним понимается признак, на основании которого производится оценка. Показатель или дескриптор в процедуре оценивания рассматривается как измеряемая характеристика какой-то одной стороны признака (критерия) изучаемого объекта. Показатель служит для получения количественной или качественной информации о проявлении этой стороны признака Педагогический словарь: учебное пособие для студентов высших учебных заведений / под ред. В.И. Загвязинского, А.Ф. Закировой. М.: Академия, 2008. 343 с.. Дескрипторы описывают уровни шкалы достижения результата по каждому критерию.

Важным этапом критериального оценивания образовательных сред, в том числе цифровой образовательной среды, является определение понятия и описание структуры объекта оценивания. Многообразие определений понятия «цифровая образовательная среда», существующее в педагогической литературе, обусловлено сделанными авторами смысловыми акцентами при определении структуры среды. Так, в [5], при определении ЦОС, делается акцент на технических решениях для поддержки учебно-методической и информационной деятельности. Авторами [6], ЦОС понимается как «опосредованный использованием цифровых технологий и цифровых образовательных ресурсов комплекс отношений в образовательной деятельности, способствующих реализации субъектами образовательного процесса возможностей по освоению культуры, способов самореализации, выстраивания социальных отношений, нацеленных на формирование ответственного цифрового поведения гражданина современного общества».

Такой психолого-педагогический акцент обуславливает соответствующую структуру среды и позволяет определить критерии и шкалу всесторонней оценки, как утверждают авторы [7], ЦОС с позиции удовлетворенности электронной образовательной средой. Так же, некоторые исследователи, определяя ЦОС, отражают лишь общее назначение среды без какой-либо конкретики ее структуры: «открытая совокупность информационных систем, предназначенных для обеспечения различных задач процесса образования Кушнир М. Цифровая образовательная среда.. С такими подходами, в рамках нашего исследования, трудно согласиться. Критериальный подход к оценке ЦОС, требует всестороннего и полного описания среды с использованием признаков и показателей оценки. Будем придерживаться определения ЦОС, данного авторами [8], как «совокупность аппаратного и программного обеспечения, а также образовательного и управленческого контента, обеспечивающая все информационные запросы субъектов образовательного процесса при любых организационных вариантах обучения (контактном, дистанционном, смешанном, гибридном)».

Таким образом, общая задача оценки ЦОС, в свете принятого выше определения понятия «цифровая образовательная среда», сводится к выявлению и оценке (качественной и количественной) каждой из групп ее характеристик. На этом этапе представляет интерес применение метода пирамиды Б. Минто. Суть метода заключается в выборе основного вопроса или ситуации, делящихся на ряд проблем и задач, которые далее также разделяются на части до тех пор, пока разбивка не приведет к конкретным решениям. Высокая эффективность для мониторинговых и оценочных процедур при оценке качества цифровых образовательных сред метода пирамиды отмечается в работе. Кроме того, применение элементов вопросного метода прослеживается в методологии оценки цифровой зрелости организации Оценка цифровой зрелости., разработанной Центром перспективных управленческих решений, при определении дескрипторов в каждом блоке показателей цифровой трансформации организации. Таким образом, если использовать вопросный метод для определения не только показателей, но и для определения критериев и рубрик, то удачное построение дерева вопросов позволит экспертам объективно давать ответы на них. Суммирующие оценки экспертных ответов по всем веткам «пирамиды вопросов» позволят не только в целом дать характеристику оцениваемого объекта, но и диагностировать качества отдельных его частей и компонент.

Методология. Обобщенную модель критериального оценивания ЦОС организации можно представить в виде схемы (рис. 1) Критериями модели оценивания являются количественные и качественные характеристики ЦОС. А их показателями (дескрипторами) являются значения характеристик xi, для группы количественных характеристик, определяющие значение из интервала шкалы дескриптора в баллах с учетом ценности или веса данного критерия в общей системе оценивания. И значения характеристик y, для группы качественных характеристик, из интервала шкалы дескриптора в баллах, определяемые экспертным путем.

Таким образом, для каждой характеристики ЦОС получаем уровень его оценки, который определяется информационным вектором (xi, x2, ... xn) для количественных характеристик и (yi, y2, ... yn) для качественных характеристик, в некоторой шкале оценки качества ЦОС (например, низкий, средний, высокий уровень).

Рис. 1. Обобщенная модель критериального оценивания ЦОС организации

Для определения элементов системы критериального оценивания и мониторинга ЦОС практик дополнительного образования детей воспользуемся методом пирамиды Б. Минто. В результате получим иерархическое дерево вопросов, приводящее нас к описанию критериев и шкал дескрипторов.

Первый уровень вопросов позволяет определить функции и структуру, результативность (затраты/продуктивность) ЦОС организации дополнительного образования детей (рис. 2).

Рис. 2. Фрагмент дерева вопросов. Первый уровень

Из принятого нами выше определения ЦОС вытекают ее функции:

• ресурсная - размещение и хранение структурированного контента учебного назначения и информации для управления обучением;

• коммуникационная - обеспечение доступа обучающихся и педагогов к контенту, коммуникация субъектов образовательного процесса, обеспечение cooperative learning;

• инструментальная - обеспечение обучающихся инструментальными программами и приложениями, необходимыми для выполнения учебных заданий;

• организационная - обеспечение возможности для преподавателя управления процессом обучения.

При определении структуры ЦОС организации дополнительного образования детей выделим четыре направления: материально-техническая база, информационные системы, управление образованием, информационно-образовательные ресурсы. Таким образом, получаем второй уровень вопросов в вопросной пирамиде (рис. 3).

Рис. 3. Фрагмент дерева вопросов. Второй уровень

На основе требований к ЦОС, предложенных в [8], и приказе Министерства просвещения РФ «Об утверждении Целевой модели цифровой образовательной среды» Приказ Министерства Просвещения РФ от 02.12.2019 г. №649 «Об утверждении Целевой модели цифровой образовательной среды»., а также, с учетом критериев и показателей качества цифровой среды, определенных авторами [9], выделим показатели ЦОС по каждому направлению. По направлению «Материально-техническая база» показатели для ЦОС разделим на количественные: скорость подключения к сети Интернет, количество единиц вычислительной техники, используемой в образовательном процессе относительно количества обучающихся, количество единиц вычислительной техники, используемой работниками организации относительно количества работников, количество лицензий на использование специализированного программного обеспечения для функций управления организацией и образовательным процессом, количество комплексов презентационного оборудования относительно количества учебных помещений, количество учебных занятий, проходящих с использованием презентационного оборудования и вычислительной техники относительно всех занятий в образовательной организации. И качественные показатели по направлению «Материально-техническая база»: наличие программного обеспечения и технологических решений для управления финансово-хозяйственной деятельностью организации и организации электронного документооборота, наличие кабинета (возможно совмещенного с библиотекой или информационно-библиотечным комплексом), в котором вычислительная техника может быть использована для самостоятельной работы по установленному расписанию, соответствие телекоммуникационной инфраструктуры для обеспечения технологической связанности оборудования с региональной и федеральной информационно-сервисной платформой.

По направлению «Информационные системы» в качестве показателей примем: реализацию технологической совместимости с региональной информационной системой и ресурсами платформы цифровой образовательной среды по типу «одного окна», реализацию технологии идентификации и аутентификации пользователей, возможность получения в автоматизированном виде обработанной статистической информации о результатах учебной деятельности в форме, соответствующей документам отчетности, наличие средств коммуникации участников образовательного процесса для проведения занятий в группах, в том числе с использованием интерактивной связи участников образовательного процесса, реализацию безопасности доступного обучающимся контента, наличие инструментов оплаты за использование цифрового образовательного контента, наличие возможности просмотра и использования выбранного цифрового образовательного контента встроенными средствами без установки дополнительного программного обеспечения для потребителей, наличие функциональной возможности по формированию единицы контента или контентной группы, а также интерфейса для их последующей загрузки, хранения, актуализации и предоставления потребителям предусмотренными средствами и программным обеспечением.

По направлению «Управление образованием» в показатели для ЦОС важно включить наличие избыточной информации об образовательных программах и условиях реализации. Наличие электронного расписания учебных занятий, электронных дневников, электронного журнала. Понятное описание условий обучения, с описанием прогнозируемых результатов обучения. Возможность контроля занятости и деятельности ребенка. Возможность включить результаты обучения в портфолио ребенка. Наличие инструментов для организации педагогической диагностики. Автоматизация процесса заполнения журнала и дневника за счет интеграции систем журнала, дневника с электронным курсом или веб-сопровождением обучения по программе дополнительного образования. Наличие инструмента для получения статистических данных по успеваемости, посещаемости и пр. показателям эффективности организации учебного процесса по программам обучения. Наличие профессионального цифрового портфолио педагога. Автоматизация процесса заполнения журнала и дневника за счет интеграции систем журнала, дневника с электронным курсом или веб-сопровождением обучения по программе дополнительного образования. Все это имеет особое значение для системы дополнительного образования.

По направлению «Информационно-образовательные ресурсы» в список показателей ЦОС важно включить наличие встроенных в используемые информационно-сервисной платформы инструментов для совместной работы с интересными сервисами, позволяющими решать различные педагогические задачи, например применение современных педагогических технологий, интерактивности, использование виртуальных моделей, дополненной реальности. Поскольку предполагается возможность педагогами наполнение ЦОС организации, региональной ЦОС и выше собственными цифровыми образовательными ресурсами, видится в качестве критерия оценки ЦОС и обеспеченности образовательными ресурсами программ количество лицензионных договоров с внешними для организации авторами цифровых образовательных ресурсов и авторами-разработчиками цифровых образовательных ресурсов из числа работников образовательной организации.

Определив критерии оценивания, продолжаем строить дерево вопросов, и следующий уровень определяет дескрипторы по выделенным критериям (рис. 4.).

Рис. 4. Фрагмент дерева вопросов. Уровень определения дескрипторов

Таким образом, формируется два информационных вектора критериев качества: (xi, Х2, ... xn) - для количественных и (yi, y2, ... yn) - для качественных критериев (рис. 5).

Полученные значения после проведения опроса по количественным характеристикам и экспертизы качественных показателей качества ЦОС позволяют получить итоговую рейтинговую оценку конкретной организации:

R = Z xi + Z Уі.

Также можно определить оценочный балл по каждому из выделенных четрых направлений: Z1, Z2, Z3, Z4. Эти данные позволяют задать признаки для каждого исследуемого объекта в виде w = (Zi, Z2, Z3, Z4). Следовательно, допустима формализованная математическая постановка задачи.

Рис. 5. Сводная структура оценочной формы ЦОС

качество цифровой дополнительный образовательный среда

Дано множество К объектов с заданными качествами из четырех характеристик Признаки объекта задаются численными значениями из заданного интервала Определим три класса объектов: ?₁- класс с низким качеством; ?₂ - класс со средним качеством; ? ₃ - класс с высоким качеством.

Следует распределить (провести кластеризацию) заданные объекты по указанным классам, используя расстояние (меру сходства) между двумя объектами по метрике городских кварталов: , здесь p_t и q_t - признаки двух объектов.

Результаты и обсуждение

Оценку и мониторинг цифровой образовательной среды организации предлагается проводить по функциональным характеристикам среды с использованием опросных листов, которые для количественных критериев заполняются представителями организации, а для качественных - экспертами после работы с сайтом организации. Опросные листы разработаны на основе вопросного дерева, созданного по методу пирамиды, в которых определено тридцать количественных и качественных критериев оценивания ЦОС со шкалами дескрипторов с соответствующими им баллами по сто балльной шкале и вес каждого критерия в системе оценивания, который определяется экспертно. Пример чек-листа для оценки материально-технической базы ЦОС системы дополнительного образования детей уровня организации приведен в таблице.

Проведение оценочной процедуры предлагается осуществлять с использованием автоматизированной системы «АСКО» [10]. Программа специально предназначена для организации конкурсных и оценочных мероприятий в режиме реального времени, где применим экспертно-статистический метод. Программа реализует регистрацию и упорядочивание участников конкурса, составление списка экспертов, назначение на мероприятие, установление критериев оценки, сбор оценок, а также подсчет итогов конкурса АСКО - автоматизированная система конкурсного оценивания..

После получения и обработки чек-листов и экспертных оценок качественных характеристик ЦОС для каждой организации формируем ее оценочный след в виде признаков (z₁,z₂,z₃,z₄).

Для распознавания принадлежности рассматриваемого объекта к одному из классов (с низким, средним или высоким уровнем) была разработана специальная программа. Она состоит из трех модулей: модуль исходных данных, модуль кластеризации, модуль распознавания и обучения.

Таблица 1

В модуле исходных данных задаем первоначальное количество объектов K и для каждого признака определяем интервалы их возможных значений [aj,bj] (i = 1...п). Для реализации модифицированного горного алгоритма кластеризации примем ведущих представителей классов: для класса 1 - (а₁,а₂,...,а_п), для класса 2 - [(??₁ -- а₁)/2, (b₂ -- а₂)/2,..., (??_п -- а_п)/2)] , для класса 3 - (b₁,b₂,--,b_n).

В модуле кластеризации имеется два способа задания объектов.

Для каждого объекта формируем его признаки Zj в интервале [aj,bj случайным образом.

Признаки каждого объекта вводим «вручную» (или считываем из заполненных опросных форм по чек-листу и итоговых экспертных процедур из программы «АСКО»).

Алгоритм кластеризации используется классический - распределение заданных объектов происходит по принципу их сходства с представителями классов. Результатом кластеризации являются три множества (класса) объектов с низким, средним и высоким качеством, которые сохраняются в базе данных на внешнем устройстве памяти.

В модуле распознавания текущий исследуемый объект распознается и определяется его принадлежность одному из созданных в предыдущем модуле классу. Если распознанный объект не совпадает по своим признакам, ни с каким из существующих объектов класса, его вносим в этот класс.

Заключение

Описанный способ оценивания и мониторинга качества ЦОС организаций можно обобщено представить в следующем виде:

1. Заявленная для мониторинга организация заполняет количественные показатели чек-листа, созданного с помощью Яндекс-формы, и указывает ссылку на сайт и другие значимые ресурсы ЦОС.

2. Данные Яндекс-формы с помощью специального конвектора передаются в электронные таблицы и обрабатываются для получения рейтинговых количественных оценок и признаков ЦОС организации.

3. Назначенные эксперты оценивают по заданным качественным критериям заявленные организацией основные ресурсы ЦОС (оценка ресурсов сайта организации) в системе «АСКО».

4. Результирующие экспертные оценки с помощью специального конвектора передаются в электронные таблицы и обрабатываются для получения качественных оценок и признаков ЦОС организации.

5. Полученные сводные данные w = (Z1, Z2, Z3, Z4) вносятся в программу распознавания, которая выдает итоговую оценку качества ЦОС организации.

6. Результатом работы предложенной системы является лист мониторинга ЦОС организации, содержащего все промежуточные данные по всем критериям и показателям согласно рис. 5.

Таким образом, предложенный способ позволяет осуществлять оценку качества цифровой образовательной среды организации с использованием математических методов теории кластеризации и распознавания образов с учетом важнейших методологических принципов: принципа объективности, который ориентирует на выбор и применение оценочных методик; критериев и показателей, которые максимально точно и адекватно позволяют судить об эффективности образовательной среды; и принципа технологичности.

Список литературы

1. Капцов А.В., Колесникова Е.И. Методика оценки образовательной среды вуза в условиях ее цифровизации // Вестник Самарской гуманитарной академии. Серия: Психология. 2019. №2 (26). С. 147-154.

2. Конопатова Н.К. Оценка эффективности проектов в области информатизации школьного образования // Информационные технологии для Новой школы: материалы V Международной конференции. СПб.: Региональный центр оценки качества образования и информационных технологий, 2014. Т. 2. С. 21-25.

3. Добудько Т.В., Горбатов С.В., Добудько А.В., Пугач О.И Методика оценки электронной информационно-образовательной среды педагогического вуза // Самарский научный вестник. 2018. №3 (24). С. 311-316.

4. Велижанин М.В. Теоретические основы оценки качества информационно-образовательной среды общеобразовательной школы // E-Scio. 2020. №11 (50). С. 334-342.

5. Suhonen J.A. Formative development method for digital learning environments in sparse learning communities: academic dissertation. University of Joensuu.

6. Шилова О.Н. Цифровая образовательная среда: педагогический взгляд // Человек и образование. 2020. №2 (63). С. 36-40.

7. Сорокова М.Г., Одинцова М.А., Радчикова Н.П. Шкала оценки цифровой образовательной среды (ЦОС) университета // Психологическая наука и образование. 2021. Т. 26. №2. C. 52-65.

8. Мониторинг развития цифровой образовательной среды практик дополнительного образования детей: монография / под общ. ред. В.А. Адольфа. Красноярск, 2021. 140 с.

9. Pak N.I., Asaulenko E.V., Grinberg G.M., Myagkova E.G., Khegay L. Digital environment of the department as a factor of future specialists' professional information culture formation // International Journal of Applied Exercise Physiology. 2020. Vol. 9. No. 2. Pp. 164-173.

10. Pak N.I., Markovskaya I.A., Narchuganov K.N. Automated system of remote holding competitive and assessment procedures // Journal of Physics: Conference Series. 2020. Vol. 1691. No. 1. Article 012156.

References

1. Kaptsov A, Kolesnikova E. Methodology for evaluating the educational environment of a university under the conditions of its digitization. Bulletin of Samara Academy for the Humanities. Series: Psychology. 2019;(2):147-154. (In Russ.)

2. Konopatova NK. Assessment of the effectiveness of projects in the field of informatization of school education. Information Technology for the New School. Proceedings of the VInternational Conference. St. Petersburg: Regional'nyj Centr Ocenki Kachest- va Obrazovaniya i Informacionnyh Tekhnologij Publ.; 2014. p. 21-25. (In Russ.)

3. Dobudko TV, Gorbatov SV, Dobudko AV, Pugach OI. Methods of pedagogical institution electronic information and educational environment evaluation. Samara Journal of Science. 2018;(3):311-316. (In Russ.)

4. Velizhanin MV. Theoretical foundations for assessing the quality of the information and educational environment of a comprehensive school. E-Scio. 2020;11(50):334-342. (In Russ.)

5. Suhonen JA. Formative development method for digital learning environments in sparse learning communities (academic dissertation). University of Joensuu.

6. Shilova ON. Digital learning environment: pedagogical сomprehension. Man and Education. 2020;(2):36-40. (In Russ.)

7. Sorokova MG, Odintsova MA, Radchikova NP. Scale for assessing university digital educational environment (AUDEE scale). Psychological Science and Education. 2021;26(2):52-65. (In Russ.)

8. Adolf VA. (ed.) Monitoring the development of the digital educational environment of additional education practices for children. Krasnoyarsk: Krasnoyarsk State Pedagogical University named after V.P. Astafyev; 2021. (In Russ.)

9. Pak NI, Asaulenko EV, Grinberg GM, Myagkova EG, Khegay L. Digital environment of the department as a factor of future specialists' professional information culture formation. International Journal of Applied Exercise Physiology. 2020;9(2):164-173

10. Pak NI, Markovskaya IA, Narchuganov KN. Automated system of remote holding competitive and assessment procedures. Journal of Physics: Conference Series. 2020;1691(1):012156.

Размещено на allbest.ru