Перевірка статистичної значущості результатів педагогічного експерименту щодо розвитку діагностичної компетентності викладачів іноземних мов вищих військових навчальних закладів із використанням методів машинного навчання

Размещено на http://www.allbest.ru/

Національний університет оборони України

ПЕРЕВІРКА СТАТИСТИЧНОЇ ЗНАЧУЩОСТІ РЕЗУЛЬТАТІВ ПЕДАГОГІЧНОГО ЕКСПЕРИМЕНТУ ЩОДО РОЗВИТКУ ДІАГНОСТИЧНОЇ КОМПЕТЕНТНОСТІ ВИКЛАДАЧІВ ІНОЗЕМНИХ МОВ ВИЩИХ ВІЙСЬКОВИХ НАВЧАЛЬНИХ ЗАКЛАДІВ ІЗ ВИКОРИСТАННЯМ МЕТОДІВ МАШИНОГО НАВЧАННЯ

Грищук Юлія Володимирівна ад'юнкт наукового центру

мовного тестування навчально-наукового центру іноземних мов

Миколайчук Роман Антонович доктор технічних наук,

доцент кафедри інформаційно-аналітичних технологій

м. Київ

Анотація

діагностичний компетентність військовий іноземний

Наукова стаття присвячена дослідженню та порівнянню різних методів машинного навчання, таких як Agglomerative Clustering, DBSCAN, Gaussian Mixture Model, та K-Means, для оцінки статистичної значущості результатів педагогічного експерименту щодо розвитку діагностичної компетентності викладачів іноземних мов вищих військових навчальних закладів. Дослідження проводились за допомогою об'єктноорієнтованої, високорівневої мови програмування Python та інтерактивного середовище Jupyter Notebook для запису, передачі й запуску коду, які були використані для кластеризації даних і оцінки точності з використанням методів кластеризації. Було виявлено, що кластерний метод GMM можна успішно застосовувати до результатів експерименту з метою виявлення групи об'єктів, які мають подібні характеристики або показники. З метою забезпечення об'єктивності, точності, якості кластерного аналізу та ґрунтовного й всебічного розуміння отриманих результатів, було застосовано декілька метрик, як-от: Adjusted Rand Index (ARI), Fowlkes-Mallows Index (FMI) і Silhouette Coefficient (індекс силуету). Застосування t-тетсу, уможливило визначити значення p-value, які були наближені до нуля, що засвідчило статистично значущу різницю в середніх значеннях між кластерами, підтверджуючи статистичну значущість педагогічного експерименту щодо розвитку діагностичної компетентності викладачів іноземних мов ВВНЗ.

Кластерний аналіз дозволив виявити групи об'єктів зі схожими характеристиками або показниками, що відображають ефективність педагогічного експерименту та його вплив на розвиток діагностичної компетентності у викладачів іноземних мов ВВНЗ. Після статистичного опрацювання експериментальних даних було підтверджено значущість результатів розвитку діагностичної компетентності викладачів іноземних мов у вищих військових навчальних закладах.

Ключові слова: машинне навчання, професійна компетентність, педагогічне діагностування, змішане навчання, штучний інтелект, вищий військовий навчальний заклад, іншомовна компетентність, система, якість іншомовної підготовки, оцінювання, адаптивність.

Annotation

Hryshchuk Yuliia Volodymyrivna PhD military student of the Language Testing and Research Centre of the Foreign Languages and Education and Research Centre of the National Defence University of Ukraine, Language Testing and Research Centre of the Foreign Languages and Education and Research Centre, Kyiv

Mykolaichuk Roman Antonovych Doctor of Technical Sciences, associate professor Department of Information and Analytical Technologies", National Defence University of Ukraine, Kyiv

VERIFICATION OF THE STATISTICAL SIGNIFICANCE OF THE RESULTS OF A PEDAGOGICAL EXPERIMENT ON THE DEVELOPMENT OF DIAGNOSTIC COMPETENCE OF TEACHERS OF FOREIGN LANGUAGES AT HIGHER MILITARY EDUCATIONAL INSTITUTIONS USING MACHINE LEARNING METHODS

This scientific article is devoted to the investigation and comparison of various machine learning methods, such as Agglomerative Clustering, DBSCAN, Gaussian Mixture Model, and K-Means, for assessing the statistical significance of the results of a pedagogical experiment on the development of diagnostic competence of foreign language teachers at higher military educational institutions. The research was conducted using Python - the object-oriented, highlevel programming language and the Jupyter Notebook - interactive environment for code recording, transmission, and running, which were utilized for data clustering and accuracy evaluation using clustering methods. It was found that the GMM clustering method can be successfully applied to the experiment's results for identifying groups of objects with similar characteristics or indicators. In order to ensure objectivity, accuracy, quality of the clustering analysis, and comprehensive understanding of the obtained results, the following metrics were applied, such as Adjusted Rand Index (ARI), Fowlkes-Mallows Index (FMI), and Silhouette Coefficient. The use of the t-test enabled the determination of p-value that were approximated to zero, indicating a statistically significant difference in the mean values between clusters, confirming the statistical significance of the pedagogical experiment on the development of diagnostic competence of foreign language instructors at higher military educational institutions.

The clustering analysis allowed identifying groups of objects with similar characteristics or indicators, reflecting the effectiveness of the pedagogical experiment and its impact on the development of diagnostic competence of foreign language instructors at higher military educational institutions. After the statistical processing of the experimental data, the significance of the results on the development of diagnostic competence of foreign language teachers at higher military educational institutions was confirmed.

Keywords: machine learning, professional competence, pedagogical diagnosis, blended learning, artificial intelligence, higher education institution, foreign language competence, system, quality of foreign language training, assessment, adaptability.

Постановка проблеми

Педагогічний експеримент є невід'ємною складовою сучасного дослідницького підходу у галузі освіти та педагогічної практики. Впровадження нових методик, технологій та інновацій у навчальний процес вимагає належного наукового обґрунтування та оцінки їх ефективності. Одним із ключових аспектів такої оцінки є визначення статистичної значущості отриманих результатів.

Традиційні статистичні методи виявлення статистичної значущості, такі як t-тест та аналіз дисперсії (ANOVA), використовуються дослідниками десятиліттями. Однак, внаслідок зростання обсягу даних та збільшенням складності дослідницьких завдань, ці традиційні підходи можуть бути недостатньо ефективними. У зв'язку з цим, в останні роки виникла потреба у застосуванні методів машинного навчання для вирішення завдань оцінки статистичної значущості в педагогічних експериментах. Машинне навчання - це сучасна галузь штучного інтелекту, яка дозволяє автоматично виявляти закономірності та залежності у великих обсягах даних без необхідності формулювання жорстких апріорних припущень [5; 10].

Застосування методів машинного навчання в контексті статистичної значущості дозволить отримати більш об'єктивні та точні результати, а також зробить процес аналізу ефективнішим та менш витратним з точки зору часу та ресурсів. Окрім того підсумкові висновки даного дослідження допоможуть науковцям та педагогам зрозуміти можливості та обмеження використання методів машинного навчання для оцінки статистичної значущості в контексті будь -яких педагогічних досліджень. З метою перевірки ефективності педагогічної моделі розвитку діагностичної компетентності викладачів іноземних мов вищих військових навчальних закладів (далі - ВВНЗ) було організовано педагогічний експеримент, який проводився у три етапи:

На пошуково-констатувальному етапі було теоретично проаналізовано та систематизовано наукові джерела, визначено поняттєво-категоріальний апарат, основне теоретичне та методологічне підґрунтя дослідження, обєкт, предмет, мету завдання й гіпотезу дослідження, з ясовано сучасний стан розвиненості діагностичної компетентності викладачів іноземних мов ВВНЗ, здійснено педагогічне моделювання розвитку діагностичної компетентності викладачів іноземних мов ВВНЗ з розробленням авторської методики адаптивного навчання, визначено й розроблено критерії, показники, методики її діагностуванням, сформовано контрольну групу (далі - КГ) та експериментальну групу (далі - ЕГ).

На формувальному етапі було здійснено експериментальну перевірку ефективності педагогічного моделювання розвитку діагностичної компетентності викладачів іноземних мов ВВНЗ з опрацюванням отриманих результатів та визначенням рівнів їхньої розвиненості.

Завершальний етап передбачав статистичне опрацювання експериментальних даних з метою доведення значущості отриманих результатів, а також їх узагальнення та систематизацію.

Аналіз наукових джерел та публікацій

Іеоретико-методологічні основи компетентнісного підходу в педагогічній науці досліджували українські (А. Вітченко, М. Головань, О. Діденко, І. Драч, О. Дубасенюк, Л. А. Зельницький, І. Зязюн, Н. Ничкало, О. Овчарук, Л. Олійник, В. Осьодло, O. Пометун, О. Федоренко, І. Чистовська, Н. Шалигіна, В. Ягупов) та іноземні (Л. Дарлінг-Гаммонд (L. Darling-Hammond), С. Моншатр (S. Monchatre) та P. Арпан (R. Arpin), К. Шовіне (C. Chauvigne) та Ж.-К. Куле (J.-C. Coulet) науковці; питання професійної компетентності у вищу військову школу віднайшли своє відображення у працях М. Арістархової, І. Бєлікова, Л. Заїки, Н. Замотаєвої, В. Киви, В. Крикун, Д. Погребняка, О. Рибчука, В. Скрипнікової; сутність педагогічної діагностики розкривають К. Інгенкамп, І. Є. Булах, В. М. Галузяк, І. Я. Лернер, Л. Ортинський, І.Підласий; формування та розвиток діагностичної компетентності фахівців вивчали Г. Гац, О. Застело, О. Лагодинський, І. Плохута, О. Дубровська, А. Келава, С. Брудера, Ю. Клюг, Б. Шмітц, С. Мартиненко, К. Спіел, A. Оле, Н. Макевані; статистичні методи машинного навчання у своїх наукових розвідках вивчали такі українські вчені, як-от: О. Власенко, Є Гришкун, С. Кравченко, а також зарубіжні наковці серед яких Й. Байєр (J. Bayer), Г. Вароксо (G. Varoquaux), Д. Віерстра (D. Wierstra), А. Грамфорт (A. Gramfort), Ф. Джером (F. Jerome), Е. Егер (E. Eger), Ф. Зенке (F. Sehnke), С. Керібін (C. Keribin), В. Мішель (V. Michel), Ф. Педрегоса (F. Pedregosa), Т. Роберт (T. Robert), А. В. Рохлін (A, V. Rokhlin), Т. Рукстісс (t. RuckstieB), А. Слам (A. Szlam), Й. Сун (Y. Sun), М. Тайгерт (M. Tygert), Б. Тіріон (B. Thirion), Г. Тревор (H. Trevor), М. Фелдер (M. Felder), Т. Шауль (T. Schaul).

Метою даного дослідження є перевірка статистичної значущості результатів педагогічного експерименту щодо розвитку діагностичної компетентності викладачів іноземних мов ВВНЗ. Завдання дослідження: 1. Підбір необхідного статистичного методу опрацювання отриманих експериментальних даних. 2. Статистичне опрацювання експериментальних даних з метою доведення значущості результатів розвиненості діагностичної компетентності викладачів іноземних мов ВВНЗ.

Виклад основного матеріалу

Відповідно до мети дослідження для оцінки статистичної значущості педагогічного експерименту необхідно було за допомогою методів машинного навчання розділити учасників експерименту (КГ та ЕГ) на дві групи, а потім порівняти такий розподіл зі складом КГ та ЕГ. Дана задача стосується класу завдань кластерізації, що дозволяє отримати групи об'єктів з подібними характеристиками (кластери). Різні методи кластеризації, згадані в нашій статті (Agglomerative Clustering, DBSCAN, Gaussian Mixture Model, та K-Means) (Таблиця 1) [3; 4; 8;], можуть бути застосовані до результатів експерименту. Якщо використання методів кластеризації допоможе здійснити розділення учасників на кластери, які будуть максимально наближені до складу КГ та ЕГ різні групи згідно з їхніми характеристиками, можна буде стверджувати про відмінність результатів експерименту для кожної з цих груп та відповідно статистичну значущість цих результатів. Варто зазначити, що кластерний (англ. cluster - нагромадження) аналіз (кластеризація) - це такий метод класифікації, який передбачає поділ вихідної сукупності об'єктів на класи з подібними властивостями - кластери - група об'єктів, яка характеризується загальною властивістю (щільністю, дисперсією, розміром тощо) [11].

Метою педагогічного експерименту було підтвердження ефективності педагогічної моделі розвитку діагностичної компетентності викладачів іноземних мов ВВНЗ. Варто зазначити, що діагностичну компетентність викладачів іноземних мов ВВНЗ розглядаємо як “професійно важливе утворення, яке є сукупністю знань, вмінь, навичок, ціннісних орієнтацій, мотивів, способів діяльності у сфері діагностування розвитку іншомовної професійної компетентності військовослужбовців (офіцерів, курсантів) і містить професійно важливі якості педагога-діагноста, що відображають його практичну здатність і психологічну готовність до діагностичної діяльності” [7 c.].

Компонентами діагностичної компетентності викладачів іноземних мов ВВНЗ є: ціннісно-мотиваційний, когнітивний, діяльнісний, суб'єктний, індивідуально-психічний. На основі обґрунтування здійснених досліджень та вивчення літературних джерел, були визначені наступні критерії вимірювання розвитку діагностичної компетентності викладачів іноземних мов ВВНЗ: ціннісно-мотиваційний, інтелектуальний, праксеологічний, рефлексивний, психологічний.

З огляду на зазначені критерії розвитку діагностичної компетентності критерію, виокремлено та запропоновано систему конкретних показників, які допомагають краще розуміти та оцінити необхідні властивості досліджуваного об'єкта, його компонентного складу та, відповідно, рівень розвитку діагностичної компетентності викладачів іноземних мов ВВНЗ: (1) цінності щодо діагностичної діяльності, (2) мотивація щодо діагностичної дільності (ціннісно-мотиваційний критерій); (3) фахові діагностичні знання, (4) практичні знання щодо діагностування рівня розвниненості ІПК військовослужбовців (офіцерів, курсантів), (5) методичні знання методів, прийомів, методик, засобів діагностування (знаннєвий); (6) вміння та навички діагностувати рівень ІПК військовослужбовців (офіцерів, курсантів), (7) вміння та навички щодо застосування методів, методичних прийомів, діагностичних методик, (8) методичні навички та вміння застосовувати діагностичні засоби (праксеологічний критерій); (9) професійна суб'єктність, (10) рефлексивність (рефлексивний критерій), (11) критичне мислення, (12) об'єктивність, (13) комунікабельність, (14) толерантність, (15) організованість (психологічний критерій).

Підготовка до кластеризації полягала у створенні загального набору данихрезультатів оцінювання усіх учасників педагогічного експерименту, а саме - 25 викладачів іноземних мов ВВНЗ із КГ та 24 - з ЕГ з визначеними показниками на початку та наприкінці педагогічного експерименту. У зв'язку з невеликою кількістю учасників, необхідно було зменшити кількість змінних кластеризації. Для цього, по-перше, було визначено відносний приріст кожного показника (відношення значення приросту показника до його початкового значення) після формувального етапу педагогічного експерименту КГ (Таблиця 2) та ЕГ (Таблиця 3) та знайдено сумарний відносний приріст. Подруге, знайдено значення відносного прогресу учасників, як відношення сумарного відносного приросту до початкових результатів учасників педагогічного експерименту. Отримані два значення були використані для створення набору даних для проведення кластерного аналізу (Таблиця 4).

Таблиця 1

Алгоритми кластеризації