Теоретичні аспекти використання тестового контролю для проведення підсумкової атестації студентів ЗВО

Размещено на http://www.allbest.ru/

Теоретичні аспекти використання тестового контролю для проведення підсумкової атестації студентів ЗВО

Л.О. Кухар, О.О. Тарасенко

Анотація

Актуальність теми дослідження. Якісне оцінювання навчальних досягнень учасників освітнього процесу є запорукою формування цілісного освітнього середовища. Прийняття управлінських рішень в освіті потребує використання якісних інструментів вимірювання.

Постановка проблеми.

Важливим завданням, яке постало перед закладами вищої освіти - організація та проведення підсумкового контролю (екзаменів, підсумкової атестації) в умовах дистанційного навчання. Відповідно, питання розробки та впровадження валідних та надійних інструментів освітнього оцінювання є нагальною проблемою сучасної освіти.

Аналіз останніх досліджень і публікацій. Питання оцінювання у своїх працях розглядали В. Аванесов, Р. Беннет, І. Булах, К. Вайс, Д. Вейс, Е. Ведунг, Д. Долін, М. Євтух, О. Кілієвич, Н. Морзе, В. Ребкало, Ю. Полянський, В. Тертичка та ін.

Постановка завдання. Метою статті є аналіз застосування формувального та підсумкового оцінювання в навчальному процесі та опис можливості їх поєднання шляхом створення каліброваного банку тестових завдань.

Виклад основного матеріалу. Для створення якісного інструменту оцінювання варто дотримуватися усіх етапів його розробки (планування, конструювання тесту згідно плану, апробація, “вибраковка” неякісних завдань тощо).

Використання формувального оцінювання в навчальному процесі дає змогу реалізувати один із важливих етапів - апробацію, що дає змогу визначити статистичні показники якості тестових завдань (прокалібрувати їх), які в подальшому можна буде використати в підсумковому оцінюванні.

Правильне формування добірок тестових завдань для формувального оцінювання забезпечить їх урівню- вання та приведення до єдиних параметрів.

Оскільки проведення формувального та підсумкового оцінювання ми розглядаємо в межах однієї навчальної дисципліни, то в роботі наводимо опис процесу горизонтального урівнювання тестів за допомогою спільних тестових завдань.

Висновки. Наразі заклади вищої освіти змушені були організовувати проведення підсумкової атестації випускників з використання дистанційних форм, що в свою чергу ставить питання про якість інструментів оцінювання. Формування банку каліброваних тестових завдань, дає можливість на підсумковому тестуванні отримати надійні та валідні результати. Для його створення передбачається використання підходів сучасної теорії тестів.

Ключові слова: тестове завдання, тестування, банк тестових завдань, каліброване завдання, якірне завдання, процедура урівнювання, формувальне оцінювання, підсумкове оцінювання.

Abstract

THEORETICAL ASPECTS OF USING TEST CONTROL FOR CONDUCTING SUMMATIVE CERTIFICATION OF UNIVERSITY STUDENTS

Urgency of the research.

Evaluation of students' progress and achievements is very important factor in educational environment. Many decisions in educational process and educational policy require precise and accurate evaluation instruments.

Target setting. The essential task that is addressed to Ukrainian higher education institutions is the organization of summative assessment (for e.g. exams, module controls) in the context of distance learning. Thus, the development and implementation of valid and reliable instruments for educational assessment is a common problem for modern education.

Actual scientific researches and issues analysis. This problem and some similar problems were discussed by V. Avanesov, R. Bennet,

Bulah, C. Waiss, D. Weiss, E. Wedung, D. Dolin, M. Yevtuh, O. Kilievych, N. Morze, V. Rebkalo, Y. Pol'ansky, V. Tertychka and others.

The research objective. The main goal of the article is to analyze the using formative and summative assessment in educational process and to describe the possibility of their combination via the workflow for the item banking.

The statement of basic materials. For the development of a good evaluation instrument, persons who are involved in the process should follow all the recommended stages (planning, test specification, piloting, removing redundant items).

The using offormative assessment in education allows us to conduct such tire as piloting (approbation) that is intended to obtain the statistical parameters of test items, which can be used in a summative assessment.

Correct design of test forms for a formative assessment can provide sufficient capabilities for their equating and linking.

In this work we are focused only on evaluating just one construct, which is commonly related to only one subject in university curriculum. According to this reason we described a common items equating technique for test items preequating.

Conclusions. Last time higher education institutions have had to organize a remote final examination for graduated students that consequently raises an issue about the quality of this evaluation. Calibrated item banks can provide capabilities to improve this quality. Formative assessment for its part can be a good approach for creating an item bank.

Keywords: test task, testing, bank of test tasks, calibrated task, anchor task, equalization procedure, formative assessment, summative assessment.

Актуальність дослідження

Сучасне суспільство, у зв'язку зі стрімким розвитком науки та технологій, вимагає від здобувача освіти всебічного розвитку, формування фахових компетентностей, навчання впродовж життя. Важливою частиною неперервного освітнього процесу є якісне оцінювання навчальних досягнень та прогресу, оскільки воно дозволяє робити висновки та приймати рішення щодо актуальності та ефективності не лише конкретних методів і засобів навчання, а й освітньої політики зокрема.

Постановка проблеми. Важливим завданням, яке постало перед закладами вищої освіти - організація та проведення підсумкового контролю (екзаменів, підсумкової атестації) в умовах дистанційного навчання. Відповідно, питання розробки та впровадження валідних та надійних інструментів освітнього оцінювання є нагальною проблемою сучасної освіти.

Аналіз останніх досліджень і публікацій

Питання оцінювання у своїх працях розглядали В. Аванесов, Р. Беннет, І. Булах, К. Вайс, Д. Вейс, Е. Ведунг, Д. Долін, М. Євтух, О. Кілієвич, Н. Морзе, В. Ребкало, Ю. Полянський, В. Тертичка та ін.

Постановка завдання. Метою статті є аналіз застосування формувального та підсумкового оцінювання в навчальному процесі та опис можливості їх поєднання для створення каліброваного банку тестових завдань.

Виклад основного матеріалу дослідження. В сучасній дидактиці до основних видів контролю (оцінювання) відносять зовнішнє (стандартизоване, для України - система Зовнішнього незалежного оцінювання) та внутрішнє.

Видами оцінювання навчальних досягнень учнів згідно Наказу № 371 від 05.05.2008 р. “Про затвердження критеріїв оцінювання навчальних досягнень учнів у системі загальної середньої освіти” є “поточне, тематичне, семестрове, річне оцінювання та державна підсумкова атестація. В закладах вищої освіти застосовуються такі основні форми контролю навчальних досягнень студентів як вхідний контроль, контроль поточної роботи студентів, модульний контроль, рубіжний (міжсесійна атестація), підсумкова атестація: семестровий контроль (залік або екзамен), контроль залишкових знань (ректорський контроль) та державна атестація випускників” [1].

Проте, низка закордонних дослідників (Д. Долін, П. Блек, В. Гарлен, Р. Беннет), оцінювання навчальних досягнень поділяють на формувальні (formative) та підсумкові (summative) [11]. Формувальне оцінювання проводиться під час навчального процесу з метою отримання відомостей щодо прогресу учнів з подальшим формулюванням висновків щодо ефективності навчального процесу та успішності учнів. Підсумкове ж оцінювання, на їх думку, спрямоване на отримання відомостей про рівень засвоєння учнями певного курсу або предмету [11].

Тобто, формувальне оцінювання є допоміжним інструментом у процесі навчання, а підсумкове - засобом контролю та оцінки результатів навчання.

Результати формувального та підсумкового оцінювання можуть використовуватися як викладачами, так і студентами (учнями). У своїй роботі Р. Беннет [8] розглядає формувальне оцінювання як оцінювання для навчання, а підсумкове оцінювання - як оцінювання результатів навчання.

Для створення якісного інструменту оцінювання варто дотримуватися усіх етапів його розробки (планування, конструювання тесту згідно плану, апробація, “вибраковка” неякісних завдань тощо).

Апробація тут відіграє дуже важливу роль. В її процесі відбувається встановлення психометричних характеристик тестових завдань (складності, дискримінативності) виявляються завдання, які можуть погіршити надійність та валідність вимірювань.

Деякі науковці вважають формувальні оцінювання лише допоміжним засобом для апробації та підготовки підсумкового оцінювання, з чим Р. Беннет не погодився. Так чи інакше, у випадку проведення формувального оцінювання у формі тестування (наприклад, для самоконтролю) з подальшим використанням апробованих тестових завдань у підсумковому оцінюванні, це може розглядатися як апробація. Такий досвід використання формувального оцінювання описаний у роботі “Achieving Student Progress With Scientifically Based Formative Assessment” [7].

Обидва ці види оцінювання є важливими у навчальному процесі незважаючи на їх різне призначення. Н. Бучхольц, Н. Кросанке, А. Оршулік та К. Ворхольтер (N. Buchholts, N. Krosanke, A. Orschulik & K. Vorholter) описали результати поєднання формувального та підсумкового оцінювання на прикладі усних екзаменів учителів-інтернів. Одним із результатів дослідження було встановлено, що критерії оцінок з підсумкових оцінювань можуть досить ефективно, залежно від ситуації, використовуватись у формувальних оцінюваннях [9]. Виходячи з висновків цієї роботи можна припустити, що розгляд підсумкового оцінювання з точки зору формувального, крім оцінки рівня досягнень, може мати позитивний вплив на вивчення студентами конкретного предмету.

В системі вищої освіти України формувальне оцінювання використовується не дуже широко. Натомість, підсумкові оцінювання у формі тестування (як бланкового, так і комп'ютерного) є досить поширеними для тематичного та поточного контролю. Відповідно до системи оцінювання навчальних досягнень студентів, результуюча оцінка за певний курс є сумою оцінки його роботи протягом цього курсу (колоквіуми, модульний контроль) та екзаменаційної оцінки. Зміст підсумкового екзамену включає в себе увесь матеріал пройденого студентами курсу і, таким чином, є узагальненням усіх поточних оцінювань.

Можливою причиною обмеженого використання формувального оцінювання є наявність досить великої кількості поточних оцінювань студентів (лабораторні роботи, контрольні, колоквіуми і т.д.).

Оскільки одним із завдань формувального оцінювання є надання студентам (учням) відомостей щодо їх навчального прогресу, то одним з елементів поєднання обох видів оцінювання може бути надання відгуків з подальшим їх аналізом. Цей підхід цілком можна реалізувати, проводячи поточне оцінювання у формі тестового контролю.

Якщо розглядати поточне та формувальне оцінювання, як інструмент для апробації завдань для підсумкового оцінювання, то можна виділити наступні переваги такого підходу:

репрезентативність вибірки, можливість прогнозування підсумкової оцінки.

Варто також додати, що формувальне оцінювання у даному контексті, окрім апробації тестових завдань, направлене на покращення навчального процесу шляхом зворотного зв'язку із студентами через відгуки щодо результатів тестувань. Відповідно, їх використання може мати позитивний вплив на навчальний процес та рівень навчальних досягнень студентів. Загальновідомим фактом є те, що для розробки педагогічних тестів, які планують використовувати велику кількість разів, важливим фактором є створення, наповнення та адміністрування банку тестових завдань (Item bank, Item pool). Він є необхідною вимогою для апробації (пре-тестування) та калібрування тестових завдань. Зазвичай під цим поняттям розглядається набір тестових завдань зі змістовими (класифікатори за темами, розділами навчальної програми), когнітивними (таксономічний рівень, глибина знань), статистичними параметрами (показники складності, дискримінації, похибки) та певною структурою. У технічному плані це реалізується за допомогою бази даних, системи управління та інтерфейсу користувача. Таким чином створюється можливість для швидкого пошуку та добору тестових завдань, відповідно до мети та цілей тестування.

Калібрований банк тестових завдань - це набір тестових завдань з параметрами складності, які розташовані на одній шкалі вимірювань [14].

Тому, банк тестових завдань повинен містити лише завдання з визначеними статистичними показниками, які дозволяють проводити оцінювання. Одним з ключових припущень сучасної теорії тестів (Item Response Theory) є інваріантність рівня підготовки учасника тесту та складності тестового завдання (Humbletone, R.K., 1991) [13]. Іншими словами, ймовірність певного учасника надати правильну відповідь на завдання складністю 0 залежить від його рівня підготовки та значення 0. Припущення щодо інваріантності дає змогу здійснювати більш ефективне та точне урівнювання тестів, як за допомогою спільних завдань, так і за допомогою спільних груп учасників.

Припустимо, що є добірка А тестових завдань. Група учасників виконує завдання цієї добірки, після чого визначаються оцінки учасників та параметри завдань. Потім укладається добірка B, яка окрім нових завдань, містить певну кількість завдань з добірки A. Нова група учасників проходить тест з добірки B. Після цього оцінки учасників та параметри завдань обраховуються, використовуючи підстановку визначених у першому тесті параметрів спільних завдань як вихідні фіксовані значення, відповідно до яких обчислюються параметри завдань добірки B. Така процедура має назву урівнювання.

Урівнювання поділяють на горизонтальне (linking scaling) та вертикальне (vertical scaling). Горизонтальне вирівнювання можна використовувати з метою урівнювання завдань для тестованих, які, наприклад навчаються на одній паралелі в школі (на одному курсі у ЗВО). В свою чергу вертикальне урівнювання використовують для тестів, які використовуються в різних класах (різних курсах).

Опишемо процес горизонтального урівнювання тестів за допомогою спільних тестових завдань. Для цього, окрім спільних завдань для урівнювання необхідно використати так звані “якірні завдання”.

Якірні завдання - це тестові завдання з уже визначеними параметрами (складністю, дискримінацією, псевдо вгадуванням), які включаються у тест для його урівнювання та калібрування з використанням дизайну нееквівалентних груп (коли дві та більше груп учасників виконують різні добірки, які містять певну кількість спільних тестових завдань). При обчисленні параметрів нових завдань у добірках, використовується лінійна трансформація шкали відповідно до параметрів якірних завдань (при обчисленнях параметри цих завдань є фіксованими і незмінними) [14].

Рис.1. Приклади формування добірок із включенням якірних ТЗ та завдань для урівнювання (а, б - двох добірок; в,г - трьох добірок)

У результаті таких обчислень, параметри завдань з добірок A та B (добірок А, В, С) приводяться до однієї шкали вимірювань, а оцінки учасників цих тестувань є порівнюваними як всередині групи, так і між кількома групами. Як результат, можна стверджувати, що завдання з обох добірок є каліброваними [14]. Використання каліброваних завдань для подальших вимірювань дозволить здійснювати порівняння між собою абсолютно усіх учасників тестування.

До інших переваг використання банку тестових завдань можна віднести такі: навчальний тестовий калібрований

Можливість укладання паралельних тестових добірок (форм) з різних завдань, але однакової складності (дозволяє реалізувати концепцію доменної вибірки (“domain sampling”), яка є основою теорії надійності з точки зору класичної теорії тестування [17];

Порівняльний аналіз рівня підготовленості учасників, які проходили тест у різні роки (створює можливість для порівняння та оцінки ефективності навчання та рівня знань студентів у різні періоди часу);

Попереднє урівнювання характеристик тестових завдань (таблиця переведення “сирих” тестових балів у шкалу оцінок може визначатися до проведення самого тесту, тобто відразу після укладання добірок з тестовими завданнями) [14].

Основною особливістю попереднього урівнювання є те, що добірка тестових завдань формується з каліброваних завдань, які узяті з банку. Після чого до добірки включаються завдання, які не ще не були апробовані. Рівень підготовки учасників тесту визначається тільки тими завданнями, які були включені у добірку з банку. Після проведення параметризації нових завдань, останні додаються до банку з подальшим їх використанням (за умови, що вони є якісними).

На рисунку 2 наведена схема формування банку тестових завдань. Початковою та кінцевою точками є підсумкове оцінювання студентів.

Рис. 2. Етапи формування банку тестових завдань

Увесь процес є циклічним та складається з наступних кроків:

Підсумкове оцінювання.

Добір тестових завдань для калібрування наступних тестів.

Створення тестових добірок, які включають вибрані завдання та нові, які не проходили апробацію.

Проведення поточних оцінювань з використанням створених тестових добірок.

Опрацювання результатів, аналіз та параметризація завдань.

Включення апробованих та параметризованих завдань до банку.

Формування тесту для підсумкового оцінювання використовуючи завдання з банку.

Наведена схема не є новою. Вона широко використовується для наповнення та калібрування банків тестових завдань. Також деякі її варіації успішно використовуються при роботі з адаптивними тестами [18].

Адміністрування педагогічних тестів з використанням банку тестових завдань передбачає чотири складові усього робочого процесу:

Створення та рецензування завдань;

Проведення тестувань;

Статистичний аналіз результатів;

Адміністрування самого банку.

Принаймні три складові потребують відповідного технічного та програмного забезпечення для ефективної роботи із завданнями, проведенням тестів та аналізу результатів.

На сьогодні розроблена значна кількість програмних засобів для вирішення цих завдань. Прикладом є комерційні системи IrtPro та assess.ai, розроблені компанією Assess. Вони являють собою цілісні системи, які включають банк завдань, онлайн тестування та вбудований інструментарій для статистичного аналізу.

На практиці, подібні системи можуть собі дозволити не всі установи і тому, одним із варіантів є використання окремих інструментів для проведення тестів, банкінгу та аналізу результатів. Так, для створення банку завдань та проведення тестування можна скористатися можливостями освітньої веб-платформи Moodle та мовою програмування R з середовищем RStudio для опрацювання результатів проведених оцінювань.

Висновки і перспективи подальших розвідок

Отже, для створення каліброваного банку тестових завдань передбачається використання підходів сучасної теорії тестів. Реалії сьогодення вимагають від закладів вищої освіти використання дистанційних форм проведення підсумкової атестації випускників, що в свою чергу ставить питання про якість інструментів оцінювання. Тому, варто звернути увагу на формування банку каліброваних тестових завдань, що дасть можливість на підсумковому тестуванні отримати надійні та валідні результати.

Подальші дослідження будуть стосуватися аналізу та практичного використання платформи Moodle та мови програмування R для створення каліброваного банку тестових завдань.

Список використаних джерел

1. Головіна, О 2019. Оцінювання - це навичка і завжди діалог. Фінський досвід.

2. Євтух, М, Лузік, Е & Дибкова, Л 2010. Інноваційні методи оцінювання навчальних досягнень, Київ: КНЕУ.

3. Методичні рекомендації щодо формувального оцінювання учнів 2018. До листів МОН України від 18.05.2018 № 2.2-1250 та від 21.05.2018 № 2.2-1255.

4. Морзе, НВ, Барна, ОВ & Вембер, ВП 2013. `Формувальне оцінювання: від теорії до практики', Інформатика та інформаційні технології в навчальних закладах, № 6, с. 45-57.

5. Порядок організації і проведення контролю та оцінювання знань студентів Національного педагогічного університету імені М.П. Драгоманова, 2011.

6. Роміцина, ЛВ 2019. Формувальне оцінювання навчальних досягнень учнів з математики в Новій українській школі.

7. Achieving Student Progress With Scientifically Based Formative Assessment 2005.

8. Bennett, RE 2011. `Formative assessment: a critical review', Assessment in Education .-Principles, Policy & Practice, № 18, p. 5-25

9. Buchholtz, N, Krosanke, N, Orschulik, A & Vorhцlter, K 2018. `Combining and integrating formative and summative assessment in mathematics teacher education', ZDM: the international journal on mathematics education № 50 (1), p. 1-14.

10. Desjardins, CD & Bulut, O 2017. Handbook of Educational Measurement and Psychometrics Using R (1st ed.), CRC Press.

11. Dolin, J, Black, P, Harlen, W & Tiberghien, A 2018. `Exploring Relations Between Formative and Summative Assessment', in: J. Dolin & R. Evans (ed), Transforming Assessment, Cham, Switzerland: Springer International Publishing.

12. Dolin, J, Black, P, Harlen, W & Tiberghien, A 2018. `Exploring Relations Between

13. Formative and Summative Assessment', Transforming Assessment № 4, p. 5380.

14. Humbletone, RK, Swaminathan, H & Rogers, HJ 1991. Fundamentals of items response theory, Newbury Park, CA: Sage.

15. Kolen, M & Brennan, R 2004. Test Equating, Scaling, and Linking: Methods and Practices, New York: Springer.

16. Lam, R 2013. `Formative Use of Summative Tests: Using Test Preparation to Promote Performance and Self-Regulation', Asia-Pacific Edu Res, № 22, p. 69-78.

17. Rachel, V, Sudhamathy, G & Parthasarathy, M 2018. `Analytics on Moodle Data Using R Package for Enhanced Learning Management', International Journal of Applied Engineering Research, № 13, p. 15580-15610.

18. Weiss, DJ 2011. Item Banking, Test Development, and Test Delivery, Minneapolis: University of Minnesota.

19. Zheng, Y 2014. New methods of online calibration for item bank replenishment, University of Illinois at Urbana-Champaign.

References

1. Golovina, O 2019. Ocinyuvannya - ce navichka i zavzhdi dialog. Finskij dosvid (Evaluation is a skill and always a dialogue. Finnish experience).

2. Yevtuh, M, Luzik, E & Dibkova, L 2010. Innovacijni metodi ocinyuvannya navchalnih dosyagnen (Innovative methods of assessing academic achievement), Kiyiv: KNEU.

3. Metodichni rekomendaciyi shodo formuvalnogo ocinyuvannya uchniv (Methodical recommendations for formative assessment of students) 2018. Do listiv MON Ukrayini vid 18.05.2018 № 2.2-1250 ta vid 21.05.2018 № 2.2-1255.

4. Morze, NV, Barna, OV & Vember, VP 2013. `Formuvalne ocinyuvannya: vid teoriyi do praktiki (Formative assessment: from theory to practice)', Informatika ta informacijni tehnologiyi v navchalnih zakladah, № 6, s. 45-57.

5. Poryadok organizaciyi i provedennya kontrolyu ta ocinyuvannya znan studentiv Nacionalnogo pedagogichnogo universitetu imeni M.P. Dragomanova (The procedure for organizing and conducting control and assessment of knowledge of students of the National Pedagogical Dragomanov University), 2011.

6. Romicina, LV 2019. Formuvalne ocinyuvannya navchalnih dosyagnen uchniv z matematiki v Novij ukrayinskij shkoli (Formative assessment of students' academic achievements in mathematics in the New Ukrainian School).

7. Achieving Student Progress With Scientifically Based Formative Assessment 2005.

8. Bennett, RE 2011. `Formative assessment: a critical review', Assessment in Education .-Principles, Policy & Practice, № 18, p. 5-25

9. Buchholtz, N, Krosanke, N, Orschulik, A & Vorhцlter, K 2018. `Combining and integrating formative and summative assessment in mathematics teacher education', ZDM: the international journal on mathematics education № 50 (1), p. 1-14.

10. Desjardins, CD & Bulut, O 2017. Handbook of Educational Measurement and Psychometrics Using R (1st ed.), CRC Press.

11. Dolin, J, Black, P, Harlen, W & Tiberghien, A 2018. `Exploring Relations Between Formative and Summative Assessment', in: J. Dolin & R. Evans (ed), Transforming Assessment, Cham, Switzerland: Springer International Publishing.

12. Dolin, J, Black, P, Harlen, W & Tiberghien, A 2018. `Exploring Relations Between Formative and Summative Assessment', Transforming Assessment № 4, p. 5380.

13. Humbletone, RK, Swaminathan, H & Rogers, HJ 1991. Fundamentals of items response theory, Newbury Park, CA: Sage.

14. Kolen, M & Brennan, R 2004. Test Equating, Scaling, and Linking: Methods and Practices, New York: Springer.

15. Lam, R 2013. `Formative Use of Summative Tests: Using Test Preparation to

16. Promote Performance and Self-Regulation', Asia-Pacific Edu Res, № 22, p. 6978.

17. _Tests_Using_Test_Preparation_to_Promote_Performance_and_Self- Regulations [10 December 2020].

18. Rachel, V, Sudhamathy, G & Parthasarathy, M 2018. `Analytics on Moodle Data Using R Package for Enhanced Learning Management', International Journal of Applied Engineering Research, № 13, p. 15580-15610.

19. Weiss, DJ 2011. Item Banking, Test Development, and Test Delivery, Minneapolis: University of Minnesota.

20. Zheng, Y 2014. New methods of online calibration for item bank replenishment, University of Illinois at Urbana-Champaign.

Размещено на Allbest.ru