Системний підхід до оцінки якості знань у формі комп’ютерного тестування

у формі комп'ютерного тестування

У статті розглянуто реалізацію системного підходу до організації процесу тестування для забезпечення якісного контролю знань студентів. Проведено огляд онлайн сервісів, призначених для формування банку завдань та організації тестового контролю знань. Вперше запропонована структура пакету тестових завдань для контролю знань, яка узгоджена зі шкалою ECTS. Використовуючи онлайн систему тестування «Online Test Pad», проведено апробацію запропонованої методики організації процесу тестування на прикладі організації контролю знань з дисципліни «Алгоритмізація та програмування».

Ключові слова: тести, типи тестових завдань, диференційована оцінка, онлайн система тестування.

В статье рассмотрено реализацию системного подхода к организации процесса тестирования для обеспечения качественного контроля знаний студентов. Проведен обзор онлайн сервисов, предназначенных для формирования банка заданий и организации тестового контроля знаний. Впервые предложена структура пакета тестовых заданий для контроля знаний, которая согласована со шкалой ECTS. Используя онлайн систему тестирования «Online Test Pad», проведена апробация предложенной методики организации процесса тестирования на примере организации контроля знаний по дисциплине «Алгоритмизация и программирование».

Ключевые слова: тесты, типы тестовых заданий, дифференцированная оценка, онлайн система тестирования.

Article is devoted to the unified development of the methodical approach to generate tests for qualitative monitoring of students knowledge from all forms of learning. The review of online services designed to form a bank of tasks and knowledge testing. In article the structure of the package tests for control knowledge which agreed with the scale of ECTS first proposed. Using online testing system «Online Test Pad», conducted testing of the proposed method of forming a package of tests on the example of the organization of the control of knowledge with subject «Algorithms And Programming».

Key words: Tests, Types of Tests, Differentiated Evaluation, Online Testing System.

За нинішніх умов організації навчального процесу, що передбачають систематичний контроль знань, виникає потреба автоматизації процесу контролю знань за рахунок використання відповідного програмного забезпечення. Як неодноразово відзначалося дослідниками, комп'ютерне тестування - це ефективний спосіб перевірки знань [1-4]. Однією з переваг комп'ютерного тестування є можливість організації контролю без обмеження його періодичності, забезпечуючи миттєве отримання достовірних результатів контролю відразу після закінчення процесу тестування. Від традиційного контролю знань тести відрізняються об'єктивністю вимірювання результатів навчання, оскільки вони спираються не на суб'єктивну думку викладачів, а на об'єктивні критерії. До того ж, результати автоматизованого тестування краще піддаються аналізу.

Перевагами вимірювання та формалізованого оцінювання знань з використанням комп'ютерних систем тестування є: можливість автоматизації контролю знань і оцінювання результатів тестування; зручність підготовки тестів; велика кількість запитань, якими можна охопити дисципліну в цілому; довільна тривалість тестування; інтеграція систем тестування з відокремленими базами даних тощо. Тому, важливу роль при організації проведення комп'ютерного тестування відіграє вибір програмного забезпечення як для формування банку тестових завдань, так і для реалізації процедури тестування. Нині стрімкого розвитку та поширення набувають онлайн сервіси, до явних переваг використання яких спонукають користувачів їх мобільність, кросплатформенність та можливість миттєвого використання. онлайн комп'ютерний тестування студент

Метою роботи є реалізація системного підходу до оцінки якості знань у формі комп'ютерного тестування.

Питання теорії оцінки якості знань у формі комп'ютерного тестування, структури і форм тестових завдань, алгоритмів обробки результатів тестування та їх інтерпретації досліджено в працях В. С. Аванесова, І. Алексейчук, Ю. М. Богачкова, В. Бочарникова, Я. С. Бродського, І. Є. Булах, А. Н. Землякова, Ю. І. Іванова, К. Інгенкампа, Дж. Равена, Н. Тализіна, Н. Шиян та ін. [4-7].

Системний підхід до організації комп'ютерного тестування.

Виділимо основні етапи системного підходу до організації комп'ютерного тестування:

1. Підготовчий етап.

* На матеріалах навчально-методичного комплексу дисципліни сформувати систему контролю знань: кількість контрольних заходів, форми контролю, шкала оцінювання.

• Відповідно до системи контролю знань розробити пакети завдань та питань: теоретичні питання, практичні завдання (різнорівневі), тестові завдання (деталі формування пакету тестових завдань розглянуті нижче).

• Відповідно до розробленого пакету завдань сформувати базу тестових завдань для самопідготовки (деталі формування пакету тестових завдань для самопідготовки розглянуті нижче).

2. Уточнюючий етап. Уточнюється методика контролю, склад тестових завдань, здійснюється попередній розрахунок показників і параметрів контролю.

На уточнюючому етапі необхідно здійснити наступні кроки:

• Апробація тесту викладачем-розробником у формі самоперевірки на виявлення технічних, синтаксичних помилок.

• Уточнення розробленої системи тестових завдань групою експертів (наприклад, методом Дельфі).

Дельфійський метод полягає в проведенні незалежного і неодноразового анкетування експертів. Як експертів пропонується залучити членів навчально-методичної ради відповідного напряму підготовки. Перша анкета містить загальні питання. Після заповнення експертами анкет, вони повертаються розробникам тесту і обробляються. На основі результатів першої анкети формується друга. У ній експерти ранжують окремі елементи, відображають згоду або незгоду з оцінкою параметрів тестового завдання розробниками. На основі результатів другого анкетування складається третя анкета. Експерти розглядають їх попередні відповіді на фоні колективної думки. Третє анкетування є заключним.

3. Етап організації контролю знань в студентських групах. Після проведення тестування, обробити результати тестування та розрахувати наступні параметри:

- коефіцієнт складності завдання Кс (відношення кількості студентів, які не вирішили відповідне завдання, до загального числа студентів групи). На даному етапі необхідно переглянути та доопрацювати занадто прості тестові завдання (значення Кс близьке до нуля) і складні (значення Кс близьке до одиниці);

- дискримінаційний індекс. Значення дискримінаційного індексу лежить в діапазоні між (-1ч+1). У випадку від'ємного значення слід відбракувати завдання, оскільки від'ємне значення дискримінаційного індексу означає, що на дане питання тесту слабкі студенти відповідають краще, ніж сильні;

- дискримінаційний коефіцієнт - показник, що дозволяє оцінити якість питання. Він являє собою коефіцієнт кореляції між балами, отриманими тестованим студентом з конкретного завдання, і його загальною оцінкою за проходження всього тесту. Від'ємне значення дискримінаційного коефіцієнта свідчить про некоректність аналізованого питання з точки зору правильності оцінки рівня засвоєння навчального матеріалу.

Визначимо основні положення пропонованого підходу до формування пакету тестових завдань:

1. Спочатку рекомендується визначити модель знань студента.

2. Вкрай необхідно, щоб при побудові пакету тестових завдань виконувалися загальні вимоги до побудови педагогічних тестів та відомі чотири складові якості тестів [8].

3. Форма подання тестових завдань має бути різноманітною, різнорівневою та враховувати можливість їх використання для різних видів контролю поточного стану знань студента: вхідного, поточного (самоконтролю та модульного контролю) та підсумкового.

4. При розробці пакету тестових завдань повинні використовуватися вікові нормативи та інші стандарти, оформлені документально.

5. Обов'язковим є застосування принципів змістової валідності. Валідність за змістом вважається врахованою, якщо 70 % змісту курсу передбачає наявність фактичних знань, то, відповідно, 70 % тестових завдань повинні перевіряти саме фактичні знання.

Рекомендується використовувати п'ятикомпонентну модель знань студента. Така модель має враховувати поділ знань на декларативні та процедурні.

Зміст пакету тестових завдань повинен повністю відповідати меті його створення, а також документам, що визначають зміст навчальної дисципліни.

Для врахування якості тестів розглянемо кожну складову окремо.

Інтелектуальна складова якості тестів включає:

• повноту охоплення тестовими запитаннями усіх положень навчального курсу;

• кількість помилок (логічних, мовленнєвих) у формулюваннях запитань та відповідей;

• охоплення запитаннями рівнів освоєння дисципліни: володіння термінологією, розуміння законів, вирішення практичних завдань.

Для її врахування необхідно:

• ставити запитання до кожного положення лекційного матеріалу;

• перед запровадженням тестів у використання потрібно провести їх апробацію;

• будувати запитання на знання термінології, законів, вміння розв'язувати практичні завдання.

Статистична складова якості тестів дає можливість врахувати ймовірність випадкового попадання на правильні варіанти відповідей: наприклад, при 10 запитаннях типу «Одна відповідь з багатьох» з 5-ма варіантами відповідей, з яких одна правильна, у 2-х запитаннях можна випадково попасти на правильні відповіді. Для врахування статистичної складової якості тестів необхідно застосовувати у тестах не менше чотирьох-п'яти варіантів відповідей; використовувати типи запитань «багато з багатьох», «впорядкування», «відповідність» та «відкрите запитання»; враховувати ймовірність випадкового попадання на правильну відповідь, встановивши нижній прохідний результат на рівні не менше 60% від максимально можливого. Наприклад:

1. Як оголосити макрос, який замінює SIZE на значення 5 на етапі прекомпіляци? Завдання на 1 бал, базовий рівень, розділ «Елементи мови Сі». o #define SIZE = 5 o #define SIZE 5 o const SIZE = 5; o #const SIZE 5 o define SIZE 5

2. У яких рядках коду містяться помилки? Завдання на 3 бали, високий рівень, розділ «Типи даних в Сі».

Психологічна складова якості тестів враховує повтор термінів у формулюваннях запитання та правильних відповідей; легкість формального запам'ятовування правильних відповідей. Тому пакет тестових завдань на модуль повинен перевищувати 100 запитань (а вибірка для кожного студента - близько 25 запитань); при формулюванні неправильних відповідей слід вживати «правильні» фрази. Наприклад:

1. Яким кодом можна замінити постфіксний інкремент в рядку 1?

#include <stdio.h> main() { int a = 1; int b = 2;

int * array[] = { &a, &b }; int ** pp = array;

(*++pp)++; // 1 }

o a+=1;

o b+=1;

o array[0]+=1;

o array[1]+=1;

o pp+=1;

Дисциплінарно-організаційна складова дозволяє врахувати можливість списування та підказок. Тому обов'язковим має бути встановлення ліміту часу на здачу тесту (<1 хв на просте запитання).

В існуючих комп'ютерних системах тестування необхідно використовувати якомога більшу кількість запитань різних типів [9]:

• з вибором одного варіанту відповіді;

• з множинним вибором;

• на встановлення відповідності;

• на встановлення послідовності;

• на ранжування;

• на доповнення (з закритою та відкритою відповіддю);

• на роботу з графічним зображенням.

Це дозволить адекватно оцінити стан знань студента і відповідно встановити рівень його компетентності відповідно до вимог однієї з головних складових освітнього стандарту - освітньо-професійної програми підготовки фахівця при використанні різних видів контролю, які проводяться з метою:

• вхідного контролю - для визначення рівня підготовки студентів з тих дисциплін, які вивчалися перед вивченням певної дисципліни, або загального рівня підготовки студентів за попередній період навчання;

• поточного контролю - для визначення поточного рівня підготовки студентів та оцінки засвоєння навчального матеріалу, запланованого на самостійне опрацювання;

• підсумкового контролю - для визначення рівня засвоєння студентом теоретичного та практичного матеріалу з окремої навчальної дисципліни.

Значні труднощі у вітчизняних педагогів викликає питання ранжу- вання тестових завдань підсумкового контролю за рівнями складності та їх відповідності параметрам, заявленим у відповідному освітньому стандарті. Подібних труднощів можна уникнути, якщо дотримуватися наступних правил:

1. Тестові завдання слід розділити на три категорії, кожна з яких визначає певний рівень знань з вибраної дисципліни: достатній, середній або високий.

2. Дотримуватися рекомендацій Міністерства освіти і науки України щодо підсумкового оцінювання знань.

3. Узгодити структуру оцінювання з вимогами кредитно-модульної системи організації навчального процесу (КМСОНП), яка ґрунтується на поєднанні модульної організації навчального процесу та вимірі навчального навантаження студентів в кредитах європейської кредитно- трансферної та акумулюючої системи ЕСТS. Система ECTS класифікує студентів по рівням знань і таким чином робить інтерпретацію ранжирування більш простою. Використовуючи шкалу ECTS для забезпечення перевірки рівня знань, необхідно при формуванні пакета тестових завдань (як і вибірки) використовувати завдання різних рівнів. Для цього пакет завдань пропонується розбити на три групи:

• 60 % - завдання достатнього рівня, які оцінюються в 2 % кожне завдання від загальної суми, рівної 100 % (рівень DE);

• 25 % - завдання середнього рівня, які оцінюються в 6 % кожне завдання від загальної суми, рівної 100 % (рівень ВС);

• 15 % - завдання високого рівня, які оцінюються в 10 % кожне завдання від загальної суми, рівної 100 % (рівень А).

Наприклад, якщо вибірка містить 40 тестових запитань, то з них 24 запитання має бути по 1 балу кожне, 10 - по 3 бали кожне, 6 - по 5 балів кожне.

Основні результати досліджень. Для підготовки студентів до тестування сформована база тестових завдань для самопідготовки. При формуванні бази проведено огляд онлайн сервісів, призначених для організації тестового контролю знань.

Онлайн сервіси організації тестового контролю знань розділимо на дві категорії:

1. Сервіси, що передбачають формування власного банку тестових завдань;

2. Системи з вільно доступним банком тестових завдань.

У таблиці 1 подано огляд найпопулярніших онлайн сервісів для формування тестів і вправ та організації різних видів контролю (попереднього, поточного, тематичного, періодичного, підсумкового, самоконтролю), які умовно можна віднести до першої категорії.

Таблиця 2 містить низку сервісів другої категорії, які дають можливість сформувати для широкого кола навчальних дисциплін, що стосуються програмування, банк завдань для забезпечення різних видів контролю.

Таблиця 1