Опрацювання та інтерпретація результатів тестування засобами електронних таблиць Microsoft Excel

Размещено на http://www.allbest.ru/

Інститут педагогіки НАПН України

Опрацювання та інтерпретація результатів тестування засобами електронних таблиць Microsoft Excel

С.О. Науменко

Постановка проблеми. На сучасному етапі розвитку освіти широко застосовуються тестові технології (тести). їх використовують для визначення рівнів навчальних досягнень і рівнів компетентностей учнів та студентів. Проте тестування передбачає не тільки підрахунок індивідуальних балів тестованих (учнів, студентів) (опрацювання даних), а й інтерпретацію результатів тестування математично-статистичними методами. Цими методами перевіряють відповідність тестових завдань показникам їх якості (надійність, валідність тощо), що забезпечує об'єктивний характер оцінювання, порівнянність результатів і можливість повторного оцінювання.

Поряд із тестами використовуються системи завдань у тестовій формі, які зовні дуже схожі на тести, проте мають свої особливості.

Аналіз актуальних досліджень. Методику створення тестів, опрацювання й оцінювання результатів тестування висвітлено в працях О. Адаменко; Т. Баєвої, С. Бекасової, В. Чистякова; Н.Е. Гронлунда; Н. Єфремової; Л. Паращенко, В. Леонського, Г. Леонської; Н. Самилкиної та ін. Процедуру опрацювання й інтерпретації результатів тестування засобами електронних таблиць Microsoft Excel описано в працях Л. Кухар, В. Сергієнка [5]; Л. Ярощук [9] та _н.. Над створенням і використанням систем завдань у тестовій формі працювали В. Аванесов [1; 2; 3];

С. Альмухамбетова, К. Нуртаєва [4]; М. Олійник, Ю. Романенко [6]; Л. Плетньова [7], М. Шабарова [8]. Ці дослідники розробили авторські системи завдань у тестовій формі з англійської та української мов, молекулярної біології і генетики та експериментально перевірили їх ефективність.

Мета статті - на основі авторської ланцюгової системи завдань у тестовій формі покроково описати процедуру опрацювання та інтерпретації результатів тестування засобами електронних таблиць Microsoft Excel.

Виклад основного матеріалу. Поняття «система завдань у тестовій формі» в науковий обіг увів В. Аванесов. У своїх працях «Композиція тестових завдань» (2002) [1], «Теорія та методика педагогічних вимірювань» [2], «Форма тестових завдань» (2005) [3] він дав визначення цього поняття, виокремив їх чотири види й розробив авторські системи завдань у тестовій формі з різних предметів (малювання, музики, медицини, російської мови тощо) для учнів і студентів.

За В. Аванесовим, система завдань у тестовій формі - це «змістова система, що охоплює взаємопов'язані елементи знань» [3, 71]. На відміну від тестів, у системах завдань вірогідність правильної відповіді на наступне завдання може залежати від вірогідності правильної відповіді на попереднє завдання.

В. Аванесов виділив чотири види систем завдань у тестовій формі: ланцюгову, тематичну, текстову й ситуаційну [3, 71].

Ланцюгова система завдань у тестовій формі являє собою систему завдань, у якій відповідь на наступне завдання обов'язково залежить від правильної відповіді на попереднє. Тобто завдання в цій системі перебувають у ланцюговій залежності. Якщо тестований помилився, відповідаючи на перше завдання системи, то його відповіді будуть неправильними і на всі інші завдання цієї системи. Адже в завданнях ланцюгової системи в змісті наступних завдань не повинно бути натяку на правильні відповіді в попередніх завданнях.

Тематична система завдань у тестовій формі створюється для контролю навчальних досягнень тестованих у межах однієї теми. Назва теми пишеться перед системою завдань, точніше - перед інструкцією.

Текстова система завдань у тестовій формі являє собою систему завдань відкритої форми, створену для контролю навчальних досягнень тестованих на основі навчального тексту. Тестовані вставляють у текст слова, яких не вистачає за змістом. В. Аванесов стверджує, що будь-який текстовий фрагмент можна перетворити на текстову систему завдань у тестовій формі.

Ситуаційна система завдань у тестовій формі - це педагогічно перероблений фрагмент професійної діяльності фахівця, розроблений для перевірки знань і вмінь тестованих діяти в практичних, екстремальних та інших ситуаціях. Наприклад, для проведення автоматизованого контролю знань з французької мови.

Авторська ланцюгова система завдань у тестовій формі складається з п'яти завдань. За формою ці завдання розподіляються таким чином: завдання № 1, 4 і 5 - з вибором однієї правильної відповіді із запропонованих варіантів; завдання № 2 -з вибором кількох правильних відповідей із запропонованих варіантів; завдання № 3 - «завдання- доповнення». Завдання охоплюють матеріал з тем «Географічні координати» і «Біосфера» (ґрунти), що вивчається на уроках географії в 6 класі, і матеріал про материки, який вивчається на уроках географії в 7 класі.

Авторська ланцюгова система завдань у тестовій формі

На якому материку є точка з координатами 25⁰ пд. ш., 70⁰ зх. д.? Обведіть літеру з правильною відповіддю.

а) Австралія;

б) Азія;

в) Америка;

г) Антарктида;

д) Африка;

е) Євразія;

ж) Європа;

з) Північна Америка;

и) Південна Америка.

У яких природних зонах розташований цей материк? Обведіть літери з правильними відповідями.

а) зона екваторіальних вологих лісів;

б) зона саван і рідколісся;

в) зона напівпустель і пустель;

г) степова зона;

д) лісостепова зона;

е) зона широколистяних лісів;

ж) зона мішаних лісів;

з) зона хвойних лісів (тайги);

и) зона лісотундри;

к) зона тундри;

л) зона арктичних пустель.

Представників рослинного і тваринного світу однієї з природних зон цього материка зображено на поданих малюнках.

Це зона (Допишіть речення.)

Які ґрунти поширені в цій природній зоні? Обведіть літеру з правильною відповіддю.

а) арктичні;

б) тундрові глеєві;

в) підзолисті;

г) чорноземи;

д) каштанові;

е) сіро-бурі пустельні;

ж) червоноземи.

Яка найхарактерніша ознака цих ґрунтів? Обведіть літеру з правильною відповіддю.

а) добра родючість;

б) середня родючість;

в) низька родючість.

Процедура опрацювання та інтерпретації результатів тестування, у тому числі ланцюгової системи завдань у тестовій формі, засобами електронних таблиць Microsoft Excel охоплює кілька кроків.

Крок 1. Формування матриці результатів тесту.

Авторська ланцюгова система завдань у тестовій формі складається з п'яти завдань. Вона була апробована на 115 учнях 7 класу.

Результати відповідей тестованих (у нашому випадку - учнів) на завдання системи, що оцінюються за дихотомічною шкалою (за кожну правильну відповідь тестований (учень) отримує 1 бал, а за неправильну або відсутню відповідь - 0 балів), вводимо в таблицю Microsoft Excel. За результатами відповідей формується матриця результатів тесту (табл. 1).

Таблиця 1. Матриця результатів тесту

Крок 2. Перетворення матриці результатів тесту.

З матриці результатів тесту вилучаємо рядки і стовпчики, які містять лише нулі та одиниці. У стовпчиках зазначено кількість правильних відповідей на кожне завдання, у рядках - індивідуальні бали тестованих.

Це робиться тому, що завдання, яке виконали усі учні (отримали по 1 балу й у стовпчику тільки одиниці) або не виконали всі учні (отримали по 0 балів й у стовпчику тільки нулі), не дає можливість оцінити навчальні досягнення тестованих (воно є не тестованим) і вилучається з матриці результатів. Адже учасники тестування відповіли на це завдання однаково (правильно або неправильно): між ними немає варіації.

Стосовно індивідуальних балів тестованих, то, якщо учень виконав правильно всі завдання тесту (і отримав усі одиниці: по 1 балу за кожне завдання) або не виконав жодного завдання тесту (отримав усі нулі: по 0 балів за кожне завдання), дані цього учня теж вилучаються з матриці результатів тестування. Адже запропонований тест не дає можливості виявити рівень навчальних досягнень цього учня. Для виявлення рівня його навчальних досягнень тест необхідно або ускладнити (якщо учень виконав усі завдання тесту), додавши складніші завдання, які, напевно, будуть неправильно виконані всіма тестованими, або полегшити (якщо учень не виконав усіх завдань тесту), додавши легкі завдання, що їх, напевно, правильно виконають більшість тестованих у групі.

Після видалення з матриці рядків і стовпчиків, які містять лише нулі та одиниці, формується нова матриця результатів тесту.

У нашому випадку з матриці результатів тесту ми не вилучаємо жодного завдання (у нас немає завдань, виконаних або не виконаних усіма тестованими), а вилучаємо відповіді 27 учнів, з яких 22 учня не виконали правильно жодного завдання ланцюгової системи і 5 учнів правильно виконали всі завдання (табл. 2).

Таблиця 2. Кількість учнів, що отримали той чи інший бал за виконання ланцюгової системи завдань у тестовій формі

Показник учнів, які не справилися з жодним завданням даної системи і не отримали жодного балу (22 особи), є надто високим (19%), і це зумовлено специфікою даної системи завдань. Адже в ланцюговій системі завдань у тестовій формі завдання перебувають у залежності одне від одного: відповідь на наступне завдання залежить від правильної відповіді на попереднє.

До оновленої матриці результатів ланцюгової системи завдань у тестовій формі увійшли відповіді 88 учнів.

Крок 3. Підрахунок індивідуальних балів тестованих та кількості правильних відповідей на кожне завдання тесту.

У матриці результатів тесту підраховуємо індивідуальні бали кожного тестованого, підсумовуючи всі бали, отримані ним за виконання завдань тесту, та кількість правильних відповідей на кожне завдання тесту (табл. 3).

Таблиця 3 Матриця результатів тесту

Крок 4. Упорядкування матриці результатів.

Значення індивідуальних балів тестованих розміщуємо в таблиці за їх зростанням (табл. 4).

Таблиця 4. Упорядкована матриця результатів тесту

Для реалізації зазначеного кроку виділяємо комірки, які містять номери тестованих, матрицю результатів та індивідуальні бали. Потім у меню «Дані» вибираємо команду «Сортування». У цьому діалоговому вікні обираємо: «стовпець» для сортування (у нашому випадку - стовпець «Індивідуальні бали тестованого»); «сортування» - «за значенням»; «порядок» - «за зростанням» і програма автоматично розміщує значення індивідуальних балів за зростанням.

Крок 5. Графічне представлення даних.

За допомогою статистичної функції «Частота» підраховуємо частоту одержаних балів (кількість учнів, що отримали той чи інший бал) (табл. 5) і за цими даними будуємо гістограму частот розподілу балів (рис. 1).

Таблиця 5. Частота одержаних балів

Рис. 1. Гістограма частот розподілу балів за виконання ланцюгової системи завдань у тестовій формі

На основі аналізу нашої гістограми частот розподілу балів (див. рис. 1) можна зробити висновок, що ланцюгова система завдань у тестовій формі є складною, бо гістограма частот не пропорційна: вона має зміщення в лівий бік. Проте саме в цьому і полягає специфіка даної системи (складність системи зумовлена ланцюговою залежністю завдань).

Крок 6. Визначення вибіркових характеристик результатів.

За кількістю неправильних відповідей на кожне завдання тесту обчислюємо складність кожного завдання (кількість неправильних

відповідей на кожне завдання тесту, ділимо на кількість тестованих) (див. табл. 6) і будуємо графік складності завдань (рис. 2).

Таблиця 6. Кількість правильних і неправильних відповідей на кожне завдання ланцюгової системи завдань у тестовій формі, складність завдань

(Ланцюгова система завдань у тестовій формі)

З графіка (рис. 2) видно, що кожне наступне завдання є складнішим. Це є специфікою даної системи завдань.

У звичайному тесті завдання № 1, 2 і 5, які є найскладнішими й найлегшими, треба було б вилучити. (З тестів вилучаються завдання зі складністю понад 0,9 і меншою ніж 0,2). Адже завдання № 1 і 2 виконали майже всі тестовані (вони легкі), а із завданням № 5 не справилися майже всі тестовані (воно важке). Проте, зважаючи на специфіку нашої системи, ми їх залишаємо.

За допомогою «Пакета аналізу» Excel визначаємо такі характеристики ланцюгової системи завдань у тестовій формі: а) середнє значення = 2,66; б) стандартна похибка = 0,102; в) мода = 2; г) медіана = 3; д) стандартне відхилення вибірки = 0,96; е) дисперсія = 0,92; ж) асиметрія = -0,066; з) ексцес = -0,96; и) інтервал = 3; к) мінімум =1; л) максимум = 4; м) рахунок = 88.

Обчислюємо абсолютні частоти («частоти», див. табл. 5), відносні частоти (абсолютна частота, поділена на кількість тестованих), нормальний розподіл (функція «НОРМРАСП») (табл. 7) і за цими даними будуємо графік відносних частот і нормального розподілу (рис. 3).

Таблиця 7. Вибіркові характеристики результатів ланцюгової системи завдань у тестовій формі: абсолютні й відносні частоти, нормальний розподіл

(Ланцюгова система завдань у тестовій формі)

На основі обчислених даних можна зробити певні узагальнення.

До матриці результатів ланцюгової системи завдань у тестовій формі увійшли відповіді 88 учнів (рахунок = 88). Вибірка була більш-менш однорідною (графік відносних частот нашої вибірки майже збігається з графіком нормального розподілу). Ланцюгова система завдань у тестовій формі оцінювалася від 0 до 5 балів. Індивідуальні бали учнів розподілилися таким чином: мінімальне значення - 1 бал (мінімум =1), максимальне значення - 4 бали (максимум = 4), середнє значення - 2,66 бала (середнє значення = 2,66). Похибка вимірювань - 0,102 бала (стандартна похибка = 0,102). Найбільша кількість учнів отримала по 2 бали (мода = 2). Кількість учнів, які отримали від 0 до 3 балів така сама, як і кількість учнів, що отримали від 3 до 5 балів (медіана = 3). Індивідуальні бали учнів порівняно із середнім балом відхиляються майже на 1 бал (на 0,96) (стандартне відхилення вибірки = 0,96). Індивідуальні бали учнів не дуже відрізняються один від одного (ексцес = -0,96, ексцес середній від'ємний, крива плосковершинна). Наша ланцюгова система завдань у тестовій формі досить добре розроблена, проте є заважкою (асиметрія = -0,066, асиметрія від'ємна і незначна (A_S < ±0,25 - незначна асиметрія). Щоб поліпшити нашу систему завдань, доцільно додати легші завдання.

Опрацювання та інтерпретація результатів тестування, у тому числі засобами електронних таблиць Microsoft Excel, дає можливість проаналізувати тест стосовно показників його якості, зокрема, щодо його складності, виявити недоліки створеного тесту, що допоможе в його вдосконаленні. Так, опрацювання результатів авторської ланцюгової системи завдань у тестовій формі свідчить, що ця система завдань є досить складною, проте ця складність зумовлена специфікою даної системи завдань. Адже завдання в ній перебувають у ланцюговій залежності: правильна відповідь на наступне завдання залежить від правильної відповіді на попереднє завдання.

Описана процедура опрацювання та інтерпретації результатів тестування є не зовсім повною, адже вона може включати ще кілька кроків. На нашу думку, повну процедуру опрацювання результатів тестування можуть виконувати лише фахівці в галузі тестових технологій, а описану в цій статті процедуру - усі бажаючі.

Література

тестовий завдання учень студент

1. Аванесов В.С. Композиция тестовых заданий: учебная книга для преподавателей вузов, техникумов и училищ, учителей школ, гимназий и лицеев, для студ. и аспирантов пед. вузов / В.С. Аванесов. - 3-е изд., доп. - М.: Центр тестирования, 2002. - 240 с.

2. Аванесов В.С. Теория и методика педагогических измерений [Электронный ресурс] / В.С. Аванесов. - Режим доступа: http://testolog.narod.ru/Theory.html.

3. Аванесов В.С. Форма тестовых заданий: учеб. пособ. для учителей школ, лицеев, преподавателей вузов и колледжей / В.С. Аванесов. - [2 изд., перераб. и расширенное]. - М.: Центр тестирования, 2005. - 156 с.

4. Альмухамбетова С.К. Задания в тестовой форме по молекулярной биологии и генетике [Электронный ресурс]: статья / С.К. Альмухамбетова, К.С. Нуртаева; Казахский Национальный медицинский университет имени С.Д. Асфендиярова. - Режим доступа: http://www.rusnauka.com/11_EISN_2010/Biologia/64394.doc.htm.

5. Кухар Л.О. Конструювання тестів. Курс лекцій: навч. посіб. / Л.О. Кухар, В.П. Сергієнко. - Луцьк, 2010. - 182 с.

6. Олійник М.М. Навчальний посібник зі спецкурсу «Тест як інструмент кількісної діагностики рівня знань в сучасних технологіях навчання» (для студ. пед. спеціальностей та викладачів) / М.М. Олійник, Ю.А. Романенко. - Донецьк: ДонНУ, 2001. - 84 с.

7. Плетньова Л.В. Ланцюгові системи завдань у тестовій формі на уроках української мови [Електронний ресурс]: матеріали семінару «Створення якісного тесту з української мови та літератури для оцінювання навчальних досягнень учнів» у дистанційному форматі ІППО КУ імені Бориса Грінченка (квітень 2010 р.) / Лариса Володимирівна Плетньова. - Режим доступу: http://www.google.com.ua/url?sa=t&rct=j&q.

8. Шабарова М.Г. Системы заданий в тестовой форме как средство организации познавательной деятельности учащихся (на примере английского языка) [Електронный ресурс]: стаття / Шабарова М.Г.; Курский государственный университет. - Режим доступа: http://scientific-notes.ru/pdf/st20.pdf.

9. Ярощук Л.Г. Основи педагогічних вимірювань та моніторингу якості освіти: [навч. посіб.] / Л.Г. Ярощук. - К.: Видавничий Дім «Слово», 2010. - 304 с.

Размещено на Allbest.ru