Оцінка якості завдань у тестовій формі
Тестовий контроль навчальних досягнень студентів. Педагогічні цілі тестування. Трудність завдань для окремих студентських груп. Укладнення, які виникають при створенні завдань у тестовій формі, їх апробація та статистична обробка одержаних результатів.
| Рубрика | Педагогика |
| Вид | статья |
| Язык | украинский |
| Дата добавления | 05.11.2018 |
| Размер файла | 470,0 K |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Размещено на http://www.allbest.ru/
ОЦІНКА ЯКОСТІ ЗАВДАНЬ У ТЕСТОВІЙ ФОРМІ
БРИГІНЕЦЬ Валентин Петрович - кандидат фізико-математичних наук, доцент кафедри загальної та теоретичної фізики Національного технічного університету України «Київський політехнічний інститут імені Ігоря Сікорського»
ПОДЛАСОВ Сергій Олександрович - старший викладач кафедри загальної фізики та фізики твердого тіла Національного технічного університету України «Київський політехнічний інститут імені Ігоря Сікорського»
МАТВІЙЧУК Олексій Васильович - кандидат педагогічних наук, старший викладач кафедри загальної фізики та фізики твердого тіла Національного технічного університету України «Київський політехнічний інститут імені Ігоря Сікорського»
Постановка та обґрунтування актуальності проблеми. Ефективним інструментом оцінювання навчальних досягнень студенті є тестування. Можливість адекватного оцінювання визначається якістю завдань, з яких складається тест, та умовами проведення тестування.
Оцінити якість тестових матеріалів можна тільки за результатами статистичної обробки даних тестування на репрезентативній виборці тестованих за умови, що тестування проводилося в однакових умовах. Ця вимога створює певні ускладнення для пересічного викладача, який повинен не тільки створювати завдання для формування тесту, але й організовувати їх апробацію та статистичну обробку результатів.
Аналіз останніх досліджень і публікацій. Ефективність тестових методик контролю була обґрунтована в роботах С. Архангельського, Н. Тализіної, Д. Чернілєвського, Ю. Бабанського, В. Безпалька, Т. Ільїної та інших. Питання створення та практичного застосування тестів обговорювалися в роботах вітчизняних та зарубіжних вчених В. Аванесова, П. Атаманчука, Р. Гласера, В. Ким, П. Клайна, А. Майорова, О. Ляшенка, М. Остапчука, В. Сергієнка, В. Хлебнікова та багатьох інших. Методика обробки результатів тестування висвітлювалися в роботах В. Аванесова, В. Кім, А. Майоров, М. Челишкової, B. Wright, G. Masters, T. Bond та інших вчених.
Мета статті полягає в аналізі ускладнень, які виникають при створенні завдань у тестовій формі, їх апробації та статистичній обробці одержаних результатів.
Методи дослідження. Відповідно до мети роботи використовувалися такі методи дослідження: загальнонаукові, зокрема, вивчення й узагальнення педагогічного досвіду щодо засобів контролю знань учнів та студентів; методи інших наук, у т.ч. соціологічні в опитування викладачів; методи обробки статистичних результатів тестування.
Виклад основного матеріалу дослідження. Тестовий контроль навчальних досягнень студентів може проводиться на різних етапах і відповідно до цього виокремлюють поточний, тематичний, рубіжний та підсумковий. Зміст завдань тесту визначається педагогічними цілями, а організаційна форма - технічними можливостями його проведення.
Педагогічними цілями тестування можуть бути або ранжування студентів (учнів) за рівнем навчальних досягнень (визначення рейтингу), або ж виявлення рівня оволодіння ними знаннями у певній предметній області. У першому випадку застосовують тести, орієнтовані на норму, у другому - на критерій. Нормативно орієнтований тест має складатися із завдань рівномірно зростаючої трудності [1]. При застосуванні критеріально орієнтованого тесту (КОрТ) можна визначати тільки відсоток правильно виконаних завдань, однак і в цьому випадку бажано знати рівень трудності завдань для формування еквівалентних паралельних варіантів тесту, а також вибору оптимального критеріального балу (визначення «зараховано», чи «не зараховано»), або ж оцінювання результатів роботи студента при рубіжному, чи підсумковому контролі на основі таксономії Б. Блума [8], або її розвитку у роботах L. Anderson [6], та D. Krathwohl [5; 6].
Достовірні статистичні характеристики завдань у тестовій формі можуть бути одержані на репрезентативній виборці тестованих, тобто кожне завдання повинно бути запропоновано не менше ніж 150 респондентам [3], котрі виконують його в однакових умовах. Необхідні і достатні умови для визначення статистичних характеристик завдань створюються при проведенні зовнішнього незалежного оцінювання, коли всі абітурієнти виконують однакові завдання в однакових умовах. Що ж стосується студентів ВНЗ, то подібні до ЗНО умови створити складно, оскільки пересічний викладач найчастіше проводить тестування в окремих студентських групах, які складаються з 15 -25 осіб. При цьому тестування в різних групах проводиться неодночасно, відтак студенти різних груп знаходяться в різних умовах. Крім того, як добре відомо, психологія наших студентів є здебільше колективістською і дати списати, або підказати сусіду в більшості випадків вважається звитягою і при виконанні однакових завдань слабо підготовлені студенти мають шанс одержати навіть кращі результати, ніж більш сильно підготовлені. Треба також ураховувати, що при неодночасному проведенні тестування в різних групах при використанні одних і тих самих завдань при їх невеликій кількості зміст завдань і правильні відповідь швидко стають відомими студентам заздалегідь і тестування як метод контролю втрачає сенс [4].
З метою запобігання списуванню, взаємним підказкам та передачі інформації від одних студентських груп до інших, викладач мусить складати декілька варіантів завдань, які є близькими за своєю сутністю, але відрізняються звучанням, тобто створювати паралельні форми, які рекомендує В.С. Аванесов [1]. Для забезпечення однакових умов для всіх студентів рівень трудності завдань повинен бути близьким.
Початкове значення рівня трудності завдання у тестовій формі встановлюється укладачем тесту. Однак, як показує практика, рівень трудності є поняттям доволі суб'єктивним, оскільки він залежить не тільки від змісту завдань та рівня підготовленості студентів (учнів) з даної та суміжних дисциплін, але й від їхнього тезаурусу, відтак можливості розуміння змісту завдання.
педагогічний тестовий контроль студент
Наприклад, для виконання завдань з фізики необхідні знання з математики, та знання значення загальнонаукових термінів. На наш подив непоодинокі випадки, коли студенти першого курсу та учні випускних класів не знають що таке «шарнір», дехто під блоком розуміє прямокутний будівельний блок замість блока, який мається на увазі у задачах фізики, і т. д. Таких прикладів, нажаль, можна навести ще чимало і все це визначає можливість студента дати правильну відповідь на завдання, відтак і рівень його трудності. Саме тому трудність окремих завдань може бути встановленим тільки за даними статистичної обробки результатів тестування, яку може проводитися за класичною, або сучасною методикою в моделі IRT - Item Response Theory (IRT), запропонованої Г. Рашем [10; 11] і розвиненої в роботах А. Бірнбаума [7] та інших вчених.
Трудність завдань для окремих студентських груп визначалася нами за результатами вхідного тестування з фізики студентів першого курсу. Кількість студентів у групах коливалася від 15 до 25 осіб. Тестування проводилося режимі віддаленого доступу за завданнями, які пропонувалися абітурієнтам при зовнішньому незалежному оцінюванні в 2008 - 2017 роках. Завдання розміщені на сайті кафедри загальної фізики та фізики твердого тіла Київського політехнічного інституту ім. Ігоря Сікорського (http://physics.kpi.ua).
Обробка результатів тестування здійснювалася за допомогою програми WinSteps, в якій реалізується алгоритм IRT.
Результати обчислень (рис. 1) показали, що для різних студентських груп одні й ті самі завдання мають суттєво відмінні значення трудності, що не дозволяє використовувати ці дані навіть для наближеної оцінки цього параметра.
Необхідність індивідуалізації включених в тест завдань ускладнює оцінювання трудності кожного з них, оскільки зростає час, необхідний для одержання статистично достовірної кількості даних випробовування. За таких умов, на початковому етапі, можна визначати трудність та інші статистичні характеристики групи завдань. Саме така можливість реалізована в підсистемі тестування LMS Moodle. В ній можна створювати тестові категорії, з яких випадковим чином вибираються завдання при формуванні тесту для кожного студента. Загальна кількість завдань тесту для всіх студентів однакова і визначається запланованою викладачем кількістю категорій.
Таке формування тесту, з одного боку, дозволяє запобігати передачі інформації від одних студентських груп до інших, але з іншого - значно ускладнює процедуру визначення статистичних параметрів окремих завдань, оскільки одержання репрезентативної виборки відповідей потребує значного часу.
Вбудований в Moodle пакет статистичної обробки результатів тестування надає можливість користувачу одержувати як параметри тесту як цілого, так і параметри окремих завдань і тестових категорій.
Для тесту в цілому визначаються такі параметри як кількість спроб, середня оцінка, медіана, стандартне відхилення, асиметрія та ексцес розподілу одержаних оцінок, коефіцієнт внутрішньої узгодженості та деякі інші.
Для тестових категорій та окремих завдань визначаються: загальна кількість проб, успішність виконання завдання (індекс легкості), стандартне відхилення, оцінка навмання, призначена вага, ефективна вага, розрізнення (індекс дискримінації) та ефективність розрізнення (дискримінації).
Загальна кількість спроб дозволяє робити висновки про репрезентативність виборки, для якої виконані обчислення статистичних параметрів.
Успішність виконання завдання (індекс легкості) дає відношення середньої кількості балів, набраних студентами за дане завдання, до максимально можливої кількості балів. Якщо оцінка за завдання може бути тільки 1 - виконано, 0 - не виконано, то цей параметр дорівнюватиме відношенню кількості студентів, котрі дали правильну відповідь, до загальної кількості відповідей на дане запитання. Збалансований тест повинен включати завдання з різним індексом легкості, однак завдання із значенням цього параметра близьким до нуля, або одиниці бажано виключати з тесту.
Стандартне відхилення показує розкид значень оцінок. Якщо цей параметр менший ніж 0,3, то переважна більшість студентів дали однакову відповідь на це завдання, отже за його допомогою не вдається ефективно відокремити слабо і добре підготовлених студентів.
Оцінка навмання визначається тільки для завдань закритого типу і показує ймовірність угадування правильної відповіді.
Призначена вага - визначає призначений укладачем тесту відсотковий внесок правильної відповіді на це завдання в загальну оцінку. Цей параметр визначається тільки для тестової категорії, тобто для позиції завдання в тесті.
Ефективна вага характеризує фактичний відсотковий внесок завдань певної категорії в загальну оцінку. В ідеалі призначена та ефективна вага повинні бути однаковими. Врахувавши значення ефективної ваги, можна скорегувати призначену вагу.
Розрізнення (індекс дискримінації) наближено показує здатність завдання відокремити сильно і слабо підготовлених студентів.
Ефективність розрізнення (дискримінації) є коефіцієнтом кореляції між відповіддю на дане завдання і відповіддю на всі завдання тесту.
Для тестів досягнень, які орієнтовані на критерій і визначають рівень оволодіння студентами запланованим обсягом знань, найбільш важливими є індекс легкості, стандартне відхилення, призначена та ефективна вага. Параметри, що характеризують дискримінативність завдань, для критеріально орієнтованого, тесту особливого значення не мають.
На кафедрі загальної фізики та фізики твердого тіла КПІ ім. І. Сікорського LMS Moodle використовується для розміщення навчальних матеріалів та моніторингу результатів навчальної діяльності студентів та проведення профорієнтаційної роботи з фізики з абітурієнтами [2]
Для оцінки результатів навчальної діяльності студентів складені тестові завдання з курсу фізики за програмою підготовки бакалаврів. Аналіз статистики виконання завдань тестів поточного контролю тесту, які ми вважаємо критеріально орієнтованими, дозволив виявити недоліки складених тестів. Наприклад, завдання комплексного тесту з розділу «Механіка» мають монотонно зростаючий рівень складності - інакше практично лінійно спадаючий індекс легкості (рис. 2). Виняток складають завдання з категорій 16, 17 і 21, які потребують корекції. Про це свідчить низьке значення стандартного відхилення (рис. 3) для цих завдань.
Висновки з дослідження і перспективи подальших розробок. Статистичний аналіз результатів тестування показав, що трудність завдань, яка визначається на малих виборках тестованих, не можна використовувати навіть для наближеної оцінки цього параметра. При застосуванні системі підтримки навчального процесу Moodle, можна створювати тестові категорії, які містять паралельні форми тестових завдань, і автоматично одержувати статистичні характеристики як окремих завдань, так і відповідних категорій. Це дозволяє виявляти невдалі завдання, або тестові категорії і вносити відповідні корективи.
У подальшому планується розширення бази тестових завдань і накопичення даних, що дозволить одержати їх достовірні статистичні характеристики.
СПИСОК ДЖЕРЕЛ
1. Аванесов В.С. Композиция тестовых заданий. / Аванесов В.С. - 3 изд. - М. Центр тестирования, 2002. - 239 с.
2. Долянівська О.В. Тестування учнів з фізики при використанні програмної платформи Moodle / Долянівська О.В., Матвійчук О.В., Подласов С.О. // Вісник Чернігівського національного педагогічного університету. - 2011. - Вип. 89. - C. 242-245.
3. Подласов С. Статистичний аналіз тестових завдань. Інноваційні комп'ютерні технології у вищій школі / Подласов С., Бригінець В., Матвійчук О. // Матеріали 7-ї науково- практичної конференції. м. Львів, 17-19 листоп. 2015. - Львів: Вид-во Львівської політехніки, 2015. - 162 с.
4. Подласов С.О. Аналіз системи тестових завдань для поточного контролю навчальної діяльності студентів / Подласов С.О., Матвійчук О.В. // Збірник наукових праць. Педагогічні науки. - Херсон, 2012. - Вип. LXI. - С. 287 291.
5. A model of learning objectives based on a taxonomy for learning, teaching, and assessing: a revision of Bloom's taxonomy of educational objectives [Електронний ресурс]. - Режим доступу : http://www.celtiastate.edu/teaching- resources/effective-practice/revised-blooms-taxonomy/
6. Anderson L.W. Rethinking Bloom's Taxonomy: Implication for testing and assessment / Anderson L.W. - [Електронний ресурс]. - Режим доступу : https://files.eric.ed.gov/fulltext/ED435630.pdf
7. Birnbaum A. Some latent trait models and their use in inferring an examinee's ability / Birnbaum A. - In F.M. Lord & M.R. Novick (Eds.), Statistical theories of mental test scores. Addison-Wesley Publ. Co. Reading, Mass, 1968. - P. 397-479.
8. Bloom, B.S. Taxonomy of educational objectives: the classification of educational goals. [Text]. Handbook 1: Cognitive domain. / Bloom, B.S., Engelhart, M.D., Furst, E.J., Hill, W.H., & Krathwohl, D.R. - New York: David McKay, 1956.
9. Krathwohl D.R. A Revision of Bloom's Taxonomy: An Overview / [Електронний ресурс]. - Режим доступу: http://www.unco.edu/cetl/sir/stating_outcome/documents/Krathwohl. pdf
10. Rasch, G. An item analysis which takes individual differences into account. / Rasch G. // British Journal of Mathematical and Statistical Psychology, 1966. - V.19, p.49-57.
11. Wright B. D., Rasch G. Probabilistic Models: Foreword and Preface,
Размещено на Allbest.ru
Подобные документы
Висвітлення питання, пов’язаного з місцем тестування в сучасному світі. Визначення даних, які можна отримати за допомогою тестів. Дослідження існуючих форм тестових завдань і вимог до них, а також розгляд принципів композиції завдань у тестовій формі.
статья [22,7 K], добавлен 18.12.2017Обґрунтування сутності диференційованого контролю навчальних досягнень школярів та експериментальної перевірки технології його здійснення. Рекомендації для вчителів з питань використання різнорівневих завдань на етапі контролю навчальних досягнень.
автореферат [44,1 K], добавлен 27.04.2009Дидактичні принципи контролю знань, умінь та навичок студентів, його види і форми. Функції контролю, педагогічні вимоги до нього. Система тестового контролю студентів. Розробка тестових завдань з дисципліни "Основи сільськогосподарської екології".
курсовая работа [80,9 K], добавлен 17.01.2014Контроль знань та його результат. Основні вимоги до завдань тестів у вищій школі. Переваги перевірки знань студентів за тестами. Недоліки використання тестової перевірки знань студентів. Пропозиції щодо використання тестування у навчальному процесі.
контрольная работа [19,4 K], добавлен 11.01.2011Роль якості тестових завдань, глибини охоплення ними програми практичної та теоретичної медицини. Вплив залучення лікарів-інтернів до самостійного створення тестових завдань за структурою аналогічною ліцензійним на підвищення якості складання іспиту.
статья [20,8 K], добавлен 27.08.2017Вимоги до комплекту тестових завдань. Види тестів, вимоги щодо їх проведення, рекомендації з результатів тестування. Прийоми тестового контролю знань та вмінь учнів. Педагогічний тест. Вимоги до комплекту тестових завдань. Приклади завданнь для тестів.
доклад [14,4 K], добавлен 20.09.2008Роль проведення оцінки та контролю якості навчання в сучасній системі освіти. Практичне застосування тестування. Класифікація та види тестів, принципи створення тестових завдань, їх основні переваги та недоліки. Суть зовнішнього незалежного оцінювання.
реферат [35,5 K], добавлен 20.06.2012Застосування тестових технологій на уроці хімії як методу педагогічної діагностики. Основні критерії тестування: валідність, надійність, ефективність, складність. Розробка тестових завдань для контролю засвоєння теми "Хімічні реакції" у шкільному курсі.
курсовая работа [32,8 K], добавлен 13.12.2013Об'єктивна оцінка учбових досягнень учнів як найбільш важливий показник якості освіти. Тестова форма проведення тематичного оцінювання з фізики. Диференційні та узагальнювальні тести. Рекомендації щодо проводення перевірки знань з використанням тестів.
курсовая работа [43,8 K], добавлен 06.04.2011Цілі розвитку освіти. Необхідність безперервного навчання. Головні принципи управління освітою. Подолання войовничого провінціоналізму як одне із важливих завдань освітніх систем. Українська педагогічна освіта як конгломерат дисциплінарних знань.
статья [13,0 K], добавлен 05.05.2010
