4. Принцип інструментальності вимірювання об'єкту та технологічності процедури збору інформації за кожним індикатором обумовлений необхідністю здобуття достовірної, об`єктивної, вимірювальної інформації, яку можна було б піддавати обчисленням за допомогою методів математичної статистики.

5. Принцип порівнянності (зіставленості) індикаторів національної системи з міжнародними індикаторами, що характеризують якість освітніх систем, що обумовлено необхідністю проведення порівнянь результатів їх розвитку.

6. Принцип дотримання морально-етичних норм під час відбору інформації за індикаторами, що носить особистісний або конфіденційний характер.

Таким чином, ми вважаємо за доцільне визначені концептуальні засади побудови переліку показників якості освіти, як певної динамічної сукупності індикаторів, що з певною мірою достатності дають можливість формулювати обґрунтовані висновки щодо основних характеристик якості загальної середньої освіти та адекватно віддзеркалюють процеси змін у системі освіти, взяти за основу розробки вітчизняної системи показників якості загальної середньої освіти на сучасному етапі реформування системи.

Розділ 2. Методичні засади адаптивного тестування учнів

2.1 Адаптивне навчання як ознака сучасних дидактичних систем

Відомо, що ефективність освітнього процесу значною мірою залежить від урахування індивідуальних особливостей здобувачів освіти в організації їхньої навчальної діяльності. Ще Я. А. Коменський зазначав, що навчальний процес повинен слідувати принципу природовідповідності дитини, враховувати і розвивати її здібності та ґрунтуватися на них. Тому сучасні дидактичні системи побудовані на засадах індивідуалізації та диференціації навчання, мотиваційних спонуках і психологічній підтримці навчальної діяльності, максимальному забезпеченні освітніх потреб і успішності досягнення результату, готовності суб'єктів навчання до засвоєння навчального матеріалу на обраному рівні.

Широке впровадження останнім часом інформаційно-комунікаційних технологій в навчальний процес відкриває нові можливості підвищення результативності навчання, надає доступ до якісної освіти широкому колу здобувачів освіти, забезпечуючи при цьому оптимальний темп навчання, відповідну глибину засвоєння змісту, адекватний рівень набуття компетентності. Такі системи навчання націлені на врахування індивідуальних особливостей і здібностей здобувачів освіти в організації освітнього процесу з метою досягнення високої результативності навчання. Вони називаються адаптивними і набувають все більшого поширення в освітній практиці, особливо в умовах дистанційного навчання.

Проблемі адаптивного навчання останнім часом приділяється значна увага в педагогічній літературі, особливо з боку розробників технічних платформ реалізації такого підходу [1; 2; 6; 4 та ін.]. Як зазначає Т.М. Десятов, в освіті адаптація розглядається як двосторонній взаємообумовлений процес пристосування соціально-освітнього середовища (інституції навчання) до особистості учня, а також активного залучення суб`єкта навчальної діяльності в проектування адаптивного інформаційно- освітнього середовища [9, с.35].

У найпростішому розумінні адаптивність розуміється як інтерактивний діалог між тими, хто навчається, і тими, хто навчає, унаслідок якого освітній процес персоніфікується відповідно до актуального (набутого) рівня засвоєних знань і умінь здобувачів освіти та їхніх здібностей. Це в кінцевому рахунку впливає на часові параметри навчання (темп навчання) і послідовність подання фрагментів навчального матеріалу залежно від готовності тих, хто навчається, виконувати відповідні контрольні завдання.

Такий сценарій освітнього процесу був реалізований у ранніх формах дистанційної освіти, коли обсяг і глибина викладу змісту для всіх були однакові, незалежно від уподобань чи наявних інтересів та здібностей суб'єктів навчання. Основний його недолік полягав у відсутності диференціації навчання за цільовими намірами здобувачів освітньої послуги, рівнем оволодіння змістом, їхньою схильністю до різних видів діяльності тощо. До таких систем належать, зокрема, перші випуски платформ дистанційних курсів ANGEL, BlackBoard, Lotus (LLS), Moodle та ін.

Тому з часом з'явилися більш досконалі адаптивні системи навчання, які усували цей недолік завдяки підвищенню їхньої "розумності" у врахуванні індивідуальних особливостей навчальної діяльності учнів. Такі дидактичні системи назвали інтелектуальними і вони нині набувають усе більшого поширення в освітній практиці, особливо в поєднанні з інформаційно-комунікаційними технологіями [1; 3; 7].

Інтелектуальні системи навчання у поєднанні з інформаційними системами мають переваги в тому, що надають їх споживачам ширші можливості щодо вільного вибору власної освітньої траєкторії і рівня оволодіння компетентністю, регулювання темпу навчання і строків засвоєння навчального матеріалу, планування самостійної та індивідуальної роботи над тією чи іншою темою [8, с. 156]. Крім того, вони передбачають диференціацію навчання залежно від рівня знань і вмінь учня та його пізнавального досвіду, індивідуальних особливостей сприйняття навчального матеріалу, здібностей до розв'язання завдань різної складності тощо. За таких умов відбувається перехід від найпростішого алгоритму вивчення всіма учнями одного й того ж навчального матеріалу до більш складного алгоритму генерування змісту і методів навчання, коли різні здобувачі освіти досягають запланованих результатів різними способами організації освітнього процесу, у різному темпі і на основі різних варіацій навчального матеріалу.

Прикладом таких систем можуть бути, наприклад, інформаційні системи Grockit (https://www.grockit.com) або Knewton (https://www.knewton.com). Перша з них призначена для підготовки до екзаменів SAT, ACT, GMAT, LSAT, GRE в американських університетах. Вона має значну базу тестових завдань і варіантів їх виконання, що дає можливість проаналізувати правильність виконання завдання кожним студентом і знайти оптимальний варіант підбору їх для скорочення термінів підготовки до екзаменів. Grockit дозволяє також формувати гетерогенні і гомогенні групи студентів за спільними проблемами, рівнями підготовки та здібностями.

Інформаційна система Knewton надає можливість планувати освітню траєкторію на підставі систематичного оцінювання і контролю користувача в режимі реального часу, ґрунтуючись на результатах виконання контрольних завдань і тестів. Технологія опрацювання одержаних даних цієї системи націлена на те, щоб згенерувати для конкретного студента потрібний для нього в даний момент навчальний матеріал для досягнення запланованих ним цілей. Ця система дає можливість здобувачам освіти, крім іншого, підвищити також рівень оволодіння матеріалом із тих тем, які з тих чи інших причин були недостатньо засвоєні.

Отже, інтелектуальні адаптивні системи навчання реалізують більш складний сценарій навчання, який у режимі реального часу ґрунтується на індивідуалізації і диференціації освітнього процесу залежно від різних параметрів особистісного досвіду суб'єкта навчання: його рівня знань і набутих компетентностей, пізнавальних інтересів і здібностей, цілей щодо глибини засвоєння навчального матеріалу чи набуття кваліфікації, запланованої тривалості навчання тощо. Вони сприяють оптимальному розвитку компетентностей суб'єктів навчання залежно від їхніх пізнавальних намірів і здібностей, творчого потенціалу і мотивації.

Не заглиблюючись у технічні механізми реалізації адаптивних навчальних систем1, зазначимо лише, що цей аспект передбачає пошук алгоритмів, які реалізують стратегію навчання конкретного учня чи студента відповідно до обраного ним сценарію навчання2. Ці алгоритми передбачають, зокрема:

- оцінювання готовності суб'єкта освіти до засвоєння навчального матеріалу чи набуття кваліфікації на обраному рівні відповідно до наявного рівня знань і набутого досвіду, індивідуальних особливостей навчальної діяльності, визначених цілей і глибини оволодіння базовими компетентностями тощо;

У подальшому будемо використовувати термін "адаптивні системи навчання" для обох моделей адаптивного навчання, розуміючи, що нині, у зв'язку з широким застосуванням ІКТ в освіті, найпростіші моделі адаптивних систем навчання практично не використовуються.

2 Під сценарієм навчання розуміють особливості організації освітнього процесу, які визначають часові межі навчання, рівень набуття компетентності (ознайомчий, поглиблений, професійної кваліфікації), форму організації освітнього процесу (індивідуальна чи групова), види і формати оцінювання навчальних досягнень учнів, вибір технологічних платформ тощо.

- вибір подальших кроків при правильному виконанні контрольних завдань або повернення до засвоєння попереднього навчального матеріалу з метою коригування набутих знань і компетентностей, якщо ці завдання виконані з помилками;

- формування системи завдань для контролю знань і вмінь учнів з урахуванням рівня їхніх навчальних досягнень та набутого пізнавального досвіду, актуального для даної теми чи фрагмента змісту;

- співвіднесення набутих знань і компетентностей із запланованими очікуваними результатами з метою оцінювання відповідності досягнутого результату навчання поставленим на початку цілям;

- можливість доповнення форм і методів навчання та наявних інформаційних ресурсів новими інструментальними і методичними засобами, які спроможні розширити сферу застосування даної адаптивної системи навчання і підвищити її ефективність.

З методичної точки зору адаптивна система навчання може бути подана як дидактична система, до складу якої входять:

- цілі освіти або цільові орієнтації щодо обсягу змісту, переліку умінь і навичок, ціннісних ставлень, рівня оволодіння змістом освіти (наприклад, мінімальних чи підвищених вимог);

- база знань, яка забезпечує набуття здобувачами освіти конкретних компетентностей на визначених ними рівнях засвоєння навчального матеріалу чи набуття кваліфікації (ознайомчому, відповідної освітньої кваліфікації, професійної діяльності);

- інструментарій виявлення актуального рівня готовності здобувача освіти до оволодіння відповідним фрагментом змісту (фреймом) на заданому рівні засвоєння;

- методи і технології навчання, які можуть бути традиційними чи з використанням ІКТ (веб-технології, дистанційне навчання, штучний інтелект тощо);

- форми організації освітнього процесу, які можуть бути індивідуальними чи груповими, очними чи дистанційними;

- засоби і процедури оцінювання і контролю результатів навчання, які залежно від функціоналу забезпечують вхідне тестування, поточне або діагностичне оцінювання, самоконтроль і підсумковий контроль досягнення запланованих цілей;

- механізмів коригування подальшої стратегії адаптивного навчання, який необхідний для внесення коректив в систему, яка по суті має бути синергетичною, тобто саморегульованою.

- Зважаючи на технічний і методичний аспекти проблеми, адаптивну систему навчання можна представити як сукупність конструктивних блоків, які забезпечують її функціонування:

а) блок комунікативної взаємодії, за допомогою якого суб'єкт навчання в діалоговому режимі формує власний сценарій навчання, тобто визначає цільові орієнтири щодо рівня оволодіння знаннями і вміннями, темпу навчання, обирає індивідуальну чи групову форму навчання, способи презентації матеріалів тощо;

б) блок інформаційного забезпечення, який в режимі реального часу формує персоніфікований контент навчальної діяльності залежно від особливостей навчальної діяльності учнів чи студентів та вибудовує індивідуальну стратегію набуття компетентності;

в) діагностично-коригуючий і контролюючий блок, завдяки якому здійснюється оперативне оцінювання успішності виконання завдань, з'ясовуються зроблені здобувачами освіти помилки і здійснюється їх типологізація для надання подальших коригуючих рекомендацій, контролюється результативність навчання та формується персональна історія навчальних досягнень кожного суб'єкта навчання;

г) блок аналізу даних, який на підставі одержаних результатів контролю навчальної діяльності індивідуалізує освітній процес шляхом внесення коректив у стратегію навчання, послідовність пред'явлення навчального матеріалу, глибину засвоєння знань і вмінь, побудову алгоритмів індивідуалізації та диференціації навчання.

Наприклад, інформаційна система Knewton складається з різних технологічних модулів, які забезпечують збір даних про наявний рівень знань і вмінь її користувачів, обробляють ці дані для формування висновків, які згодом використовуються для персоналізації обраного курсу з урахуванням оцінки студентів щодо їхніх навчальних досягнень. Блок інформаційного забезпечення на підставі зроблених висновків і рекомендацій формує контент навчального курсу в режимі реального часу відповідно до актуального рівня набутої компетентності користувача. Діагностично-коригуючий і контролюючий блок фіксує наявний рівень знань і вмінь, набутих компетентностей студентів, формує історію досягнутих результатів кожного з них і за необхідності робить коригування. Блок аналізу адаптує стратегію навчання (темп, рівень оволодіння знаннями, цільові наміри тощо) до наявних ресурсів і вносить корективи в індивідуальну освітню траєкторію студента, забезпечуючи тим самим оптимальний варіант досягнення запланованих цілей навчання.

Зважаючи на зроблений опис існуючих адаптивних систем навчання, можна зробити висновок, що адаптивне навчання - це така дидактична система набуття компетентності здобувачем освіти, яка побудована на основі індивідуальних особливостей навчальної діяльності, що проявляється головним чином у темпі навчання, глибині освоєння змісту та врахуванні освітніх потреб особи. Ефективність такого навчання значно підвищується у його поєднанні з інформаційно-комунікативними технологіями, зокрема завдяки забезпеченню доступу до Інтернету і застосуванню веб-технологій. За таких умов виникає можливість більш широкої індивідуалізації освітнього процесу і диференціації навчання за здібностями і когнітивними особливостями суб'єктів навчання.

Використання інформаційно-комунікаційних технологій в освіті спричинює урізноманітнення функцій освітнього процесу, що проявляється в стійкій мотивації учнів до адаптивного навчання, яка ґрунтується на перебудові стереотипів навчальної діяльності на засадах активності. Учні цілеспрямованіше долучаються до вибору стратегій і методів навчання, щоб у найстисліші терміни досягти бажаних результатів. В організації своєї діяльності вони керуються цільовими пріоритетами в досягненні результату та особливостями свого психічного розвитку. Така організаційно-цільова адаптація передбачає оптимальний добір змісту навчального матеріалу, пошук різних програм і підходів до його засвоєння, побудову власної освітньої траєкторії в досягненні запланованих цілей. Проте цим не обмежуються функції ІКТ у процесі адаптивного навчання, оскільки учні мають змогу самостійно обрати різні прийоми і методи навчання, рівні засвоєння змісту, форми і засоби контролю і самоконтролю результатів навчальної діяльності тощо.

Така технологічна адаптація призводить до різнорівневого диференційованого навчання з альтернативним вибором стратегії і проектування особистісно орієнтованої траєкторії освітнього процесу. За таких умов адаптивна система навчання набуває оптимального формату щодо освітніх потреб учня, його здатності в досягненні запланованих результатів навчання, виборі темпу і форм навчання, адекватних пізнавальним здібностям і готовності до засвоєння змісту навчального матеріалу на обраному рівні.

Центральною ланкою в таких системах навчання є об'єктивне, надійне і достовірне оцінювання навчальних досягнень учнів у режимі реального часу, тобто визначення актуального рівня набуття компетентності в момент засвоєння конкретного фрагмента навчального матеріалу. Найбільш досконалим інструментом такого оцінювання здобувачів освіти може стати педагогічне тестування, яке також має бути адаптивним, щоб забезпечити ефективність функціонування таких систем навчання.

Інтелектуальна адаптивна система навчання використовує тестування не лише для контролю засвоєних знань, а головним чином для проектування індивідуальної траєкторії навчання конкретного учня чи студента за певним сценарієм, який ґрунтується на індивідуальних особливостях пізнавальної діяльності суб'єкта навчання, вибору ним рівня набуття компетентності і готовності його досягти. Тому така система більше налаштована на надання рекомендацій і порад для підвищення ефективності навчального процесу і досягнення високих результатів у процесі навчання.

2.2 Тестування як форма оцінювання навчальних досягнень учнів

Останнім часом в освітньому процесі все частіше використовуються різні види тестування для контролю результатів навчання та оцінювання навчальних досягнень учнів. Як правило, тестові технології в освітній діяльності застосовують у двох форматах - як стандартизоване тестування, що здійснюється за певними правилами і чітко визначеними процедурами, або у формі педагогічного (навчального) тестування, яке використовується вчителем для обмеженого формату педагогічного оцінювання в шкільній практиці. Це може бути поточний чи тематичний контроль, вхідний, рубіжний чи підсумковий контроль. Залежно від цього він може виконувати різні функції: діагностуючу, навчаючу, контролюючу, мотивуючу, розвиваючу або прогностичну. Функціональна визначеність того, з якою метою застосовується педагогічний тест, фактично зумовлює вибір цілей оцінювання в термінах операціональної діяльності вчителя і учнів.

Використання навчальних тестів сприяє реалізації всіх функцій контролю й оцінювання освітніх результатів. Тому вони стали найбільш ефективним засобом педагогічних вимірювань і набули широкого використання в освітній практиці.

Неоднозначність у підходах теоретиків і практиків (тестологів і вчителів) до розуміння й означення основних понять теорії педагогічних вимірювань змушує детальніше розглянути її категоріальний апарат.

Існує багато дефініцій тесту, хоча серед усього їх розмаїття нема жодної, яка би сприймалася всіма дослідниками без заперечень і не супроводжувалася внесенням певних уточнень. Основною вадою, що визначає такий стан термінологічного хаосу в теорії і практиці педагогічних вимірювань, є те, що під сутністю цієї категорії розуміють як сам метод дослідження (тестування як процедура, метод оцінювання), так і засіб вимірювання (тест як інструмент оцінювання). Надалі, щоб розрізняти ці дві його іпостасі, термін "тест" будемо вживати в значенні засобу або інструменту оцінювання, а для характеристики його як методу вимірювання будемо використовувати дієслово "тестування".

Надалі під поняттям педагогічного тесту будемо розуміти системну композицію тестових завдань, упорядковану за певною логікою (стратегією) їх подання, яка забезпечує інформативність оцінювання рівня і якості освітніх результатів, здобутих учнями в навчальному процесі [10, с.7].

Отже, тест складається з тестових завдань, які відповідають певним критеріям і статистичним вимогам. Специфічна форма тестових завдань полягає в тому, що вони являють собою не питання чи задачі, які треба розв'язати, а завдання у формі висловлювань і суджень, істинність чи помилковість яких залежить від наданої відповіді. Вони стають такими після того, як зміст завдання в тестовій формі набув певної технологічності його компонування, отримав опис інструктивних вказівок щодо виконання та правил оцінювання правильної відповіді, а також пройшов попередню апробацію, на підставі якої визначені його статистичні характеристики - валідність, надійність, трудність, диференціююча здатність тощо.

Завдання в тестовій формі повинні задовольняти певним стильовим вимогам: належати до однієї предметної галузі (предметна чистота змісту); бути короткими і зрозумілими кожному за використаними висловлюваннями; мати логічну форму істинного судження; містити правильні і помилкові відповіді, адекватні змісту завдання; створювати однакові умови виконання завдань та їх оцінювання для всіх, хто підлягає тестуванню; бути незалежними від способів проведення тестування (бланкове, комп`ютерне чи автоматизоване).

Традиційне педагогічне тестування у переважній більшості випадків проводять з метою контролю рівня знань і вмінь учнів або оцінювання здатності особи адекватно використовувати їх у різних життєвих ситуаціях, тобто з метою визначення структури набутих нею компетентностей. Тому на практиці в процесі побудови тесту виникає одна з найскладніших проблем - добору оптимальних за певними критеріями тестових завдань, які б надавали вчителеві об'єктивну картину досягнутого освітнього результату.

Кожен тест як сукупність (система) таких завдань може відрізнятися від інших тестів кількістю завдань, їх складністю, форматом та багатьма іншими характеристиками, які можуть мати статистичний вимір, наприклад, валідність, надійність, диференціювальна здатність тощо. З прагматичної точки зору кращим є той тест, який за допомогою меншої кількості завдань спроможний надати вчителеві найбільш об'єктивний результат щодо рівня навчальних досягнень учнів. Тому в тестології часто вживають термін "довжина тесту", який фактично визначається кількістю тестових завдань, використаних у тесті. Проте слід зважати на те, що довжина тесту не може бути мінімізована до кількох завдань, оскільки від кількості завдань певним чином залежить точність вимірювання і такий тест не матиме цінності за статистичними характеристиками. У процесі конструювання педагогічного тесту намагаються відібрати мінімально достатню кількість завдань, що дає можливість порівняно точно визначити рівень навчальних досягнень учнів або надійно схарактеризувати структуру набутих компетентностей.

Інтерпретація результатів педагогічного тестування здійснюється за допомогою статистичних характеристик, які залежно від обраного виду тестування (стандартизоване чи навчальне, тобто обмежене освітніми цілями шкільної практики) має різний набір мірил і статистик. Так, у простих випадках оброблення навчальних тестів учитель може обмежитися кількома параметрами, наприклад: відносною частотою з побудовою відповідної гістограми, мірами центральних тенденцій (мода, медіана, середнє арифметичне) тощо.

Для більш складних форм інтерпретації результатів, зокрема у випадку стандартизованого тестування, використовують ширший набір статистичних оцінок, наприклад: міри мінливості (розмах, стандартне відхилення), коефіцієнт кореляції, валідність, надійність, точність, інші норми і стандартні оцінки, опис яких наведено в працях з класичної і сучасної теорій тестів [11; 12; 13]. Для кожного тестового завдання і самого тесту в цілому важливі такі статистично значущі психометричні характеристики: мінімальне, середнє, і максимальне значення одержаних учнями балів; стандартне відхилення; похибка вимірювання за заданим рівнем значущості; коефіцієнти валідності для кожного тестового завдання окремо і тесту загалом тощо. Для оцінювання відхилення одержаних даних від нормального розподілу додатково можуть бути визначені коефіцієнти асиметрії і ексцесу. Крім того, кожне тестове завдання отримує значення психометричних параметрів трудності виконання завдання (індекс складності) і розподільної (диференціювальної) здатності (індекс дискримінації).

Якість тесту залежить від багатьох параметрів, вирішальне значення серед яких мають валідність і надійність одержаних результатів. Валідність характеризує відповідність одержаних результатів меті тестування і вимогам до обраного методу вимірювання. Це поняття визначає наскільки адекватно і якісно тест вимірює те, що означено метою тестування, тобто наскільки даний тест як метод вимірювання дає статистично вірогідні результати. Валідність педагогічного тесту залежить від багатьох факторів: якості тестових завдань, їхньої кількості, повноти і глибини охоплення тестовими завданнями змісту і структури навчального матеріалу (знань, умінь, компетентностей тощо), балансу і розподілу завдань за складністю, методу добору завдань у тест тощо. Вона також залежна від процедур, що забезпечують проведення тестування, організації збору даних та інтерпретації результатів, визначення вибіркової сукупності тих, хто підлягає тестуванню.

Надійність тестування характеризується стабільністю (незмінністю) його результатів, тобто вона визначає наскільки статистично прийнятним є відхилення у результатах або наскільки вони збігаються при повторному проведенні того самого або аналогічного (однакового за форматом і складністю) тесту [11, с.153]. Тому надійність тестування залежить від об'єктивності обраного методу і процедур тестування, якості тесту за добором завдань і стабільності статистичних параметрів, що характеризують тест. Ступінь надійності тесту визначається за допомогою коефіцієнтів кореляції між результатами, одержаними однаковим методом (так зване паралельне тестування) за однакових умов.

Виправданим критерієм логічного упорядкування тесту є показник складності тестових завдань. Його можна визначати на основі оцінювання передбачуваних кількості і характеру розумових дій, необхідних для успішного виконання завдання, або завдяки емпіричній оцінці складності завдань за результатами успішності їх виконання. та прогнозування успішності їх виконання як частка неправильних відповідей від їх загальної кількості. Цей показник є структуроутворюючим фактором побудови педагогічного тесту, оскільки визначає послідовність пред'явлення тестових завдань зростаючої складності за принципом від простого до складного.

За допомогою педагогічного тестування стає можливим об'єктивніше оцінити рівень знань і вмінь учнів і структуру набутих ними компетентностей шляхом порівняння індивідуальних показників засвоєння знань і вмінь для певних фрагментів навчального матеріалу. Найпростіший спосіб виявлення рівня знань полягає в тому, що вчитель порівнює й аналізує відповіді кожного конкретного учня на всі завдання тесту. Чим більше правильних відповідей, тим вищий індивідуальний тестовий бал учня, отже, тим вищий його рівень оволодіння навчальним матеріалом.

Разом з тим у процесі оцінювання необхідно враховувати також складність виконаних учнем тестових завдань та інші якісні показники виконання тесту. Адже правильне виконання учнем, наприклад, 20 з 30 завдань може мати різний набір виконаних тестових завдань і тим самим неоднаково характеризувати структуру його компетентності. Якщо це послідовні перші 20 завдань, то маємо профіль знань учня, адекватний підвищенню складності тестових завдань у тесті, тобто учень демонструє послідовне досягнення певного рівня, що відповідає реальній структурі його навчальних досягнень. Якщо ж це 20 завдань з "розривами" в послідовності пред'явлення завдань, то необхідно аналізувати правильні і неправильні відповіді учні і встановлювати причини прогалин у структурі компетентності учня або виявляти дефекти у побудові тесту (наприклад, порушення лінійності ускладнення тесту або виявлення в ньому дефектних завдань). Адже головне завдання педагогічного тестування полягає в тому, щоб за допомогою мінімальної кількості тестових завдань, за короткий час, якісно і об'єктивно, з найменшими ресурсними витратами оцінити якнайбільшу кількість учнів [1, с.159].

Варто зауважити, що в освітній практиці не завжди педагогічний тест повинен бути доведений до професійного рівня якості, характерного для стандартизованого тестування. Такі тести застосовують у процесі оцінювання навчальних досягнень учнів, що має на меті, як правило, досягнення високої ціни об`єктивності і достовірності, наприклад, на значних вибірках учнів під час державної підсумкової атестації, у міжнародних обстеженнях якості освіти (TIMSS, PISA, PIRLS) або на національному рівні (зовнішнє незалежне оцінювання випускників шкіл), зрідка на регіональному рівні (моніторингові дослідження якості освіти за предметними галузями в областях).

У своїй контрольно-оцінювальній діяльності вчитель використовує як інструментальний засіб різні тестові матеріали, які не завжди можуть відповідати високому рівню якості стандартизованого тесту. Проте кожний вчитель, спираючись на власний досвід педагогічної діяльності і мінімальні знання в галузі теорії педагогічних вимірювань, здатний самостійно підготувати якісний педагогічний тест, якщо дотримуватиметься певних правил створення тесту.

Як правило, учитель у своїй педагогічній практиці використовує простіші процедури конструювання тесту, які не потребують значних зусиль у створенні якісного тесту. Однак спрощена апробація підготовленого тесту повинна бути обов`язково, оскільки надає можливість учителю позбутися неякісних завдань і наблизити тестування до стандартизованої процедури, яка відзначається об`єктивністю і достовірністю одержаних результатів.

Оскільки в пошуку незалежної вибірки учнів для апробації тесту є певні труднощі, у реальній освітній практиці ця процедура може відбутися в перший рік використання розробленого тесту. На підставі одержаних статистичних характеристик для кожного тестового завдання здійснюється корекція змісту і форми, переформульовуються тексти завдань, якщо в цьому є потреба, уточнюються правильні та хибні відповіді. Таким чином, складна процедура стандартизованого педагогічного тестування спрощується і набуває унормованих ознак без втрати вимогливості до побудови якісного тесту [10].

На першому етапі конструювання тесту насамперед визначається мета тестування залежно від типу педагогічного контролю - вхідний, поточний, тематичний чи підсумковий. Вочевидь, що під час вхідного контролю з`ясовується, наскільки учні підготовлені до сприйняття навчального матеріалу, і не ставляться цілі оцінювання їхніх досягнень. Поточний контроль виявляє хід засвоєння знань і вмінь на визначеному рівні і найчастіше виконує діагностуючу функцію для внесення коректив у навчальний процес. Тематичний контроль передбачає рубіжне (проміжне) оцінювання навчальних досягнень учнів з певного фрагменту предметної галузі знань і має прогнозуючу спрямованість в остаточному оцінюванні освітніх результатів конкретного учня. Підсумковий контроль має на меті оцінювання освітнього результату, здобутого учнями в процесі навчання, і характеризує досягнення учнями цільових вимог до оволодіння змістом предмета (сформованість предметних і ключових компетентностей, набуття професійних здатностей, відповідність розвитку особистості віковим особливостям норми тощо).

Далі, після визначення мети тестування, обирається вид тесту та визначаються підходи до його створення. Наприклад, у випадку підсумкового тестування визначається, який з підходів краще запровадити - нормативний (добір завдань за рівнями навчальних досягнень) чи критеріальний (добір завдань за вимогами до загальноосвітньої підготовки учнів, наприклад, сформованості певної предметної чи ключових компетентностей).

Після цього необхідно здійснити аналіз (декомпозицію) змісту навчального предмета чи окремої його теми, виокремивши ті елементи знань і вмінь, досвіду пізнавальної діяльності учнів, ціннісних ставлень, які підлягатимуть оцінюванню. На підставі такого аналізу визначають структуру тесту і стратегію розміщення завдань - за рівнями засвоєння, за тематичним принципом відображення змісту, за трудністю виконання (на основі статистичних показників) тощо.

Далі визначають тривалість виконання тесту, його довжину (орієнтовна кількість завдань у тесті) і розробляють специфікацію тесту, тобто визначають кількість завдань для того чи іншого елементу знань чи теми з урахуванням рівня його засвоєння або стосовно інших чинників обраної стратегії тестування.

Після розроблення специфікації тесту починається робота над створенням самих завдань у тестовій формі. У їх конструюванні вчитель може скористатися вже виданими збірниками тестів або самому підготувати їх, спираючись на власний досвід створення тестів. Добір завдань до педагогічного тесту та їх розміщення в ньому здійснюється відповідно до обраної заздалегідь стратегії подання завдань з урахуванням апріорних оцінок трудності їх виконання, зроблених на підставі власного досвіду викладання предмета.

На другому етапі конструювання педагогічного тесту відбувається його експериментальна апробація з метою визначення статистичних характеристик завдань, завдяки яким завдання в тестовій формі набувають статусу тестових завдань із заданими параметрами (валідність, трудність, диференційна здатність тощо).

Цей етап починається з опрацювання методики апробаційного тестування та підготовки необхідних інструктивних матеріалів для учнів і вчителів, які здійснюватимуть апробацію. На цьому етапі визначається також методика оцінювання педагогічного тесту та здійснюється вибір шкал для інтерпретації одержаних результатів. Далі власно відбувається саме апробаційне тестування, збір і статистична обробка одержаних результатів, на підставі яких тестові завдання і сам тест у цілому одержують статистично значущі психометричні характеристики тесту: мінімальне, середнє, і максимальне значення одержаних учнями балів; середнє квадратичне відхилення; похибка вимірювання за заданим рівнем значущості; коефіцієнти валідності для кожного тестового завдання окремо і тесту загалом тощо3. Крім того, кожне тестове завдання отримує значення психометричних параметрів трудності виконання завдання (індекс складності P) і розподільної (диференціювальної) здатності (індекс дискримінації ID).

На третьому етапі конструювання педагогічного тесту відбувається поліпшення якості самого тесту за результатами попереднього етапу. З тесту вилучаються ті завдання, які не відповідають критеріям якості за статистичними параметрами, змінюються або додаються нові завдання для встановлення заданого значення трудності тесту, змінюється у разі потреби порядок розміщення завдань в тесті, уточняються довжина тесту і час його виконання за результатами спостережень на апробаційному етапі тощо.

Удосконалення педагогічного тесту є перманентний процес, який продовжується після кожного його здійснення. Виникає своєрідний цикл поліпшення якості тесту, завдяки якому розробники доводять його до необхідної досконалості.

Як зазначає М.Б. Челишкова [12, с.113], тестування наближається до стандартизованих процедур педагогічного вимірювання за умов, якщо:

- жодному учневі не надається ніяких переваг перед іншими;

- заздалегідь визначена система підрахунку балів застосовується до всіх відповідей учнів без винятку;

- тест складається з завдань однієї чи кількох різних форм, до яких застосовують відповідні вагові коефіцієнти, одержані статистичним шляхом;

- тестування відбувається за схожих умов (час проведення, тривалість іспиту, розміщення тощо) для різних груп учнів;

- група тих, хто тестується, вирівняна за мотивацією;

- всі, хто бере участь у тестуванні, виконують одні й ті ж завдання.

Вочевидь, що для будь-якого тесту не може бути ідеального добору системи тестових завдань, оскільки оптимальність їх системотвірних чинників не обмежується єдиним варіантом. Звичайно, якість педагогічного тесту багато в чому залежить від якості тестових завдань, які його складають. Проте вона визначається не лише за цим критерієм. Адже тест, який чудово себе зарекомендував на одній вибірці учнів, може бути малоефективним для інших, оскільки для них він буде або заважкий, або надто легкий. Він може погано розрізняти (диференціювати) учнів з низьким або високим рівнем навчальних досягнень, і тому не надавати необхідної інформації щодо відмінності їхніх навчальних досягнень, на що в принципі був націлений. Тому якісний педагогічний тест - це інструмент контрольно-оцінювальної діяльності вчителя, за допомогою якого він спроможний об`єктивно виміряти й оцінити ту ознаку особистості, яка передбачена метою тестування.

2.3 Адаптивне тестування як спосіб індивідуалізації оцінювання учнів

Існують різні способи тестування навчальних здібностей учнів і набутих ними компетентностей. Проте більшість з них побудована за однаковими вимогами до всіх, хто виконує тест, і як правило, не враховують їхніх індивідуальних особливостей під час тестування. Більшість тестів створюється таким чином, щоб при успішній відповіді на чергове тестове завдання наступне було важчим, а при неспішному виконанні завдання - легшим. Такий підхід вимагає широкої попередньої апробації всіх тестових завдань, визначення психометричних параметрів кожного з них, зокрема їх складності, а також створення потужного банку завдань, який дає змогу вибудовувати педагогічний тест за принципом від простого до складного.

Кожен учитель знає, що добре підготовленому учню не доцільно давати надто легкі завдання, оскільки він легко їх виконує, і тому вони не дають об'єктивної інформації щодо рівня набутих ним компетентностей. Так само, не варто слабкому учню давати надто складні завдання, оскільки існує висока ймовірність того, що він з ними не впорається. Система оцінювання компетентностей буде визнаватися вчителем ефективною лише в тому випадку, якщо її знаннєва структура відповідатиме за змістом і обсягом предметному полю знань і вмінь учнів, які планує оцінити вчитель, міститиме процедури адекватного й об'єктивного оцінювання навчальних досягнень учнів за рівнем складності і глибиною розуміння суті. Тобто вона задовольнятиме вчителя в тому випадку, якщо результати тестування реально відображатимуть рівень успішності учня за його відповідями на підбірку тестових завдань.

Ця проблема спонукала вчених шукати інші способи оцінювання навчальних досягнень учнів, які б урегульовували співвідношення між кількістю пред'явлених завдань та їх складністю у процесі оцінювання рівня компетентності учнів, зокрема враховували їхні індивідуальні особливості. Таке тестування назвали адаптивним, оскільки воно надавало можливість оцінювати рівень компетентності учнів залежно від рівня їх загальноосвітньої підготовки. Адаптивне тестування - це такі методики оцінювання учнів, які передбачають у процесі тестування зміну послідовності, змісту і складності завдань, враховуючи надані відповіді на них.

Загалом в оцінюванні учнів застосовують три типи педагогічних тестів:

- навчальні і стандартизовані тести;

- частково адаптовані тести;

- повністю адаптовані тести.

У першому випадку тест складається з чіткої послідовності тестових завдань, підібраних за певними міркуваннями вчителя чи того, хто проводить тестування. Такий підбір завдань здійснюється з заздалегідь утвореної бази даних за певною логікою, наприклад, від найпростіших до більш складних або у випадковому порядку. Його перевагами є те, що такий тест виконується всіма без винятку учнями, які перебувають в однакових умовах. Основний його недолік - він не враховує індивідуальні особливості засвоєння навчального матеріалу.

Частково адаптовані тести можуть враховувати індивідуальні особливості загальноосвітньої підготовки учнів, проте не здатні диференційовано пред'являти тестові завдання залежно від здібностей учнів. Кожний учень одержує набір завдань, який відповідає його рівню підготовленості і здібностям, проте кожний з них виконує завдання різної складності, що не завжди враховується в остаточному оцінюванні навчальних досягнень учнів. При цьому не завжди враховується якість відповіді на попереднє завдання у формуванні наступного.

Повністю адаптовані тести зорієнтовані на модель учня, побудовану як ідеальний образ набутих учнем компетентностей за наперед заданим сценарієм, який можна характеризувати як розгалужений алгоритм. Сценарій такого тесту розгортається залежно від наданої учнем відповіді (правильної чи неправильної) і реалізується як набір завдань різної складності і значущості навчального матеріалу: більш складні завдання розміщені в основній гільці графа, а більш прості - в розгалуженнях. Таким чином, залежно від підготовки учнів вони виконують різну кількість завдань.

Повністю адаптовані тести ґрунтуються на різних параметрах моделі учня, зокрема враховують рівень його загальноосвітньої підготовки, форму подання контрольного завдання (текст, візуальне зображення тощо), наявність підказок і коментарів, особливості сприймання навчального матеріалу тощо.

Нині в практиці педагогічного тестування використовують три моделі адаптивних тестів. Перша з них ґрунтується на тому, що спочатку учневі дається завдання середньої складності і залежно від того, чи правильно він його виконав, наступне завдання буде або легшим, або важчим.

Друга модель, яка використовує розподілений за кількома рівнями складності банк завдань, передбачає, що учень спочатку виконує найпростіше завдання з блоку (кластера) першого, найнижчого рівня складності. При успішному його виконанні надається завдання з кластера найвищого рівня складності; якщо він з ним упорався, для підтвердження високого рівня володіння навчальним матеріалом йому надаються ще кілька завдань з цього ж кластера. Якщо учень неправильно виконав завдання найвищого рівня, йому пропонують завдання з кластера другого рівня складності і залежно від успішності його виконання пред'являється наступне завдання з кластера нижчого чи вищого рівня складності. Такі "гойдалки" продовжуються до тих пір, доки учень не почне стабільно підтверджувати свій рівень компетентності на завданнях кластера певного рівня складності, демонструючи тим самим реальний рівень своєї підготовки.

Третя модель адаптивного тесту передбачає, що учень сам обирає той рівень складності, з якого він почне тестування, і залежно від успішності своєї роботи буде просуватися до наступного завдання - більш складного чи простішого - за першою чи другою моделлю тестування.

Можуть існувати й інші підходи до адаптивного тестування, наприклад, включення в тестове завдання, особливо з високим ступенем складності, підказок щодо способу його виконання. Наприклад, за допомогою тестового завдання, яке містить питання різного ступеня складності, можна індивідуалізувати контрольно-оцінювальну діяльність шляхом включення в нього підказок різного характеру - повідомлення загальних відомостей про понятійне поле завдання (нагадування формул, означення понять тощо) або надання вказівок щодо алгоритму пошуку розв'язку завдання (формулювання законів, наведення прикладів тощо). Такий підхід дає можливість більш об'єктивно оцінити рівень компетентності учнів як здатність використовувати набуті знання і вміння в різноманітних пізнавальних ситуаціях, а не перевірити рівень запам'ятовування навчального матеріалу чи обізнаність учня в конкретній галузі знань. Адже адаптивні тести мають за рахунок більшої індивідуалізації контролю мають більш високий навчаючий потенціал, ніж традиційний педагогічний тест.

Таким чином, адаптивне тестування відіграє більш важливу роль, ніж звичайного засобу контролю знань. Воно стає інструментом вимірювання навчальних досягнень учнів з метою діагностування їхньої готовності до продовження успішного навчання або коригування засвоєння вивченого фрагмента навчального матеріалу.

Адаптивний тест у такому випадку повинен складатися не лише з оптимальних за складністю завдань, актуальних для набутого рівня компетентності суб'єкта навчання, але й діагностувати потенційні труднощі, які можуть виникнути в процесі подальшого навчання. Тому набір завдань під час такого адаптивного тестування для кожного учня буде різним і відрізнятиметься як кількісно, так і якісно - за трудністю завдань, часом їх виконання, послідовністю і формою подання тощо. У такому разі ефективність вимірювання в порівнянні зі звичайним педагогічним тестуванням підвищується, оскільки зменшується кількість завдань, необхідних для об'єктивного оцінювання рівня досягнень кожного з учнів, оптимізується час виконання тесту, і головне - з'ясовуються індивідуальні (суб'єктивні) труднощі засвоєння навчального матеріалу, які в майбутньому нададуть можливість скоригувати траєкторію навчання або навіть змінити сценарій освітнього процесу.

Побудова педагогічного тесту за принципом від простих до більш складних тестових завдань у більшості випадків є системоутворюючим чинником створення адаптивного тесту. Тому рівень складності тестових завдань, визначена в процесі попередньої апробації тесту, належить до основних психометричних характеристик завдання. Адже найголовніша вимога до педагогічного тесту полягає в тому, що тестові завдання в ньому повинні розрізнятися рівнем складності. Показник складності завдання, визначений як психометричний параметр (коефіцієнт або індекс складності), є змістовним і формальним критерієм одночасно. Змістовним, тому що в якісному тестовому завданні складність може залежати як від його змісту, так і від рівня загальноосвітньої підготовки учнів, що тестуються. У поганому завданні на показник складності можуть впливати інші, подекуди другорядні фактори (неадекватна змісту форма подання завдання, порушення процедур тестування, недостатня вибірка тощо). Формальний критерій задовольняє основну вимогу психометричного оцінювання складності тестового завдання - успішність виконання завдання, за результатами якої у різний спосіб обчислюється коефіцієнт (індекс) складності.

Довгі роки в класичній теорії тестів складність завдань визначалася найпростішим способом - обчисленням частки правильних відповідей учнів на конкретне завдання, тобто якщо правильну відповідь на i-те тестове завдання дали учнів від загальної кількості учнів N в групі, що тестувалася, то складність завдання обчислюється за формулою:

.

Інколи її подають у відсотках, зазначаючи тим самим процент учнів у групі, які правильно виконали дане завдання. Наприклад, якщо або 65 %, то це означає, що 65 відсотків учнів виконали це завдання правильно. Довгий час цей показник був мірою рівня складності завдання, хоча логічніше визначати рівень складності за показником неправильного виконання тестового завдання, тобто як частка кількості неправильних відповідей до кількості учнів N, що виконували завдання. Отже, неправильно виконали це завдання учнів, де

Легко переконатися, що

У процесі конструювання тесту необхідно брати до уваги, що тестове завдання, яке виконали всі учні, не варто включати до тесту, оскільки воно не має варіації балів за його виконання (усі отримали, наприклад, 1 бал), отже, не несе ніякої оцінної інформації, за якою можна було б розрізняти учнів. Так само не варто включати до тесту завдання, які ніхто не виконав; вони так само не диференціюють учнів за ознакою виконання завдання (усі отримали

0 балів). Як правило, вимоги до складання тесту з позиції врахування складності тестових завдань більш жорсткі: до нього не включають занадто легкі ( ) і занадто важкі тестові завдання ( ).

Недоліки класичної теорії тестів, насамперед пов'язані з суб'єктивністю емпіричної оцінки рівня складності тестових завдань, спонукали до пошуку більш об'єктивних мірил цієї характеристики тестів. У сучасній теорії тестів IRT [11; 12] складність тестових завдань обраховується дещо інакше, у вигляді натурального логарифму:

.

Ця формула більш адекватна для інтерпретації рівня складності завдання в тому розумінні, що дає можливість не брати до уваги тих учнів, які зовсім не виконували i-те завдання, а також ураховувати інші чинники, що впливають на результативність виконання конкретного тестового завдання. Тому було запропоновано кілька математичних моделей параметричного оцінювання тестових завдань (моделі Раша і Бірнбаума), які встановлювали функціональну залежність між результатом виконання тесту і латентними (скритими, неявними) якостями особистості, що виконувала тест4.

Сучасна теорія тестування IRT дала змогу одержати стійкі об'єктивні параметри тестових завдань, які не залежать від вибірки учасників тестування, і порівняти їх за однією шкалою. Це дало змогу співставити рівень знань тих, хто тестувався, з рівнем складності кожного завдання, і нарешті, адекватно виміряти латентні показники учнів і студентів (навчальні досягнення, рівень володіння компетентністю, рівень кваліфікації тощо) за рівнем складності виконаних ними завдань [11].

Алгоритм проведення педагогічного тестування за принципом покрокового ускладнення тестових завдань "від простого до більш складного" не завжди може дати об'єктивну оцінку рівня компетентності, досягнутого учнем, оскільки на процес пошуку відповіді можуть впливати й інші чинники, крім обсягу і глибини набутих учнем знань і вмінь. Водночас незбалансований за складністю тестових завдань педагогічний тест ускладнює подальшу інтерпретацію одержаних результатів, оскільки не може диференціювати учнів за рівнем їхньої підготовки.

Таким чином, у процесі конструювання адаптивного тесту постає необхідність забезпечення рівня складності тестових завдань відповідно до пізнавальних можливостей та особливостей учасника тестування, урахування обсягу та змісту цих тестових завдань, формату їх подання, часу тестування тощо. Тому для реалізації адаптації тесту до навчальних досягнень учня потрібно знайти таку модель педагогічного тесту, яка б адекватно відображала реальний рівень набутих учнем компетентностей, його здатності стабільно виконувати завдання даного змісту і рівня складності в певному часовому інтервалі. Ця модель адаптивного тесту має відображати ієрархічну структуру альтернативних рішень на кожному його ієрархічному рівні і містити множину варіантів переходів між ієрархічними рівнями, які б адекватно оцінювали здібності учня.

Це може бути блокова модель адаптивного тесту, кожний блок якого має свій рівень складності і містить низку однотипних тестових завдань приблизно однакової складності. За рівнем складності ці блоки завдань є ієрархічними. Вони можуть доповнюватися додатковими завданнями такого ж рівня складності, які можна вважати в даному випадку альтернативними, оскільки вони урізноманітнюють підходи і методи розв'язування завдань певного змісту і рівня складності. Множина таких блоків дає змогу одержувати ієрархічні комбінації побудови тесту за рахунок численних варіантів сполучення блоків, які найбільш адекватні пізнавальним особливостям учнів. Така блокова модель дає можливість наблизити рівень складності розв'язаних завдань до реального рівня навчальних досягнень учнів.

Конструювання адаптивного педагогічного тесту за блоковою моделлю передбачає: а) раціональний вибір ієрархічної структури тесту, б) визначення алгоритму переходів і взаємозв'язків між різними ієрархічними рівнями, в) оптимального наповнення кожного з ієрархічних блоків однотипними й однорівневими тестовими завданнями, г) добір тестових завдань заданої складності як додаткових у структуризації блоку. У процесі створення такого педагогічного тесту відбувається пошук "золотої середини" між оптимізацією і раціональним вибором, між найкращою структурою тесту і найефективнішими завданнями в адекватному оцінюванні навчальних досягнень учнів.