Методи та моделі управління тестовими технологіями у вищих навчальних закладах в умовах впровадження Болонського процесу

Размещено на http://www.allbest.ru/

ЧЕРКАСЬКИЙ ДЕРЖАВНИЙ ТЕХНОЛОГІЧНИЙ УНІВЕРСИТЕТ

УДК 004:37.013(043)

АВТОРЕФЕРАТ

дисертації на здобуття наукового ступеня кандидата технічних наук

МЕТОДИ ТА МОДЕЛІ УПРАВЛІННЯ ТЕСТОВИМИ ТЕХНОЛОГІЯМИ У ВНЗ В УМОВАХ ВПРОВАДЖЕННЯ БОЛОНСЬКОГО ПРОЦЕСУ

05.13.06 - інформаційні технології

Мисник Людмила Дмитрівна

Черкаси 2010

Дисертацією є рукопис.

Робота виконана в Черкаському державному технологічному університеті Міністерства освіти і науки України.

Науковий керівник: доктор технічних наук, доцент, лауреат Державної премії України в галузі науки і техніки БУШУЄВА НАТАЛІЯ СЕРГІЇВНА, Київський національний університет будівництва і архітектури, професор кафедри управління проектами.

Офіційні опоненти: доктор технічних наук, професор ГОГУНСЬКИЙ ВІКТОР ДМИТРОВИЧ, Одеський національний політехнічний університет, завідувач кафедри управління системами безпеки життєдіяльності;

кандидат технічних наук, доцент УС МИХАЙЛО ФЕДОРОВИЧ, Східноєвропейський університет економіки і менеджменту, професор кафедри інформаційних технологій.

Захист відбудеться “28” січня 2010 року о 14⁰⁰ годині на засіданні спеціалізованої вченої ради К73.052.01 в Черкаському державному технологічному університеті за адресою: 18006, м. Черкаси, бул. Шевченка, 460.

З дисертацією можна ознайомитись у бібліотеці Черкаського державного технологічного університету за адресою: 18006, м. Черкаси, бул. Шевченка, 460.

Автореферат розісланий “25” грудня 2009 р.

Вчений секретар спеціалізованої вченої ради В.В.Палагін

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми досліджень. Успішне вирішення проблем, що стоять перед Україною на шляху її інтеграції в Світову економіку неможливе без спеціалістів з високим рівнем кваліфікації. Особлива роль в цьому процесі належить вищим навчальним закладам (ВНЗ). В умовах науково-технічного прогресу підвищуються вимоги до спеціалістів, якості їх знань, навиків та вмінь, безперервно збільшується обсяг інформації, яку необхідно засвоювати студенту при незмінних термінах навчання.

Входження освіти України до єдиного європейського та світового освітнього і наукового простору, впровадження в систему вищої освіти України основних ідей Болонського процесу та запровадження кредитно-модульної системи організації навчального процесу у ВНЗ вимагає інтенсифікації навчального процесу, безперервного вдосконалення навчальних і тестових технологій з метою їх відповідності до європейських вимог.

Існуючі автоматизовані системи навчання і контролю знань, які забезпечують високу швидкість отримання знань, конкретність, об'єктивність при оцінці, мають один суттєвий недолік - організація контролю знань розглядається як локальна задача, яка вирішується в традиційний спосіб на рівні деканатів, кафедр та навчального відділу. Потрібен системний підхід. Контроль знань повинен розглядатися як складна система, яка базується на реалізації багатьох дій по визначенню необхідності автоматизованого навчання і контролю знань, по підготовці, налаштуванню, проведенню автоматизованого тестування та обробці його результатів. Вирішення цих задач є необхідною умовою підвищення якості та ефективності навчання, оперативності виконання завдань, що виникають при організації навчального процесу. Наявність невирішених задач управління тестовими технологіями і нагальна проблема їх розв'язання робить тему дисертаційних досліджень актуальною.

Зв'язок роботи з науковими програмами, планами, темами. Дисертаційна робота виконана в Черкаському державному технологічному університеті в рамках наукової теми “Науково-методичні основи побудови матричних систем та технологій управління проектами підготовки спеціалістів в вищих закладах освіти” державна реєстрація № 0103U008076 та наукової теми “Інформаційно-аналітична система контролю та оцінювання навчальної діяльності студентів ВНЗ” державна реєстрація № 0109U006094. Отримані автором результати включені у звіти по науковим темам.

Мета і задачі дослідження. Мета дисертаційної роботи полягає в підвищенні рівня якості процесу навчання студентів на основі розробки і впровадження тестової технології як цілісної системи дій по організації, підготовці і проведенню автоматизованого тестування студентів.

Задачами даного дослідження є:

· аналіз предметної області ВНЗ та нормативних баз навчальних і тестових технологій;

· формалізація задач управління навчальним процесом в частині, що відноситься до збору і використання інформації про рівень знань, вмінь і навичок студентів;

· розробка структури інформаційного середовища тестових технологій;

· розробка моделей породження нової інформації в інформаційному середовищі тестових технологій;

· розробка математичної моделі оцінки ефективності навчання через атрибути інформаційного середовища тестових технологій;

· розробка моделі управління в інформаційній технології навчання та тестування, яка полягає у забезпеченні максимально ефективного і якісного процесу взаємодії в середовищі знань суб'єктів навчання;

· математична формалізація цілей управління в інформаційній технології автоматизованого тестування студентів з врахуванням вимог ECTS та обмежень, що накладаються на реалізацію такої технології;

· розробка методу управління тестовими технологіями;

· розробка методів тестування в умовах комплексної організації всіх дій по підготовці і реалізації тестової технології;

· розробка програмно-інформаційних засобів тестових технологій.

Об`єктом досліджень в рамках цієї роботи виступають процеси навчання та контролю знань студентів.

Предметом досліджень являються моделі, методи та засоби управління тестовими технологіями.

Методи дослідження базувались на використанні: теорії систем, теорії моделювання, системотехніки, методів системного аналізу - для вивчення предметної області досліджень та виявлення закономірностей в розвитку систем автоматизації контролю знань і навчання, теорії графів - для побудови структур тестових технологій, теорії несилової взаємодії - для розробки математичної моделі взаємодії в інформаційному середовищі тестових технологій, теорії алгоритмів - для розробки засобів тестових технологій, теорії ймовірностей - для визначення статистичних залежностей в результатах тестових технологій.

Наукова новизна отриманих результатів полягає в тому, що вперше розроблені моделі і методи тестової технології, які є цілісною системою реалізації дій по організації, підготовці, проведенню тестування і орієнтовані на інформаційне забезпечення системи управління навчальним процесом.

Наукові результати, отримані автором, полягають в наступному.

Вперше:

· формально представлено П - множину моделей породження нової інформації, що реалізуються в тестових технологіях, відмінністю якої від традиційних є врахування особливостей організації, планування і моніторингу тестування в вищих навчальних закладах, що дозволяє формалізувати функціональну складову процесів формування тестів, тестування, та використання результатів тестування в управлінні навчальним процесом;

· запропоновано метод управління тестовою технологією, який відрізняється від існуючих застосуванням для моделювання процесів управління дводольних графів з послідуючим розрахунком моделі реалізації дій в тестових технологіях шляхом слідування активності між статичними (екземпляри інформаційних представлень) та динамічними (процедури породження нової інформації) елементами цієї технології, що дозволяє реалізувати оптимальні послідовності дій по формуванню тестів, тестуванню, та використанню результатів тестування в управлінні навчальним процесом.

Удосконалено:

· методи тестування в умовах комплексної організації всіх дій по формуванню тестів, тестуванню та використанню результатів тестування в управлінні навчальним процесом, які відрізняються від існуючих орієнтацією на автономність та чіткий розподіл функцій при проведенні всіх видів тестової роботи і забезпечують автоматичне формування сценарію опитування і формування гнучкої і узгодженої з викладачами системи оцінки результатів тестування;

· математичну модель задачі побудови ефективної технології формування інформаційного ресурсу системи управління навчальним процесом в ході його моніторингу, яка доповнена до існуючих функціями управління тестуванням студентів, що забезпечує комплексну автоматизацію дій по отриманню і наданню зацікавленим особам необхідної інформації на всіх етапах тестування студентів в ВНЗ.

Отримала подальший розвиток математична модель оцінки ефективності навчання через атрибути інформаційного середовища навчальних і тестових технологій, яка на відміну від існуючих базується на співставленні можливих реакцій в області професійної діяльності випускника з інформаційним наповненням тестової технології, що дозволяє управляти розподілом часу між навчанням та контролем знань студентів та забезпечує підвищення ефективності навчання у ВНЗ. Практичне значення отриманих результатів полягає в тому, що на основі узагальнення відомих результатів і наукових положень, отриманих автором, закладаються сучасні методологічні основи підвищення ефективності інформаційного забезпечення навчального процесу на базі створення та використання методів і засобів управління тестовими технологіями, як одного з найбільш важливих компонентів системи управління навчальним процесом.

Проведені дослідження дозволили створити ефективну технологію формування інформаційного ресурсу систем управління навчальним процесом в ході тестування студентів на базі розроблених автором методів та програмних засобів, придатну до використання в навчальному процесі ВНЗ.

Розроблені методи та програмні засоби дозволяють:

· побудувати раціональну структуру інформаційного середовища тестової технології та наповнити його інформацією, яка використовується в системі управління навчальним процесом;

· мінімізувати час та витрати праці на підготовку і використання в масштабі ВНЗ тестових завдань та на отримання необхідної для управління навчальним процесом інформації;

· побудувати технологію тестування студентів;

· динамічно виконувати моніторинг навчального процесу;

· надавати в систему управління навчальним процесом всю необхідну інформацію про рівень знань студентів.

Розроблені програмно-інформаційні засоби впроваджено в Черкаському державному технологічному університеті.

Особистий внесок здобувача полягає в аналізі існуючих і розробці нових методів та моделей підвищення ефективності управління навчальним процесом. В роботах, що опубліковані в співавторстві здобувачу належать: в [1] автором розроблено положення по реалізації системного підходу до побудови інформаційної технології автоматизованого навчання у ВНЗ; в [2] запропоновано напрямки розробки інформаційної технології автоматизованого навчання та контролю знань; в [3] розроблено технологію використання системи тестування студентів для навчання і контролю знань студентів в процесі модульного і підсумкового контролю знань; в [5] розроблено концептуальні основи розвитку тестових технологій в управлінні науково-освітнім процесом ВНЗ; в [6] розглянуто компоненти системної моделі проекту створення тестової технології та засобів управління цією технологією; в [7] розроблена методика поточного і підсумкового контролю знань та представлена технологія використання системи тестування студентів для навчання і контролю знань студентів; в [8] розглянуто застосування системи тестування студентів для управління навчальним процесом; в [9] вдосконалено методику автоматизованого навчання та контролю знань з використанням системи тестування студентів; в [11] запропоновано варіант побудови навчального процесу з використанням системи тестування студентів.

Апробація результатів дисертації. Основні положення дисертаційної роботи доповідались, обговорювались та отримали позитивну оцінку на наступних науково-технічних конференціях і семінарах:

· всеукраїнська конференція “ІТОН-2000”, Черкаси, 2000;

· міжнародна конференція “АВТОМАТИКА-2000”, Львів, 2000;

· всеукраїнська конференція “ІТОН-2002”, Черкаси, 2002;

· чотирнадцята наукова сесія осередку наукового товариства ім. Шевченка, Черкаси, 2003;

· міжнародна науково-практична конференція “Україна наукова 2003”, Дніпропетровськ-Запоріжжя, 2003.

Публікації. За результатами дисертаційної роботи опубліковано 11 друкованих праць: 6 статей, з яких 5 - у спеціалізованих виданнях ВАК України з технічних наук, і 5 матеріалів конференцій.

Структура й обсяг дисертації. Дисертаційна робота складається з вступу, чотирьох розділів, висновків, списку використаних джерел (132 найменування) та додатків. Робота містить 172 сторінки тексту, з них 126 сторінок основного тексту, та ілюстрована 47 рисунками і 12 таблицями.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі обґрунтовано актуальність теми дисертації, визначено мету, завдання і методи дослідження, окреслено наукову новизну та практичне значення отриманих результатів, подано загальну характеристику дисертаційної роботи.

У першому розділі наведено результати аналізу інформаційних технологій навчання і контролю знань, впроваджених у ВНЗ України і за кордоном. На основі проведеного аналізу показано, що удосконалення процесу навчання вимагає розв'язання ряду важливих дидактичних і методологічних питань: обґрунтування ролі і місця контролю знань під час навчання; визначення вимог до процесу контролю знань; розвитку методів оцінки знань та визначення впливу інформації по оцінці знань на ефективність навчання. Підтверджено, що для підвищення ефективності навчання необхідно удосконалити інформаційне забезпечення навчального процесу, застосовуючи прогресивні інформаційні технології збору і обробки інформації в процесі автоматизованого контролю знань студентів.

Враховуючи необхідність нового підходу до побудови системи освіти, що обумовлена входженням України в Болонський процес, а також необхідністю інтенсифікації всіх дій, спрямованих на підготовку спеціалістів, здатних працювати в нових економічних умовах, потрібно створити і впровадити в навчальний процес цілісну наскрізну тестову інформаційну технологію, що включає всі етапи організації тестування, тестування та використання результатів тестування, розробити методи і моделі управління такою технологією. Це, в свою чергу, дасть змогу підвищити якість та оперативність рішення завдань, які виникають при впровадженні Болонського процесу. Виконано постановку задач наукових досліджень.

Другий розділ дисертації присвячений розробці математичної моделі інформаційного середовища тестових технологій, що являє собою множину необхідних для його функціонування екземплярів інформаційних представлень та процедур породження нової інформації. Показано, що вирішення задачі створення ефективної технології формування інформаційного ресурсу системи управління навчальним процесом в ході його моніторингу за рахунок автоматизації процесів формування тестів, тестування та управління тестуванням студентів при підготовці фахівців у ВНЗ України вимагає розробки:

1) структури інформаційного ресурсу систем управління навчальним процесом, який може бути отриманий в ході моніторингу навчання;

2) ефективної технології формування інформаційного ресурсу системи управління навчальним процесом в ході моніторингу навчання;

3) ефективної системи управління процесом формування тестів та їх використанням в тестових технологіях (управління тестовою технологією).

Ця послідовність розробок формує методологічну основу досліджень.

Подано основні визначення роботи:

Визначення. Тестова технологія (ТТ) - це цілісна система методів та засобів планування розробки тестів, розробка тестів, планування тестування, тестування студентів та надання інформації за результатами тестування, необхідної для удосконалення процесу навчання.

Наслідок: ТТ включає: самі тести та методи їх побудови і використання, засоби створення тестів, тестування студентів та надання інформації за результатами тестування, графік тестування.

Вся необхідна інформація для тестування входить до інформаційного середовища ТТ. Структура інформаційного середовища ТТ задається чотирма компонентами - інформаційне середовище системи формування ТТ, інформаційне середовище процесу тестування, інформаційне середовище системи управління навчальним процесом, що формується ТТ та інформаційне середовище моніторингу ТТ.

Динамічне наповнення екземплярів інформаційного представлення ТТ забезпечує життєдіяльність системи управління навчальним процесом, а динаміка наповнення залежить від реалізації процедур породження нової інформації. Представлена множина процедур породження нової інформації, що реалізуються в ТТ:

П = F01 F02 F03 F04 F05 ,

інформаційний тестовий технологія навчання

де F₀₁ - процедури формування ТТ; F₀₂ - процедури тестування; F₀₃ - процедури формування і надання результатів тестування (інтеграції ТТ в систему управління навчальним процесом); F₀₄ - процедури моніторингу процесів формування ТТ; F₀₅ - процедури моніторингу процесу тестування та його результатів.

Процес навчання і тестування представлено як сукупність дій по реалізації процедур породження нової інформації, а структура процедур породження нової інформації в інформаційному середовищі системи управління тестовими технологіями представлена на рис. 1.

При цьому залежність між початковими і кінцевими знаннями, вміннями і навичками студентів можна представити у вигляді формальної п'ятірки:

,(1)

Де -початковий рівень знань суб'єктів навчання (студентів);

- кінцевий рівень знань суб'єктів навчання;

- вплив методів і засобів навчання на рівень знань, вмінь і навичок суб'єктів навчання (сукупність процедур породження нової інформації в процесі навчання);

- вплив автоматизованих форм контролю знань на рівень знань, вмінь і навичок суб'єктів навчання (сукупність процедур породження нової інформації в ТТ);

- індивідуальні особливості сприйняття навчального матеріалу;

- час реалізації процесу навчання та контролю знань.

Реалізація цих процедур приводить до засвоєння необхідних для професіональної діяльності знань, умінь та навичок. Для управління ТТ необхідно оцінити її вплив на ефективність навчання. Цей вплив визначимо через критерій, представлений в цільовій функції як ймовірність правильної дії випускника ВНЗ в ситуаціях, пов'язаних з професійною діяльністю:

,(2)

де

- оцінка ефективності навчання множини студентів ;

-кількість інформації про правильну реакцію в деякій ситуації в області професійної діяльності фахівця у студента ;

- кінцевий рівень інформованості студента ;

- дія спеціаліста (реакція) у предметній сфері професійної діяльності.

при обмеженнях:

1.,

де - витрати на збільшення інформованості студента ;- максимально допустимі витрати на підготовку всіх студентів множини C.

2.,

де - витрати часу на збільшення інформованості студента ;- максимально допустимі витрати часу на підготовку студентів множини C.

3. R^' = {r_i},i = - область можливих рішень.

При цьому, виходячи з класичної теорії інформації

.



Размещено на http://www.allbest.ru/

Рис.1 Структура процедур породження нової інформації в інформаційному середовищі системи управління ТТ

де Е_i - екземпляри інформаційного представлення;

F_j - процедури породження нової інформації.

ТТ - це сукупність екземплярів інформаційного представлення і процедур породження нової інформації, що забезпечують: збір інформації про процес тестування, моніторинг та оцінку отриманих даних, прийняття рішень по впливу на процес навчання і тестування, управління процесом створення тестових завдань, управління процесом тестування, що забезпечує ефективне та якісне проведення навчання і тестування згідно формули (1).

Систематичне проведення тестового контролю дозволяє виявити вплив навчання на формування знань студентів. Найточнішу інформацію про хід навчального процесу матимемо при частому проведенні тестового контролю знань. Це забезпечить якісний зворотній зв'язок між системою навчання та системою управління тестовими технологіями (рис.2).

Размещено на http://www.allbest.ru/

Рис.2. Вплив ТТ на рівень інформованості студента

Та збільшення обсягів тестування приведе до збільшення витрат на проведення контролю знань студентів і зменшення часу навчання студентів. Отже, необхідно досягти оптимуму в розрізі “витрат” і “вигод” від контролю знань студентів. Все це є сферою діяльності по створенню навчальних та тестових технологій. Тому вдосконалено процес управління ТТ, що дозволяє досягти підвищення інформованості студентів. А це, в свою чергу, оптимізує вираз (2).

У третьому розділі представлена математична модель та методи управління ТТ. Виходячи із процесів, які зазвичай реалізуються в інформаційних технологіях організаційно-технічних систем (а такою системою безумовно є ВНЗ), виділено два рівня реалізації навчальних і тестових технологій. Це рівень навчання та контролю знань, а також рівень управління навчанням та контролем знань:

T=<T^Н,T^у>,

де T^Н - інформаційна технологія автоматизованого навчання та контролю знань; T^У - інформаційна технологія управління процесом автоматизованого навчання та контролю знань.

Визначальною є саме технологія управління. Саме від того, як організовано управління процесами навчання та контролю знань залежить кінцевий продукт цих процесів - знання, вміння та навички випускників ВНЗ.

В першу чергу в процесі управління визначаються ті характеристики навчальної та тестової технологій, які забезпечують ефективну організацію (структурну і функціональну) процесу автоматизованого навчання та контролю знань. Це: дисципліни, по яким розробляються та застосовуються тести; структура тестів; відповідальні за розробку тематичних розділів тестів та навчального матеріалу; графік тестування; методика оцінювання; зв'язок з іншими автоматизованими системами ВНЗ; адміністрування процесів тестування.

В процесі управління зворотній зв'язок відносно навчальної та тестової технології забезпечується системою контролю за ефективністю автоматизованих форм роботи зі студентами. Компонентами такої технології є: система ідентифікації і ведення протоколів результатів навчання і тестування; система формування статистичних даних за результатами тестування; система оцінювання результатів навчальної роботи за результатами тестування. Тому система управління навчальними і тестовими технологіями містить компоненти:

,

де - методи і засоби організації та планування процесів автоматизованого навчання і тестування студентів; - методи і засоби моніторингу процесів автоматизованого навчання і тестування студентів.

Значення виразу (1) буде формуватися в системі управління навчальними і тестовими технологіями виходячи з залежностей:

,

де - час навчання,

,

де - час контролю знань.

Визначено оптимальне співвідношення між часом на навчання і часом на контроль знань, яке дає максимальне значення інформованості студентів.

.

В роботі експериментально отримано значення µ, яке оптимізує вираз (2). Воно знаходиться в межах 3µ6 для різних спеціальностей. Вхідною інформацією для системи управління навчальними та ТТ можуть бути: графік навчального процесу; навчальні та робочі навчальні плани; контингент студентів; розклад занять; зміст дисциплін. Вихідною інформацією є: опис змісту дисциплін тестовими завданнями; графік тестування; налаштовані на етап навчання чи рівень знань студентів тестові завдання та навчальний матеріал; відповідальні за підготовку електронних матеріалів дисциплін; графік підготовки електронних матеріалів дисциплін.

Сформульовано цілі впровадження технології автоматизованого навчання і контролю знань: підвищення ефективності та якості навчання і скорочення термінів навчання порівняно з традиційними формами організації навчального процесу. Розроблено структуру задач по підготовці тестових завдань та структуру задач по тестуванню.

Розроблено метод управління ТТ, який базується на відображенні процесів управління в дводольних графах з послідуючим розрахунком моделі реалізації дій в ТТ шляхом слідування активності між статичними (екземпляри інформаційних представлень) та динамічними (процедури породження нової інформації) елементами цієї технології, що дозволяє реалізувати оптимальні послідовності дій по формуванню тестів, тестуванню, та використанню результатів тестування в управлінні навчальним процесом.

Метод управління ТТ полягає в реалізації наступних дій:

1.Формування дводольного графу, ліва підмножина вершин якого відображає процедури по реалізації ТТ, а права відповідає результатам реалізації цих дій. Ребра дводольного графу вказують на порядок і умови виконання дій по формуванню елементів ТТ.

2.Розрахунок планових моментів часу початку виконання дій і формування елементів ТТ:

,

,

де

- вершина правої підмножини В дводольного графа;

- вершина лівої підмножини А дводольного графа;

- момент часу сформованості екземпляру інформаційного представлення, що відповідає вершині ;

- момент часу завершення виконання дій в ТТ, чи в процесах управління ТТ, що відповідає вершині .

- функція, що визначає наявність зв'язку (ребра) між вершинами (1-зв'язок є, 0-зв'язку немає).

3.Якщо планові показники часу виконання окремих підмножин дій в ТТ влаштовують учасників тестування - затвердження плану.

4.Визначення підмножини елементів ТТ , час формування яких не влаштовує учасників тестування.

5.Вибір підмножини підмножини B*, в якій елементи ТТ можуть бути сформовані без отримання інших елементів множини

.

6.Вибір з підмножини того елемента ТТ, який формується раніше за інших

.

7.Визначення необхідного (директивного) моменту часу формування елемента ТТ - .

8.Внесення змін в дії, які призводять до формування елемента ТТ в момент часу, який більший ніж :

.

9.Розрахунок нових моментів часу виконання дій і формування елементів ТТ (п.2).

Цей метод дозволяє сформувати раціональний план виконання дій в ТТ.

Запропоновано методи налаштування тестування в умовах комплексної організації всіх дій по формуванню тестів, тестуванню та використанню результатів тестування в управлінні навчальним процесом. Це, зокрема, метод визначення оцінки результатів тестування і метод вибору питань і відповідей в процесі тестування.

В основі методу оцінки результатів тестування лежить наступна шкала: правильна відповідь на запитання - +N балів; не правильна відповідь на запитання - -M балів; пропущене запитання - -К балів.

Оцінка: 1 - не більше p1*(N*L)/100 балів;

2 - не більше p2*(N*L)/100 балів;

b-1 - не більше pb-1*(N*L)/100 балів.

b - більше pb-1*(N*L)/100 балів,

де L-кількість заданих питань; p1, p2, p3,…, pb-1 - збільшуваний ряд значень відсотків балів, які визначають оцінку при набраному відсотку балів; b - бальність оцінки.

Метод вибору питань базується на ймовірності правильної (неправильної) відповіді студента на будь-яке питання по темі. Для оцінки ймовірності правильної відповіді на питання використано математичну модель несилової дії в областях інтелектуальної діяльності людини. Визначено інформаційний вплив відповідей на питання теми, питання інших тем і відповідей на це питання при попередніх опитуваннях на відповідь на не задане питання. Студенту пропонується питання відповідь на яке буде найменш інформативною (з найменшою ймовірністю очікується правильна відповідь). Якщо таких запитань кілька - вибирається випадково. Крім того, вводиться обмеження - не більше 3-х питань підряд по одній темі. Це робиться для того, щоб тестування було різнобічним і проводилось по різних темах. Інформативність питання визначається із формули

,

де

-інформативність питання j;

- вплив правильної відповіді на одне питання по темі на можливість правильної відповіді на інше питання по темі;

- вплив не правильної відповіді на одне питання по темі на можливість правильної відповіді на інше питання по темі;

- вплив відповідей на питання не по темі на відповіді на не задані питання по темі. В свою чергу

(для );

(для ),

де

- ймовірність того, що студент знає відповідь на питання, якщо він відповів правильно;

- ймовірність того, що студент знає відповідь на питання, якщо він відповів неправильно.

Ймовірності правильної і неправильної відповіді знайдемо за формулами

; ,

Де h - кількість альтернативних відповідей в вибірковому питанні (для інших питань - оцінювана варіантність відповіді).

Інформаційний вплив відповідей на питання не по темі на відповіді на не задані питання по темі

,

де

- кількість правильних відповідей студента на задані в тесті питання;

- кількість неправильних відповідей студента на задані в тесті питання;

- кількість правильних відповідей студента на задані в тесті питання по темі;

- кількість неправильних відповідей студента на задані в тесті питання по темі.

Забезпечено автоматичне формування сценарію опитування і створення гнучких і узгоджених засобів оцінки результатів тестування.

В четвертому розділі наведено особливості тестів, які використовуються в ТТ та приклади тестів, які можуть реалізовуватися системою тестування. Наведено алгоритм статистичної оброки матриці результатів тестування з метою визначення надійності тестів.

Розроблена структура ТТ на основі запропонованих методів та структур взаємодії між процедурами породження нової інформації.

ТТ використовується для організації та проведення контролю знань в ВНЗ з використанням сучасних засобів та методів автоматизації і базується на діяльності чотирьох ролей: викладача, адміністратора системи, працівника деканату і працівника навчального відділу. Представлено технологічні структури реалізації засобів тестування студентів.

Описано приклади використання ТТ в ВНЗ. Результати дозволяють зробити висновок про ефективність запропонованої технології в режимі інформаційного забезпечення системи управління навчальним процесом.

Наведені результати впровадження автоматизованої технології навчання і тестування, управління якою здійснюється з використанням розроблених автором методів і засобів. Результати свідчать про ефективність системи управління ТТ і дозволяють підійти до рішення задачі контролю знань студентів на якісно новому рівні через управління всіма процесами від визначення методики і підмножини дисциплін, по яким буде проводитись тестування і організації підготовки тестів, до обробки результатів тестування.

ВИСНОВКИ

В дисертаційній роботі розв'язана актуальна наукова задача, яка полягає в розробці науково-методичних основ систем управління ТТ через створення нових моделей і методів організації, планування та моніторингу тестування в процесах підготовки фахівців у ВНЗ України. Основними результатами дисертаційної роботи є:

1. З використанням системного підходу, проведено аналіз існуючих автоматизованих систем навчання і контролю знань та систем управління ВНЗ. Визначено, що для удосконалення процесу навчання та підвищення його ефективності необхідно розробити теоретико-методичні основи систем управління ТТ. Це дозволило сформулювати задачу наукових досліджень.

2. Побудовано математичну модель інформаційного середовища ТТ. Подано його структуру та наповнення. Визначено основні екземпляри інформаційних представлень та процедури породження нової інформації в процесі тестування студентів, які використовують та формують ці екземпляри. Розроблено математичну модель оцінки ефективності навчання, через атрибути інформаційного середовища навчальних і тестових технологій. Це дозволило формально представити об'єкти і процеси системи управління ТТ, які направлені на формування знань, умінь і навичок студентів.

3. Представлено реалізацію ТТ на рівнях управління і навчання як сукупність методів і засобів взаємодоповнюючого перетворення інформації, що використовується як для навчання, так і для управління ВНЗ. Це забезпечує якісний процес взаємодії в середовищі знань суб'єктів навчання та визначення тих характеристик навчальної і тестової технології, які дозволяють покращити організацію процесу автоматизованого навчання та контролю знань.

4. Розроблено математичну модель цілей управління ТТ та встановлені обмеження, що накладаються на її реалізацію. Представлена математична модель є основою для розробки програмно-інформаційних засобів синтезу, моделювання, розрахунку раціональних планів організації навчального процесу, що дозволяє автоматизувати процес підготовки фахівців у ВНЗ України. 5. Розроблено метод управління ТТ. Детально описано процеси формування інформаційного ресурсу навчального процесу в ТТ через дводольні графи. Побудовано граф-схеми реалізації компонентів технології в процесі підготовки тестових завдань, тестування студентів та використання результатів тестування в управлінні навчальним процесом, що дозволяє стандартизувати підходи до проектування, розробки і використання засобів ТТ у ВНЗ.

6. Побудовано технологію тестування студентів, що базується на використанні запропонованих методів та моделей. Дано перелік функціональних модулів, їх структуру та функції. Модульна реалізація основних функцій контролю знань та навчання дозволяє створювати систему з довільним складом та конфігурацією.

7. Розглянуто тести, які можуть реалізовуватися в ТТ. Описано приклади використання системи в дослідному режимі, що дозволяє зробити висновок про ефективність її застосування в режимі інформаційного забезпечення системи управління навчальним процесом.

8. Запропоновано методи налаштування системи тестування, що забезпечують автоматичне формування сценарію опитування і створення гнучких і узгоджених засобів оцінки результатів тестування.

9. Представлено результати використання розроблених у дисертації засобів для тестування студентів, які свідчать про їх ефективність і дозволяють підійти до рішення задач підвищення ефективності навчального процесу на якісно новому рівні, через управління всіма процесами контролю знань - від визначення методики і підмножини дисциплін, по яким буде проводитись тестування і організації підготовки тестів до обробки результатів тестування.

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1. Тесля Ю. М. Інформаційна технологія автоматизованого навчання та контролю знань як елемент системи управління учбовим процесом / Ю. М. Тесля, Л. Д. Мисник, Є. Ю. Тесля, О. О. Придворна // Вісник Вінницького політехнічного інституту. - 2000. - № 3. - С. 96 - 99.

2. Тесля Ю. М. Системний підхід до побудови інформаційної технології автоматизованого навчання у вищому навчальному закладі / Ю. М. Тесля, Л. Д. Мисник, І. І. Оберемок, Є. Ю. Тесля // Вісник ЧІТІ. - 1999. - № 4. - С. 50 - 55.

3. Мисник Л. Д. Система ТЕСТ - базовий засіб для побудови сучасної методики автоматизованого навчання та контролю знань у ВНЗ / Л. Д. Мисник, Є. Ю. Тесля // Комп'ютерно-орієнтовані системи навчання: зб. наук. праць - К.: НПУ ім. М.П. Драгоманова. - Випуск 6. - 2003. - С. 40 - 48.

4. Мисник Л. Д. Критерії і структура управління навчальними та тестовими технологіями в вищих навчальних закладах України / Л. Д. Мисник // Харків: Східно-Європейський журнал передових технологій. - 2008. - № 4(34). - С. 29 - 32.

5. Лізунов П. П. Інформаційні технології в управлінні науково-освітнім процесом вищого навчального закладу / П. П. Лізунов, Ю. М. Тесля, А. А. Білощицький, Л. Д. Мисник // Вісник Східноукраїнського національного університету ім. В.Даля. - 2008. - № 8(126). - С. 287- 293.

6. Бушуєва Н. С. Системна формалізація управління проектами в рамках проактивного підходу до розвитку організацій / Н. С. Бушуєва, Л. Д. Мисник, М. М. Олексієнко // Управління проектами та розвиток виробництва: зб. наук. пр. - 2009. - № 2(30). - С. 5 - 11.

7. Мисник Л. Д. Технологія та методика автоматизованого навчання та контролю знань на базі типової електронної системи тестування ТЕСТ / Л. Д. Мисник, Є. Ю. Тесля // Інформаційні технології в науці та освіті : друга Всеукраїнська конференція молодих науковців “ІТОН-2000”, 18-20 квітня 2000 р. : тези доповідей. - Черкаси, 2000. - С. 132.

8. Мисник Л. Д. Технологія та методика автоматизованого навчання та контролю знань на базі типової електронної системи тестування ТЕСТ / Л. Д. Мисник, Є. Ю. Тесля // Прогресивні інформаційні технології та системи: міжнародна конференція з автоматичного управління “Автоматика-2000”, 11-15 вересня 2000 р. : тези доповідей. - Львів, 2000. - С. 323.

9. Мисник Л. Д. Типова електронна система тестування (ТЕСТ) - базовий засіб для побудови сучасної методики автоматизованого навчання та контролю знань в межах ВНЗ / Л. Д. Мисник, Є. Ю. Тесля // Інформаційні технології в науці, освіті і техніці : третя Всеукраїнська конференція молодих науковців “ІТОН-2002”, 17-19 квітня 2002 р. : тези доповідей. - Черкаси, 2002. - С. 298.

10. Мисник Л. Д. Методологія автоматизованого контролю знань в технічних ВНЗ / Л. Д. Мисник // Чотирнадцята наукова сесія осередку наукового товариства ім. Шевченка у Черкасах, 12-20 березня 2003 р. : тези доповідей. - Черкаси, 2003. - С. 107.

11. Мисник Л. Д. Автоматизована система навчання та контролю знань студентів у технічних ВНЗ / Л. Д. Мисник, Є. Ю. Катаєва // Педагогіка : міжнародна науково-практична конференція “Україна наукова 2003”, 16-20 червня 2003 р. : тези доповідей. - Дніпропетровськ, 2003. - С. 64.

АНОТАЦІЇ

Мисник Л. Д. Методи та моделі управління тестовими технологіями у ВНЗ в умовах впровадження Болонського процесу. - Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.06 - інформаційні технології. - Черкаський державний технологічний університет, Черкаси, 2010.

Дисертаційна робота присвячена розвитку науково-методичних основ ТТ через створення нових моделей і методів організації, планування та моніторингу тестування в процесах підготовки фахівців у ВНЗ України.

Проведено аналіз існуючих підходів до реалізації ТТ. Сформульовано задачу створення теоретико-методичної основи для побудови систем управління ТТ. Сформульовано задачу оптимізації при формуванні в процесі тестування інформаційного ресурсу системи управління навчальним процесом. Виконана розробка структури інформаційного середовища та представлено граф-схеми реалізації компонентів технології в процесі підготовки тестових завдань, тестування студентів та використання результатів тестування в управлінні навчальним процесом, що дозволило стандартизувати підходи до проектування, розробки і використання засобів ТТ у ВНЗ. Запропоновано нові моделі і методи ТТ, які є цілісною системою реалізації дій по організації, підготовці, проведенню тестування і орієнтовані на інформаційне забезпечення системи управління навчальним процесом. Представлено результати використання розроблених в дисертації засобів управління тестуванням та тестування студентів.

Розроблені моделі, методи та засоби управління тестуванням і тестування студентів успішно впроваджено в ВНЗ України.

Ключові слова: тестова технологія, планування і моніторинг процесів тестування студентів, інформаційне середовище, навчальний процес.

Мисник Л. Д. Методы и модели управления тестовыми технологиями в ВУЗах в условиях внедрения Болонского процесса. - Рукопись.

Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.06 - информационные технологии. - Черкасский государственный технологический университет, Черкассы, 2010.

Диссертационная работа посвящена развитию научно-методических основ тестовых технологий через создание новых моделей и методов организации, планирования и мониторинга тестирования в процессах подготовки специалистов в высших учебных заведениях Украины.

Проведен анализ имеющихся подходов к реализации тестовых технологий. Сформулирована задача создания теоретико-методической основы для построения систем управления тестовыми технологиями.

Представлена математическая модель информационной среды ВУЗа. Выделены экземпляры информационных представлений (как множество документов, таблиц баз данных, описаний и др., которые отражают информационную среду процесса обучения студентов и формируются в процессе тестирования студентов) и процедуры рождения новой информации (как множество действий по классификации, интеграции, оценке, выполнению операций над параметрами экземпляров информационных представлений). Процесс обучения и тестирования представлен, как совокупность действий по реализации процедур рождения новой информации.

Исходя из процессов, которые реализуются в информационных технологиях организационно-технических систем выделено два уровня реализации учебных и тестовых технологий. Это уровень обучения и контроля знаний, а также уровень управления обучением и контролем знаний.

Сформулирована задача оптимизации при формировании в процессе тестирования информационного ресурса системы управления учебным процессом. Разработана структура информационной среды и предложены граф-схемы реализации компонентов технологии в процессе подготовки тестовых заданий, тестирования студентов и использования результатов тестирования в управлении учебным процессом, что позволило стандартизировать подходы к проектированию, разработке и использованию средств тестовых технологий в ВНЗ.

Выполнена математическая формализация задачи построения технологии формирования информационного ресурса системы управления учебным процессом в ходе его мониторинга за счет автоматизации процессов формирования тестов, тестирования и управления тестированием студентов. Формально представлено П - множество моделей рождения новой информации, которые реализуются в тестовых технологиях, что позволяет формализовать процедурную составляющую процессов формирования тестов, тестирования и использования результатов тестирования в управлении учебным процессом.

Получила дальнейшее развитие математическая модель оценки эффективности обучения, через атрибуты информационной среды учебных и тестовых технологий, что позволяет строить рациональные схемы тестирования студентов и дает новое формальное определение задачи оптимального управления тестовой технологией.

Разработан новый метод управления тестовой технологией, который основывается на отображении процессов управления в двудольных графах с последующим расчетом модели реализации действий в тестовых технологиях путем следования активности между статическими (экземпляры информационных представлений) и динамическими (процедуры рождения новой информации) элементами этой технологии. Это позволяет реализовывать оптимальные последовательности действий по формированию тестов, тестированию и использованию результатов тестирования в управлении учебным процессом.

Предложены новые методы тестирования в условиях комплексной организации всех действий по формированию тестов, тестированию и использованию результатов тестирования в управлении учебным процессом. Разработана технология тестирования студентов, основанная на использовании предложенных в диссертационной работе методов и моделей.

Приведены технологические структуры реализации средств тестирования студентов, представлены функциональные модули, их структура и функции. Модульная реализация основных функций контроля знаний и обучения позволяет создавать системы с произвольным составом и конфигурацией.

Предложены методы настраивания системы тестирования, которые обеспечивают автоматическое формирование сценария опроса и создание гибких и согласованных средств оценки результатов тестирования.

Изложены результаты использования предложенных в диссертации методов управления тестированием и тестирования студентов, которые свидетельствуют об их эффективности и позволяют подойти к решению задач повышения эффективности учебного процесса на качественно новом уровне, через управление всеми процессами контроля знаний - от определения методики и подмножества дисциплин, по которым будет проводится тестирование, организации подготовки тестов до обработки результатов тестирования.

Разработанные модели, методы и средства управления тестированием и тестирования студентов успешно внедрены в высших учебных заведениях Украины.

Ключевые слова: тестовая технология, планирование и мониторинг процессов тестирования студентов, информационная среда, учебный процесс.

Mysnyk L. D. Test technology management methods and models in the higher education establishments under condition of Bolonskiy process integration. - Manuscript.

The dissertation on reception of a scientific degree of the candidate of engineering science behind the specialty 05. 13. 06 - data technologies. - Cherkasy state technological university, Cherkasy, 2010. Dissertation is devoted to the scientific basis of test technologies by creating new organizational, planning and monitoring models and methods of testing when preparing specialists in the higher education establishments of Ukraine.

The analysis of the existing approaches in test-technology realization was carried out. The task to create the theoretical and methodical basis to build a test technologies management system was formulated. The second question raised was to optimize the test process of the educational management software resource. The elaboration of the data surrounding structure was carried out. The graphical schemes of the realization of technology components when preparing tasks, students testing and usage of the results in managing the education process are presented. That allowed standardizing the approaches to the planning, elaboration and usage of these means of test technologies in the higher education establishments. The results of usage of the means of test management and students testing elaborated in the dissertation are also presented.

The elaborated models, methods and means of test management and students testing are successfully integrated in several higher education establishments of Ukraine.

Key words: test technology, planning and monitoring of the students test process, data surrounding, educational process.

Размещено на Allbest.ru