Программное обеспечение для тестирования знаний с элементами нечеткой логики

Программное обеспечение для тестирования знаний с элементами нечеткой логики

Н.И. Волков, д-р. техн. наук;

А.Н. Алексеев, канд. техн. наук;

А.Н. Кочевский, канд. техн. наук

Сумский государственный университет

Введение

На протяжении всей истории создания и развития современной системы высшего образования проблеме оценивания качества знаний всегда уделялось первоочередное внимание. В педагогической науке неоднократно подчеркивалась важность достоверного выявления истинных знаний как с позиции диагностики процесса обучения, так и в целях развития, воспитания студентов и стимулирования их к получению знаний [1]. Актуальность этой проблемы не снижается и в настоящее время, особенно в свете наблюдаемой тенденции к все большему внедрению средств компьютерной техники в образовательный процесс и передачи техническим устройствам обучающих и контролирующих функций преподавателя [2]. Компьютерный контроль знаний, во-первых, позволяет высвободить рабочее время преподавателя, избавляя его от рутинной работы, а во-вторых, дает возможность обеспечить беспристрастный контроль знаний, результаты которого не зависят от субъективного мнения различных преподавателей.

Среди основных типов тестовых заданий можно выделить следующие:

выбор правильного ответа среди нескольких предложенных;

подтверждение правильности приведенного утверждения;

задание на составление терминов и их определений;

задание на классификацию терминов;

составление последовательности ключевых слов;

составление последовательности предписанных слов;

подстановка пропущенных слов;

задание на ввод чисел или текста;

исправление фрагмента текста, содержащего ошибки;

задание на позиционирование рисунка.

Для удобства составления тестов и проведения тестирования, а также упорядоченного хранения результатов тестирования авторами было разработано специальное программное обеспечение. Это программное обеспечение позволяет преподавателю, не знакомому с современными информационными технологиями, легко подготовить тестовые задания согласно какому-либо из перечисленных типов и сгенерировать их в виде многофреймовой странички для веб-браузера.

Особенностью разработанного программного обеспечения является специальный гибкий алгоритм оценивания знаний. Во-первых, студенты имеют возможность при ответе на каждый вопрос указывать степень уверенности в своем ответе. Чем большую степень уверенности проявляет студент, тем больше баллов он приобретает в случае правильного ответа и теряет в случае неправильного. Во-вторых, алгоритм расчета баллов, набираемых студентами, предусматривает методику расчета относительной сложности вопросов, определяющей “стоимость” каждого вопроса в баллах.

Далее в статье это программное обеспечение и реализованный в нем алгоритм подведения итогов тестирования описываются более подробно.

Описание программного обеспечения для тестирования знаний

Разработанное авторами программное обеспечение SSUquestionnaire для тестирования знаний включает в себя следующие блоки:

Генератор тестовых вопросов (рис. 1). Этот программный продукт позволяет преподавателю подготовить тестовые задания согласно какому-либо из перечисленных выше типов и сгенерировать их в виде многофреймовых страничек для веб-браузера типа Internet Explorer. Интерфейс программного продукта позволяет требуемым образом скомпоновать тестовые блоки из отдельных вопросов и предоставляет возможность настройки внешнего вида генерируемых вопросов на веб-странице, а также настройки алгоритма расчета баллов, получаемых студентами.

Рисунок 1 - Генератор тестовых вопросов

Элемент управления SSUTestControl (рис. 2). Этот элемент управления реализовывает алгоритмы нечеткой логики, встраивается в страничку веб-браузера и позволяет студенту указать степень уверенности в своем ответе на очередной вопрос теста (точнее, в какой степени ответ студента совпадает с эталонным ответом). Элемент SSUTestControl выполнен в виде программно независимого продукта типа ActiveX и может встраиваться в программы, созданные с помощью любого языка программирования, если они позволяют работать под управлением операционной системы Windows.

Рисунок 2 - Элемент управления SSUTestControl

CSS-таблицы, т.е. каскадные таблицы стилей. Представляют собой файлы, содержащие информацию о настройке текущих стилей отображения текста в виде HTML.

Перечисленные блоки программного обеспечения образуют единую систему, устанавливаемую как одно целое.

Алгоритм подведения итогов тестирования

Особенности использования элементов нечеткой логики

При обычном контроле знаний, т.е. при использовании “четкой” логики, от студентов требуется дать однозначный ответ на предложенный вопрос, выбрав один из предложенных вариантов ответа или сформулировав из ограниченного набора слов, букв, цифр или графических символов собственный вариант ответа. При этом студент не может высказать степень уверенности в правильности своего ответа.

В созданном авторами программном обеспечении реализован аппарат нечеткой логики, что позволяет студенту указать степень уверенности в правильности своего ответа. Эта степень уверенности принимается во внимание при оценивании знаний студентов. Чем больше студент уверен в правильности своего ответа, тем больше баллов он получит, если ответ окажется правильным, и тем больше баллов он потеряет в случае неправильного ответа.

Для расчета баллов, набираемых студентом при ответе на некоторый вопрос, в зависимости от указанной им степени уверенности в правильности своего ответа используются функции принадлежности в виде кусочно-непрерывных функций, имеющих начальный и конечный участки с нулевыми уровнями достоверности и промежуточные участки, соответствующие переходу к единичному (максимальному) уровню достоверности. Подробнее этот алгоритм оценивания описан в работе [3].

Наличие экспертной системы с заданными функциями принадлежности и управления позволяет на основе нечетких логических утверждений оценить знания студентов таким образом, чтобы итоговая оценка знаний допускала для студента возможность дать ответ с определенной степенью уверенности в своей правоте, а для преподавателя получить более достоверную оценку его знаний.

Методика расчета относительной сложности вопросов

При разработке методов оценки знаний с помощью системы тестовых вопросов назначение весовых коэффициентов (индексов сложности) является одним из основных этапов, определяющих достоверность результатов контроля знаний [4, 5]. С помощью весовых коэффициентов определяется степень трудности вопроса по отношению к остальным вопросам, задается максимальное количество баллов, которое студент может получить при правильном ответе на вопрос и возможное общее количество баллов за весь ответ, т.е. в конечном счете устанавливается количественная и качественная (для установленной шкалы оценок) характеристика знаний.

Расчет по результатам оценивания экспертами

Для повышения достоверности результатов тестирования, особенно при большом числе вопросов в теме, когда сложно выдержать общую стратегию и установить для каждого из вопросов сопоставимую меру сложности, предлагается определять весовые коэффициенты с помощью экспертного оценивания, построенного на базе метода попарных сравнений.

Для реализации метода попарных сравнений привлекаются эксперты из числа преподавателей и практических работников, обладающих достаточными знаниями по всем вопросам темы, предлагаемой для тестирования. При этом уровень знаний экспертов необязательно должен быть однородным, т.к. для нормируемых весовых коэффициентов экспертиза предусматривает простановку относительных мер, которые затем пересчитываются в абсолютные величины.

Количество экспертов также не регламентируется, но при увеличении числа экспертов статистическая предсказуемость назначаемых весовых коэффициентов повышается. Если же привлекается только один эксперт, то процедуры повышения точности, основанные на статистической обработке экспертных оценок, должны быть опущены.

При проведении попарных сравнений последовательно сопоставляются степени сложности каждого вопроса с каждым. Если, по мнению эксперта, анализируемый вопрос более сложен, чем вопрос, с которым он сравнивается, то ему присваивается относительная мера Vi = 1. Если анализируемый вопрос менее сложен, то присваивается мера Vi = 0. В случае равной сложности вопросов принимается Vi = 0,5. Затем анализируемый вопрос сопоставляется с очередным вопросом темы и для него определяется очередное значение относительной меры. Сравнения выполняются до тех пор, пока анализируемый вопрос не будет сравнен со всеми вопросами темы, и ему не будет назначен соответствующий массив значений Vi, который отражает степень сложности вопроса по отношению ко всем остальным вопросам темы. По результатам сравнений рассчитывается ранг вопроса Ri как сумма значений Vi.



.(1)

Экспертиза проводится для всех вопросов темы, для каждого из них устанавливается массив значений Vi и рассчитывается ранг Ri.

Вопросу, получившему наивысшую оценку сложности (имеющему наивысший ранг), присваивается максимальное в принятой шкале оценивания сложности тестов значение весового коэффициента, например W = 100.

Для остальных вопросов темы значения весовых коэффициентов назначаются пропорционально рангу

или при W = 100

.(2)

Если в экспертизе участвует несколько экспертов, то каждый из них выполняет аналогичное оценивание, результатом которого является набор весовых коэффициентов, установленный по всем вопросам темы. Полученные значения весовых коэффициентов статистически обрабатываются.

Рассчитываются усредненные значения весовых коэффициентов Pi,cp по результатам оценивания всех экспертов Pi,k:

,(3)

где K - количество экспертов.

Определяются доверительные интервалы для экспертных оценок:

,(4)

PiB = Pi,ср + vi, PiH = Pi,ср - vi,(5)

,(6)

где i - доверительный интервал; tц - доверительная вероятность; Di - дисперсия оценок экспертов; PiB (PiH) - верхняя (нижняя) доверительная граница весовых коэффициентов.

В случае, когда расчетное значение доверительной границы (PiH) не превышает 0 (PiH ? 0), принимается решение или об исключении вопроса из списка вопросов (если количество вопросов превышает минимально допустимый размер выборки), или о присвоении этому вопросу минимального из значимых весовых коэффициентов.

Корректирование весовых коэффициентов сложности по результатам проведенных тестов

Корректирование весовых коэффициентов выполняется по результатам проведенных тестов. При этом рассчитывается средняя оценка (среднее число баллов для принятой шкалы оценивания), полученная всеми студентами, участвующими в тестировании, и по всем вопросам

.(7)

Рассчитанное значение принимается как средняя мера сложности вопросов темы.

Эта мера используется для вычисления относительных характеристик сложности каждого из вопросов темы

.(8)

Вопросу, получившему максимальную относительную меру сложности Pomax, присваивается максимальное в принятой шкале оценивания значение весового коэффициента, например, W = 100. Весовые коэффициенты остальных вопросов темы назначаются пропорционально их относительным характеристикам сложности

Или

,

где W - верхняя граница шкалы оценивания.

При стобальной шкале (W = 100) расчет выполняется по формуле

.(9)

Помимо расчетного значения весового коэффициента Pi, определяются его доверительные границы, в пределах которых возможна корректировка установленных весовых коэффициентов

,(10)

PiB = Pi,m ср + vi, PiH = Pi,m ср - vi,(11)

,(12)

,(13)

где Pi - доверительный интервал; Pi,m ср - средняя оценка по вопросу; Di - дисперсия полученных баллов; m - количество ответов на вопрос.

После расчета весовых коэффициентов согласно формуле (9) весовые коэффициенты, подсчитанные согласно формуле (2), можно игнорировать.

Анализ необходимости ревизии тестовых вопросов

Помимо весовых коэффициентов эффективным способом “встраивания” вопросов в общую систему тестирования являются рекомендации к изменению формулировки или удалению вопросов, предназначенных для контроля знаний. Разработка таких рекомендаций может быть выполнена по результатам проведенных тестов. При этом анализ осуществляется исходя из времени, фактически затраченного студентами для ответов на вопросы темы.

Рассчитывается среднее время ответа на один вопрос

,(14)

дисперсия затрат времени

(15)

и расчетное значение h1p, которое сравнивается с критериальным h1кр:

.(16)

Если условие выполняется, то считается, что время ответа на анализируемый вопрос сопоставимо с генеральными средними оценками затрат времени, и такой вопрос не требует модификации или удаления. В противном случае вопрос рекомендуется перефразировать или исключить из списка вопросов по теме.

Окончательные рекомендации о необходимости изменения или удаления анализируемого вопроса даются на основе статистической обработки всех ответов всех студентов на данный вопрос.

Для этого рассчитывается величина

,,(17)

выражающая отношение количества ответов, удовлетворяющих критерию h1, к общему числу ответов на вопрос. По ее значению, выраженному в процентах, делают заключение о необходимости внесения изменений в формулировку вопроса (в содержание раздела курса) или об исключении вопроса из перечня вопросов темы.

Ранжирование вопросов по величине весовых коэффициентов и учет времени тестирования позволяют ответить еще на один вопрос, который непременно встает перед разработчиком заданий для тестового контроля - каким же должно быть общее количество вопросов и насколько они должны быть сложными с тем, чтобы их использование при тестировании давало бы возможность оценить знания студентов с наибольшей достоверностью. Необоснованное уменьшение количества вопросов приводит к тому, что оценка, получаемая студентом по результатам тестирования, во многом становится случайной, т.к. вопросы не охватывают всего материала темы и тот учебный материал, который студент усвоил в недостаточной мере, может оказаться не включенным в вопросы теста. Завышение количества вопросов и их сложности, с одной стороны, может привести к тому, что излишние вопросы не уточнят оценку знаний, а просто продублируют уже полученные результаты. С другой стороны, увеличивается время, необходимое студенту для ответа по тестам, которые состоят из большого числа вопросов. Это приводит к утомляемости студента, его реакция затупляется и, как следствие, он может при ответах допустить ошибки, связанные не с незнанием учебного материала, а с невнимательностью. Немаловажно, особенно для отечественных вузов, и увеличение машинного времени, которое необходимо выделить в компьютерном классе для проведения тестового контроля.

Очевидно, что при определении наиболее подходящего количества вопросов в тестовых заданиях следует учитывать как количество, так и сложность каждого из вопросов, входящих в общую систему тестирования. Исходя из того, что весовой коэффициент является численной мерой сложности вопроса, можно считать, что сумма весовых коэффициентов всех вопросов, включенных в тестовые задания, будет отображать совокупную сложность тестового контроля

.(18)

Отсюда допустимо сделать вывод, что для определения рационального количества вопросов, включаемых в тестовое задание, необходимо сопоставить величину Рсов с некой характеристикой значимости тестируемого учебного материала Рдоп, учитывающей сложность материала и его важность для понимания содержания дисциплины в целом. С учетом принятого допущения количество вопросов n следует выбирать таким образом, чтобы выполнялось условие



,

где Рндоп, Рндоп - соответственно верхняя и нижняя доверительные границы характеристики значимости учебного материала.

При этом формирование содержательной части вопросов остается за преподавателем и текст вопросов должен быть таким, чтобы тестировались наиболее существенные и типичные разделы контролируемой темы.

Численные значения доверительных границ Рндоп, Рндоп преподаватель может назначить, исходя из собственного суждения о сложности темы, ее важности для понимания дисциплины, а также с учетом времени, которое следует выделить для проведения тестового контроля. Однако правильнее будет определять эти характеристики по результатам экспертизы и статистической обработки полученных экспертных оценок.

При проведении экспертизы в качестве экспертов лучше приглашать и преподавателей, ведущих занятие по дисциплине, и студентов, прослушавших курс в целом (например, после итогового экзамена по дисциплине). В этом случае мнение преподавателя в большей степени укажет на значимость темы по отношению к другим темам курса, а высказывания студентов будут адекватнее отображать истинную сложность для изучения той темы, по которой предполагается проводить контроль. Для повышения объективности количество преподавателей и студентов, участвующих в экспертизе, должно быть примерно одинаковым. Другой подход заключается в том, что экспертами должны быть или только студенты, или только преподаватели в зависимости от условий предполагаемого тестирования и специфики дисциплины. При этом в любом случае необходимо, чтобы каждый из экспертов делал свои заключения самостоятельно и не имел каких-либо предварительных сведений о высказываниях остальных участников.

Экспертизу можно проводить применительно только к одной теме, по которой предполагается выполнять тестирование знаний студентов. Однако правильнее оценивать сразу все темы, подлежащие контролю, сравнивая их между собой. В этом случае будет обеспечена сопоставимость результатов, полученных при тестировании по всем вопросам дисциплины. Кроме того, если тестирование знаний будет выполняться по нескольким дисциплинам специальности и затем предполагается сравнивать результаты тестирования между собой, то рекомендуется аналогичную экспертизу проводить сразу по нескольким дисциплинам - на первом этапе сравнивая дисциплины и проставляя количественные характеристики значимости дисциплин, а на втором - распределяя полученные обобщенные оценки между отдельными темами дисциплин.

Аспекты, связанные с использованием нечеткой логики

Рассмотрим результаты работы алгоритмов нечеткой логики на примере следующих вопросов.

Вопрос 1-го типа. Укажите, является ли верным утверждение “Теплопроводность - это физико-механическая характеристика деталей машин” (допускает возможность ответа в диапазоне да/нет).

Вопрос 2-го типа. Укажите, какие из перечисленных свойств деталей машин, относятся к геометрическим и какие к физико-механическим параметрам. Варианты ответов: шероховатость поверхности, прочность, волнистость поверхности, теплопроводность, точность размеров, износостойкость, твердость (допускает возможность ответа в диапазоне да/ни да ни нет).

Количество баллов, начисляемое студентам, зависит также от опции строгости, устанавливаемой преподавателем при проведении тестирования. Пусть стоимость вопроса изначально составляет 100 баллов. В зависимости от степени уверенности в своем ответе, которую указывает студент (от 0% до 100%), по результатам ответа на эти вопросы студенту будут начислены баллы согласно таблице 1.



Аспекты, связанные с расчетом относительной сложности вопроса

Пусть некоторый тест состоит из 4 такого рода вопросов. Пусть изначально стоимость каждого вопроса составляет 1 балл.

Расчет по результатам оценивания экспертами

Пусть некоторый эксперт провел попарное сравнение каждого вопроса с каждым по сложности. Результаты его сравнений можно представить в виде таблицы 2. Пусть эту работу проделали еще 3 эксперта. Результаты их сравнений представлены в таблицах 3, 4 и 5.

Таблица 2 - Оценки эксперта 1		Таблица 3 - Оценки эксперта 2
	А	Б	В	Г	Итог			А	Б	В	Г	Итог
А		0,5	1	0	1,5		А		0	1	1	2
Б	0,5		1	1	2,5		Б	1		1	1	3
В	0	0		1	1		В	0	0		1	1
Г	1	0	0		1		Г	0	0	0		0
Таблица 4 - Оценки эксперта 3		Таблица 5 - Оценки эксперта 4
	А	Б	В	Г	Итог			А	Б	В	Г	Итог
А		0,5	0,5	0,5	1,5		А		0	0	1	1
Б	0,5		0,5	1	2		Б	1		1	0,5	2,5
В	0,5	0,5		1	2		В	1	0		0	1
Г	0,5	0	0		0,5		Г	0	0,5	1		1,5

Пусть суммарные результаты сравнений всех четырех экспертов иллюстрируются таблицей 6.

Таблица 6 - Суммарные оценки
	А	Б	В	Г	Итог
А		1	2,5	2,5	6
Б	3		3,5	3,5	10
В	1,5	0,5		3	5
Г	1,5	0,5	1		3

Согласно формуле (1) вопрос А получает ранг 6, вопрос Б - ранг 10, вопрос В - ранг 5, вопрос Г - ранг 3. Согласно формуле (2) весовой коэффициент сложности вопроса А равен 60, вопроса Б - 100, вопроса В - 50, вопроса Г - 30. Согласно формуле (3) усредненные значения весовых коэффициентов (учитывая, что K = 4) составляют для вопросов А, Б, В и Г соответственно Pi, ср = 15; 25; 12,5 и 7,5.

Совокупная сложность вопросов данного теста, по результатам оценки экспертами, согласно формуле (18) составляет 60 + 100 + 50 + 30 = 240 баллов. Для удобства приводим эту величину к 100 баллам. Преподаватель может указать, что число баллов, например, от 85 и выше соответствует критерию “знает”, от 50 до 85 - критерию “знает не - уверенно”, ниже 50 - “не знает”.

Пусть доверительная вероятность равна 0,9. Согласно формуле (6) дисперсия оценок экспертов составляет по вопросам А, Б, В и Г соответственно 3,46; 2,04; 5,0 и 6,32. Доверительный интервал, т.е. интервал, в который попадают оценки экспертов с вероятностью 0,9; согласно формуле (4), составляет по вопросам А, Б, В и Г соответственно 1,56; 0,92; 2,25 и 2,84. Верхняя и нижняя граница весовых коэффициентов сложности вопроса составляет для вопросов А, Б, В и Г, согласно формуле (5) соответственно 13,44…16,56, 24,08…25,92, 10,25…14,75 и 4,66…10,34.

Корректирование весовых коэффициентов сложности по результатам проведенных тестов Пусть на некоторый вопрос отвечала группа из 6 студентов. Пусть эти студенты за свои ответы получили оценки Bi согласно следующей таблице. Согласно формуле (7) в среднем студенты получили за каждый вопрос оценку Bср = 70 (по 100-балльной шкале). Далее в таблице приведена относительная характеристика сложности Po, рассчитанная согласно формуле (8), и весовой коэффициент сложности Pi, рассчитанный согласно формуле (9). Дисперсия баллов, набранных студентами за ответ на предложенный вопрос, согласно формуле (13) составляет D = 9 (здесь W = 100, m = 6). Доверительный интервал по этому вопросу согласно формуле (10) равен = 8. Тогда уточненные значения верхней и нижней границы весовых коэффициентов сложности вопроса согласно формуле (11) составляют для этого вопроса PiB = 78 и PiH = 62.

Таблица 7 - Расчет коэффициентов сложности по результатам проведенного теста
	Студент 1	Студент 2	Студент 3	Студент 4	Студент 5	Студент 6
Bi	68	73	100	43	60	78
Po	1,034314	0,96347	0,703333	1,635659	1,172222	0,901709
Pi	63,23529	58,90411	43	100	71,66667	55,12821

Таким образом, весовой коэффициент сложности данного вопроса по результатам проведенного тестирования следует установить равным 70. С доверительной вероятностью 100% эта величина находится в интервале от 62 до 78.

Анализ необходимости ревизии тестовых вопросов

Пусть время размышления студентами над ответом на некоторый вопрос (в минутах) составило Ti согласно таблице 8.

	Студент 1	Студент 2	Студент 3	Студент 4	Студент 5	Студент 6
Ti	12	8	35	6	22	19
h1p	0,508548	0,915386	1,830771	1,118805	0,508548	0,203419
h1kp	1,82	1,82	1,82	1,82	1,82	1,82
h1p- h1kp	-1,31145	-0,90461	0,010771	-0,7012	-1,31145	-1,61658

Среднее время размышления согласно формуле (14) составляет Bср = 17 (минут). Дисперсия этой величины согласно формуле (15) составляет D = 9. Пусть критериальное значение h1кр составляет 1,82 (при шести ответах на вопросы и 95% доверительной вероятности). Расчетные значения h1p, вычисленные согласно формуле (16), а также разница h1p - h1кр представлены в таблице.

Согласно формуле (17) U = 1/6 = 0,17. Это позволяет сделать вывод, что данный вопрос редактировать или исключать из теста нецелесообразно.

Выводы

Предлагаемые в статье нововведения доведены до уровня компьютерных реализаций и выполнены в виде программной оболочки SSUquestionnaire (защищена авторскими правами, [6]), обеспечивающей:

а) проектный (на этапе разработки тестовых вопросов) и корректировочный (по результатам тестирования) расчеты весовых коэффициентов, определяющих степень трудности вопроса по отношению к остальным вопросам;

б) учет результатов тестирования и на этой основе расчет вероятностных характеристик, определяющих необходимость внесения изменений в формулировку или удаления отдельных вопросов (разделов курса);

в) автоматизированное проектирование типовых вопросов в формате HTML (по типам “Сопоставление”, “Классификация”, “Позиционирование”, “Ввод символов”, “Подтверждение”, “Выбор ответа”, “Подстановка”, “Упорядочивание”, “По ключевым словам”), что дает возможность выбрать формулировку вопроса, в наибольшей степени соответствующую сущности тестового задания;

г) использование алгоритмов нечеткой логики [3], что позволяет студенту при ответе оперировать не только классическими значениями логических переменных “ложь” и “истина”, но и употреблять их промежуточные значения, плавно переходящие от одного крайнего значения (“ложь”) к другому крайнему значению (“истина”).

Программа является двуязычной и имеет русско- и украиноязычный интерфейс и файлы помощи с подробным описанием методики и технологии работы.

Изложенная методика может использоваться как для прогнозирования численных значений весовых коэффициентов на стадии проектирования тестов, так и для их корректирования с учетом фактически полученных результатов контроля. Ее применение особенно эффективно в случае, когда для назначения весовых коэффициентов недостаточно личного опыта проектировщика заданий, а необоснованное установление значений весовых коэффициентов не обеспечивает требуемую достоверность результатов контроля знаний. Дополнительным средством повышения достоверности результатов контроля является анализ времени, затраченного студентами для ответа на вопросы и исключение из системы тестирования вопросов, для которых установлена неоднородность статистических характеристик с генеральными статистическими характеристиками. Успеху тестирования будет способствовать и описанный способ определения рационального (по критерию совокупной сложности) количества вопросов в тестовых заданиях.



Список литературы

Алексеев А. Н., Волков Н. И., Кочевский А. Н. Элементы нечеткой логики при программном контроле знаний // Открытое образование - 2003. - № 4. - С. 23-25.

Белоус Н.В., Войтович И.В., Пархоменко С.А. Модель обучения на основе тестовых заданий произвольных форм // Образование и виртуальность / Под ред. В.А. Гребенюка и В.В. Семенца. - Харьков-Ялта: УАДО, ХНУРЭ, 2003. - С. 286-288.

Вимірювання навчальних досягнень школярів і студентів: гуманістичні, методологічні, методичні, технологічні аспекти // Тези доповідей. І Міжнародна науково-методична конференція. - Харків: ОВС, 2003. - 112 с.

Волков М.І., Алексєєв О.М., Кочевський О.М. Комп'ютерна програма "SSUquestionnaire" // Свiдоцтво про реєстрацiю авторського права на твiр, № 9856. Міністерство освіти і науки Украiни, Державний департамент інтелектуальної власності, 22.04.2004.

Евсеев В.В., Алехина С.В., Евсеева И.В. Выбор релевантного алгоритма оценивания знаний обучаемых в системе дистанционного обучения // Образование и виртуальность / Под ред. В.А. Гребенюка и В.В. Семенца. - Харьков-Ялта: УАДО, ХНУРЭ, 2003. - С. 311-315.

Петренко Л.М. Необхідність електронного тестування у вищій школі // Network Society - E-technologies for All / Proceedings of the International Workshop - Kyiv, 2003. - С. 86-87.