Чем больше точность, тем лучше работает модель. В случае отсутствия ошибок измерения любая модель в смысле точности измерения работает идеально. Но на практике ошибки всегда есть и поэтому важно знать, насколько точные оценки позволяет получать та или иная модель.

На основе имитационного моделирования исследуются точность оценивания уровней знаний и трудностей заданий, а также число итераций, требуемых для вычисления этих оценок (методом наибольшего правдоподобия) в многофакторной ситуации в зависимости от:

· диапазона уровней знаний испытуемых;

· диапазона трудностей заданий;

· степени соответствия диапазонов уровней знаний испытуемых и трудностей заданий;

· числа испытуемых;

· числа заданий;

· степени соответствия данных модели;

· доли пропущенных данных.

Для статистической обработки результатов моделирования используется многофакторный дисперсионный анализ [14].

2.1.6 Абсолютная временная шкала измерения знаний

Знания являются абсолютной субстанцией: они либо есть, либо их нет. По крайней мере, так считается в любой форме традиционного оценивания знаний -- как на выпускных экзаменах в школах, так и на вступительных экзаменах в вузы. Поэтому интересно проанализировать возможности абсолютных шкал оценки и при переходе к измерению знаний на основе тестов.

В данных исследованиях изучаются возможности так называемой «абсолютной временной шкалы оценивания знаний». Формулируются ее принципы. Формулируются этапы последовательного перехода от традиционной формы экзаменов к тестовой форме этого подхода, на их основе - требования к созданию тестовых материалов этого подхода.

Анализируется опыт использования данного подхода на вступительных экзаменах в Тверском государственном университете на протяжении 4-х лет.

Изучается диагностический потенциал данного подхода. Формулируется принцип «трехуровнего абстрагирования» для диагностических тестирований. Ниже показана «диаграмма знаний» по математике, полученная в результате обработки данных тестирования выпускников одной из школ г.Твери (75 учащихся).

Здесь цифры по окружности - номера тем по математике, по радиусам отложена «успешность ответов» учащихся по той или иной теме.

Как видно, тестирование с использованием абсолютной шкалы оценки имеет ценность диагностическую даже более, чем для итоговых экзаменов.

Изучается уровень достоверности результатов компьютерного тестирования в данном подходе и соотношение «случайного» и «достоверного» в итоговой оценке. На рисунках приведена зависимость (в данном подходе) итоговой оценки по математике от времени тестирования:

Как видно, за все время тестирования (40 минут) в первые 15 минут (первые 4 задания по математике) оценка менялась наиболее заметно. За последние же 10 минут итоговая оценка изменялась не более чем на 10 баллов -- доля «случайного» в итоговой оценке.

Таким образом, при использовании абсолютной шкалы данного подхода существует возможность ответить на вопросы: 1) существует ли предел, к которому сходится итоговая оценка с увеличением времени тестирования (или количества заданий теста); 2) какова погрешность «измерения знаний» если прервать тестирование в некоторый определенный момент, например через 40 минут.

Еще одно очевидное преимущество абсолютной шкалы оценивания - итоговая оценка появляется на экране компьютера сразу же после выполнения теста испытуемым [15].

2.1.7 Методика статистического анализа качества обучения

Предлагаемая методика основывается на том, что учебный процесс является частным случаем технологического процесса и ему должны быть свойственны такие же методы анализа, какие приняты для производственных процессов. Однако слепо перенести подобные методики нельзя, особенно это касается содержательного анализа процесса.

Описанная методика реализована в виде электронной таблицы. Для примера проанализируем учебный процесс по информатике и информационным технологиям в 8 классе. По программе это первый класс, когда начинается систематическое изучение информационных технологий. Кроме того, следует учитывать, что учащиеся переходят от одного учителя к другому и уровень требовательности к ним существенно повышается. В течение учебного года, учащиеся должны выполнить 9 заданий на оценку, при чем первые 4 задания по работе с операционной средой Windows, а остальные 5 по работе с текстовым процессором Word. В таблице представлены результаты для 8 Б класса, который по уровню обученности оказался средним среди 3-х классов в параллели [16].

2.1.8 Модель адаптивного тестового контроля

Процедура тестирования предполагает анализ ответов на последовательность тестовых заданий определенной сложности. Проведем аналогию с поведением поискового алгоритма оптимизации для некоторой гипотетической функция Y, максимум которой необходимо найти. В задачах оценивания по тестированию -- это максимум функции уровня знаний.

Реализация поискового алгоритма сводится к последовательному анализу локальной окрестности функционала Y, оценки градиента и выбора очередной области исследования. Если при оценке градиента имеют место помехи, то нельзя говорить о сходимости алгоритма. В обычном смысле он сходится вообще не будет, а будет “блуждать” вокруг области экстремума.

Аналогично можно поступить в случае тестового контроля. Если ответ правильный, то предполагается, что уровень подготовки студента выше сложности предъявленной задачи и он способен решать задачи заданной сложности, в противном случае -- неспособен. Это подобно оценке градиента некоторой гипотетической функции регрессии, в которой градиент сам является случайной величиной.

Предлагается использовать следующий подход. Считаем, что если тестируемый решил задание, то у него появляется желание решить более сложное задание. Если нет -- то им будет сделана еще одна попытка решения задания той же сложности. Если оно также не решено, то предъявляется задача пониженной сложности. Если сразу не решено менее сложное задание, то к решению предлагается задача меньшей сложности. Аналогично происходит процесс повышения сложности заданий. В результате, если исключить этап обучения при решении задач, студент выберет для себя определенный уровень сложности, вокруг которого и будет размываться сложность заданий.

Таким образом, функция «уровня знаний» является преобразованием функции «сложности» задачи через «способность решения задач» определенной «сложности». В этом высказывании термины «уровень знаний», «способность решения задач» и «сложности» носят нечеткий характер. Поэтому для формализации этих понятий целесообразно использование аппарата нечетких множеств. Кроме того, в указанной постановке заметна разница между «сложностью» и «способностью решения задач».

Понятия «сложность» и «уровень знаний» -- это некоторые нечеткие переменные (только переменные, хотя они и задаются функцией), в то время как «способность решения задач» является нечетким отношением нечетких переменных «сложности» и «уровня знаний». Количество баллов также является переменной, однако эта переменная может не анализироваться, поскольку является преобразованием «уровня знаний».

При моделировании ответов в настоящее время наиболее развит анализ IRT теории, которая использует для моделирования вероятностей правильных ответов логистическую кривую. Проведен сравнительный анализ логистического и нормального распределений. Показано, что рассматривая логистическое распределение очень хорошо аппроксимируется нормальным. В свою очередь нормальный закон является предельным случаем биномиального распределения. Этот факт можно формально интерпретировать так, что «уровень знаний» является долей решенных задач, так как число решенных из общего числа задач при заданной вероятности решения подчинено биномиальному распределению.

Далее предполагается, что сложность задания задана некоторым числовым значением, и в результате выполнена формализация процесса тестирования в виде марковской цепи, в которой вероятности переходов по сложностям определяются на основании логистической кривой. Предполагается, что ответы на задания -- независимые величины. Поэтому используется однородная марковская цепь, где состояниями цепи являются меры сложности заданий. Показано, что для построенной цепи существует единственное, не зависящее от начального состояния, стационарное распределение. Найдено аналитическое решение стационарных вероятностей.

Увеличивая дискретизацию сложности, т.е. увеличивая количество состояний марковской цепи показана сходимость к непрерывному распределению. Найдено предельное распределение, которое используется для визуализации преобразований «сложности» в «знание». На практике наиболее естественны случаи, когда оценки имеют постоянную дисперсию или постоянный коэффициент вариации. Постоянный коэффициент вариации объясняется увеличением неопределенности при возрастании «уровня знаний». Постоянная дисперсия может использоваться, когда изменение уровня знаний невелико. Для постоянной дисперсии показано, что преобразование носит экспоненциальный характер. Экспоненциальная функция монотонная и большим значениям функции «уровень знаний» соответствуют большие значения плотности распределения «сложности» решаемой задачи. Соответственно максимум плотности приходится на максимум целевой функции. Для постоянного коэффициента вариации (g) показано, что преобразование описывается степенной функцией, а при g=1 функция плотности вероятности с точностью до постоянного множителя на всей области определения совпадает со средним значением функционала. Таким образом, если есть мера «сложности» задания, то определена и мера «уровня знаний» и она совпадает с плотностью распределения адаптивного алгоритма тестирования.

Если предположить существование функционала «знаний» Y, то стационарные вероятности марковской цепи являются монотонным преобразованием Y. Однако Y неизвестен и этот функционал можно подменить стационарными вероятностями. Такая замена основывается на том, что в поисковом алгоритме при оценки градиента по оценке значений функционала, стационарные вероятности полностью повторяют функционал [17].

2.1.9 Концептуальная модель адаптивного тестового контроля знаний

Была предложена концептуальная модель, состоящая из следующих блоков. Блок целей обучения. Цели обучения определяют успешность процесса обучения. Поэтому их содержание, конкретная формулировка являются важнейшим шагом в технологическом конструировании учебного процесса. Цели образовательной системы в целом определяются законом об образовании. Цели данного учебного заведения определяются Уставом этого учреждения. При формировании целей обучения в рамках учебного предмета основная задача учителя заключается в следующем: по каждому разделу и теме учебной программы он должен определить степень успешности освоения учеником требуемых знаний, умений, и навыков, учесть проявляемое отношение к предмету и на основании этого определить комплекс учебных целей.

Блок содержания В соответствии с концепцией адаптивного тестового контроля было рассмотрено содержание непрерывного курса информатики с 1 по 11 кл. и структурировано на модули. Обучающий цикл должен обеспечивать последовательную ориентацию обучения на намеченные цели. Благодаря такому строению учебный процесс приобретает “модульный” характер. В гуманитарно-естественном лицее N41 г. Ижевска разработана учебная программа по предмету “Основы информатики и вычислительной техники” (ОИВТ), построенная на модульном принципе, который позволяет в максимальной степени учесть быстро меняющееся содержание, дифференциацию учебных классов и учащихся.

Созданная модель содержания курса информатики и представленная в виде образовательных модулей позволяет разработать план теста и его спецификацию по каждому модулю курса с учетом требований образовательного стандарта по школьному курсу информатики. Для оценки изучаемого объема знаний предлагается составить тезаурус -толковый тематический словарь понятий.

Блок измерения 1) Таксономическая модель адаптивного контроля знаний определяет таксономию учебных целей в когнитивной области. Один из подходов к описанию целей обучения состоит в указании уровней, ступеней, которых достигает ученик по мере овладения знаниями. Выделяются шесть иерархических ступеней по B.S.Bloom: узнавание, понимание, применение, анализ, синтез, оценка. Формулирование целей обучения можно производить с помощью системы требований к качеству знаний. К двум наиболее известным в мировой литературе классификациям знаний и способностей B.S.Bloom и R.M.Gagne. B.C.Аванесов добавляет свой перечень видов знаний, которые сформулированы исключительно для решения задач педагогического измерения. Объективные и адекватные измерителя успешности обучения - тесты, задачи, упражнения, контрольные задания, контрольные работы, компьютерное моделирование - могут быть использованы на всех уровнях иерархии учебных целей.

Полнота знаний определяется количеством знаний об изучаемом объекте, входящих в школьную программу, глубина - совокупностью осознанных знаний об объекте. Полнота и глубина знаний - связанные, но не тождественные качества. Полнота допускает изолированность знаний друг от друга, глубина же, напротив, предполагает наличие осознанных существенных связей, в разной степени опосредованных.

Агр=1- [Qcp. - Вер.]

Групповая адаптивность Агр.=1 при идеальном соответствии Вер. и Qcp. Результаты предварительного тестирования группы учащихся имеют значения Агр. далеко не равными единице, поэтому следующим шагом является изменение значения групповой адаптивности путем исключения из теста “неработающих” заданий в этой группе тестируемых с Bj“0 и определение уровня обученноети каждого испытуемого, а также получения в этом случае индивидуальных характеристических кривых испытуемых. В дальнейшем определяется истинный балл как сумма всех вероятностей ответов каждого испытуемого на каждое задание теста и оценивается уровень знаний.

Таким образом, появляется возможность для данного испытуемого выбирать соответствующий его уровню набор тестовых заданий и испытуемые могут быть протестированы тестами составленными индивидуально для них. Для группы тестируемых создаются адаптивные тесты, имеющие разную длину и время выполнения для сильных, слабых и средних учащихся данной группы. Такой процесс требует компьютерной технологии создания, хранения тестов, проведения тестирования и обработки результатов тестирования. Для обработки результатов тестирования исходного и адаптивного тестов создана программа, позволяющая определить такие параметры как: надежность, погрешность измерения,, корреляция, определение значений информационной функции и др.

По сути, эта технология дает начало новой организации как тестового контроля знаний, так и учебного процесса в целом, на более высоком научном уровне. В классно-урочной форме обучения этот принцип не мог быть реализован в каких-нибудь заметных масштабах из-за отсутствия требуемых для этого программно - педагогических и программно - инструментальных средств. В условиях массового образования адаптивное обучение дает возможность эффективной практической реализации принципа индивидуализации обучения.

В качестве доказательств ценности полученных результатов исследования, подтверждающих выдвинутую гипотезу, состоящую в том, что применение адаптированных тестовых измерителей позволит повысить объективность в оценке индивидуального уровня обученности учащихся за счет снижения погрешности измерения в выборке учащихся, адаптивной предлагаемым трудностям тестовых заданий; можно привести следующие факты:

1) разработанный комплект тестовых заданий и рекомендованный кафедрой естественнонаучных дисциплин ИУУ УР для оценки усвоения знаний учащихся общеобразовательной школы по предмету “информатика”, применялся для текущего и итогового контроля знаний учащихся общеобразовательных учреждений;

2) применение адаптивных тестов для контроля знаний учащихся приводит к более точной оценки уровня знаний испытуемых с использованием меньшего количества тестовых заданий по сравнению с обычным тестированием за счет снижения погрешности измерения в выборке учащихся, адаптивной предлагаемым трудностям тестовых заданий;

3) эффективные тестовые измерители позволяют определить уровень обученности каждого испытуемого после изучения модуля курса и определить индивидуальную динамику развития учащегося по окончанию изучения всего курса;

4) в лицее, где с 1996 г. применяется адаптивное обучение, а позднее с 1998г. внедряется адаптивный тестовый контроль знаний учащихся, полученные результаты обученности учащихся характеризуются такими уровнями в когнитивной области как анализ, синтез, что обеспечивает прекрасный потенциал для их дальнейшего успешного развития в творческой эвристической оценочной деятельности (участие в олимпиадах, турнирах, научно-исследовательских конференциях и др.).

Блок системы мониторинга.

Под мониторингом в системе “учитель-ученик” мы понимаем совокупность контролирующих и диагностирующих мероприятий, обусловленных целеполаганием процесса обучения и предусматривающих в динамике уровни усвоения учащимися материала и его корректировку. Иначе говоря, мониторинг - это непрерывные контролирующие действия в системе “учитель-ученик”, позволяющие наблюдать (и корректировать по мере необходимости) продвижение ученика от незнания к знанию. Мониторинг - это регулярное отслеживание качества усвоения знаний и умений в учебном процессе.

Мониторинг отличается от обычной оценки знаний тем, что обеспечивает учителя оперативной обратной связью об уровне усвоения учащимися обязательного учебного материала. Система мониторинга включает в себя создание непосредственно инструментов контроля знаний и умений и корректирующую методику, ориентированную непосредственно на личность школьника с учетом его индивидуальных достижений в учебном процессе [18].

Технология рейтинговых исследований качества образования с применением нейронных сетей

Основными компонентами процесса оценки качества образования являются[ сбор исходных данных и получение результирующей информации о состоянии системы образования. Ежегодный аналитический доклад «Качество образования в выявим учебном заведении» предполагает получение данных по более чем десяти направлениям. Для выполнения аналитических отчетов и мер по повышению качества образования необходимо проведение результирующих «интеллектуальных» обработок исходных данных Задача определения качественного уровня вуза (его рейтинга) является одним из основных направлений таких обработок.

классификация - определение принадлежности каждого вуза к конкретной группе качества.

На первом этапе выявляются основные тенденции в образовании, такие, как уровень разрыва в качестве образования, плотность распределения объектов мониторинга по группам качества. При этом возможны следующие варианты реализации первого этапа:

· глобальная кластеризация -- предполагает наличие в исходной выборке данных по отечественным и зарубежным вузам;

· федеральная кластеризация - наличие в выборке данных по вузам из подчинения Министерства образования Российской Федерации;

· отраслевая кластеризация - выборка состоит из данных по однотипным вузам (техническим, педагогическим, медицинским, и т. д.);

· региональная кластеризация - выборка по вузам определенного региона.

Для адекватности кластерных исследований периодичность их проведения должна быть достаточно большой.

На этапе классификации исходные данные но каждому вузу подаются на входы обученной нейронной сети, после чего определяется «рейтинг качества» данного вуза. Многие параметры, по которым происходит опенка качества образования, подвержены динамическим изменениям. Поэтому определение рейтинга качества образования в информационной системе будет выполняться ежеквартально.

Ряд последовательных операций на каждом этапе определяет облик соответствующей информационной технологии. Информационная технология этапа кластерных исследований определяется следующими операциями:

· получение исходных данных для проведения исследований с сервера информационной системы (отдельно для каждого этапа реализация);

· проведение кластерных исследований посредством самоорганизующейся карты Кохонена;

· идентификация «групп качества образования», на которые было разбито исходное множество учебных заведений;

· присвоение «рейтингов качества» каждой «группе качества».

Завершающая операция на данном этапе может дать заключение о глобальных тенденциях в качестве образования и являться основанием для проведения мероприятий организационно-управленческого плана. Такой тенденцией может быть, например, резкое увеличение количества объектов в группах с низким рейтингом качества

В ИСМО в основу технологии классификации положено использование многослойной нейронной сети, обучаемой по методу обратного распространения ошибки. В данном случае технологический облик этапа определяется особенностями процесса обучения нейронной сети и состоит из следующих операций:

· формирование исходной выборки для обучения нейронной сети, в которой на входы нейронной сети подаются параметры качества образования, а на выходы-рейтинги качества;

· подача на входы сети нового примера, соответствующего вузу, рейтинг которого определяется;

· выполнение предыдущей процедуры для всех вузов, включенных в систему мониторинга.

Выполнение первого этапа, на котором генерируются примеры для обучения нейронной сети, может основываться на методе экспертных оценок. Функционирование информационной системы происходит в полуавтоматическом режиме. На персонал информационной системы возлагается обязанность пополнения базы данных параметров оценки качества образования.

Текущая обработка по этапу классификации может изменять рейтинг качества конкретного вуза, но не меняет картину качества в целом. Этим определяется небольшой период проведения итоговых обработок по этому этапу. Итоговые обработки; проводимые в рамках кластерных исследований, способны изменить общую картину качества [25].

2.2 Собственные разработки

В результате трехлетней работы были разработаны некоторые методы автоматизированного контроля совместно с преподавателями кафедры «СУ и ВТ» Калининградского Технического Университета, созданы реализации теоретических выкладок, о которых хотелось бы рассказать в этой работе.

2.2.1 Тестирование по методу цепочек вопросов

Автоматизированная система контроля знаний, созданная как результат выпускной квалификационной работы и дипломного проектирования в подсистеме «Создание теста» предлагает преподавателю использовать цепочную систему вопросов, когда несколько вопросов объединяются в фиксированную последовательность (цепочку) по некоторому смысловому признаку, определяемому преподавателем, а каждому вопросу в цепочке присваивается некоторый коэффициент важности данного вопроса в данной цепочке. Этот коэффициент изменяется от 0 и сумма коэффициентов вопросов в цепочке принимается равной 1. Смысл коэффициента раскрывается при обработке результатов тестирования: оценка за ответы на вопросы, объединенные в цепочку, выставляется в зависимости от важности вопросов, на которые были даны правильные ответы. Цепочка может содержать неограниченное число вопросов, объединенных по семантическому признаку внутри выбранной темы тестирования. Вырожденным случаем цепочной структуры является наличие в цепочке всего лишь одного вопроса. В этом случае коэффициент его важности, очевидно, устанавливается равным единице.

Хочется отметить, что тест, как правило, создается по отдельной теме конкретной дисциплины, должен иметь небольшой объем, что обуславливается неразделяемостью ресурсов персонального компьютера и необходимостью проводить тестирование большого количества обучаемых в течение ограниченного времени.

2.2.2 Автоматизированный контроль знаний по методике уточняющих вопросов

Концепция базируется на автоматизации методики уточняющих вопросов, широко используемой в педагогической практике для выявления глубины знаний обучаемого. Относительная важность задаваемых вопросов определяется их весовыми коэффициентами, учитываемыми при подведении результатов тестирования. При подготовке к тестированию преподаватель имеет возможность определять или корректировать относительную важность каждого вопроса, устанавливать объем теста N, задавать время, отводимое экзаменуемому на демонстрацию своих знаний, и настраивать оценочную шкалу, по которой суммарный балл, набранный в ходе тестирования, переводится в итоговую оценку.

В ходе автоматизированного тестирования экзаменуемому предъявляется конечное множество т.н. цепочек вопросов. Каждая цепочка представляет собой последовательность близких по тематике вопросов, формулируемых для уточнения знаний экзаменуемого. Очередной вопрос в цепочке задается только после получения ответа на предыдущий вопрос. В зависимости от стратегии тестирования, избираемой организатором контроля знаний, очередной вопрос в цепочке может предъявляться до первой ошибки (“строгий” преподаватель), либо экзаменуемому предоставляется возможность демонстрировать максимум знаний, отвечая на все вопросы данной тематической последовательности.

Каждому j-му вопросу в i-й цепочке присваивается весовой коэффициент К_ij, характеризующий его относительную важность в рамках этой цепочки. Значения всех коэффициентов автоматически нормируются так, чтобы их сумма внутри каждой цепочки была равна 1. В цепочку может объединяться неограниченное количество тематически близких вопросов. В вырожденном случае цепочка состоит из единственного вопроса, коэффициент важности которого устанавливается равным 1.

Процедура количественного оценивания знаний, выявленных в ходе тестирования, состоит из трех этапов. На первом рассчитываются баллы, набранные за правильные ответы в рамках каждой отдельной тематической последовательности:

,

где S_i - балл, выставляемый за ответы на i-ю тематическую последовательность; К_ij - весовой коэффициент j-го вопроса в i-й цепочке; Z_ij =1, если на j-й вопрос в i-й цепочке получен правильный ответ и Z_ij=0 - в противном случае; L_i - количество вопросов в i-й цепочке.

На втором этапе рассчитывается суммарный балл S за ответы на все вопросы теста с учетом количества цепочек вопросов, на которые экзаменуемый успел ответить за отведенное время:

²,

где N -объем теста; К_t - количество цепочек вопросов, на которые экзаменуемый успел ответить за отведенное время t.

На третьем этапе определяется итоговая оценка знаний экзаменуемого. Для этого набранный им суммарный балл S проецируется на оценочную шкалу, имеющую вид[0; I₁; I₂; I₃; 1], где 0< I₁< I₂< I₃< 1 - границы интервальных диапазонов оценок, задаваемые преподавателем при организации тестирования.

Итоговая оценка за тест О_T выводится по следующим правилам:

После необходимой доработки и полного документирования демонстрационная версия программы и информация об условиях ее поставки будет опубликована на Веб-сайте Калининградского государственного технического университета [26].

2.2.4 Алгоритмы прямого тестирования в интеллектуальной автоматизированной системе контроля знаний

Прямым тестированием будем называть способ контроля знаний обучаемого, при котором структура теста (т.е. набор и порядок предъявления тестовых заданий) не зависит от фактических ответов обучаемого. Практически все существующие в настоящее время АСКЗ функционируют в режиме прямого тестирования, однако чаще всего они реализуют лишь простейшие и далеко не самые эффективные методики оценивания знаний.

Детальный анализ педагогических приемов и способов “живого” диалогового общения преподавателя и тестируемого показал, что можно выделить по крайней мере пять параметров, значения которых влияют на организацию процесса контроля и оценивания знаний.

Цель тестирования определяется основным вопросом, ответ на который должен быть получен в результате тестирования - а) обладает ли обучаемый равномерным уровнем знаний по всему материалу (проверка широты знаний) или б) обладает ли обучаемый систематическими знаниями по темам предъявляемых ему тестовых заданий (проверка глубины знаний).

Вид тестирования имеет два значения - зачетное или экзаменационное. Результаты зачетного тестирования представляются в двоичном формате: “зачет” или “незачет”. В ходе зачетного тестирования оценка “зачет” выставляется в случае, если обучаемый демонстрирует знания, превышающие некоторое априори заданное пороговое значение.

При экзаменационном тестировании по сумме баллов, набранной обучаемым при выполнении теста, рассчитывается итоговая оценка знаний обучаемого (имеющая в общем случае более двух допустимых значений), для чего сумма баллов проецируется на применяемую оценочную шкалу.

Сложность теста характеризуется уровнем знаний, которые должен продемонстрировать обучаемый при его выполнении. Она определяется степенью сложности тестовых заданий, которые могут предъявляться обучаемому. Исследования позволяют говорить о как минимум трех уровнях сложности тестов - стандартной, повышенной и пониженной.

Уровень контроля определяет степень строгости проверки глубины знаний. Изучение методик проведения зачетных и экзаменационных опросов показывает, что можно говорить о четырех различных уровнях строгости оценивания ответов на тестовые задания (строгий контроль; выявление наиболее важных знаний; выявление простейших знаний; выявление любых имеющихся знаний).

И, наконец, отслеживание условия раннего прекращения тестирования предполагает досрочное завершение теста в ситуации, когда продолжение тестирования становится нецелесообразным. В качестве первого из этих условий рассматривается превышение предельной длительности тестирования. Второе условие - прекращение тестирования и выставление неудовлетворительной оценки при получении априори заданного количества неправильных ответов.

Разнообразие возможных сочетаний значений пяти предложенных характеристик позволяет говорить о существовании весьма обширного семейства алгоритмов прямого тестирования знаний (например, экзаменационного оценивания глубины знаний с повышенной сложностью и строгим контролем, либо зачетного оценивания широты знаний со стандартной сложностью и контролем предельной длительности тестирования и т.п.).

Подсчет показывает, что в состав этого семейства входят, по крайней мере, 24 алгоритма оценивания широты знаний и 78 алгоритмов оценивания глубины знаний, что позволяет организатору тестирования выбирать в конкретной ситуации именно тот алгоритм, который наилучшим образом соответствует требованиям действующих инструктивно-методических документов, либо который он считает наиболее адекватным собственному представлению об организации контроля знаний [27].

2.2.5 Метод адаптивного автоматизированного тестирования знаний

Адаптивным тестированием знаний будем называть способ экзаменационного контроля уровня подготовки обучаемого, при котором процедура выбора и предъявления ему очередного тестового задания на (t+1)-м шаге тестирования определяется ответами обучаемого на предыдущих t шагах теста. Математическую основу такого учета составляет предложенная в [2] модель объединения тестовых заданий в тематические последовательности со взвешенным ранжированием как отдельных заданий, так и целых последовательностей и выведением итоговой оценки за тест с учетом нормированной суммы баллов, накапливаемой за выбранные обучаемым варианты ответов.

Пусть

V = {v_j},

- множество тестовых заданий, которые могут использоваться для формирования теста, V_T = {v_i}, V_T ? V, - тестовые задания, отобранные для проверки знаний конкретного тестируемого, причем N << N_max. Обозначим S_t нормированную относительно количества заданных вопросов сумму баллов, накопленную обучаемым за ответы на 1, 2, …, t-м шагах теста, причем t ? N, а 0 ?? S_t??? 1. Шкалу итогового оценивания знаний Z_I упрощенно представим в виде

Z_I = [0; I₁/O₁; I₂/O₂; …; I_n/O_n; 1/O_n+1]

где 0 < I₁ < I₂ < …< I_n < 1 - границы оценочных интервалов; O_i, - оценка, которой характеризуются знания тестируемого в случае, когда накопленная им сумма баллов S_t попадает в интервал (I_i-1,I_i].

Поскольку N << N_max, то согласно теории вероятностей сумма баллов S_t может использоваться для оценивания знаний обучаемого с доверительной вероятностью P_t < 1 и, следовательно, при выведении итоговой оценки знаний по результатам t ??N шагов тестирования необходимо учитывать ненулевой интервал неопределенности ??I>0, в котором с вероятностью P_t находится истинное значение S_t^и: S_t^и?[S_t-?I;S_t+?I]. C практической точки зрения это означает, что при проецировании значения S_t на шкалу Z_I следует принимать во внимание не только сегмент этой шкалы (I_i,I_i+1], в который попадает значение S_t, но и его зонирование с учетом интервала неопределенности ?I.

При попадании суммы баллов в интервал I_i+?I?S_N<I_i+1-?I сумма баллов S_N^и, соответствующая истинной оценке знаний, ни при каких условиях не попадает в зоны неопределенности (I_i??I) и (I_i+1??I). В этой ситуации имеется достаточно оснований для выставления оценки O_i+1 сразу по завершении первого этапа тестирования, поэтому дальнейшее предъявление дополнительных или уточняющих вопросов нецелесообразно [28].

Заключение

Начавшееся в нашей стране с начала 80-х годов внедрение в учебных заведениях новых информационных технологий - обучение при помощи педагогических программных средств, а также использование тестирующих программ - дало более чем скромные результаты. Среди многих известных причин этого (финансовые, технические, организационные, методические трудности) отметим одну: психологическое неприятие учителями “компьютерных” методов обучения и контроля знаний, особенно высококвалифицированными, творчески работающими. У них для этого есть основания: налицо большое количество плохих программ, не отвечающих главным психолого-педагогическим принципам обучения, неудачно реализующих основные этапы процесса усвоения знаний; как правило, отсутствует методическое сопровождение; оказываются непомерно большими затраты времени и сил на освоение компьютеров, изучение программы, поддержку соответствующей инфраструктуры; при использовании даже хороших систем нивелируется роль учителя в учебно-воспитательном процессе, исчезает творческий характер его труда; отсутствует система поощрения педагогов-новаторов, осваивающих новые информационные технологии.

Эту ситуацию, на мой взгляд, можно и хочется изменить. Технический прогресс стремительно продвинулся вперед, современная вычислительная техника и системы телекоммуникаций достигли огромных результатов за последние несколько лет в плане быстродействия, объемов обрабатываемой и хранимой информации. Развитие систем проектирования программ (объектно-ориентированные системы визуального программирования, СУБД, системы моделирования нейронных сетей, и т.п.) дало в руки инженеров и системных аналитиков мощнейшие средства разработки и внедрения в жизнь самых фантастических проектов. Отсутствие финансирования в области образования в нашей стране тормозит, как мне кажется, процессы создания качественных программных продуктов общего применения, смещая акцент в сторону коммерческих интеллектуальных мультимедийных курсов, создание которых могут себе позволить только крупные «софтверные» компании.

В данной работе частично были проанализированы существующие методы и модели, позволяющие построить так называемую интеллектуальную автоматизированную систему контроля знаний. Практические реализации собственных теоретических разработок в этой области уже есть: на сегодняшний день готова демонстрационная версия программы, проводящей тестирование по методу цепочек вопросов. Этот метод не является «интеллектуализацией» процесса контроля знаний, а является первым шагом к созданию системы, позволяющей преподавателю проводить текущий и финальный контроль более быстро, объективно и эффективно. Реализация методов адаптивного тестирования, использование нечеткой логики и инженерии знаний позволит достичь больших результатов в этой области.

Список использованной литературы

1. Касьянова Н.В. «Cоздание системы компьютерного контроля как результат новых информационных технологий в обучении», Восточноукраинский Национальный Университет (ВНУ), Украина, г.Луганск // материалы конференции ИТО-2001;

2. Бренич С.Г. «Проблема искусственного интеллекта. Кибернетика.» // реферат;

3. Иващенко А.И. «Контроль знаний и умений учащихся по математике в школе» // дипломная работа;

4. Ваньков Е.А. «Технологии компьютерного тестирования» // реферат;

5. Кузнецов А.А. «Универсальная автоматизированная обучающая система. Подсистема контроля знаний.» // дипломный проект;

6. Соловей Е.В. «Автоматизированная система контроля знаний «Цепь знаний». Сетевая версия» // дипломный проект;

7. Моисеев В.Б., Пятирублевый Л.Г., Таранцева К.Р. «Информационный подход к выбору решений в системах адаптивного тестирования». Материалы конференции «Анализ качества образования и тестирование». 22.03.2001, Москва, МО РФ, МЭСИ

8. Моисеев В.Б., Пятирублевый Л.Г., Таранцева К.Р. «Распознавание образа обучаемых по уровням их знаний в компьютерном тестировании». Сборник материалов Интернет-конференции «Проблемы перехода классических университетов в систему открытого образования». Москва. МЭСИ, 2001

9. Моисеев В.Б., Усманов В.В., Таранцева К.Р., Пятирублевый Л.Г. «Оценивание результатов тестирования на основе экспертно-аналитических методов». Журнал «Открытое образование», №3, 2001, с.32-36.;

10. Аванесов B.C. Композиция тестовых заданий. Учебная книга для преподавателей вузов, учителей школ, аспирантов и студентов пед.вузов. 2 изд., испр.. и доп. М.: Адепт;

11. Границкая А.С. Научить думать и действовать: Адаптивная система обучения в школе: Кн. для учителя. М.: Просвещение;

12. Казаринов А.С., Култышева А.Ю., Мирошниченко А.А. Технология адаптивной валидности тестовых заданий: Учебное пособие. Глазов: ГГПИ, 1999;

13. Майоров А.Н. Тесты школьных достижений: конструирование, проведение, использование. Издание второе - СПб.: Образование и культура, 1997;

14. Кальней В.А., Шишов С.Е. Технология мониторинга качества обучения в системе “учитель-ученик”: Методическое пособие для учителя. М.: Педагогическое общество России, 1999;

15. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей: Уч.пособие. М.: Исследовательский центр проблем качества подготовки специалистов, 1995;

16. П.Ю. Шалимов, В.И. Попоков «Технология рейтинговых исследований качества образования с применением нейронных сетей»

17. И.Д. Рудинский, Е.В. Соловей «Автоматизированный контроль знаний по методике уточняющих вопросов». Сборник материалов конференции, 2001

18. И.Д. Рудинский, Е.В. Соловей «реализация алгоритмов прямого тестирования в интеллектуальной автоматизированной системе контроля знаний». Сборник материалов конференции, 2001

19. И.Д. Рудинский «Метод адаптивного автоматизированного контроля знаний». Сборник материалов конференции, 2001