Корреляционный анализ

Размещено на http://allbest.ru

Корреляционный анализ

Планируемые результаты:

1) называть основные показатели тестового задания, основанные на корреляциях

2) объяснять смысл корреляционного анализа и полученных значений

3) оценивать дифференцирующую силу заданий несколькими способами

4) проводить дистракторный анализ

5) характеризовать гомогенность теста

корреляционный ковариация коэффициент пирсона

Диаграмма рассеяния, показывающая связь результатов тестирования группы школьников по математике (X) с результатами тестирования по физике (У). Диаграмма указывает на наличие слабой положительной связи, однако не позволяет ввести обобщенную ее меру

Ковариация. мера для выражения степени соответствия между наборами данных Х и Y. Точнее сказать, позволяющая выявить степень соответствия больших значений из множества X большим же значением из множества Y (прямая связь) либо, наоборот, больших значений из Х малым из Y (обратная связь). Подобная мера связи называется ковариацией. Для выявления смысла понятия «ковариация» удобно рассмотреть результаты выполнения группой испытуемых двух тестов Х и Y, образующих два множества.

Коэффициент Пирсона

Корреляция задания с критерием оценивает валидность отдельных заданий. Наиболее правильное понятие - корреляция оценок, полученных испытуемыми в задании, с оценками, полученными ими же по какому-либо критерию, например, по сумме баллов. Корреляция является стандартной мерой дифференцирующей способности задания. При проверке тестовых свойств заданий в качестве критерия, для начала, используется сумма баллов испытуемых, полученная ими по всем заданиям пробного варианта теста. Задания в тестовой форме нельзя назвать тестовым, если оно не коррелирует (не связано) с отмеченной суммой.

Легче рассчитывается так называемый коэффициент корреляции point-biseral, не имеющий точного смыслового перевода на русский язык. Он считается необходимым для случаев, когда одна переменная представлена дихотомической оценкой. Формулы для расчета корреляции результатов выполнения j-го задания с суммой баллов по тесту:

,(6)

или

,(7)

где - средний балл испытуемых по всем заданиям теста;

- средний балл по тесту испытуемых, выполнивших верно j-ое задание;

- средний балл по тесту испытуемых, ответивших неправильно на j-ое задание;

S_x - cтандартное отклонение по множеству значений индивидуальных баллов

N - число тестируемых;

(N₀)j - число тестируемых, ответивших не правильно на j-ое задание;

(N₁)j - число тестируемых, выполнивших верно j-ое задание.

Числовые значения точечно-бисерального коэффициента могут меняться от 1 до -1. Положительная корреляция показывает, что тестируемые, хорошо справившиеся с тестом, правильно выполняют данное задание, т.е. выбирают правильный ответ. Отрицательная или нулевая корреляция для верного ответа отражают случайный характер ответов учащихся или наличие каких-либо проблем в усвоении проверяемого материала.

Оценка валидности задания позволяет судить о том, насколько задание пригодно для работы в соответствии с общей целью создания теста. Если эта цель - дифференциация учеников по уровню подготовки, то валидные задания должны четко отделять хорошо подготовленных учеников от слабо подготовленных в тестируемой группе.

Можно установить следующий критерий отбора заданий по данному показателю: отбираются задания со значением точечно-бисерального коэффициента для правильного ответа, превышающим критическое значение 0,20. Хорошим значением точечно-бисерального коэффициента считается интервал 0,3-0,5. Интервал 0,2-0,3 считается критическим.

Решающую роль в оценке валидности задания играет разность средних значений баллов испытуемых правильно ответивших и неправильно ответивших на данный вопрос, находящихся в числителе дроби формулы 6. Чем выше значение этой разности, тем лучше работает задание на общую цель дифференциации испытуемых, выполняющих тест. В том случае, когда в разности доминирует вклад среднего значения баллов незнающих учеников, задание следует просто удалить из теста. В нем побеждают слабые ученики, а сильные выбирают неправильный ответ либо пропускают задание при выполнении теста. Таким образом, подлежат выбросу все задания, у которых r_pbis<0.

Точечно-бисеральный коэффициент корреляции является самым точным, измеряемым показателем дифференцирующей способности задания. Все остальные - либо производные от него, либо приближенные оценки этого показателя.

В устаревших зарубежных изданиях вместо коэффициента корреляции использовался т.н. показатель дифференцирующей способности задания (ДСЗ). Никакой новой информации он не дает, потому что по своей конструкции ДСЗ способен дать только приблизительную оценку значения коэффициента корреляции задания с суммой баллов. По сути, это разность долей правильных ответов среди двух групп испытуемых: сильных и слабых.

По данным тестирования типичной выборки (N>100) отбирают 27% испытуемых, имеющих высокие баллы и 27% испытуемых, имеющих низкие баллы. После чего рассчитываются две доли; р_л и р_х, где р_л означает долю правильных ответов на задание в лучшей группе испытуемых (имеющих высокие баллы), а р_л - долю правильных ответов на то же задание в худшей группе.

ДСЗ = р_л - р_х

Данный показатель может быть выражен в процентах или в долях.

Если все учащиеся сильной группы выполнили данное задание правильно (трудность задания для сильной группы - 100%), а все учащиеся слабой группы выполнили задание неправильно (трудность задания для слабой группы - 0), то дифференцирующая сила равна 100% или 1 (таблица 6).

Таблица 6. Критерии оценки дифференцирующей способности задания:

Отрицательное значение ДСЗ указывает на ошибки в задании, например, указан неверный ответ.

Расчет ДСЗ сейчас практически не ведется, за исключением начинающих разработчиков тестов.

Для предсказания тестовых свойств заданий и для первоначальной ориентации в их потенциальных возможностях профессиональные разработчики теста используют построение геометрических образов заданий.

В классической теории тестов для этого используется построение графиков зависимости долей правильных ответов на задание от уровня подготовленности испытуемых. При построении графика каждого задания желательно, чтобы число испытуемых было более тысячи; при этом условии появляется возможность разделить все множество испытуемых на так называемые балльные группы, с достаточным числом испытуемых в каждой из них. Создаются отдельные группы тех, кто имеет только один балл, два, три и т.д. по результатам выполнения всего теста. На оси абсцисс откладывается значение балльной группы.

В каждой такой балльной группе подсчитывается доля правильных ответов на конкретной задание, которая и откладывается на оси ординат. Пример эмпирического графика тестового задания представлен на рисунке 7.

Рис. 7. Зависимость доли правильных ответов от значения тестовых баллов

Каждое задание теста имеет свой специфический график, потому что каждое задание имеет свою меру трудности, свой уровень дифференцирующей способности на определенном интервале оси подготовленности. Трудно найти задания с одинаковым потенциалом измерения. Чем меньшую крутизну имеет кривая, тем меньше дифференцирующая способность задания.

На рисунке 8 представлены гипотетические геометрические образы нескольких заданий теста.

Рис. 8. Геометрические образы пяти заданий

Тестологическая интерпретация:

Задания А и Д имеют высокую дифференцирующую способность, хорошо отделяя испытуемых с различным уровнем знаний, причем задание Д имеет лучшую дискриминативность. Но «работают» эти задания на разных интервалах. Область роста графика задания А приходится на первую половину тестовых результатов. Это означает, что оно способно распознавать испытуемых ниже среднего уровня подготовленности. Задание Д труднее для испытуемых, правильно отвечают на него только те, кто имеет13 и более баллов.

Никого не дифференцирует задание В. Возможно это невнятно сформулированное либо трудное задание, либо задание с двумя ответами. Все испытуемые отвечают на него наугад, со средней вероятностью угадывания 0,5. Будучи заданием в тестовой форме, оно является не тестовым по существу.

График задания Б указывает на его низкую дифференцирующую способность. Ответы на задание слабо коррелируют с суммой баллов, поэтому крутизна кривой низкая. Не все самые подготовленные испытуемые в состоянии дать правильный ответ на данное задание. Задание сравнительно легкое даже для самых слабых учеников. В нем есть дефект формулировки. Вот почему на него неправильно отвечают и слабые, и хорошо подготовленные испытуемые. Задания надо формулировать так, чтобы их смысл был понятен всем испытуемым.

И наконец, весьма парадоксален график задания Г. По мере роста уровня подготовленности испытуемых виден не рост доли правильных ответов, а напротив, уменьшение. Слабые ученики указали правильный ответ, а сильные не справились с заданием. Это означает, что ответ на задание в ключе - неверный.

При анализе графиков обращают внимание на три характеристики: расположение относительно оси абсцисс, место пересечения с осью ординат и меру крутизны графика.

Чем правее, на плоскости, располагается график задания, тем оно труднее для испытуемых.

Чем выше точка пересечения с осью ординат, тем выше уровень догадки.

Чем круче кривая, тем эффективнее работает задание на данном интервале измерения.

Построение геометрических образов по эмпирическим данным имеет преимущества в реалистичности и наглядности изучаемых тестовых свойств заданий.

Гомогенность теста. Для оценки связи между результатами выполнения двух заданий теста используют формулу:

,(8)

где р_jl- доля испытуемых, выполнивших правильно оба задания теста, т.е. доля тех, кто получил один балл по обоим заданиям;

р_j - доля испытуемых, правильно выполнивших j-е задание;

р_l - доля испытуемых, правильно выполнивших l-е задание;

q_i = 1 - р_j

q_l = 1 - р_l

Значения коэффициента корреляции между результатами по отдельным заданиям теста сводятся в матрицу. Пример приведен в таблице 7.

Таблица 7. Матрица коэффициентов корреляции заданий

Анализ значений коэффициента корреляции в таблице 7 позволяет выделить задания 3 и 8. По данным таблицы, задание 3 отрицательно коррелирует с заданиями 7, 8, 9. О том, что «виновато» третье, а не другие задания теста, свидетельствует анализ значений коэффициента корреляции в столбцах с номерами 7, 9. В них просматривается только один минус на месте, соответствующем заданию теста 3, которое в свою очередь отрицательно коррелирует с четырьмя заданиями теста.

Аналогичная ситуация наблюдается в столбце, соответствующем заданию 8 теста. Отрицательные значения коэффициента корреляции указывают на определенный просчет разработчиков в содержании заданий 3 и 8. Наиболее распространенная причина - отсутствие предметной чистоты содержания - нередко встречается при разработке самых разных тестов.

Понятно, что предметная чистота - скорее идеализируемое, чем реальное требование, чем реальное требование к содержанию любого теста. Например, в тесте по физике всегда встречаются задания с большим количеством математических преобразований, в тесте по биологии - задания, требующие серьезных знаний по химии, в тесте по истории - задания, рассчитанные на выявление культурологических знаний. Поэтому говорить об отсутствии пересечения содержания заданий одной учебной дисциплины с содержанием другой в чистом виде не приходится. Можно лишь стремиться к тому, чтобы при выполнении каждого задания доминировали знания по проверяемому предмету.

По-видимому, противоположная ситуация наблюдалась в заданиях 3 и 8, отрицательные значения корреляции по которым указывают на отсутствие связи их содержания с содержанием других заданий теста.

Таким образом, задания 3 и 8 для повышения гомогенности содержания необходимо удалить из теста. Подобное решение принимает автор только после получения эмпирических результатов на репрезентативной группе выборки.

Анализ 9-го столбца указывает на наличие ряда довольно высоких значений коэффициента корреляции, каждое из которых может получить различную трактовку в зависимости от вида разрабатываемого теста.

Для тематических тестов высокая корреляция между заданиями неизбежна, так как задания отражают слабо варьирующее, исходное содержание, что вполне оправдано назначением теста. Однако для итоговых тестов высокой корреляции между заданиями по возможности стараются избегать. Вряд ли имеет смысл включать в тест задания, оценивающие содержательно одинаковые элементы, особенно если трудность заданий имеет близкие значения. Поэтому в итоговых тестах стремятся к невысокой положительной корреляции, когда значение коэффициента варьирует в интервале (0; 0,3) и каждое задание привносит свой специфический вклад в общее содержание теста.

Определенные ограничения на подбор тестовых заданий накладывает требование аксиомы локальной независимости, согласно которой вероятность правильного выполнения каждого задания испытуемыми одного уровня подготовки не должна зависеть от вероятности правильного выполнения остальных заданий теста.

6. Анализ правдоподобности дистракторов для заданий с выбором ответа

Анализ распределения выбора ответа испытуемыми на задание теста позволяет оценить, как «работает» каждый из предложенных вариантов ответа. Анализ осуществляется несколькими способами.

Сравнение процента учащихся выбравших каждый предложенный ответ. Неверные ответы учащихся должны распределяться, как правило, почти одинаково между всеми предложенными дистракторами. Ответ, который выбирают менее 5% тестируемых, является явно не привлекательным и его следовало бы заменить на более правдоподобный дистрактор. Если авторы оставляют в тесте подобное задание, то следует помнить, что в этом случае задание, теряя один из возможных ответов, превращается в задание с меньшим числом ответов.

Если ответы тестируемых распределены почти равномерно между всеми предложенными ответами, включая правильный, то возможно, что тестируемые отвечали наугад. Подобное распределение ответов может говорить о следующем: задание плохо сформулировано и тестируемые не понимают вопроса; задание проверяет то, что не изучалось; задание не содержит правильного ответа.

Следует обратить внимание на процент тестируемых, которые по каким-либо причинам не выполнили задание: пропустили его или не успели выполнить. Если данное число превышает 5%, то важно понять причину невыполнения (не знают правильный ответ; трудоемкое задание, задание расположено в конце теста и не хватило времени на его выполнение) и принять соответствующие меры для исправления ситуации.

Анализ процента выбора ответа ничего не говорит о том, какие из предложенных вариантов ответов выбирают хорошо подготовленные и слабые учащиеся.

Углубленный вариант дистракторного анализа построен на подсчете значения точечно-бисерального коэффициента корреляции для каждого дистрактора в заданиях теста.

,(9)

где - средний балл испытуемых по всем заданиям теста;

- средний балл по тесту испытуемых, выбравших другие номера ответов на j-ое задание;

S_x - стандартное отклонение по множеству значений индивидуальных баллов;

N - число тестируемых;

(N₀)_j - число тестируемых, выбравших другие номера ответов на j-ое задание;

(N₁)_j - число тестируемых, выбравших данный номер для ответа на j-ое задание.

Отрицательные значения коэффициента корреляции указывают на ситуации, когда хорошо выполнившие тест испытуемые не будут выбирать данный дистрактор в качестве правильного ответа.

Для примера проанализируем значения коэффициента точечно-бисеральной корреляции по таблице 12 (звездочка соответствует правильному ответу).

Таблица 12. Значения коэффициента точечно-бисеральной корреляции

Положительные значения коэффициента для дистракторов (2-й ответ в задании 2, 4-й ответ в задании 5) указывают на то, что эти неверные ответы выбирают в качестве правильных сильные ученики, что явно противоречит представлению о хороших заданиях теста. Поэтому подобные задания, несомненно, следует анализировать, и, если просчет в содержании не поддается коррекции, то просто удаляют из теста. Значения точечно-бисерального коэффициента корреляции должно быть отрицательным для дистракторов и превышающим по модулю 0,2. Значение коэффициента для правильного ответа не может быть отрицательным. Правильным ответам должны соответствовать значения, превышающие 0,5.

Вариант 8, история

Вариант 7, история

Размещено на Allbest.ru