Современные подходы к психометрическому измерению. Теория IRT

Размещено на http://www.allbest.ru/

Федеральное государственное бюджетное образовательное учреждение

высшего профессионального образования

РОССИЙСКАЯ АКАДЕМИЯ НАРОДНОГО ХОЗЯЙСТВА и

ГОСУДАРСТВЕННОЙ СЛУЖБЫ

при ПРЕЗИДЕНТЕ РОССИЙСКОЙ ФЕДЕРАЦИИ

СИБИРСКИЙ ИНСТИТУТ УПРАВЛЕНИЯ - ФИЛИАЛ РАНХиГС

Факультет государственного и муниципального управления

Кафедра психологии

КУРСОВАЯ РАБОТА на тему:

«СОВРЕМЕННЫЕ ПОДХОДЫ К ПСИХОМЕТРИЧЕСКОМУ ИЗМЕРЕНИЮ.ТЕОРИЯ IRT»

Выполнила: Волошина К.И.,

студент гр. 14174

Проверила: Плотников С.Г.,

ст. преподаватель

Новосибирск, 2015



Оглавление

item response theory тест

Введение

1. Понятия и исходные положения теории Item Response Theory(IRT)

1.1 Возникновение IRT

1.2 Латентная составляющая

1.3 Цель, задачи и преимущества IRT

2. Роль IRT теории для науки и практики

2.1 Ведущая идея, утверждения и ключевые понятия IRT

2.2 Проблема и предмет IRT

Заключение

Список литературы



Введение

Item Response Theory (IRT) - английское название теории, используемой преимущественно в педагогических и психологических измерениях. Эта теория смогла привлечь к себе внимание классиков мировой теории педагогических измерений и психометрики, математиков, статистиков, программистов, педагогов и управленцев сферы образования многих стран мира. К настоящему времени за рубежом появились десятки тысяч научных исследований по IRT, возникла эффективная практика создания тестов, на её основе создаются адаптивные обучающие и контролирующие системы многих университетов и стран.

В России название IRT переводили такими словами, как «теория латентных черт», «теория характеристических кривых заданий», «теория моделирования и параметризации педагогических тестов», «современная» теория тестов и т.д. Столь заметные различия в переводах одного только названия IRT уже само по себе являются свидетельством неблагополучия в понимании её сути. Не лучшим образом обстоит дело с переводом на русский язык исходных понятий и положений IRT.

По мнению некоторых авторов IRT - это современная теория педагогических измерений, преодолевающая недостатки других теорий и что она способна решить многие, если не все проблемы повышения качества педагогических измерений. Но это не вполне верный ход мысли. Ни одна из известных теорий не исчерпала свой потенциал развития. Вопрос лучше ставить о сравнительных достоинствах и об ограничениях, присущих каждой теории. Например, расчёт так называемых параметров математических функций, описывающих свойства заданий, предполагает достаточно большое число испытуемых. При малом числе испытуемых получаемые значения параметров таких функций очень ненадежны, а потому в таких случаях на результаты применения IRT нельзя полагаться в полной мере.[1, стр. 62]

Хотя IRT решает ряд задач образовательной практики лучше других теорий, анализом ответов испытуемых на задания реального или проектируемого теста занимаются все теории педагогических измерений. И в этом смысле прямой перевод смысла слов, образующих название данной теории, является не существенным. Здесь сложилась примерно такая же ситуация, как и с переводом слова или научного понятия «тест». Философы уже давно знают существенные различия между переводом смысла слов и смысла научных понятий. Употребление и толкование смысла слов имеет в своей основе обыденное сознание, в то время как опора на научные понятия свойственна только научному мышлению. Вот почему перевод названия и основных положений Item Response Theory на русский язык оказался непростым делом. [6, стр. 128]

Смысл английских слов Item (задание), Response (ответ) и Theory (теория) наталкивает на идею перевода "теория ответа на задание". Но такой перевод бессодержателен, потому что классическая теория тоже занимается анализом ответов на задания. В ней есть даже специальный раздел "ItemAnalyses". Таким образом, для выявления сущности IRT и используемых в ней моделей измерения простой перевод упомянутых слов, составляющих название этой теории, ничего не дает.

Перевод IRT как "теория ответа на задание" не корректен. Поскольку перевод сразу попадает в разряд псевдо- или квазинаучных теорий типа «зонтиковедение», «чемодановедение», ЕГЭведение», «КИМология» и т.п. Последние два направления претендуют на ведущее место в обоснование текущей российской практики псевдотестирования. [6, стр. 103]

Есть один очень простой метод демаркации тестов от псевдотестов. Если время проверки знаний превышает примерно 40 минут, то этот признак свидетельствует о потере одного из самых существенных свойств теста - кратковременности процесса контроля знаний. Когда, например, говорят о четырёхчасовых «тестах» ЕГЭ по русскому языку или математике, легко видеть, что столь длительное время «тестирования» является убедительным признаком бюрократического выхолащивания самой сути тестового метода.

Проблема с русским названием IRT заключается в том, что английское название этой теории не точное, не полное, отчасти устаревшее и метафоричное. А потому прямо не переводимое, в принципе. Откуда следует необходимость искать обходные, смысловые варианты.

Вместе с тем, дословный перевод IRT на русский язык имеет всё-таки некоторое отношение к пониманию сущности этой теории, хотя и не раскрывает её возможности в деле разработки качественных тестов, шкалирования, обоснования качества и эффективности тестовых результатов. А потому перевод IRT как «теория ответа на задание» является слишком узким и не адекватным её возможностям.

Здесь самое время затронуть важный вопрос состояния понятийного аппарата педагогических измерений. Не так давно мы были свидетелями попыток разработок терминологического словаря тестирования, из чего с очевидностью проявляет себя стремление представить практическое тестирование как форму научной деятельности, якобы имеющую свой собственный понятийный аппарат, отличающийся от понятийного аппарата теории педагогических измерений. [7, стр. 70]

На Западе большинство понятий практики от понятий теории давно и благоразумно разделились. И не случайно там практика называется тестированием, а наука, обеспечивающая качество тестовых результатов, имеет название «Педагогические Измерения». До конца 70-х годов XX века эта наука называлась преимущественно теорией тестов. К началу XXI века чаще стало использоваться название Educational Measurements. [6, стр. 150]

К настоящему времени об IRT написано уже немало, однако восприятие основ данной теории затруднено в силу спорности и неадекватности используемой лексики, избыточной математизации и недостаточной педагогичности текстов об IRT.

Цель IRT - это проведение высококачественных педагогических измерений уровня подготовленности испытуемых и уровня трудности заданий, куда входит поиск подходящих прогностических моделей и проведение расчётов пригодности модель для имеющихся данных.

Задачи вытекают из этой цели и сводятся к разработке таких методов измерения, которые позволяют получить наилучшие (оптимальные) параметрические оценки уровня подготовленности испытуемых и оценки трудности заданий на основе выборочных статистик и других эмпирических данных.

Методы и методики исследования: Обзорно-аналитический метод.

Цель курсовой работы: Изучить достоинства и преимущества IRT, по сравнению с классической (статистической) теорией тестов.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Изучение и анализ научной литературы;

2. Изучение характеристики данного метода IRT и его возникновение;

3. Анализ имеющихся источников, выявление проблемы и предмета IRT;

4. Обоснование полученных выводов.



1. Понятия и исходные положения теории Item Response Theory(IRT)

1.1.Возникновение IRT

Общим источником для создания IRT послужила так называемая логистическая функция вида Y , известная в биологической науке с 1844 года. С тех пор она широко применялась в биологии для моделирования прироста растительной массы или роста организмов. Как модель психологического и педагогического измерения она начала применяться, начиная с 50-х годов XX столетия. У истоков развития моделей IRT лежали стремление визуализировать формальные характеристики тестовых заданий, попытки преодолеть многочисленные недостатки классической теории тестов, повысить точность измерения и, наконец, стремление оптимизировать процедуру контроля за счет адаптации теста к уровню подготовленности студента с помощью компьютера.

В числе первых предпосылок к созданию IRT стали те результаты исследовательской работы A.Binet и T.Simon, в которых было отражено стремление авторов выявить - как, образно говоря, "работают" те задания, которые они давали детям разного возраста. Расположив затем на координатной плоскости точки, где по оси абсцисс откладывался возраст (в годах), а по оси ординат - доля правильных ответов в каждой возрастной группе испытуемых, авторы увидели, что полученные точки, после усреднения по каждой группе, напоминают кривую, позже названной характеристической. [11, стр. 240]

В 1936 году M.W.Richardson провела обширное эмпирическое исследование, опросив 1200 студентов по 803 заданиям, в процессе которого студенты, в зависимости от полученного ими тестового балла, были разделены на 12 групп, по сто человек в каждой. Она первой обратила внимание на различающуюся крутизну кривых тестовых заданий и выдвинула идею рассматривать меру крутизны как примерную оценку дифференцирующей способности задания. M.W.Richardson была, по-видимому, первой, осознавшей плодотворность использования усреднённых точек для графической презентации формальных характеристик заданий проектируемых тестов. [8, стр. 336]

В 1942-43 годах по данной проблеме появились еще две работы. Вероятность успешно выполнить задания W.A.Fergusson выразил в виде

Pj = (1)

- где - уровень знаний;

-, - константы задания j.

Несколько дальше пошел D.N. Lawly, задавшийся целью создать такой метод оценки качества заданий, который не зависел бы от состава оцениваемой группы. Многолетние попытки привели к двум вариантам решения. Один из них заключался в рекомендации увеличивать выборку до тех пор, пока выборочная статистическая мера трудности задания qj не станет сколь угодно близкой к значению параметра трудности того же задания j, получаемого на генеральной совокупности. Этот метод традиционно тривиален и расточителен, и потому его трудно признать эффективным для решения стоящей задачи. Второй результат, полученный D.W. Lawly в 1943 году, представлял собой попытку оценить устойчивость показателя трудности задания безотносительно к уровню подготовленности конкретной группы испытуемых. Построив по эмпирическим данным усреднённую кривую (экспоненту), похожую на (рис. 1),



Рис. 1

он обнаружил, что при наличии для каждой кривой своего значения параметра трудности (bj), результаты студентов со слабой подготовкой, на каждое задание, группируются в нижней части кривой (рис.2), а проекции испытуемых с отличной подготовкой - в верхней части усреднённой кривой (рис.3). [5, стр. 370]

Рис. 2

В качестве меры работоспособности задания, т.е., способности дифференцировать студентов по уровню их подготовленности, D.W.Lawly стал рассматривать параметр крутизны логистической кривой. Таким образом, каждому заданию теста ему удалось поставить в соответствие два параметра - трудность задания и крутизну кривой [5, стр. 379]

Рис. 3

В своем первом монографическом исследовании F.M. Lord использовал модель W.A.Fergusson, однако позже, под влиянием работы A.Birnbaum, он стал применять логистические кривые, которые оказались удобнее для расчетов. Как и F.M.Lord, A.Birnbaum тоже начинал с совершенствования модели W.A.Fergusson, введя параметр aj для оценки дифференцирующей способности задания. Вследствие этого выражение (1) приобрело вид:

Pj = (2)

- где - уровень знаний;

-, - константы задания j.

В одном техническом отчете, написанном в 1952 г. по теме, далекой от теории педагогических измерений D.C.Haley, предложил такую модель для описания собранных им данных:

j (х) = (3)



1.2 Латентная составляющая IRT

IRT является психолого-педагогическим вариантом более общей методологии латентно-структурного анализа, развивавшегося, главным образом, в лабораториях военных ведомств США и университетов. Латентно-структурный анализ (от англ. LatentStructureAnalyses, LSA) нацелен на выявление латентных качеств (факторов) поведения посредством математико-статистических моделей измерения. Это направление работ в заметной мере обязано П.Лазарсфельду. Первый этап исследований по LSA совпал с началом второй мировой войной. В процессе этого этапа было проведено широкомасштабное социально психологическое исследование "AmericanSoldier", призванное повысить боеспособность солдат за счет выявления и устранения тех скрытых факторов, которые влияют на поведение солдат в боевой обстановке, а также факторов, которые помогают преодолеть страх [7, стр.308]

LSA часто называют теорией, но с этим трудно согласиться, потому что это не теория какой-то предметной деятельности, а теория разработки и применения методов исследования эмпирических данных. Из того, что это теория методов, вытекает более точное, но не совсем привычное название методологии LSA. Это действительно методология или, лучше сказать, методологический подход, в рамках которого появились и закрепились первые модели IRT. В литературе модель измерения определяется как структурное построение, позволяющее соединить латентные переменные с одним или большим числом наблюдаемых переменных [6, стр. 50]

Латентными называются интересующие положительные и отрицательные качества личности, не поддающиеся непосредственному измерению. Примерами являются «подготовленность студентов», «знание учебной дисциплины», «способность понимать» «интеллектуальное развитие» и многое другое. Попытки измерения подобных качеств личностинауровне обыденного сознания оканчиваются словесными или численными оценками, содержащими в себе немалые погрешности. [4, стр. 103]

Идея и методы измерения латентных качеств реализуются в тесной зависимости от эмпирических результатов. Именно на основе реально наблюдаемых данных ставится задача воссоздания непосредственно ненаблюдаемого качества, измеряемого с помощью модели. Эмпирическим определением латентной переменной величины является содержание заданий теста. По мнению И.Канта, ненаблюдаемый мир отличается от наблюдаемых явлений. Это утверждение принимается в качестве отправного положения в IRT.

Далее делаются такие предположения о том, что интересующее свойство личности:

- существует, в латентном состоянии;

- оно устойчиво;

- имеется у данных испытуемых, в каких-то количествах;

- измеряемо, с некоторой погрешностью.

Теория измерений - это научная форма организации знаний о неявно заданных свойствах объектов, о правилах и методах отображения этих свойств в числовую систему с отношениями. Если выясняется, что у кого-то из испытуемых нет проявлений данного свойства, то это даёт основания для исключения данного испытуемого из предполагаемой выборки лиц, обладающих данным свойством.

Имея общим объектом тестовый процесс, практика и теория имеют различные предметы исследования. Практики занимаются тестированием, куда входит создание тестов, получение результатов тестирования, обработка данных и интерпретация результатов. Научной основой практики тестирования является теория педагогических измерений. Научная работа концентрируется вокруг исследования проблем педагогических измерений: определение понятийного аппарата, развитие тестовых форм, исследование критериев оптимизации содержания тестов, разработка новых методов статистической и математической обработки данных, вопросы шкалирования результатов испытуемых и параметров заданий.

В самом общем виде величиной можно назвать все то, что может быть больше или меньше, что может быть присуще объекту в большей или меньшей степени; числовая величина - такая, которая может быть выражена числом [6, стр. 58]

Классики педагогических измерений рассматривают уровень подготовленности испытуемых как непрерывную латентную величину. Они обозначают эту величину символом . Значение испытуемых на этой величине обозначаются символом (). В настоящей статье преимущественно используется символика, введённая Ф.Лордом. Уровень трудности заданий также рассматривается как непрерывная величина, обозначаемая символом в. Значение меры трудности каждого задания на этой переменной величине обозначается символом .

1.3 Цель, задачи и преимущества IRT

Цель IRT - это проведение высококачественных педагогических измерений уровня подготовленности испытуемых и уровня трудности заданий, куда входит поиск подходящих прогностических моделей и проведение расчётов пригодности модель для имеющихся данных.

Задачи IRT вытекают из этой цели и сводятся к разработке таких методов измерения, которые позволяют получить наилучшие (оптимальные) параметрические оценки уровня подготовленности испытуемых и оценки трудности заданий на основе выборочных статистик и других эмпирических данных.

IRT позволяет решить три ключевые задачи педагогического измерения:

1) найти параметры заданий

2) найти параметры испытуемых

3) подобрать функцию Pj() = f ( - вj).

Применение логитов в моделях IRT, как меры подготовленности испытуемых и меры трудности заданий, даёт ряд преимуществ.

Первое преимущество вытекает из стандартизованного характера этой единицы. Как и всякая стандартная единица измерения, она представляет собой результат преобразования исходных данных, что дает возможность объективно сравнить достижения разных студентов по разным учебным дисциплинам, суммировать эти достижения и проводить затем вполне объективированные рейтинги.

Второе преимущество вытекает из специфических особенностей модели Г.Раша. Получаемые с ее помощью оценки уровня подготовленности знаний, в силу независимости от конкретного подбора заданий, приобретают признаки объективности измерения, что положительно отражается на качестве оценок, используемых в педагогическом контроле.

Третье преимущество связано с возможностями компьютеризации расчётов истинных (модельных) значений тестовых баллов, полученных с помощью этой модели. Относительная несложность и быстрота расчетов, выполняемых с помощью программы, одновременность получения параметров тестируемых по измеряемому свойству и параметров трудности заданий, являются достаточно мотивирующим моментом для внедрения этой модели в практику.

Четвертым преимуществом рассматриваемой модели является устойчивость рассчитываемых значений уровня знаний и трудности задания, их относительная инвариантность. Эта устойчивость позволяет утверждать, что подобные модели, лучше, чем какие-либо другие, позволяют оценить интересующие качества личности, недоступные непосредственному измерению. Устойчивость статистических оценок требует, однако, большого числа испытуемых.

Чем выше крутизна кривой задания, тем ґуже интервал, на котором это задание дифференцирует испытуемых по уровню их подготовленности, тем выше дифференцирующая способность задания. Таким образом, возникла мысль об улучшении модели, где G. параметр аj даёт информацию о задании с точки зрения оценки его дифференцирующей способности, на заданном промежутке континуума измерения.

Дифференцирующей способностью задания (discriminant ability of the item) называется его свойство различать испытуемых по уровню подготовленности. Чем выше дифференцирующая способность задания, тем лучше деление испытуемых на подготовленных и не подготовленных. С ростом дифференцирующей способности графический образ задания стремится к вертикальному положению (рис.4).

Рис. 4



2. Роль IRT теории для науки и практики

2.1 Проблема и предмет IRT

Проблема, которую призвана решать IRT - это повышение качества проводимых в практике педагогических измерений и улучшение интерпретации результатов. Это означает, что данная теория содержит возможности такого улучшения качества измерений, в сравнении с которым возможности других теорий воспринимаются как недостаточные.

В число проблем IRT входит также поиск подходящих прогностических моделей, а также измерение уровней подготовленности испытуемых и уровня трудности заданий на одной и той же шкале. Измерение проводится на основе выборочных статистик с целью получить оценки параметров испытуемых и заданий:

- оценки, удовлетворяющие требованиям статистической науки

- точности, эффективности, оптимальности и несмещённости.

Чем лучше подобрана та или иная прогностическая функция, тем точнее оказываются оценки.

В фокусе исследований IRT - углубленная проверка формальных свойств заданий для повышения точности измерения, принятия решения о включении проверяемых заданий в тест. До момента возникновения IRT ужe существовала теория измерений, которая по установившейся ещё в начале XX века, называлась Classical Test Theory (CTT). На самом деле CTT представляла собой первую научно-статистическую теорию педагогических и психологических измерений. [2, стр. 199]

В фокусе CTT находились все статистические вопросы разработки тестов, начиная от концепции истинного и ошибочного компонентов измерения, количественных оценок качества всех используемых при разработке теста заданий, что охватывалось понятием Item Analysis - вплоть до оценок качества педагогических и психологических измерений по критериям надёжности и валидности результатов.[2, стр. 164]

Основной предмет применения математических моделей IRT - прогнозирование вероятности правильного ответа испытуемых на задания различной трудности. В IRT основной предмет - анализ не сумм баллов испытуемого, т.е. не баллов проектируемого теста, а баллов испытуемых, полученных по каждому заданию.

Исходные аксиомы педагогических измерений сводятся к тому, что интересующее свойство личности:

- существует, в латентном состоянии;

- оно устойчиво;

- имеется у данных испытуемых, в каких-то количествах;

- измеряемо, с некоторой погрешностью.

Предмет педагогического измерения - измерение уже упоминавшихся формальных свойств заданий. Вторым предметом является уровень и структура подготовленности испытуемых по изучавшейся учебной дисциплине. Обычно измеряется подготовленность именно по отдельным учебным дисциплинам. Что связано с понятием гомогенного теста. Процессуально свойства заданий являются первоочередным предметом измерений, однако главным предметом измерения традиционно считается интересующее свойство личности.

В профессиональной западной литературе нередко можно встретиться со случаем, когда фактически разные измеряемые величины могут иметь одно и тоже общее название ability. Оно пришло из психометрики. В наши дни оно не обязательно должно переводиться как некая интересующая исследователей способность испытуемых. Применительно к педагогическим измерениям лучше опираться на понятие «подготовленность испытуемых», куда входят знания, умения, навыки, представления и компетенции. Всё это - русские аналоги общего и традиционного англоязычного термина ability. [9, стр. 155]

Главные принципы определения предмета измерения:

- соответствия цели;

- формулирование в явном виде;

- актуальность и перспективность;

- технологичность метода, измеряющего интересующий предмет (свойство личности) у испытуемых;

- эффективность выделения предмета измерения;

- соответствие требуемым критериям (минимальной компетентности и уровню подготовленности к обучению в вузе). В случае измерения способностей и знаний приходится давать более точные и дифференцированные названия каждому предмету измерения.

2.2 Ведущая идея, утверждения и ключевые понятия IRT

Для перевода смысла названия IRT на русский язык и понимания роли этой теории для науки и практики необходимо задаться вопросом о ведущей идее и ключевых понятиях IRT.

Ведущая идея IRT сводится к обоснованию возможности эффективного прогнозирования результатов тестирования на задания различного уровня трудности. Такой прогноз особенно необходим в системах профессионального отбора, адаптивного обучения и адаптивного тестового контроля. Прогноз основан на утверждениях.

Первое утверждение теории IRT - вероятность правильного ответа на задание j у хорошо подготовленного испытуемого должна быть больше вероятности правильного ответа у слабо подготовленного испытуемого: чем выше подготовка испытуемого, тем выше может быть вероятность правильного ответа на задание данного уровня трудности. Этому утверждению иногда формулируется в обратном виде: чем ниже уровень подготовленности, тем меньшей может быть вероятность правильного ответа на задание того же фиксированного уровня трудности.

Второе утверждение теории IRT - о вероятности правильного ответа испытуемого фиксированного уровня подготовленности на задания теста, при строгом соблюдении правил тестирования, исключающих возможности списывания и других нарушений учебной этики, и при высоком качестве заданий:

Особенность применения IRT заключается в том, что ответы множества испытуемых на множество заданий теста прогнозируются на основе математических моделей при наличии эмпирически полученной матрицы исходных тестовых баллов Xij., где индекс i указывает на номер испытуемого, а индекс j - на номер задания. Xij. Обычная, традиционная практика давать значениям Xij один балл, если ответ испытуемого i на задание j правильный, и ноль - если ответ не правильный. В последние годы стали шире применяться и другие оценки, что повышает качество измерений. [3, стр. 289]

Иначе говоря, в IRT обычно имеет место математическое моделирование эмпирически получаемых результатов, что полезно для оценки соответствия качества получаемых педагогических измерений теоретическим положениям.

Ведущая идея IRT опирается на следующие понятия:

- уровень трудности задания (item difficulty).

В IRT принимаются во внимание несколько мер трудности заданий.

Первая мера - доля неправильных ответов испытуемых на каждое задание проектируемого теста (qj). Это исходное значение меры трудности каждого задания, которое находят эмпирически, из матрицы тестовых результатов, по формуле

qj = Wj /N, (4)

где Wj - число неправильных ответов на задание под номером j и N - число испытуемых.

Вторая мера трудности - это отношение qj/pj,что является интересной и очень показательной мерой трудности задания, с высокой вариацией результатов. Она была предложена Г.Рашем, но не получила ни названия, ни развития в его трудах. Эту меру можно условно назвать потенциалом трудности задания.

Третья мера трудности заданий - это значение натурального логарифма отношение qj/pj,что даёт ln qj/p. Последнее значение далее корректируется для построения общей (единой) шкалы уровня трудности заданий и уровня подготовленности испытуемых. Это и есть процесс шкалирования, проводимый в наши дни с помощью западных статистических пакетов типа, например, Winsteps или RUMM2020, после чего получается четвёртая мера трудности заданий.

Четвёртая мера трудности заданий. - это корректированные в процессе шкалирования значения ln qj/p. В качестве окончательной меры трудности заданий принимается именно эта мера. В IRT она называется параметром трудности задания. Скорректированные значения ln pi/qi называются параметром подготовленности испытуемого под номером i.

Шкалирование - это процесс присвоения значений на числовой оси испытуемым и заданиям, в зависимости от уровня проявления интересующего свойства. Для заданий принимается во внимание три формальных свойства: уровень трудности, дифференцирующая способность заданий (discriminant ability) и априорная вероятность угадать правильный ответ на задание со стороны неподготовленного испытуемого. В этом процессе используется общая средняя арифметическая, равная нулю, и общий показатель вариации, равный единице. Для испытуемых измеряемым свойством является уровень подготовленности.

Качество шкал можно оценивать по следующим критериям:

1. уровень шкалы - номинальная, порядковая, интервальная и пропорциональная.

2. наличие общей единицы измерения, что обеспечивает сравнимость результатов различных тестов;

3. размах значений, пределы значений оценок и измерений, получаемых по разным шкалам, дисперсия - желательно иметь их совпадающими, что обеспечивает равноценность баллов, получаемых по той или иной шкале;

4. совпадающие средние значения шкальных баллов, показатели асимметрии и эксцесса позволяют корректно сравнивать распределения результатов по разным тестам.

IRT позволяет организовать такой процесс шкалирования, который способствует получению двух сопоставимых шкал: одну для испытуемых, другую - для заданий. С общим началом, общей единицей измерения и с общей средней арифметической, равной нулю. Это шкала логитов уровня подготовленности испытуемых и шкала логитов уровня трудности заданий. При применении двух- и трёхпараметрической модели педагогического измерения можно получить также шкалу уровня дифференцирующей способности каждого задания. [6, стр. 98]

Уровень подготовленности испытуемого по интересующему свойству личности является обобщённым (интегральным) показателем уровня знаний, умений, навыков и представлений, а также компетентности личности в интересующей области. Уровень подготовленности представляется в виде концептуальной величины, выражаемой содержанием заданий, включённых в тест.

Для любого испытуемого под номером i исходный уровень подготовленности определяется из той же матрицы тестовых результатов, как натуральный логарифм отношения доли правильных ответов испытуемого i к доле его неправильных ответов на тестовые задания. К числу таковых не относятся ответы испытуемого на так называемые экстремальные задания. К последним относят задания очень лёгкие, на которые отвечают все испытуемые, а также задания очень трудные, на которые не может ответить правильно ни один испытуемый. Такие задания в тест не включаются, удаляются из матрицы тестовых результатов, как не адекватные уровню подготовленности испытуемых.

Симметрично, если в матрице исходных тестовых баллов выясняется, что какие-то испытуемые совсем не обнаруживают интересующее измеряемое свойство личности, и они отвечают неправильно на все задания, а также если выявляются испытуемые, способные правильно решать все задания в течение отведённого времени, то такие испытуемые также называются экстремальными. Такие испытуемые исключаются из дальнейшего анализа тестовых результатов, как не соответствующие данному уровню трудности теста и уровню подготовленности испытуемых. В качественных педагогических измерениях уровень трудности заданий должен соответствовать уровню трудности заданий [8, стр.352]



Заключение

В теории педагогических измерений статистические методы занимают настолько важную роль, что сама эта теория нередко понималась как статистическая теория педагогических измерений. Так случилось с первой теорией тестов, которая носила абсолютно статистический уклон. Что выражалось в понятиях теории и в методах обоснования качества тестовых результатов. Они были статистическими в своей сути. Начало статистической теории «тестов», как это тогда называлось, положил Чарльз Спирман.

Важно отметить, что педагогические вопросы содержания теста и тестовых заданий, вопросы научно педагогической терминологии и формы тестовых заданий статистическая теория тестов не рассматривала. Именно это обстоятельство способствовало попыткам начать построение основ педагогической теории педагогических измерений. Аналогичный подход был осуществлён в стремлении построить основы теории педагогических заданий.

Таким образом, только спустя столетие стало возможным рассматривать тест как статистическую систему заданий равномерно возрастающей трудности, имеющую в своей основе общий латентный фактор. А также и как содержательно-педагогическую систему заданий равномерно возрастающей трудности по той или иной учебной дисциплине. Именно этот фактор выражает идею измеряемой переменной величины, показателем которой являются задания теста, выступающие в роли эмпирических индикаторов явно ненаблюдаемой величины. В педагогике чаще других в качестве таковой выступает уровень подготовленности испытуемых. Таким образом, педагогический тест полезно представлять собой единство двух систем - педагогической и статистической.

С появлением IRT появилась возможность создавать педагогический тест на основе математических моделей измерения. Этот факт открывает дорогу ещё одному возможному названию IRT. На русский язык IRT предлагается переводить как математическая теория педагогических измерений. Таким образом, педагогический тест становится единством трёх, по меньшей мере, систем: педагогической, статистической и математической. Такого рода системное видение педагогического теста помогает лучше понять его состав, структуру, возможности улучшения качества измерений.

Исследование вклада каждой из этих систем в становление научно-обоснованного теста - предмет других научных исследований.



Список литературы

1.Аванесов В.С. Основы теории педагогических заданий. Педагогические Измерения: учебник / В.С. Аванесов. М, 2006. 62 с.

2.Аванесов В.С. Тесты в социологическом исследовании: учеб. Пособие / В.С. Аванесов. М.: Наука, 1982. 199 с.

3.Аванесов В.С. Форма тестовых заданий / В.С. Аванесов. М.: Центр тестирования, 2005. 155 с.

4.Адам Г.С. Восприятие, сознание, память: учеб. для студентов вузов / Г. В. Лазутина. Москва: Аспект-Пресс, 2004. 405 с.

5.Адлев А. Практика и теория индивидуальной психологии: учеб. пособие / А. Адлев. Санкт-Петербург, 1995. 370 с.

6.Азимов Р.С. Разработка программного и аппаратурного обеспечения психофизиологической диагностики личности / Р. С. Азимов, А.Г. Соломонов. СПб.: Питер, 2002. 128 с.

7.Веккер, Л.В. Психика и реальность: единая теория психических процессов. / Л.В. Веккер. М: Смысл, 2000. 308 с.

8.Жабина С.Г. Педагогические Измерения/ С.Г. Жабина. М.: Академия, 2015. 336 с.

9.И.П. Приданкин Основные принципы построения системы понятий и терминов педагогического тестирования/, Д.С. Капылов. СПб.: Питер, 2015. 155 с.

10.Мурошкин Ю.Т. Методология научного познания/ Ю.Т. Мурошин. М.: Изд-во Моск. ун-та, 1982. 249 с.

11.Петров Ю.А. Логика и методология научного познания / Ю.А. Петров, А.Л. Никифоров. М.: Изд-во Моск. ун-та, 1982. 249 с.

Размещено на Allbest.ru