Измерение креативности и критического мышления в начальной школе: валидизация инструмента

Такие требования к психометрическому качеству теста продиктованы устоявшимся понимаем валидности в психологическом и образовательном тестировании: под доказательством валидности понимается доказательство валидности (осмысленности, качества) интерпретации тестового балла, а не теста как такового (Cronbach, 1971). Валидность трактуется как правомерность и качество выводов, которые можно сделать по результатам тестирования (Mislevy et al., 2003).

В тоже время, при валидизации таких инструментов измерения, как задания сценарного типа в формате компьютерных симуляций, необходимо решение некоторых практических задач. Во-первых, необходимо учитывать многокомпонентную структуру и ненаблюдаемый характер компетенций, для измерения которых разрабатывался инструмент. А во-вторых, учитывать особенности структуры тестовых заданий. Например, необходимо брать в расчет, что один индикатор может быть связан с несколькими компетенциями; что для выполнения одной части задания может быть необходимо справиться с предыдущей частью (Almond et al., 2009; Mislevy et al., 2002).

Такие особенности исследуемых конструктов и инструмента их измерения диктуют определенные аспекты, на которые необходимо обратить особе внимание при валидизации инструмента. При этом, релевантными остаются все основные требования к качеству инструментов, продиктованные современными стандартами тестирования.

Психометрическое качество инструментов измерения может быть оценено согласно нескольким стандартам тестирования (например, стандарты, разработанные Голландской психологической ассоциаций (COTAN) или Американской психологической ассоциацией (APA)). Также подходы к валидизации рассматриваются в работах методологов измерения в психологии и образовании (Cronbach, 1971; Messick, 1989). В обозначенных подходах валидность рассматривается как единая концепция, которая строится на совокупности доказательств психометрического качества теста, получаемых различными способами.

Рассмотрим более детально подходы к валидизации, предлагаемые С. Мессиком и Голландской психологической ассоциацией, поскольку для обоих этих подходов характерна такая систематизация слагаемых валидности, в которой конструктная валидность рассматривается как отдельный аспект. Терминологическое различие состоит в том, что С. Мессик говорит о доказательстве валидности как о доказательстве валидности конструкта. При этом, валидность конструкта может быть разложена на шесть аспектов: содержательная валидность (content aspect); содержательная валидность с учетом эмпирических данных (substantive aspect); валидность системы начисления баллов (structural aspect); обобщаемость и надежность (generalizability aspect); критериальная валидность (external aspect); прогностическая валидность (consequential aspect) (подробнее см. Messick, 1994).

С позиции Голландской психологической ассоциацией конструктная валидность выделается как отдельный аспект (среди других аспектов: качество теоретической рамки, оценка надежности, обоснованность выставления тестовых норм, критериальная валидность) для реализации более стандартизированного подхода к валидизации. Конструктная валидность трактуется как доказательство правомерности интерпретации результатов тестирования, полученное при анализе внутренней структуры теста (Evers et al., 2010).

В данной работе фокус внимания будет направлен на такие аспекты валидности, которые подразумевают анализ качества модели измерения креативности и критического мышления: проверку согласованности теоретических ожиданий относительно структуры компетенций и реальных данных; анализ точности в определении уровня компетенции испытуемых - насколько точные результаты можно получить при использовании данной модели. Также, поскольку анализ строится на основании наблюдаемых действий, которые проявляются при взаимодействии испытуемого и инструмента измерения, возникает отдельная задача проверки качества индикаторов - ключевых элементов тестовых заданий, на которых строится оценивание (Almond et al., 2013).

Обратимся к более подробному описанию аспектов валидности, которые будут представлены в данной работе.

3.1 Соответствие теоретической рамки компетенций эмпирическим данным

Первый аспект проверки валидности в представленной валидизационной рамке заключается в анализе согласованности теоретических представлений о структуре компетенций с эмпирическими данными. В фокусе внимания данной части анализа - проверить, подтверждается ли ожидаемая факторная структура компетенций на реальных данных и сделать заключение о правомерности применения такой теоретической модели. Теоретически ожидается, что компетенция Креативность включает две суб-компетенции: Любознательность и Воображение; компетенция Критическое мышление - Вывод и Анализ. При этом ожидается, что компетенции связаны между собой.

Обратимся к методу, который был выбран для решения поставленной задачи. Например, П. Вест с коллегами отмечают, что моделирование компетенций в рамках байесовской сети, процесс построения и методологические характеристики которой были описаны в предыдущей главе, довольно новый подход и не все детали применения такого подхода достаточно проработаны (West и др., 2010). В своем исследовании для проверки внутренней структуры инструмента авторы прибегают к определенному случаю структурного моделирования - латентному классовому анализу (latent class analysis). Также в исследовании Р. Андерсона и Дж. Вастага было показано, что структурное моделирование выступает более предпочтительным методом в случае, если в фокусе внимания анализ теоретической структуры латентных конструктов. В случае, если в фокус внимания анализа данных также попадает необходимость вероятностного вывода, байесовские сети становятся более релевантным методом (Anderson & Vastag, 2004).

Большинство наиболее разработанных методов проверки согласованности теоретически ожидаемой факторной структуры и реально полученных данных в рамках подхода, предполагающего построение байесовской сети, предполагают применение МСМС для оценки параметров (Levy, 2006). В случае, если значения параметров оценивались EM-алгоритмом, в качестве показателя качества модели может быть рассмотрена точность ее предсказаний. Анализ качества модели с позиции точности предсказаний в данной работе рассматривается как отдельный аспект психометрического качества инструмента и будет рассмотрен более подробно. Для оценки другого аспекта качества модели - согласованности ее структуры со структурой реальных данных, были применены методы факторного анализа.

Эксплораторный факторный анализ позволяет исследовать внутреннюю структуру данных и определить количество факторов, которые образуют данные, без учета теоретических представлений о структуре данных. Эксплораторный факторный анализ позволяет определить, как наблюдаемые переменные могут быть представлены через меньшее количество переменных - общих для них факторов (Barendse, Oort, & Timmerman, 2015; Brown, 2006). Такой анализ дает возможность исследователю обратить внимание на выявление таких факторов, которые теоретически могли не ожидаться - например, факторов систематических ошибок (Осин, Рассказова, 2013) или фактора общего контекста для нескольких индикаторов.

Конфирматорный факторный анализ позволяет проверить соответствие теоретически ожидаемой факторной структуры реально полученным данным. Проведение такого анализа необходимо, если инструмент измерения разрабатывался в соответствии с определенной теоретической рамкой - разработчики инструмента получают эмпирические доказательства валидности их теоретической рамки или получают важную информацию для ее уточнения и пересмотра (Brown, 2006). Также, конфирматорный факторный анализ позволяет оценить вклад индикатора (дискриминативность наблюдаемой переменной) в оценку компетенций.

Одна из особенностей инструментов измерения сценарного типа заключается в том, что показатели дискриминативности могут быть довольно низкими, поскольку при прохождении тестирования могут возникать дополнительные причины справиться или не справиться с элементом задания, такие, как уровень мотивации и вовлеченности, сложности при взаимодействии с интерфейсом, технические трудности при реализации тестирования в компьютерной форме. Однако крайне низкие показатели дискриминативности свидетельствуют о том, что действие испытуемого не объясняется заявленной компетенцией. Кроме того, возможны случаи, в которых показатель дискриминативности становится слишком высоким - это свидетельствует о трудностях в оценке параметра. Такие индикаторы также требуют особого внимания разработчиков теста.

3.2 Точность выводов модели об уровне компетенций испытуемых

Данный аспект доказательства валидности рассматривает качество модели с позиции точности выводов, которые она позволяет делать об уровне компетенций испытуемых. Применение любого инструмента измерения требует проверки того, насколько точные выводы позволяет сделать модель измерения относительно испытуемых - насколько велика доля ошибки в результатах тестирования. Такая характеристика модели скорее ближе к такой составляющей валидности, как надежность инструмента. Надежность инструмента сообщает состоятельность интерпретации результатов тестирования при учете ошибки измерения (Crocker & Algina, 1986). Как отмечают Р. Альмонд с коллегами, «если модель хорошая, она сможет точно предсказывать данные» (Almond et al., 2015, c. 274).

Таким образом этот аспект проверки психометрического качества инструмента заключается в анализе того, насколько точно модель (построенная байесовская сеть) способна определить (предсказать) уровень компетенции респондента (prediction accuracy).

Один из способов оценить точность предсказаний модели - оценить долю совпадений выводов, которые делает модель, с реальными результатами. Точность предсказаний может быть оценена непосредственно при оценивании доли несовпадений предсказанных моделью и реальных результатов (Error Rate; Norsys, 2007). Такой показатель обозначает процент случаев, в которых оценки модели и реальных данных различались. Поскольку байесовские сети - вероятностные модели, в оценке качества модели возможно учитывать долю неопределенности. Хорошая модель снижает долю неопределенности - вероятность узнать «настоящий» уровень компетенции испытуемого увеличивается. Одним из широко распространенных показателей доли ошибочных предсказаний с учетом неопределенности выступает Logarithmic Loss Value (log loss; Bickel, 2007). При определении Logarithmic Loss Value берется в расчет степень уверенности, с которой модель делает предсказание. Степень уверенности в предсказаниях учитывается при сравнении предсказанных моделью и реальных данных. Данный показатель можно интерпретировать как «долю шума» в оценке и меньшее значение предпочтительнее. В идеальной модели данный показатель равен 0.

Очевидно, что сравнение предсказанных моделью значений вероятности оказаться на том или ином уровне компетенции и реальных данных напрямую невозможна в силу того, что реальный уровень компетенции - латентный конструкт. Поэтому для оценки доли верных предсказаний необходима дополнительная информация. Один из способов получить такую информацию - предложить испытуемым пройти тест заранее известными психометрическими свойствами и сравнить результаты по такого теста с результатами теста, который требует валидизации (Almond et al., 2015). Однако такой подход не всегда возможен - исследователи не всегда обладают инструментами измерения интересующих конструктов с уже проверенными психометрическими свойствами. Поэтому другой подход основан на работе с симуляционными данными (Liu, 2009; Williamson & Almond, 2000). Для анализа качества предсказаний в данной работе была создана симуляционная выборка, которая находилась в полном согласии с параметрами байесовской сети. При анализе симуляционной выборки в байесовской сети появляется возможность сравнить «истинные» компетенции респондентов с предсказанными в сети.

3.3 Функционирование элементов тестовых заданий, используемых в оценивании

Данный аспект валидизационной рамки заключается в оценке качества элементов заданий, используемых в оценивании - индикаторов. Каждый элемент заданий сценарного типа заранее создавался разработчиками как индикатор компетенции: наблюдаемые действия испытуемого при взаимодействии с заданием трактуются как проявления выраженности компетенции (Mislevy et al., 2003). Для того, чтобы убедиться, что действие испытуемого при прохождении сценария действительно отражает исследуемую компетенцию, необходимо проведение статистического анализа качества наблюдаемых индикаторов. Такой анализ позволит улучшить качество инструмента и уточнить концептуальную рамку.

Функционирование индикаторов анализировалось трех позиций:

1. анализ трудности индикаторов;

2. анализ вклада индикатора в исследуемую компетенцию (показатель общей информации);

3. анализ функционирования индикатора для испытуемых с различным уровнем компетенции (анализ таблиц условных вероятностей).

Первый аспект проверки качества индикаторов - анализ трудности. Традиционный способ оценки трудности заключается в расчете процента решаемости (классическая трудность). Однако, такая оценка трудности имеет ряд ограничений, подробно описанных в литературе (Crocker & Algina, 1986; Hambleton et al., 1991). В рамках вероятностного подхода байесовской сети, для анализа трудности индикаторов может быть применен анализ безусловных (маргинальных) распределений вероятностей на узлах наблюдаемых переменных (Almond et.al., 2015). Безусловное распределение вероятностей иллюстрирует ответ на вопрос: «Какова вероятность справиться с заданием, при отсутствии информации об уровне компетенций респондента?». Чем больше вероятность набрать максимальный балл по индикатору, тем более легким считается индикатор.

Особое внимание для вынесения рекомендаций по улучшению качества инструмента важно уделить индикаторам с экстремальными значениями. Это связано с тем, что крайне трудные и крайне легкие элементы заданий могут быть малоинформативными. Однако, очень легкие элементы заданий могут выступать важной частью инструмента оценивания: справляясь с легкими элементами, испытуемый чувствует себя увереннее и комфортнее, что может положительно сказаться на последующих результатах (Almond et al., 2015). Комфорт и отсутствие стресса - важные условия тестирования, особенно при работе с испытуемыми младшего возраста.

Также, при интерпретации показателей трудности в заданиях сценарного типа, важно уделять внимание природе трудности элементов заданий. С одной стороны, элемент задания может быть трудным, потому что требует высокого уровня компетенции (когнитивная сложность заданий). С другой стороны, трудность индикатора может быть продиктована особенностями интерфейса задания (например, ребенок мог не заметить важную деталь интерфейса и не получить балл). Вклад особенностей интерфейса должен быть учтен разработчиками инструмента оценивания при анализе функционирования элементов задний.

Второй аспект анализа качества индикаторов, показатель общей информации (mutual information), отражает количество информации, которую одна переменная сообщает о другой переменной. Этот показатель удобен для выявления того, сколько информации сообщает индикатор (наблюдаемая переменная) об интересующей компетенции (латентная переменная). Обозначим наблюдаемую переменную X, а латентную переменную У. Показатель общей информации переменной Х и переменой У рассчитывается как:

MI (X,Y) = .

Также показатель общей информации может проинтерпретирован как мера, в которой одна переменная уменьшает неопределенность (энтропию) в оценке вероятности другой. Общая информация - симметричная характеристика, т.е. количество информации, которое сообщает переменная Х о переменной У соответствует количеству информации, которое сообщает переменная У о переменной Х (Almond et al., 2013; Almond et al., 2015).

Если определенный индикатор показывает низкий уровень информации или неожиданно высокий (относительно других индикаторов, относящихся к компетенции), то этот индикатор следует считать проблемным и обратить на него особое внимание тест-разработчиков.

Отчасти, результаты, полученные при конфирматорном факторном анализе, также могут быть использованы для оценки вклада наблюдаемых переменных в латентный конструкт, однако интерпретация силы факторных нагрузок отличается от интерпретации общей информации. Показатель общей информации служит самостоятельным важным критерием качества индикаторов, т.к. позволяет выявить ложноположительные индикаторы (индикаторы с относительно высокой дискриминативностью, но низким значением общей информации) (Almond et al., 2013).

Третий аспект проверки качества наблюдаемых переменных заключается в анализе распределений вероятностей в таблицах условных вероятностей. Один из способов проанализировать качество индикаторов - оценить, с какой вероятностью испытуемый с тем или иным уровнем компетенции справится с заданием. Для этого можно подробно рассмотреть таблицы условных вероятностей индикаторов обученной сети (сети, в которой кроме априорных вероятностей, учитываются реальные данные).

Например, для дихотомического задания, которое относится только к одной компетенции с четырьмя уровнями, таблица условных вероятностей показывает с какой вероятностью респондент справится с заданием, находясь на том или ином уровне компетенции. Вест с коллегами (West и др., 2010) предлагают пример для иллюстрации задания, которое хорошо позволяет различать испытуемых на уровнях Высокий и Выше среднего. В таблице представлена адаптированная под контекст текущего исследования таблица условных вероятностей одного из индикаторов.

Таблица 2 Пример таблицы условных вероятностей дихотомического задания

Как видно из таблицы № 2, наибольшую вероятность справиться с заданием (88%) имеет испытуемый на уровне компетенции Высокий. При этом, вероятность справиться с заданием у испытуемых на уровне Выше среднего гораздо меньше (38%). Следовательно, задание сильно дифференцирует испытуемых на уровне Высокий и Выше среднего. Также обратим внимание, что с уменьшением уровня компетенции, уменьшается вероятность справиться с заданием.

Анализ таблиц условных вероятностей позволяет охарактеризовать задание со следующих позиций: зависит ли вероятность справиться с заданием от уровня компетенции; какие уровни компетенций различает индикатор лучше всего; верно ли функционируют шаги политомических заданий (в хорошо функционирующих политомических заданиях вероятность справиться с каждым шагом должна быть больше вероятности справиться с предыдущим при увеличении уровня компетенции).

Глава 4. Метод

4.1 Выборка и процедура сбора данных

Выборка исследования составила 511 учеников 4 класса общеобразовательных школ города Казань. Сбор данных проводился осенью 2017 года в компьютерной форме. Среднее время прохождения тестирования составило 40 минут.

4.2 Описание инструмента

Данный инструмент представляет собой три задания сценарного типа, предъявляемые респонденту через браузер на компьютере в онлайн-режиме. В заданиях сценарного типа респондент становится героем подготовленной разработчиками истории. В таких историях (сценариях) заложена несколько проблем, которые испытуемый решает, последовательно справляясь с отдельными элементами задания. Такие элементы задания выступают индикаторами компетенций - взаимодействие испытуемых с такими элементами свидетельствует о выраженности компетенции.

С учетом специфики исследуемых компетенций, возраста испытуемых и формы предъявления заданий были разработаны следующие сценарии:

1) Задание Аквариум. Основная проблема - построить аквариум для крабов. Для ее решения респонденту необходимо выбрать релевантные источники информации, ознакомиться с ними, сконструировать аквариум из предложенных элементов. Выполнение задания может занимать от 5 до 30 минут. Задание включает 15 элементов, на которых строится оценивание (индикаторов), каждый из которых оценивается дихотомически.

2) Задание Динозавр. Основная проблема - определить, сколько конечностей использовал для ходьбы динозавр массоспондил. Испытуемый выбирает качество и количество источников, выбирает важную, с его точки зрения, информацию, принимает решение о количестве ног и оценивает надежность его вывода. Время выполнения задания от 5 до 10 минут. В задании оцениваются пять индикаторов, среди которых четыре оцениваются дихотомически, один - политомически (от 0 до 2 баллов).

3) Задание Монстр. Основная проблема - составить фоторобот монстра-преступника. Испытуемый должен внимательно ознакомиться с показаниями свидетелей и собрать монстра (от одного до шести) из предложенных элементов. Время выполнения задания может варьироваться от 5 до 30 минут. Задание включает 11 индикаторов. Среди них три оцениваются политомически от 0 до 2 баллов, один - от 0 до 3 баллов, остальные индикаторы оцениваются дихотомически.

Подробное описание индикаторов представлено в приложении 1. Рассмотрим подробнее разработанные сценарии и элементы сценариев, которые учитывались при определении уровня компетенции испытуемых в заданиях Аквариум и Монстр, как наиболее объемных.

Например, в задании Аквариум, испытуемого просят помочь построить аквариум для крабов. На первом этапе испытуемый сталкивается с выбором нескольких источников информации. На рисунке 2 приведен элемент интерфейса, в котором работает испытуемый при решении задания. Испытуемый может выбрать ссылку с заголовком «Мы любим крабов! Обсуждение на Дети.ру», «Как простроить аквариум для крабов? Рекомендации Московского зоопарка» или «Сообщество владельцев крабов - советы по обустройству аквариума». Выбор второго варианта как наиболее релевантного источника служит свидетельством выраженности критического мышления испытуемого.

Рисунок 2. Элемент задания Аквариум. Выбор наиболее релевантного источника

Далее в задании, испытуемому предлагают собрать аквариум из предложенных элементов. На этом этапе оценивается как креативность, так и критическое мышление. Согласно концептуальной рамке инструмента, если в тактах было приведено указание на необходимость поставить определённый элемент и испытуемый ставит его, такое поведение служит индикатором (свидетельством) критического мышления. Если испытуемый использует необязательные элементы, например, элементы декора, такое поведение выступает индикатором (свидетельством) креативности. Интерфейс, в котором ребенок строит аквариум приведен на рисунке 3.

Рисунок 3. Интерфейс рабочей области построения аквариума в задании Аквариум

В задании Монстр испытуемого просят построить фоторобот монстра-преступника. Ребенок может построить от одного до шести монстров, по собственному желанию. В задании оцениваются как критическое мышление, так и креативность. Например, испытуемому сообщают, что преступник скрылся с места преступления, улетев. Если ребенок добавляет монстру крылья, такое действие, согласно концептуальной рамке инструмента, трактуется как выраженность критического мышления. Креативность, в свою очередь, оценивается по облику монстра. Например, как свидетельства креативности рассматриваются измерение цвета монстра или вращение его элементов. Интерфейс, в котором ребенок строит фоторобот монстра представлен на рисунке 4.

Рисунок 4. Интерфейс рабочей области построения фоторобота монстра в задании Монстр

4.3 Методы анализа данных и программное обеспечение

Исследование факторной структуры инструмента проводился с применением эксплораторного и конфирматорного факторного анализа. Эксплораторный факторный анализ проводился в программе Mplus 7. В силу дихотомической и ординальной природы наблюдаемых переменных, в качестве метода экстракции использовался метод взвешенных наименьших квадратов (WLSMV) (Barendse и др., 2015; Brown, 2006) с косоугольным методом вращения (oblique geomin), поскольку теоретически заложенные в модель факторы рассматриваются как связанные (Finch, 2011).

Критерии определения факторов широко обсуждаются в литературе (Ledesma & Valero-Mora, 2007). Один из критериев - показатель собственного значения фактора (eigen value), который должен быть достаточно ощутимым, чтобы заявлять, что фактор имеет достаточный вес. При этом, важно учитывать не только собственное значение самого фактора, но и определить его размер относительно других факторов - число факторов определяется по разрыву между показателями собственных значений (традиционно, этот разрыв определяется по точке излома на графике каменистой осыпи, критерий Кеттела). Также важным условием установления количества факторов выступает их интерпретируемость - факторы должны быть образованы таким набором переменных, которые могут иметь интерпретируемый общий источник дисперсии (Brown, 2006). В качестве дополнительного анализа факторной структуры, в программе SPSS 23, был проведен эксплораторный факторный анализ c применением метода невзвешенных наименьших квадратов (unweighted least squares; ULS) с косоугольным методом вращения (promax) (Muthйn, 1989).

Конфирматорный факторный анализ был реализован в программе Mplus 7. Дихотомический и ординальный характер данных определил метод оценки параметров - метод взвешенных наименьших квадратов (WLSMV). В рамках конфирматорного факторного анализа, также существует дискуссия относительно того, каким критериям должна соответствовать приемлемая модель. В данной работе как критические значения для оценки качества модели будут использованы параметры: CFI > 0,90; TLI > 0,90; RMSEA < 0,05 (Brown, 2006).

Также дискуссионным вопросом выступает приемлемое значение факторных нагрузок, которые можно считать удовлетворительными. Традиционно, факторные нагрузки наблюдаемых переменных ниже 0.3 считаются крайне низкими, поскольку имеют меньше 10% общей дисперсии с латентным фактором (Tabachnick, Fidell, 2007). При этом, в ряде случаев включение в модель переменных с низкими нагрузками не вызывает проблем и оправдано. Модель, содержащая переменные с низкими факторными нагрузками, может демонстрировать удовлетворительные свойства, которые будут сопоставимы со свойствами моделей, в которых факторные нагрузки переменных выше (Ximйnez, 2016). Особенно остро вопрос о критическом значении факторных нагрузок возникает в случае гибкой системы заданий сценарного типа. В заданиях такого типа вклад одного действия испытуемого в исследуемую компетенцию может быть небольшим из-за дополнительных факторов, например, из-за особенностей интерфейса, но все же такое действие испытуемого будет объясняться именно данной компетенцией. Поэтому в рамках данной работы в качестве неприемлемых рассматривались только незначимые факторные нагрузки (р>0.05).

Кроме того, в рамках анализа заданий сценарного типа встает вопрос локальной зависимости между заданиями (подробнее вопрос рассмотрен во второй главе данной работы в контексте построение байесовской сети). Для достижения локальной независимости - состояния модели, в которой все наблюдаемые переменные могут быть связаны между собой только заданным общим фактором, в модель может потребоваться ввести дополнительный фактор, который будет учитывать дополнительный общий источник дисперсии. В тестировании, посвященном измерению компетенций, таким общим фактором может быть общий стимульный материал для различных индикаторов - контекст заданий. В таком случае, в модель добавляется фактор, который не коррелирует с другими факторами и значения которого в дальнейшем не интерпретируются (Oсин, Рассказова; 2013; Almond et al., 2009; Toland, Sulis, Giambona, Porcu, & Campbell, 2017).

Дальнейший анализ проводился в рамках байесовской сети в программе Netica 5.22 (Norsys, 2007) и программе R с использованием пакета «CPTtools» (Almond, 2015).

Реализация анализа в рамках байесовской сети включает несколько этапов. На первом этапе задается байесовский граф - графическая структура, отражающая взаимосвязь наблюдаемых переменных (индикаторов) и латентных конструктов (компетенций). Байесовский граф выстраивается согласно теоретическим ожиданиями разработчиков теста и в целом процедура носит конфирматорный характер.

Байесовский граф инструмента состоит из восьми узлов, представляющих латентный конструкты, и 26 узлов, представляющих наблюдаемые переменные (рис. 5). Шесть узлов представляют собой компетенции и суб-компетенции, по которым предоставляется обратная связь испытуемым. Два узла вводятся для решения технических вопросов, результаты по ним не интерпретируются.

Узел Критическое мышление (СT) выступает родительским по отношению к узлам Вывод (Conclusion) и Анализ (Analysis), т.к. согласно теоретической рамке вывод и анализ выступают суб-компетенциями компетенции критическое мышление. Аналогично, узел Креативность - родительский узел для узлов Любознательность (Curiosity) и Воображение (Imagination). Ненаблюдаемый узел Вывод выступает родительским для восьми наблюдаемых узлов; узел Анализ - для шести; узел Любознательность - для четырех и узел Воображение - для восьми наблюдаемых узлов.

Для того, чтобы учитывать теоретически ожидаемую связь между латентными конструктами в модель был введен общий для компетенций Критическое мышление и Креативность родительский узел, на схеме названный Commonality, т.е. узел общности. Для того, чтобы учитывать общий контекст в задании Монстр (более подробно необходимость введения этого узла будет описано описании результатов факторного анализа в следующей главе), в сеть был введен узел контекста (на схеме данный узел расположен внизу, обозначен Monster).

Рисунок 5. Байесовский граф инструмента измерения креативности и критического мышления.

На втором этапе для каждого узла сети задаются априорные значения таблиц условных вероятностей. В данной работе выбор априорных значений таблиц условных вероятностей для узлов, соответствующих наблюдаемым переменным, базировался на параметрическом методе, основанном на современной теории тестирования (DiBello's Effective Theta Distributions). Для его реализации необходимо задать характер отношений между родительскими узлами и дочерними, выбрать функцию, связывающую родительские и дочерние узлы, задать априорные значения параметров выбранной функции для каждой наблюдаемой переменной. В анализе инструмента все связи латентных и наблюдаемых узлов носят компенсаторный характер. В качестве функции, связывающей латентный и наблюдаемый узлы, была выбрана модель ДиБелло-Самеджимы (DiBello-Samejima), в которой наблюдаемые переменные отличаются между собой по трудности и по дискриминативности, а шаги одного задания различаются только по трудности (имеют равные значения дискриминативности). Таким образом, на следующем шаге необходимо задать априорные значения трудности и дискриминативности каждого индикатора, а также значения трудности отдельных шагов политомических заданий. Априорные параметры задавались с применением метода лингвистических априорных значений (Linguistic priors) при работе с панелью экспертов. Этот метод заключается в том, что эксперт для каждого задания выбирает из опций «легче обычного», «обычное», «труднее обычного», а также характеризует задание как «вносит несущественный вклад», «вносит средний вклад», «вносит слабый вклад» (Mislevy et al., 2002; Almond, 2015). Чтобы сориентировать экспертов, им были предложены характеристики классической трудности (доля решаемости) и факторные нагрузки, полученные в результате конфирматорного факторного анализа (см. глава 5, п. 5.1). В зависимости от ответов экспертов, задания получали априорные параметры трудности (от -1.5 логита до 1.5 логита) и дискриминативности (от 0.3 до 2). Для случаев, в которых в вероятность справиться с элементом задания вкладывался фактор контекста, задавались компенсаторные отношения между дочерним узлом и узлами компетенций и контекста. Далее рассчитывались таблицы условных вероятностей для каждого наблюдаемого узла. Эта процедура была реализована с помощью специального пакета «CPTtools» в программе R (Almond, 2015).

Априорные условные вероятности узлов ненаблюдаемых переменных задавались непараметрически, согласно теоретическим ожиданиями разработчиков теста о природе компетенций, а также с опорой на результаты анализа факторной структуры (см. глава 5, п. 5.1). Непараметрическая оценка вероятностей в таблице условных вероятностей предполагает, что эксперты выставляют определенные значения, отвечая на вопросы подобного типа: «Какая доля испытуемых будет находиться на высоком уровне по компетенции Креативность и высоком уровне по суб-компетенции Любознательность?», «Какая доля испытуемых будет находиться на высоком уровне по компетенции Креативность и среднем уровне по суб-компетенции Любознательность?»

Для установления отношений между компетенциями Креативность и Критическое мышление, экспертам предлагалось ответить на вопрос: «Какая доля испытуемых будет обладать высоким уровнем креативности, если их уровень критического мышления можно охарактеризовать как высокий?»

Таким образом были заполнены все ячейки таблиц условных вероятностей суб- компетенций и компетенций. После того, как априорные вероятности были рассчитаны, полученные значения были перенесены в программу Netica 5.22, которая позволяет сделать байесовский вывод с применением ЕМ-алгоритма. В программе Netica с учетом априорных вероятностей сеть была обучена на выборке 511 испытуемых.

Обратим внимание, что в байесовскую сеть были включены некоторые переменные, удаленные из модели конфирматорного факторного анализа. В частности, были включены переменные, удаленные по причине затруднения расчета матриц ковариаций модели конфирматорного факторного анализа (подробнее см. глава 5, п 5.1), т.к. расчет параметров в байесовской сети предполагает принципиально другой подход к определению параметров (подробнее см. Anderson & Vastag, 2004).

Также в байесовскую сеть была добавлена наблюдаемая переменная, которая функционально связана с другой наблюдаемой переменной. А именно, в задании Аквариум, респонденту необходимо обустроить аквариум для краба, используя предложенные объекты. Испытуемый заполняет аквариум, предварительно проанализировав текст. В тексте сказано, что крабам в аквариуме необходимы водоросли. Согласно концептуальной рамке инструмента, если испытуемый ставит в аквариум одну водоросль, такое действие трактуется как свидетельство критического мышления. В свою очередь, если испытуемый ставит более одной водоросли, такое действие трактуется как свидетельство креативности. Таким образом, добавление в аквариум одной водоросли и демонстрация критического мышления служит пререквизитом, необходимым заранее установленным условием, для установления двух водорослей и демонстрации креативности. Такие отношения характеризуются как отношения с подавляющей связью и могут быть построены в рамках байесовской сети. Конфирматорный факторный анализ не предполагает построение таких отношений.

Также обратим внимание, что все узлы байесовской сети (узлы компетенций, суб-компетенций, индикаторов) - дискретные. Узлы, соответствующие компетенциям и суб-компетенциям, могли принимать три состояния: базовый, развивающийся и продвинутый, согласно концептуальной рамке инструмента (в дальнейшем, низкий, средний и высокий уровни, что содержательно эквивалентно).

Точность, с которой байесовская сеть позволяла установить уровень компетенции испытуемых, определялась с использованием симуляционных данных (была создана выборка 1000 наблюдений в программе Netica 5.22) по нескольким критериями: общая доля неверных предсказаний (Error Rate) и оценка точности предсказаний с учетом доли неопределенности (Logarithmic Loss Value,). Как отмечалось, оценка качества модели в рамках байесовской сети - только развивающаяся область исследований, поэтому в качестве критического значения в данной работе будет использоваться допустимый в социально-гуманитарных науках показатель 10% ошибки. Более низкие значения оценки точности предсказаний с учетом доли неопределенности (Logarithmic Loss Value) также считаются более предпочтительными (в модели, не имеющей ошибок, этот параметр был бы равен 0).

Высокая доля неверных предсказаний, как аспект низкой надежности теста, может быть вызван недостаточным количеством индикаторов для оценки компeтенции (Almond и др., 2007). Одним из способов увеличения надежности и точности, может выступать укрупнение узлов. Для проверки этого предположения и вынесения дальнейших рекомендаций разработчикам теста, в работе будет проверена точность предсказаний сети, содержащей только два узла ненаблюдаемых переменных - Креативность и Критическое мышление, и построенной на таких же распределениях априорных вероятностей, как и изначальная сеть.

В качестве метода оценки качества индикаторов будет проанализирована их трудность с позиции анализа безусловного (маргинального) распределения (Almond и др., 2015), использоваться показатель общей информации (Mutual Information; Almond и др., 2013), а также анализ таблиц условных вероятностей каждого индикатора (West и др., 2010).

Трудность индикаторов в рамках вероятностного подхода байесовской сети, была оценена согласно безусловному (маргинальному) распределению вероятностей на узлах, соответствующих наблюдаемым переменным обученной сети. Особое внимание для вынесения рекомендаций по улучшению качества инструмента уделялось индикаторам с экстремальными показателями - с очень высокой вероятностью справиться или не справиться с элементов тестового задания.

Вклад индикатора в определение уровня компетенции оценивался с помощью критерия общей информации (Mutual Information, MI). В исследованиях эти значения рекомендуется интерпретировать внутри одной латентной переменной (сравнивать значения общей информации индикаторов, относящихся к одной компетенции). Особое внимание стоит обратить на индикаторы с крайне низким уровнем общей информации (MI < 0.001) и на индикаторы, которые сообщают неожиданно много или мало информации внутри одной компетенции (Almond и др., 2015).

Также функционирование индикаторов рассматривалось с позиции анализа таблиц условных вероятностей после обучения сети. В таблицах условных вероятностей, вероятность набрать больший балл должна расти с увеличением уровня компетенции, при этом, разрыв в значениях вероятностей позволит сделать вывод о том, какие группы испытуемых по уровню компетенции индикатор различает лучше всего (West и др., 2010).

В следующей главе будут продемонстрированы результаты проведенного анализа.

Глава 5. Результаты

В данной части работы будут последовательно представлены результаты анализа трех аспектов валидности, исследуемых в данной работе: анализ соответствия теоретической рамки компетенций реальным данным (анализ факторной структуры), анализ точности в определении уровня компетенции (анализ точности предсказаний), анализ функционирования отдельных элементов заданий, на которых строится оценивание (анализ функционирования индикаторов).

5.1 Проверка согласия теоретически ожидаемой структуры компетенций и эмпирических данных

Анализ факторной структуры проводился в несколько этапов. На первом этапе, для исследования согласия модели, отражающей концептуальную рамку инструмента, с эмпирическими данными был применен конфирматорный факторный анализ. Структура концептуальной рамки инструмента была описана в гл. 1 и представлена на рисунке 6.

Компетенции Критическое мышление и Креативность состоят из суб-компетенций Вывод и Анализ, Любознательность и Воображение, соответственно. Суб-компетенция Вывод включала десять наблюдаемых переменных, суб-компетенция Анализ - семь наблюдаемых переменных, суб-компетенция Любознательность - четыре, а суб-компетенция Воображение - девять наблюдаемых переменных.

Наблюдаемые переменные, принадлежащие одной суб-компетенции, могли относиться к разным сценариям (Динозавр, Аквариум или Монстр). В модель не была включена переменная, имеющая функциональную зависимость с другой переменной (индикатор ACR25pla, установление в аквариум второй водоросли: 1 - установлена вторая водоросль, 0 - не установлена). Корреляция между факторами Креативность и Критическое мышление выступала свободным параметром. Корреляции между наблюдаемыми переменными в модель не вводились.

Рисунок 6. Схема концептуальной рамки инструмента измерения креативности и критического мышления

Модель показала низкое согласие с данными (RMSEA = 0.08; CFI = 0.8; TLI = 0.8; Хи-квадрат = 1949.737, df = 429, p < 0.001), не были позитивно определены ковариационная матрица остатков (residual covariance matrix) и ковариационная матрица латентных переменных (latent variable covariance matrix). Для дальнейшего исследования факторной структуры был проведен эксплораторный факторный анализ. По результатам эксплораторного факторного анализа, собственное значение первого фактора составило 6.12; второго - 2.71; третьего - 2.5; в свою очередь, собственные значения четвертого и пятого факторов составили 2.17 и 1.8. Также важно отметить, что именно трехфакторная структура имеет наиболее емкую интерпретацию, объясняющую природу появления фактора.

Согласно факторным нагрузками (табл. 3; модель 1), наблюдаемые переменные делятся на факторы не строго согласно ожиданиям. Первый и второй факторы нагружаются наблюдаемыми переменными, которые относятся как к компетенции Креативность, так и к компетенции Критическое мышление. Например, переменная, которая разрабатывалась как индикатор суб-компетенции Любознательность (компетенция Креативность) в задании Аквариум, ACR1_2_1 (Фиксируется количество использованных для постройки аквариума элементов: 1 - больше 5 элементов, 0 - 5 и меньше) и переменная, которая разрабатывалась как индикатор суб-компетенции Анализ (компетенция Критическое мышление) в задании Динозавр DCT1_6P (Количество выбранных релевантных предложений 0 - 0 предложений; 1 - от 1 до 3; 2 - от 4 до 6) нагружают второй фактор со значимыми (p<0.05) нагрузками 0.5 и 0.3, соответственно. Однако важно обратить внимание, что третий фактор нагружен исключительно переменными задания Монстр, которые относят непосредственно к облику монстра, простроенному испытуемыми: наличие крыльев (MCT2_1_1), наличие рогов (MCT16HOR), количество элементов (MCR2_elem), количество категорий элементов (MCR25CAT), наличие элементов из категории разное (MCR2_OTHER), количество новых элементов относительно предыдущего монстра (MCR2_NEWEL), изменение цвета монстра (MCR2_COL), вращение элементов монстра (MCR2_MROT).

Таблица 3 Факторные нагрузки моделей эксплораторного факторного анализа

Трехфакторная структура также подтвердилась при проведении дополнительного анализа с методом оценки параметров невзвешенных наименьших квадратов и косоугольным вращением promax. Как показано на рисунке 6, явно выделятся один фактор, однако следующая точка излома предполагает наличие двух дополнительных факторов. Согласно результатам анализа, собственное значение первого фактора составило 4.3 (14% дисперсии); собственное значение второго фактора - 2.16 (7,2% дисперсии), собственное значение третьего фактора - 2.08 (6,9% дисперсии); собственные значения четвертого и пятого факторов составили 1,7 (5,7% дисперсии) и 1,6 (5,3% дисперсии). Распределение переменных по факторам совпадало с распределением, полученном на предыдущем этапе (табл. 3; модель 2).

Рисунок 6. График Каменистая осыпь

Полученные результаты были проинтерпретированы как необходимость учитывать общий контекст задания Монстр при проверке внутренней структуры инструмента.

На следующем шаге была построена модель в рамках конфирматорного факторного анализа, в которую кроме теоретически ожидаемой структуры факторных конструктов был добавлен фактор контекста, нагружающий восемь переменных, относящихся к облику монстра. Корреляции этого фактора и факторов, отражающих компетенции, были фиксированы в нуле.

Однако, новая модель не продемонстрировала удовлетворительных показателей (RMSEA = 0.07; CFI = 0.88; TLI = 0.87; Хи-квадрат = 1328.490, df = 420, p < 0.001), матрицы ковариаций по-прежнему не были позитивно определены. На следующем этапе из модели последовательно были удалены переменные с незначимыми (p>0.05) факторными нагрузками (ACT2_1_2, ACT215gr, ACT1_5_1, MCR21num), переменные, которые препятствовали позитивному определению матриц ковариаций (MCR12new, ACR2_5_1, DCT1_5_1), переменная с очень сильным вкладом на фактор контекста (значение стандартизированной факторной нагрузки переменной MCR25CAT на фактор контекста составило 0.9, - Фиксируется количество категорий у каждого построенного монстра. Рассчитывается среднее количество используемых категорий по каждому монстру, 0 баллов - от 1 до 2 категорий, 1 балл - от 3 до 4 категорий, 2 балла - от 5 до 6 категорий).

Полученная модель показала хорошее согласие с моделью (RMSEA = 0.046; CFI = 0.9; TLI = 0.89; Хи-квадрат = 403.589, df = 197, p < 0.001), матрицы были позитивно определены. Факторные нагрузки наблюдаемых переменных на факторы компетенций и фактор контекста представлены в таблице 4. Суб-компетенция Вывод включала 7 наблюдаемых переменных, суб-компетенция Анализ 6 наблюдаемых переменных, суб-компетенция Любознательность - 3, а суб-компетенция Воображение включала 6 переменных. Факторные нагрузки переменных, относящихся к суб-компетенции Вывод варьируются от 0.3 (ACT2_4_1) до 0.9 (ACT2_1_6). Среди переменных, относящихся к суб-компетенции Анализ, факторные нагрузки распределились от 0.2 (ACT1_5_2) до 0.8 (ACT16DIH). Факторные нагрузки переменных суб-компетенции Любознательность - от 0.4 (ACT1_7_1) до 0.7 (ACR1_2_1); факторные нагрузки среди переменных фактора Воображение варьировались от 0.2 (ACR2_5_4) до 0.6 (MCR2_MROT). Факторные нагрузки переменных, относящиеся к фактору контекста, был нагружен переменными в пределах от 0.2 (MCR2_MROT) до 0.8 (MCT16HOR).

Согласно результатам анализа, компетенция Критическое мышление связана с суб-компетенциями Вывод и Анализ 0.97 и 0.67, соответственно. Компетенция Креативность с суб-компетенциями Любознательность и Воображение - 0.63 и 0.74, соответственно. Компетенции Креативность и критическое мышление значимо связаны между собой на уроне 0.78 (р < 0.01).

Таблица 4 Стандартизированные факторные нагрузки конфирматорной модели

На рисунке 7 представлена факторная структура инструмента измерения. В левой части расположены компетенции (фактор Креативности обозначен на рисунке Creativity, фактор критического мышления - Critical) и суб-компетенции (субкомпетенция Любознательность обозначена на рисунке Curiosity; Воображение - Imagination; Анализ - Analysis; суб-компетенция Вывод и аргументация - Conclusion), в правой - фактор контекста (обозначен на рисунке Monster).

Рисунок 7. Факторная структура инструмента измерения креативности и критического мышления

5.2 Характеристики точности модели измерения

На предыдущем этапе с применением конфирматорного и эксплораторного факторного анализа был проведен анализ факторной структуры инструмента: было проверено согласие теоретических ожиданий относительно структуры данных и реальных результатов. Полученные результаты были учтены при построении модели оценивания результатов - при построении байесовской сети. Данный этап анализа посвящен оценке качества построенной модели (описание построения байесовской сети приведено в гл. 4, раздел 4.3).

Показателем качества модели считается то, насколько точно модель способна определить к какому уровню компетенции относится респондент. Поскольку уровень компетенции - ненаблюдаемый конструкт, для проверки точности предсказаний были использованы симуляционные данные. В симуляционных данных заранее точно известен уровень компетенции каждого испытуемого, поэтому можно посчитать количество совпадений предсказаний модели относительно уровня компетенции и «истинного», т.е. заложенного в симуляционных данных. Анализ был проведен на выборке, сгенерированных в программе Netica 5.22, размером 1000 человек. Симуляционные данные не содержали пропусков.

В качестве критериев предсказательной способности использовались доля ошибочных предсказаний (error rate) и доля ошибочных предсказаний с учетом неопределенности (logarithmic loss score). Результаты анализа представлены в таблице №5 (модель 1). Среди суб-компетенций, самой большой долей ошибочных предсказаний (27.7%), равно как и долей ошибочных предсказаний с учетом неопределенности (0.66) обладала суб-компетенция Любознательность, измеряемая четырьмя индикаторами. Суб-компетенция Анализ (шесть индикаторов) измерялась с долей ошибочных предсказаний, равной 27.7% (logarithmic loss score = 0.66); суб-компетенция Вывод (восемь индикаторов) - с долей ошибки 18.2% (logarithmic loss score = 0.43). Наименьший уровень ошибочных предсказаний и ошибочных предсказаний с учетом неопределенности был обнаружен по суб-компетенции Воображение (17.8%; 0.41), оцениваемой восемью индикаторами.