Измерение креативности и критического мышления в начальной школе: валидизация инструмента

При более детальном внимании к этим индикаторам было выявлено, что индикаторы ACT2_1_2 (1 - все поставленные камни выше уровня воды; 0 - хотя бы один из поставленных камней ниже уровня воды) и ACT215gr (1 - добавлен грунт; 0 - не добавлен грунт) слабо функционируют из-за особенностей интерфейса сценария. В частности, система начисления баллов по индикатору ACT2_1_2 не учитывала, что положение камня выше уровня воды определяется наличием грунта. При этом, индикатор ACT215gr показывает крайне высокий процент решаемости - грунт в аквариум поставили около 95% испытуемых. При этом, интерфейс рабочей области был спроектирован так, что грунт - первый объект, который встречает испытуемый. Таким образом, взаимодействие испытуемых с индикаторами ACT2_1_2 и ACT215gr определялось на выраженностью суб-компетенции Вывод, а скорее, системой начисления баллов и внешним видом рабочей области экрана.

Индикаторы ACT1_5_1 (1 - если испытуемый как первый источник выбирает ссылку “Содержание крабов дома: рекомендации ветеринаров Московского Зоопарка”, 0 - если выбирает ссылку “Блог любителя”), MCR21num (количество построенных монстров, политомическая оценка) были детально рассмотрены разработчиками теста и экспертами содержательной области. Низкий вклад индикатора ACT1_5_1 может объясняться нерелевантностью действия испытуемого компетенции - порядок выбора источников не выступает сильным свидетельством критического мышления. С другой стороны, возможная проблема заключается в неясной инструкции задания - в инструкции не задано условие о необходимости выбора наиболее релевантного источника первым.

Незначимый вклад индикатора MCR21num может объясняться тем, что желание ребенка построить дополнительных монстров продиктовано не сколько креативностью, сколько другими факторами, например, мотивацией продолжить тестирование.

К индикаторам, в функционирование которых вмешивались особенности интерфейса, можно отнести MCR2_col (изменение цвета монстра, дихотомическая оценка). Этот индикатор оказался самым трудным (вероятность получить 0 баллов составила 0.81), при этом когнитивная трудность элемента задания не ожидалась настолько высокой. В качестве объяснения такой трудности индикатора, могут быть сделаны предположения о том, что испытуемые не замечали кнопку изменения цвета на рабочем экране или не хотели менять цвет монстра, потому что им нравился изначально установленный светло-зеленый цвет. Изменение интерфейса позволит уменьшит трудность индикатора и сделать этот элемент задания более информативным.

Индикаторы MCR12new и DCT1_5_1, которые также были удалены из модели конфирматорного факторного анализа, продемонстрировали удовлетворительные психометрические характеристики: оба индикатора имеют среднюю трудность, сообщают неэкстремальное количество информации. Но можно отметить, что индикатор DCT1_5_1 слабо различает испытуемых на среднем и низком уровне компетенции, а индикатор MCR12new неудовлетворительно функционирует для испытуемых с высоким уровнем компетенции (вероятности набрать 0, 1, 2 или 3 балла для испытуемых с высоким уровнем очень близки, от .13 до .32).

Также из модели конфирматорного факторного анализа был удален индикатор с крайне высокой нагрузкой на фактор контекста (0.9), MCR25CAT (количество используемых категорий в облике монстра; политомическая оценка). Такое высокое значение свидетельствует о том, что индикатор почти полностью объясняется обликом монстра. Индикатор направлен на оценку не одного конкретного действия испытуемого, а целого паттерна - использовал ли испытуемый объекты из разных категорий: туловище, конечности, рот, глаза, рога, разное. При этом, использование рогов, использование элементов из категории разное также выступают самостоятельными индикаторами (MCT1_6_horns; MCR2_other). Таким образом, сильно обобщающие индикаторы несут в себе ограничения интерпретации и при разработке заданий сценарного типа стоит уделять больше внимания более конкретным действиям испытуемых.

К таким индикаторам, которые демонстрируют обобщение различных действий испытуемых, можно отнести элемент задания Аквариум, ACR2_5_1 (количество используемых при постройке аквариума элементов, 1 - больше 5 элементов, 0 - меньше 5 элементов), который был удален из модели конфирматорного факторного анализа, но добавлен в байесовскую сеть, поскольку причина удаления была связана с особенностями расчетов конфирматорного анализа. Такая система начисления баллов была разработана с целью преодолеть возможную связь между индикаторами, свидетельствующими о критическом мышлении (добавление лампы ACT2_1_4, добавление крышки ACT2_1_6, добавление грунта ACT215gr, добавление водоросли ACT2_1_plant, добавление камня ACT2_1_2). Если испытуемый ставил только 5 необходимых элементов, это свидетельствует только о высоком уровне критического мышления - испытуемый выполнил все необходимые условия. Однако, если респондент добавлял дополнительные, необязательные элементы, такое поведение ожидалось свидетельством креативности. Однако, проблемы в модели конфирматорного анализа и неожиданно высокий показатель общей информации (0.47) свидетельствуют о нарушении в функционировании индикатора. В данной ситуации правомерно ожидать угрозу локальной независимости между индикаторами, относящимися к объектам внутри аквариума. Также среди других индикаторов выделяются ACT2_1_4, ACT2_1_6 и ACT1_6_dih - они демонстрируют неожиданно высокий показатель общей информации. В дальнейших исследованиях важно обратить внимание на фактор общего контекста элементов задания Аквариум.

Размещено на Allbest.ru