Анализ качества диагностического средства для оценки социально-правовой компетенции студентов

Размещено на http://www.allbest.ru/

Институт сферы обслуживания и предпринимательства (филиал) Донского государственного технического университета

Анализ качества диагностического средства для оценки социально-правовой компетенции студентов

Елисеев И.И., Ларина Т.Н., Кривошеев Н.В.

Аннотация

В статье обосновывается возможность использования политомических моделей для оценки личностных качеств, влияющих на социально-правовые компетенции студентов. В работе используются входные данные, полученные с помощью анкет «Социально-правовая компетентность». Рассчитаны характеристики участников анкетирования и индикаторов анкет, оценена их пригодность для оценки уровня сформированности социально-правовой компетенции. Даны рекомендации по доработке анкеты.

Ключевые слова: уровень подготовки студента, латентные переменные, политомическая модель, индикатор, диагностический тест, социально-правовая компетенция.

В настоящее время наиболее продуктивным в практике профессионального образования признан и поддержан на государственном уровне введением новых образовательных стандартов компетентностный подход. Компетенция как сложное и объемное качество личности является скрытым (латентным) параметром и непосредственной оценке с помощью традиционных средств и способов контроля уровня подготовки обучаемых - предметных зачётов и экзаменов - не поддаётся [1-4]. По этой же причине для формализованной оценки уровня сформированности компетенций не могут быть использованы методы имитационного моделирования процессов, применяемые в гуманитарной сфере [5, 6].

Как показано в работах [1-4, 7-15], для измерения латентных параметров обучаемых наиболее перспективно применение теории латентных переменных, использующей вероятностные модели Раша. Оценивание с помощью этой теории уровня сформированности компетенций обучаемых позволяет не только в полной мере учесть вероятностный характер найденных оценок, но и получить информацию о качестве диагностических средств [6]. Это позволяет повысить объективность получаемых данных [3, 7-10].

В качестве диагностических средств, обеспечивающих получение входных данных об уровне сформированности компетенции, используется набор индикаторных переменных и дескрипторов, раскрывающих содержание компетенции. Примером таких средств диагностики являются исследованные нами ранее опросники для оценки уровня сформированности общекультурных компетенций [1, 4, 10, 11].

Целью статьи является исследование уровня сформированности социально-правовой компетенции студентов на основе политомической модели Раша и качества анкеты «Социально-правовая компетентность».

Для исследования признаков сформированности социально-правовой компетенции студентов-бакалавров была использована анкета, разработанная в Псковском государственном педагогическом университете [16]. Она состоит из 22 политомических индикаторов. Каждая индикаторная переменная варьируется на пяти уровнях: 0, 1, 2, 3 и 4. При этом цифрой 4 оценивается вариант ответа «да», цифрой 3- вариант ответа «скорее «да», чем «нет»», цифрой 2- вариант ответа «затрудняюсь ответить», цифрой 1 - вариант ответа «скорее «нет», чем «да»», цифрой 0 - вариант ответа «нет». Все индикаторы являются индикаторами прямого направления действия.

При обработке данных анкетирования баллы, полученные за выполнение каждого индикатора, суммируются. Чем больше индивидуальный балл респондента, тем выше его социально-правовая компетентность. Максимальное значение индивидуального балла составляет 88.

Для расчёта характеристик анкеты использовалась выборка студентов Южно-Российского государственного университета экономики и сервиса и Ростовского государственного строительного университета. Общий объём выборки составил 509 человек. Результаты анкетирования были представлены одним prn-файлом, представляющим собой политомическую матрицу ответов размером 509Ч22. Обработка результатов анкетирования производилась диалоговой системой RUM2030 [17]. Анализ полученных результатов показал, что распределение значений оценок латентных параметров не противоречит гипотезе о нормальном законе распределения, поэтому выборку можно считать нормативной [4, 15]. На рисунке 1 приведены совмещенные гистограммы распределения оценок величин «уровень подготовки» студентов и и «уровень трудности» заданий в, позволяющие судить о валидности используемой анкеты.

Рис.1 - Гистограммы распределения значений оценок уровня сформированности социально-правовой компетенции тестируемых и трудности индикаторов

Из рис. 1 видно, что диапазон изменения латентного параметра в в целом соответствует интервалу варьирования латентного параметра и. Поэтому можно говорить об удовлетворительной валидности используемой анкеты по отношению к исследуемой выборке студентов.

Результаты расчёта оценок трудности индикаторов анкеты , стандартной погрешности их расчёта и значения вероятности соответствия характеристик каждого из индикаторов модели Раша для исходной матрицы ответов приведены в столбцах 1-3 таблицы 1. В столбцах 4-6 указаны значения этих же величин, полученные после чистки матрицы.

Таблица 1 Оценки трудности индикаторов в_ј^* анкеты «Социально-правовая компетентность»

Для проверки адекватности всех индикаторов в целом политомической модели Раша в программном обеспечении диалоговой системы RUMM 2030 используется критерий ч² Пирсона. Согласно этому критерию значение вероятности соответствия всех индикаторов в целом модели Раша составило 0,00016 (см. столбец 1 строки 23 таблицы 1), что намного меньше допустимого значения = 0,05. Кроме того, недопустимо низкой оказалась совместимость некоторых индикаторов, в частности, индикатора под номером 2. Поэтому гипотеза об адекватности индикаторов модели измерения была отвергнута, и исходная матрица ответов была подвергнута чистке по методике, изложенной в работах [4, 14]. Было удалено 93 участника анкетирования и два индикатора: второй «Знаю права студента» и двенадцатый «Готов к сотрудничеству с людьми иной расы, национальности, религии». За счёт этого удалось повысить величину до значения 0,14 (см. столбец 2 строки 23 таблицы 1), что позволило считать допустимым принятие гипотезы об адекватности индикаторов модели Раша.

После чистки улучшилась совместимость индикаторов: практически все 20 оставшихся индикаторов стали совместимыми (шестой столбец таблицы 1). Несколько снизилась валидность анкеты исследуемой выборке студентов, о чём свидетельствует рисунок 2. Интервал изменения трудности индикаторов стал уже, чем был до чистки. Данное обстоятельство свидетельствует о необходимости добавления в анкету новых индикаторов с в> 1,25 логит. Их общее число должно быть не менее 30 [18].

Рис. 2 - Гистограммы распределения значений оценок уровня сформированности социально-правовой компетенции тестируемых и трудности индикаторов после чистки матрицы ответов

В последних трёх строках таблицы 1 указаны значения показателей качества анкеты: коэффициента дифференциации анкетируемых r_d и коэффициента надёжности б_Kr , рассчитанного по формуле Кронбаха. Видно, что они близки к значению 0,8, что является признаком хорошего качества анкеты. Значения бисериального коэффициента корреляции R^*_bj для всех индикаторов составило не менее 0,3, поэтому все индикаторы можно считать валидными. Оценка работоспособности дескрипторов индикаторов проводилась по их вероятностным кривым так же, как это делалось в работе [3]. Было установлено, что для большинства индикаторов свой диапазон действия имеют дескрипторы 0, 1, 3, 4, что говорит об их работоспособности. В качестве примера, подтверждающего данный вывод, на рис. 3 представлены вероятностные кривые дескрипторов индикатора 14. Как видно из рис.3, дескрипторы 0 - 2 работоспособны, дескриптор 2 «затрудняюсь ответить» не работает. Объяснить это можно, на наш взгляд, тем, что он дублируется дескрипторами 1 «скорее нет, чем да» и 3 «скорее да, чем нет». По нашему мнению, его присутствие в индикаторах ответов усложняет выбор соответствующего ответа студентами, т.е. дескриптор 2 является мешающим фактором, и его следует исключить из числа дескрипторов индикаторов. Это не только позволит повысить определённость в выборе ответа студентами, но и снизит трудоёмкость обработки и анализа результатов анкетирования.

Распределение участников анкетирования по категориям G уровня сформированности компетенции [3, 4, 12] выполняется исходя из значения индивидуального балла (i - номер анкетируемого) с помощью таблицы 2.

Рис. 3. - Вероятностные кривые дескрипторов индикатора 14 «Активно участвую в жизни группы»

Таблица 2 Деление респондентов на категории G по степени сформированности социально-правовой компетенции

Анализ полученных данных показал, что у 40 % анкетируемых уровень сформированности социально-правовой компетенции высокий, у 60% - средний, у 6 % пороговый. Студентов с низким уровнем сформированности социально-правовой компетенции нет.

Таким образом, анкета «Социально-правовая компетентность» имеет удовлетворительные показатели качества и после доработки может быть использована совместно с политомической моделью Раша для расчёта латентных параметров, характеризующих признаки сформированности социально-правовой компетенции, необходимой выпускнику вуза для решения профессиональных задач. Для повышения качества анкеты необходимо: политомический студент социальный

- исключить из анкеты индикатор 2 «Участвую в выборах в государственные органы власти» или снизить число его дескрипторов до 2.

- исключить дескриптор 2 «затрудняюсь ответить» из всех остальных индикаторов анкеты;

- за счёт добавления в анкету индикаторов с логит увеличить их число до 30 и более.

Литература

1. Елисеев И.Н. Диагностика индивидуальных свойств личности в студенческой среде на основе модели Раша. // Стандарты и мониторинг в образовании. 2009. № 3. С. 35-38.

2. Елисеев И.Н. Оценка уровня подготовленности выпускников колледжа на основе измерения качества квалификационных работ // Стандарты и мониторинг в образовании. 2010. № 1. С. 47-49.

3. Елисеев И.Н., Елисеев И.И., Ларина Т.Н., Кривошеев Н.В. Моделирование характеристик диагностических средств для оценки информационных компетенций студентов // Инженерный вестник Дона, 2014, №4 URL: ivdon.ru/ru/magazine/archive/n4y2014/2566.

4. Елисеев И.Н. Методы, алгоритмы и программные комплексы для расчёта характеристик диагностических средств независимой оценки качества образования. Новочеркасск: Лик, 2013. 285 с.

5. Свечкарев В.П. Интеграция имитационных моделей при проведении исследований в гуманитарной сфере // Инженерный вестник Дона, 2010, №3 URL: ivdon.ru/magazine/archive/n3y2010/213/.

6. Мощенко И.Н. Имитационное моделирование этнополитической ситуации ЮГА РОССИИ на основе теории динамических систем // Инженерный вестник Дона, 2010, №3 URL: ivdon.ru/magazine/archive/n3y2010/216/.

7. Rasch G. Probabilistic models for some intelligence and attainment tests (Expanded edition, with foreword and afterword by Benjamin D. Wright).Chicago: University of Chicago Press, 1980. 199 pp.

8. Wright, B.S., Masters, G.N. Rating Scale Analysis: Rasch Measurement, Chicago, MESA Press, 1982. 206 pp.

9. Andrich D. Advanced Social and Educational Measurement. - Perth: Murdoch University, 2001. 128 pp.

10. Елисеев И.Н. Методология оценки уровня компетенций студента // Информатика и образование. 2012. №4. С. 80-85.

11. Ларина Т.Н., Елисеев И.Н. Оценка уровня компетенции студента на основе модели Раша // Инженерный вестник Дона, 2012, №4 (часть 1) URL: ivdon.ru/magazine/archive/n4p1y2012/1093/.

12. И.Н. Елисеев, И.И. Елисеев, Т.Н.Ларина, Н.В. Кривошеев Оценка коммуникативных компетенций студентов на основе политомических моделей // Инженерный вестник Дона, 2014, №1 (часть 1) URL: ivdon.ru/magazine/archive/n1y2014/2302/.

13. Маслак А.А. Измерение латентных переменных в социальных системах. Славянск-на-Кубани: Издательский центр КубГУ, 2012. 432 с.

14. Елисеев И.Н. Экспертиза качества тестов по электротехническим дисциплинам // Известия высших учебных заведений. Электромеханика. 2011. №2. С. 75-80.

15. Елисеев И.Н. Модель дихотомической матрицы результатов тестирования // Программные продукты и системы. 2011. №3. С. 80-86.

16. Психологические тесты онлайн // URL:psytest.info.

17. Руководство пользователя диалоговой системой RUMM 2030 //RUMM Laboratory Pty Ltd, 2010. URL: rummlab.com.au/demo/marmgetstart.pdf.

18. Челышкова М.Б. Теория и практика конструирования педагогических тестов. М.: Логос, 2002. 432с.

Размещено на Allbest.ru