Принципи визначення критеріальних рівнів соціологічного тесту

Размещено на http://www.allbest.ru/

Принципи визначення критеріальних рівнів соціологічного тесту

Дембіцький С.С., канд. соціол. наук,

старший науковий співробітник відділу методології та методів соціології Інституту соціології НАН України

Принципы определения критериальных уровней социологического теста.

Дембицкий С.С., канд. социол. наук, старший научный сотрудник отдела методологии и методов социологии Института социологии НАН Украины, Киев,

Исследовано понятие «норма» в привязке к социологическому тестированию. На базе методологических размышлений предложена его замена на более подходящий термин -- «критериальный уровень», понимаемого в качестве числового значения социологического теста, которое обозначает качественно отличный уровень исследуемой характеристики. Свойствами критериальных уровней являются партикулярность, качественность и дискриминативность. Для демонстрации теоретических положений статьи приведены результаты определения критериальных уровней экспресс-теста

Ключевые слова: социологическое тестирование, нормы, критериальные уровни, психологический дистресс,

Під соціологічним тестом автор розуміє систему відібраних соціологічними методами висловлювань, які пред'являються респондентам з метою отримання надійної та валідної інформації про ознаки, що досліджуються [1, с. 41]. При цьому соціологічні тести розглядаються в трьох вимірах, які частково перетинаються: методичному (стислість при збереженні показників надійності та валідності), концептуальному (звернення до вивчення соціальних феноменів) і прогностичному (діагностичний потенціал тесту при оцінці стану соціальної системи) [2, с. 144]. На нашу думку, забезпечення принципів принаймні методичного виміру дозволяє вважати шкалу або інтегральний індекс Про відмінність між шкалами та індексами див.: [3]. соціологічним тестом.

Крім того, існує думка, що ключовою ознакою тесту (психологічного чи соціологічного) є наявність норм, які дозволяють здійснювати інтерпретацію індивідуальних результатів. Такої думки дотримується ряд наукових співробітників відділу методології та методів соціології Інституту соціології НАН України. Не вважаючи таку постановку питання досить обґрунтованою, тому що поняття «норма» в тестології є дуже неоднозначним, ми визнаємо його важливість у контексті розробки та валідизації соціологічних тестів.

Оскільки поняття «норма» в соціологічному тестуванні не досліджувалося раніше, метою статті є його критичний розгляд і соціологічно обґрунтована концептуалізація. Для досягнення зазначеної мети стаття передбачає вирішення таких завдань:

- розглянути застосування норм у психологічному тестуванні;

- проаналізувати поняття «норма» та «критеріальний рівень» у контексті соціологічного тестування;

- продемонструвати положення статті на прикладі визначення критеріальних рівнів соціологічного тесту SCL-9-NR.

Застосування норм у психологічному тестуванні. Поняття «норма» стосовно психологічного тестування належить до результатів, які показують представники певної групи за заданим тестом [4, р. 53]. Такі норми обчислюються за допомогою досліджень стандартизації та надалі використовуються для оцінки індивідуальних результатів психологічного тесту.

Дослідження стандартизації полягають у вивченні репрезентативних груп з метою використання отриманих результатів як орієнтирів порівняння індивідуальних показників за тестом. Це дозволяє з'ясувати відносне положення учасника дослідження щодо вибірки стандартизації, а також забезпечує порівнюваність результатів різних тестів [5, с. 64-65].

Незважаючи на те, що цей підхід є загальноприйнятим, деякі його аспекти вимагають більш детального розгляду. Насамперед, це стосується поняття «репрезентативність». Так, П. Клайн говорить про необхідність використання стратифікованої вибірки, що дозволяє врахувати у дослідженні стандартизації найважливіші параметри, які впливають на результати використання тесту. Як приклад, він наводить своє дослідження, де учні шостих класів були стратифіковані за статтю, специфікою фінансування школи, її географічним розміщенням і статусом. Для кожної категорії було відібрано по дві школи. При цьому всі школи знаходилися на півночі Англії. У фінальну вибірку увійшло по 1000 хлопців і дівчат [6, с. 219]. Отже, йдеться не про статистичне узагальнення (застосовується випадкова вибірка необхідного обсягу), а про аналітичне (застосовується вивчення релевантних соціальних контекстів) Докладніше про відмінність між статистичною та аналітичною генералізацією див.: [7, с. 69-70]..

Для тестів, які мають універсальну природу, дослідження стандартизації може бути здійснено і на підставі випадкової репрезентативної вибірки, хоча це не є принциповою умовою. Останнє пов'язано з тим, що головна мета такого дослідження - отримання опису властивості, що вивчається, в різних контекстах, а не опис генеральної сукупності в цілому. Тут доречно згадати зауваження Д. Кемпбелла про те, що «в науках, які успішно розвиваються, узагальнення ніколи ще не були «індуктивними» в сенсі підсумовування фактів, які спостерігалися в тих межах, в яких проводяться узагальнення, навпаки, вони завжди були гіпотетичними, навіть якщо і керувалися раніше, відкритими законами» [8, с. 207-208].

Наступне питання стосується перетворення або статистичної нормалізації сирих балів тесту, яке дозволяє ефективно вирішувати вже згадані завдання - порівняння з результатами вибірки стандартизації, а також результатами інших тестів. При цьому актуальним завданням в цьому випадку є саме порівняння результатів різних тестів. Що стосується порівняння з результатами вибірки стандартизації, то статистичні перетворення пов'язані з феноменом нормального розподілу. Отже, чим ближчим є емпіричний розподіл результатів використання тесту до нормального, тим менше сенсу в його статистичній нормалізації. Як зазначає А. Анастазі, при наближенні розподілу первинних показників до нормального стандартні показники, отримані за допомогою лінійного перетворення, практично не відрізняються. Відповідно, статистична нормалізація в такому випадку мало що або нічого не змінить. Необхідно домагатися нормального розподілу первинних результатів використання тесту, а не нормалізувати статистичними засобами ненормальний розподіл [5, с. 80].

Крім того, слід взяти до уваги визначення рівнів виразності досліджуваної властивості на підставі результатів використання певного тесту. Дослідження стандартизації саме по собі нічого не говорить про такі рівні. По суті, воно проводиться з іншими цілями. Єдине рішення цієї проблеми, яке зустрічається в методичній літературі (воно напрошується природним чином), полягає у використанні критеріальних норм замість статистичних. У цьому випадку шкала сирих тестових балів калібрується рівнями, які визначають імовірність досягнення деякого критерію або рівня, що дозволяють припустити якісно інший стан учасників дослідження за досліджуваною характеристикою [9, с. 153-154]. Водночас про те, як визначати критеріальні норми, не йдеться.

Соціологічне тестування: норми або критеріальні рівні? Методологічні напрацювання щодо норм у соціологічному тестуванні відсутні. Отже, єдиним орієнтиром тут є положення, що використовуються при розробці психологічних тестів.

З огляду на це, критично оцінимо три зазначених поняття, з точки зору специфіки соціологічного дослідження. Повертаючись до розмежування статистичної й аналітичної репрезентативності, ми вважаємо обґрунтованим використання останньої таким самим чином, як це рекомендується у психологічних дослідженнях. Це пов'язано з тим, що сучасні суспільства характеризуються досить високою гетерогенністю. Відповідно, важливо розуміти, які результати соціологічний тест покаже при використанні в різних соціальних контекстах (різних аудиторіях). При цьому апробація тесту в статистично репрезентативному опитуванні також є необхідним кроком його нормалізації. Отримані в такому опитуванні результати окреслюють загальні рамки порівняння та інтерпретації результатів інших опитувань.

Говорячи про нормалізацію результатів, слід визнати її обмеженість стосовно соціологічних досліджень. По-перше, в соціологічних опитуваннях акцент робиться на узагальненні отриманих результатів, а не на оцінці індивідуальних показників, щоб визначити їх місце щодо показників генеральної сукупності (таке завдання вирішується, насамперед, у тестах оцінки здібностей). По-друге, цілий спектр соціальних якостей на противагу психологічним не підпорядкований нормальному закону. І справа тут не в низькій якості вимірювального інструменту, а історичних особливостях певних спільнот. По-третє, на думку П. Клайна, коли йдеться про наукове дослідження, статистичні норми є не настільки важливими [6, с. 214]. Крім того, є і методичний аргумент на користь низької релевантності нормалізації результатів. З огляду на вимогу компактності соціологічних тестів, інтервали їх можливих значень часто будуть досить «вузькими» порівняно з багатьма психологічними тестами. А це вносить свої обмеження при побудові досить точних інтервалів з використанням статистичної нормалізації.

Що стосується критеріальних рівнів, то дане питання є одним з найважливіших при розробці соціологічного тесту. Це пов'язано з рішенням двох взаємопов'язаних завдань соціологічного тестування. Перше - продемонструвати, що тест володіє диференціальним потенціалом. Наприклад, якщо показники використання певного тесту авторитаризму в групі звичайних респондентів мало відрізняються від відповідних характеристик крайніх анархістів і крайніх націоналістів, то критеріальних рівнів тест не має (як і не характеризується він критеріальною валідністю). Отже, для визначення критеріальних рівнів соціологічного тесту його автор повинен бути обізнаний про існування в суспільстві таких груп, які характеризуються низьким і (або) високим рівнем досліджуваної властивості, а також мати доступ до них. Це дозволить здійснити критеріальну нормалізацію тесту, що надасть можливість вирішення другого завдання - виокремлення рівнів у результатах тестування, що характеризують респондентів, з точки зору не тільки кількісних, але й якісних відмінностей.

Таким чином, поняття «норма» в соціологічному тестуванні недостатньо точно відображає суть відповідної методичної діяльності. Більш вдалим терміном у цьому випадку, на нашу думку, є поняття «критеріальний рівень», розуміючи під ним числове значення в підсумкових результатах тесту, яке маркує якісно відмінний стан респондента за досліджуваною характеристикою. Відмітними властивостями критеріального рівня є: 1) партикулярність у сенсі прив'язки до специфічних, з точки зору досліджуваної властивості, соціальних груп; 2) якісність, яка зазначає рівні виразності вимірюваної властивості; 3) дискримінативність як розділовий потенціал тесту.

Кейс-стаді: критеріальні рівні SCL-9-NR. Для презентації викладених положень звернемося до визначення критеріальних рівнів методики SCL-9-NR, що являє собою соціологічний тест для вимірювання психологічного дистресу в масових опитуваннях. Його конструювання та валідизація описані в нещодавніх публікаціях [10; 11]. В останній з них зазначаються два критеріальних рівні: 14 балів (підвищений рівень) і 18 балів (високий рівень). На момент написання цієї публікації зібрано значно більше емпіричних даних, придатних для уточнення критеріальних рівнів SCL-9-NR. Отже, розглянемо відповідні результати.

Масиви даних. Уточнення критеріальних рівнів здійснювалося за результатами п'яти опитувань (табл. 1). Вибірка онлайн-досліджень будувалася на підставі учасників комерційних опитувань компанії Factum Group. Початкова мета онлайн-досліджень полягала не в оцінці рівня дистресу в Києві або Львові, а у побудові досить гетерогенної вибірки, що дозволяє проаналізувати специфіку відповідей на тест SCL-9-NR Докладніше див.: [10].. У випадку дослідження пацієнтів з психіатричним діагнозом у Чернігові та Харкові були опитані всі згодні взяти участь у дослідженні. Єдиним критерієм відбору був діагноз (розлади настрою або афективні розлади; невротичні, пов'язані зі стресом і соматоформні розлади; розлади особистості та поведінки в зрілому віці) Про причини фокусування саме на цих групах пацієнтів див.: [11].. Що стосується соціологічного моніторингу «Українське суспільство», то його результати є репрезентативними щодо дорослого населення України (від 18 років і старше).

За даними наведених досліджень виокремлено шість груп респондентів, релевант- них, з точки зору уточнення критеріальних рівнів SCL-9-NR. До першої увійшли респонденти онлайн-опитувань 2015 р., до другої - респонденти онлайн-опитування 2016 р., до третьої - респонденти з психіатричним діагнозом, до четвертої - група респондентів, які оцінюють стан свого здоров' я, як поганий або дуже поганий (соціоло-гічний моніторинг), до п'ятої - група респондентів, які мешкали у зоні бойових дій на Донбасі (соціологічний моніторинг), до шостої - респонденти соціологічного моніторингу «Українське суспільство» крім тих, які проживали у зоні бойових дій. Останні були виключені з основного масиву, оскільки ця група з'явилась у нашому суспільстві нещодавно і за дуже короткий строк, а отже, є нехарактерною для його рівноважного стану, що спостерігався протягом років незалежності.

Рішення про поділ респондентів онлайн-досліджень на дві групи було прийнято тому, що рівень виразності психологічного дистресу в дослідженнях 2015 р. є дещо вищим, ніж у 2016 р. Про можливі причини такого розходження буде сказано нижче. Що стосується уваги до двох додаткових груп респондентів соціологічного моніторингу «Українське суспільство», то вона зумовлена нетипово високим рівнем психологічного дистресу в них.

У зазначених шести групах респонденти додатково ділилися на дві підгрупи за статтю, оскільки у всіх дослідженнях чоловіки демонстрували більш низькі показники тесту. Розподіл відповідно до вікових груп не проводився, тому що при контролі самооцінки стану здоров'я взаємозв'язок між віком і індексом психологічного дистресу зникав.

Таблиця 1. Дослідження, результати яких використані для визначення критеріальних рівнів SCL-9-NR

Примітка: ЧОПНЛ - Чернігівська обласна психоневрологічна лікарня; ХОКПЛ - Харківська обласна клінічна психіатрична лікарня.

Джерело: складено автором.

Характер розподілу індексу SCL-9-NR. Оскільки психологічний дистрес розглядається як природна властивість особистості, його розподіл повинен відповідати нормальному закону. Відповідно, аналіз рівнів психологічного дистресу було розпочато з оцінки характеру розподілу індексу SCL-9-NR. Для цього використовувався критерій Шапіро-Уілка, розрахований для підвибірок розміром 25 спостережень, відібраних по 1000 разів для кожної з шести зазначених груп респондентів Це зроблено через чутливість критерію до розміру вибірки. Гістограми самих розподілів не наво-дяться у статті, але доступні за: [12]. (табл. 2). За відповідними результатами, визначено кількість випадків, в яких приймається нульова гіпотеза (Пр > 0,05).

Отже, у всіх випадках, за винятком жінок, які проживали в зоні бойових дій, можна припустити нормальний розподіл індексу. Щодо єдиної групи, де цей висновок неприйнятний, то суттєве відхилення від нормальності пов'язане не з нечутливістю методики, а з нетипово важкою соціальною ситуацією, яка призводить до підвищеного психологічного дистресу.

Таблиця 2. Результати використання критерію Шапіро-Уілка для 1000 підвибірок розміром 25 спостережень, пр > 0,05, %

Примітка: ЧОПНЛ - Чернігівська обласна психоневрологічна лікарня; ХОКПЛ - Харківська обласна клінічна психіатрична лікарня.

Джерело: складено автором.

Рівні виразності психологічного дистресу в різних групах респондентів. Перш ніж перейти до аналізу рівнів психологічного дистресу в різних групах, необхідно позначити ті спостереження, що були виключені з аналізу. До таких належать респонденти, які показали мінімально або максимально можливі значення SCL-9-NR: 0 або 27 балів. В обох випадках є припущення про нещирість відповідних спостережень, яке базується на двох аргументах.

По-друге, максимальна виразність за всіма симптоматичними вимірами не була виявлена серед респондентів з психіатричним діагнозом. З огляду на це, робиться припущення, що результат з максимально можливим значенням 8ЄЬ-9-КЯ є настільки малоймовірною подією, що нею можна знехтувати.

У цілому показники психологічного дистресу для різних груп респондентів (табл. 3) відповідають теоретичним очікуванням. Черговість груп впорядкована відповідно до рівня виразності психологічного дистресу в них.

Єдиною групою, яка не потрапила в рамки початкових теоретичних очікувань, є респонденти онлайн-дослідження у 2016 р. Їх результати є значно ближчими до результатів соціологічного моніторингу «Українське суспільство», ніж до результатів онлайн-дослідження у 2015 р. Спочатку передбачалося, що при онлайн-опитуванні респонденти будуть більш щирими і це спричинить отримання більш високих значень 8ЄЬ-9-КЯ. Якщо розглядати частотні розподіли (рис. 1, 2), то це припущення частково підтвердилося. Проте відповідно до медіанного значення, спосіб самозаповнення (друкованої або онлайн-анкети) не пояснює відмінність між результатами онлайн- опитувань у 2015 р. і в моніторинговому дослідженні.

Найбільш логічним поясненням такої ситуації автор вбачає у впливі календарного часу опитування. У 2015 р. респонденти проходили опитування в кінці листопада і на початку грудня, а в 2016 р. - в травні (онлайн-дослідження) і червні (соціологічний моніторинг). Можливо, саме загальний емоційний стан в кінці року і в кінці весни - на початку літа пояснює ці відмінності.

Таблиця 3. Показники SCL-9-NRдля чоловіків і жінок у різних дослідженнях