Час відповіді респондента на запитання як фактор оцінки якості даних

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Час відповіді респондента на запитання як фактор оцінки якості даних

Микола Сидоров - кандидат фізико-математичних наук, доцент,

Київський національний університет імені Тараса Шевченка

Комп'ютерні засоби анкетування уможливили фіксацію часу відповідей на запитання як додаткового фактора оцінки їх якості. У межах статті запропоновано підхід до оцінювання якості відповіді на запитання за допомогою оцінювання порогових значень часових характеристик відповідей на віньєтки в он-лайн-опитуванні, здійсненому із застосуванням факторіального дизайну в програмі R. Для цього використано відповіді на серію з п'яти віньєток з описом складних експериментальних ситуацій і мінімальним їх прочитанням за 10 секунд, отримані під час суцільного опитування студентів факультету соціології Київського національного університету імені Тараса Шевченка в онлайн-оболонці LimeSurvey (2015).

Побудову та аналіз довірчого інтервалу за варіаційним рядом або довірчого інтервалу для медіани застосовано як метод статистичного усунення викидів. Відмінність між моделлю, побудованою для вказаного часового інтервалу, і загальною повною моделлю не є надто великою. Значущу відмінність між розподілом часу простежено лише між першою віньєткою та всіма іншими: віньєтки є однотипними, тому час витрачається на побудову розуміння експериментальної ситуації лише для першої віньєтки, а всі інші вже сприймаються «за аналогією». Наповненість часових інтервалів за статтю показує, що частка жінок, які дали швидку відповідь, із кожною наступною віньєткою зменшується, а чоловіків - навпаки, збільшується. Імовірно, чоловіки менш ретельно ставляться до завдань, їм швидше набридає читати віньєтки зі схожими експериментальними ситуаціями.

Обумовленість часу відповіді на запитання іншими факторами - структура та складність запитання, особисті якості респондента тощо - потребує додаткових досліджень, зокрема із застосуванням регресійного аналізу.

Ключові слова: гіпотези про рівність медіан, довірчий інтервал для медіани, парадані, віньєтки, он-лайн-опитування, часові мітки.

Sydorov Mykola. Respondent's Answering Time for Question as a Factor of Data Quality Estimation. Computer assisted tools for survey conduction enabled a record a lot of additional information, such as questions answering time as an additional factor to assess data quality. Within the article, the author offers an approach to evaluate the quality of data by evaluating thresholds of temporal characteristics of responses to vignettes in an online poll created with factorial design in program R. We used for this answers to a series of five vignettes describing complex experimental situations and minimal their reading in at least 10 seconds, obtained in a solid survey of students of sociology faculty, Taras Shevchenko National University of Kyiv in on-line shell LimeSurvey (2015).

Construction and analysis of the confidence interval for the sample or the confidence interval for median author used as statistical method for eliminating the outliers. The difference between the model constructed for a specified time interval, and total full model is not too large. Significant difference between the distribution time is observed only between 1st and all other vignettes: vignettes are homogeneous, so the time spent on building understanding experimental situation only for 1st vignette, and everyone else has seen «by analogy». Fullness of time intervals by gender shows that the proportion of women who gave a quick response, with every vignette is reduced, man, on the contrary - are increasing. Perhaps men are less closely to the tasks they become more bored to read vignettes with similar experimental situations.

Because the answer time of question depend of a lot of different factors - the structure and complexity of the questions, the personal qualities of the respondent, etc. - require additional research, including using regression analysis.

Key words: median equality test, median confidence inerval, paradata, vignette, online survey, timestamps.

Сидоров Николай. Время ответа респондента на вопрос как фактор оценки качества данных.

В рамках статьи предлагается подход к оценке качества ответа на вопрос путем оценки пороговых значений временных характеристик ответов на виньетки с описанием сложных экспериментальных ситуаций в он-лайнопросе, проведенном с использованием факториального дизайна в программе R при сплошном опросе студентов- социологов Киевского национального университета имени Тараса Шевченко (2015).

Построение и анализ доверительного интервала для вариационного ряда или доверительного интервала для медианы применяются нами как метод статистического устранения выбросов. Значимое различие наблюдается не между общей моделью и моделью без выбросов, а между распределением времени для первой виньетки и остальных. Наполненность временных интервалов зависит также от пола респондента.

Ключевые слова: гипотезы о равенстве медиан, доверительный интервал для медианы, параданные, виньетки, он-лайн-опросы, временные метки.

Постановка наукової проблема та її значення

фіксація час якість анкетування

Одним із найпоширеніших методів збору соціологічної інформації є анкетування. Причому може йтися як про паперові версії анкети, так і про електронні, що останнім часом набувають усе більшого поширення. Серед причин, що впливають на якість отриманої інформації, із-поміж інших є також щирість респондента та його уважність під час читання запитань анкети, тобто наскільки респондент правильно прочитав та зрозумів запитання й дав на нього відповідь або ж наскільки уважно захотів це зробити.

Одним із показників такої «уважності» може виступати час, витрачений респондентом на конкретне запитання. Зрозуміло, що кожен досліджуваний, унаслідок особистих характеристик може швидше чи повільніше «реагувати» на запитання та давати відповідь, відволікатися під час опитування, але, аналізуючи час на однотипні або однакові за структурою й складністю запитання, можна зробити певні оцінки щодо якості відповідей.

І якщо під час проведення паперових опитувань, інтерв'юер, як правило, фіксував лише час, затрачений на все опитування респондента, то з появою електронних засобів анкетування можна фіксувати й час на відповідь на кожне запитання окремо, що являє собою парадані опитування. Тобто надзвичайно актуальною є розробка рекомендацій для визначення порогових значень часових характеристик.

Мета роботи полягає в тому, аби з'ясувати, яким чином можна оцінити порогові значення часових характеристик та визначити, чи існують відмінності за статтю між часовими характеристиками відповідей на віньєтки в он-лайн-опитуванні, здійсненому із застосуванням факторіального дизайну.

Аналізу часових характеристик відповідей у світовій літературі приділяли увагу такі науковці, як Дж. Бассілі й Дж. Флетчер [3], С. Драйсма та В. Дейкстра [4], Н. Малхотра [8], Т. Ян і Р. Туранжо [11], Ф. Круетер [6] та ін. У більшості робіт розглянуто часові характеристики відповіді на повний опитувальник, аналіз складності запитання, визначення часу його сприйняття й часу відповіді на нього та ін. Дослідження стосувалися переважно простих запитань. Ми ж у цій праці розглянемо підхід до оцінювання часових характеристик відповіді на експериментальні ситуації.

Виклад основного матеріалу та обґрунтування отриманих результатів дослідження

Із появою комп'ютерних засобів анкетування, таких як LimeSurvey [7], можливості фіксації часу відповідей на запитання дали ще один фактор оцінки їх якості. У 2014 р. ми проводили пілотажне опитування студентів факультету соціології щодо утворення дружніх стосунків [1], а у 2015-му - їх суцільне опитування в он-лайн-оболонці LimeSurvey з використанням факторіального дизайну. Про саму технологію здійснення таких опитувань уже йшлось у, наприклад, [2]. Анкета такого опитування складається з двох частин: постійної, у якій для кожного респондента наведено однаковий набір запитань, та мінливої, тобто частини, у якій задаються самі віньєтки, різні для кожного респондента.

У нашому дослідженні кожен респондент отримував у мінливому блоці по п'ять однотипних віньєток, у яких мінялися рівні вимірів. Прикладом такої мінливості були віньєтки:

В1. Вам запропонували роботу за фахом у невеликій приватній українській компанії без можливості підвищення кваліфікації та власного досвіду, із хорошими можливостями кар'єрного зростання. Пропонується офіційне працевлаштування з повним соціальним пакетом й офіційною зарплатою Графік роботи - повний робочий день в офісі. Офіс організації розміщений поруч із місцем проживання (до 20 хв). Вам пропонують зарплату до 2000 грн на місяць.

В2. Вам запропонували роботу не за фахом у великій приватній українській компанії з можливістю підвищення кваліфікації та власного досвіду, без можливості кар'єрного зростання. Пропонується неофіційне працевлаштування. Графік роботи - повний робочий день із можливістю роботи за межами офісу. Офіс організації розміщений поруч із місцем проживання (до 20 хв). Вам пропонують зарплату від 4001 до 7000 грн на місяць.

Тобто в побудові віньєток використано вісім вимірів із різною кількістю рівнів. Оскільки формулювання віньєтки має описати експериментальну ситуацію, перерахувавши рівні всіх її вимірів, то конструкт такої експериментальної ситуації досить складний. Навіть щоб прочитати вперше текст віньєтки, потрібно витратити близько 10 секунд. Крім того, для того, аби респондент зміг у голові змоделювати цю ситуацію та дати відповідь на запитання, йому потрібно ще кілька секунд.

Зрозуміло, що коли респондент відповідає на другу за чергою віньєтку, яка є однотипною з першою, лише має інші виміри, час відповіді на неї зростає. Це видно з рис. 4 додатка, на якому зображені п'ятиточкові характеристики часу відповідей на п'ять віньєток, запропонованих кожному з респондентів. Легко побачити, що час відповідей на кожну з віньєток має викиди. Це, найімовірніше, пов'язано з тим, що респонденти або відволікалися під час опитування, або ж припиняли його тимчасово й продовжували пізніше. Усі ці викиди стосуються великого часу відповіді на віньєтки (рис. 4, додаток), а максимальні значення часу відповіді є досить великими (табл. 2, додаток).

Потрібно зазначити, що проблемою «занадто великого» часу відповіді на запитання, як і питаннями багатозадачності респондентів та її класифікації, займалися також інші науковці [5; 10]. Але ми розглядатимемо лише відповіді із «занадто малим» часом відповіді на запитання. Тому для зручності позбудемося спочатку викидів. Це дасть нам можливість більш компактно будувати графіки та оперувати характеристиками. Статистичні характеристики даних із викидами й без наведено в табл. 2 та 3 додатка.

У R, як і в інших статистичних пакетах, викиди визначаються таким чином: усе, що міститься вище на 1,5 міжквартильних розмахів за третій та нижче на 1,5 міжквартильних розмахів за перший квартиль, тобто все, що перебуває за межами «зовнішніх границь» набору даних, відносять до викидів.

П'ятиточкові характеристики часу розподілу часу відповідей на віньєтки наведено на рис. 1.

Рис. 1. Розподіл часу відповіді на п'ять віньєток без викидів

Гістограми розподілу часу відповідей на віньєтки наведено на рис. 4 додатка. Із рис. 1 та додатка (табл. 3 і рис. 4) навіть візуально видно, що значуща відмінність між розподілом часу є лише між першою віньєткою й усіма іншими. Для нашого випадку перевірка гіпотези про збіг середніх не є показовою, оскільки ми видалили викиди й середнє змінилося (табл. 2 та 3 додатка). Крім того, самі розподіли не є нормальними через наявність правого скосу (щільність розподілів показано на рис. 4 додатка), тому можна перевіряти гіпотезу про поведінку медіан за допомогою критерію Манна- Уітні для непарних вибірок (критерій Уілкоксона для парних вибірок тут теж не можна застосовувати через видалені викиди та невідповіді). Під час перевірки гіпотези про збіг медіан між 1- та 2-ю віньєтками отримаємо p-value=2.2E-16, а при альтернативній гіпотезі - що в 2-й віньєтці медіана менша - p-value=1. Це можна пояснити тим, що віньєтки є однотипними й насправді час здебільшого витрачається на побудову розуміння експериментальної ситуації лише для першої віньєтки, а всі інші вже сприймаються «за аналогією».

Але якщо розглянути мінімальний час відповіді на віньєтки, то він складає 4.17, 2.80, 3.12, 2.36 та 4.31 секунди на кожну відповідно, що ніяк не може бути пояснено аналогіями, бо навіть прочитати сам опис ситуації й проаналізувати відмінності в рівнях вимірів віньєток протягом цього часу не є можливим. Це означає, що частина респондентів навіть не читає запитання, а зразу дає відповідь. Тобто дуже малі значення часу відповіді означають, що запитання не прочитане та відповідь на нього можна вважати похибкою чи викидом.

Оскільки викиди присутні із боку як мінімальних, так і максимальних значень часу відповіді на запитання, і вплив на зміну середнього мають саме великі значення, то є сенс розглядати як метод статистичного усунення викидів побудову довірчого інтервалу варіаційного ряду або довірчого інтервалу стосовно медіани, а не стосовно вибіркового середнього.

У цій роботі ми побудуємо довірчий інтервал за варіаційним рядом із довірчою ймовірністю 0,95.

Отже, інтервал, у який потрапляє 95 % вибірки, тобто вибіркові квантилі 0,025 та 0,975, для нашої вибірки є [7,477; 85,538). Вибіркове середнє, отримане з цієї «обрізаної» вибірки, називається обрізаним середнім (trimmed mean) і має значення для кожної з віньєток 37.796, 21.69, 20.2, 18.6 та 18.88 відповідно. Саме на такі, обрізані середні, є сенс звертати увагу під час аналізу часу відповіді на запитання [9; 12].

Якщо порівняти модель, побудовану для вказаного часового інтервалу, із загальною повною моделлю, то в нашому прикладі виявиться, що відмінність між ними не буде великою, на відміну від «видалених» фрагментів (рис. 5 додатка).

Одним із пояснювальних факторів часу відповіді може виступати стать. Графік медіан часу відповіді за статтю має такий вигляд.

Рис. 2. Розподіл медіан за статтю для різних віньєток

Але знання медіан не дає повної інформації - потрібно розглянути «наповненість» інтервалів, що включає верхню й нижню частки по 2,5 та 95 % довірчий інтервал, побудований за варіаційним рядом (рис. 2). Розглянемо розподіл за статтю в інтервалах щодо кожної з п'яти віньєток (рис. 3).

Тобто частка жінок, котрі дали швидку відповідь, із кожною наступною віньєткою зменшується. Це можна пояснити або тим, що чоловіки, імовірно, менш ретельно ставляться до завдань, їм швидше набридає читати віньєтки або схожі експериментальні ситуації.

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Цікаво, Д. Гервег [5] за результатами свого дослідження стверджує, що на швидкість відповіді впливає, крім інших показників, таких як довжина запитання, складність і т. ін., упевненість у своїй думці, стабільність настанов: люди, які мають чіткі переконання, швидше відповідають на запитання, а ті, хто не має однозначної відповіді на поставлене запитання, вагаються й відповідають довше.

Таблиця 1 Частка жінок в інтервалах

Побудова та аналіз довірчого інтервалу за варіаційним рядом дає можливість відфільтровувати викиди, але не прогнозувати істинне значення медіани й середнього через те, що, з одного боку, на це впливають як структура та складність запитання, а з іншого - особисті якості самого респондента. Для оцінки часу можна використовувати регресійні моделі, але час відповіді не розподілений за нормальним законом, тому доведеться або використовувати медіанну регресію, або використовувати логарифм часу відповіді.

Висновки та перспективи подальших досліджень. У цьому дослідженні ми проаналізували час відповідей на серію з п'ять віньєток. Медіана часу відповіді на першу віньєтку та на інші відрізняється, оскільки під час першої час респондента витрачається на побудову моделі самої експериментальної ситуації, а для інших ця модель просто використовується як схема підстановки різних рівнів вимірів.

Результат, отриманий для респондентів, час відповіді яких потрапляє до 95 % довірчого інтервалу варіаційного ряду, близький до загального, на відміну від тих, що отримані на зовнішніх півінтервалах. Систематичної значущої відмінності між часом відповідей чоловіків та жінок із нашого експерименту не виявлено. Можливо, так вийшло через непропорційну аудиторію (на факультеті соціології дівчат значно більше, ніж хлопців).

Розвитком досліджень стосовно часу та надійності відповіді можуть виступати спроби побудувати регресійні моделі, де залежною змінною виступатиме логарифм від часу відповіді, а серед незалежних для першої віньєтки - показники складності віньєтки й особисті характеристики респондента, отримані з інформації про час його відповіді на інші запитання анкети.

Джерела та література

1. Марченко А. М. Методичні особливості реалізації експериментального дизайну в опитуванні (на прикладі пілотного дослідження ролі ідеологічних чинників у дружніх стосунках) / А. М. Марченко, М. В.-С. Сидоров // Методологія, теорія та практика соціологічного аналізу сучасного суспільства. - - Вип. 20. - C. 116-122.

2. Сидоров М. В.-С. Використання LimeSurvey для онлайн реалізації факторіального дизайну в опитуваннях / М. В.-С. Сидоров, О. С. Середа, О. М. Мраморнова // Актуальні проблеми соціології, психології, педагогіки. - - Вип. 4 (29). - C. 134-141.

3. Bassili J. N. Response-Time Measurement in Survey Research a Method for CATI and a New Look at Nonattitudes / J. N. Bassili, J. F. Fletcher // Public Opinion Quarterly. - 1991. - Vol. 3, No. 55. - P. 331-346.

4. Draisma S. Response Latency and (Para)Linguistic Expressions as Indicators of Response Error / S. Draisma, W. Dijkstra // Methods for Testing and Evaluating Survey Questionnaires / S. Presser [et al.]. - Hoboken; New Jersey: John Wiley and Sons, Inc, 2004. - P. 131-147.

5. Heerwegh D. Explaining response latencies and changing answers using client-side paradata from a web survey / D. Heerwegh // Social Science Computer Review. - 2003. - No. 21. - P. 360-373.

6. Kreuter F. Improving surveys with paradata: analytic uses of process information. Joint Program in Survey Methodology / F. Kreuter; University of Maryland, Institute for Employment Research, Nuremberg Ludwig Maximilian University. - Munich; Wiley, 2013. - 418 p.

7. LimeSurvey. The most popular Free Open Source Software survey tool on the web [Electronic resourse]. -- Mode of access: https://www.limesurvey.org/

8. Malhotra N. Completion Time and Response Order Effects in Web Surveys / N. Malhotra // Public Opinion Quarterly. - 2008. - Vol. 5, No. 72. - P. 914-934.

9. Ratcliff R. Methods for dealing with reaction time outliers / R. Ratcliff // Psychological Bulletin. - 1993. - No. 114. - P. 510-532.

10. Sendelbah A. Investigating respondent multitasking in web surveys using paradata / A. Sendelbah, V. Vehovar, A. Slavec, A. Petrovcic // Computers in Human Behavior. - 2016. - No. 55. - P. 777-787.

11. Yan T. Fast Times and Easy Questions: The Effects of Age, Experience and Question Complexity on Web Survey Response Times / T. Yan, R. Tourangeau // Applied Cognitive Psychology. - 2008. - Vol. 1, No. 22. - P. 51-68.

12. Zandt van, T. (2002). Analysis of response time distributions / T. van Zandt // Stevens' handbook of experimental psychology. - 3 rd ed., Vol. 4: Methodology in experimental psychology / J. Wixted, H. Pashler. - New York: John Wiley and Sons, Inc, 2002.

References

1. Marchenko, A. M., Sydorov, M. V.-S. (2014), Methodical Specificity of Factorial Surveys (on the example of pilot study of the role of ideological issues in friendships), Methodology, Theory and Practice of Sociological Analysis of Contemporary Society, Issue 20, Pp. 116-122.

2. Sydorov, M. V.-S., Sereda, O. S., Mramornova, O. M. (2015), Use of LimeSurvey for Online Implementation of Factorial Design in Surveys, Topical Issues of Sociology, Psychology and Pedagogy, No. 29, Vol. 4, Pp. 134-141.

3. Bassili, J. N., Fletcher, J. F. (1991), Response-Time Measurement in Survey Research a Method for CATI and a New Look at Nonattitudes, Public Opinion Quarterly, Vol. 55, No. 3, Pp. 331-346.

4. Draisma, S., Dijkstra, W. (2004), Response Latency and (Para)Linguistic Expressions as Indicators of Response Error, Methods for Testing and Evaluating Survey Questionnaires, S. Presser... [et al.], John Wiley and Sons, Inc., Hoboken, New Jersey, Pp. 131-147.

5. Heerwegh, D. (2003), Explaining response latencies and changing answers using client-side paradata from a web survey, Social Science Computer Review, No. 21, Pp. 360-373.

6. Kreuter, F. (2013), Improving surveys with paradata: analytic uses of process information, Joint Program in Survey Methodology, University of Maryland, Institute for Employment Research, Nuremberg Ludwig Maximilian University, Munich, Wiley, 418 p.

7. LimeSurvey (2016), The most popular Free Open Source Software survey tool on the web, https://www.limesurvey.org/

8. Malhotra, N. (2008), Completion Time and Response Order Effects in Web Surveys, Public Opinion Quarterly, No. 72, Vol. 5, Pp. 914-934.

9. Ratcliff, R. (1993), Methods for dealing with reaction time outliers, Psychological Bulletin, No. 114, Pp. 510-532.

10. Sendelbah, A., Vehovar, V., Slavec, A., Petrovcic, A. (2016), Investigating respondent multitasking in web surveys using paradata, Computers in Human Behavior, No. 55, Pp. 777-787.

11. Yan, T., Tourangeau, R. (2008), Fast Times and Easy Questions: The Effects of Age, Experience and Question Complexity on Web Survey Response Times, Applied Cognitive Psychology, No. 22, Vol. 1, Pp. 51-68.

12. Zandt van, T. (2002), Analysis of response time distributions, Stevens' handbook of experimental psychology, 3rd ed., Vol. 4: Methodology in experimental psychology, J. Wixted, H. Pashler, New York: John Wiley and Sons, Inc.

Додатки

Рис. 4. Час відповіді на 5 віньєток

Таблиця 2

Узагальнені дані розподілу часу відповіді на віньєтки з викидами

Таблиця 3

Узагальнені дані розподілу часу відповіді на віньєтки без викидів

Таблиця 4

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Размещено на Allbest.ru