Сравнительная оценка качества данных офлайн- и онлайн-опросов

Размещено на http://www.allbest.ru/

Сравнительная оценка качества данных офлайн- и онлайн-опросов

Д.В. Шкурин

Аннотация

В статье проводится сравнительный анализ эффективности онлайн- и офлайн-методов сбора данных на основе результатов крупного общероссийского опроса "Современное российское студенчество о Великой Отечественной войне", охватившего свыше четырех с половиной тысяч студентов из более чем 60 российских вузов. Анализируются особенности заполнения анкет с открытыми вопросами, вопросами с множественным выбором, содержательно сопоставляются результаты ответов оффлайн- и онлайн-информантов по обычным вопросам, проводится сравнительный анализ качества данных по множеству параметров методом "скользящего экзамена". Сравнительный анализ оффлайн- и онлайн-анкет позволил выяснить, что онлайн-анкеты информантами заполнены более качественно и более содержательно (ответы на открытые вопросы развернуты, больше ответов дается на вопросы с множественным выбором ответа). Вместе с тем при заполнении онлайн-анкет респонденты чаще отказывались от продолжения участия в опросе, чаще обращались к дополнительным источникам информации и содержательно их ответы по ряду вопросов отличаются от ответов оффлайн-информантов. В статье анализируются причины этих различий и делаются выводы о необходимых коррекциях социологического инструментария в случае проведения исследования методом онлайн-опроса.

Ключевые слова: технологии сбора данных, онлайн-опросы, CAWI, сравнительный анализ, методическое исследование, оценка качества данных, скользящий экзамен анкета социологический опрос

В настоящее время в зарубежной и отечественной социологи все более широкое распространение получают онлайн-опросы - к этой технологии прибегают как крупные исследовательские центры, занимающиеся опросом общественного мнения, так и частные организации, изучающие удовлетворенность своих клиентов или мотивацию персонала. Распространение различных платных и бесплатных сервисов онлайн-опросов сделало их доступными любым исследователям с любым бюджетом. Возможности онлайн-опросов позволяют существенно экономить время, средства и человеческие ресурсы, что делает эти технологии достаточно эффективными и позволяют достичь результата быстрее, чем традиционными методами. Но, подобно другим социологическим технологиям, онлайн-опросы обладают определенными достоинствами и недостатками, которые делают невозможным их универсальное применение во всех сферах, где используется метод опроса 1.

Рассмотрим, как влияет технология сбора данных (онлайн или оффлайн) на примере исследования, проводимого Российским обществом социологов 2 (РОС) под научным руководством профессора Ю.Р. Вишневского, "Российское студенчество о Великой Отечественной войне", третья волна которого охватила свыше четырех тысяч пятисот студентов из более чем 60 вузов России 3. На сайте РОС были опубликованы как "бумажный" вариант анкеты (для скачивания и распечатки), так и ссылка на электронный вариант для онлайн-опроса. Исследователям в каждом вузе предоставлялся выбор, по какой технологии они будут проводить опрос 4. Всего было собрано 1 396 анкеты с помощью интернет-сервера и 3 358 анкеты с помощью традиционного "бумажного" анкетирования, что позволило сделать некоторые методические сравнения и выводы. Наиболее важные различия между оффлайн- и онлайн-анкетами проявились в следующем.

Бумажные анкеты оказались значительно более заполненными - интервьюеры проверяли факт, что опрашиваемые доходили до конца анкеты и сам факт личного контакта мотивировал респондентов на полное заполнение. Вместе с тем респонденты часто пропускали один из четырех сложных открытых вопросов в начале анкеты (Полководцы/ Битвы/ Песни / Художественные произведения о ВОВ), возможно, надеясь вернуться к нему позже. При онлайн-опросе респонденты иногда просто прекращали заполнение анкеты (20% не дошли до конца опроса), причем вероятность того, что они сделают это на открытом вопросе, была в среднем в 3-4 раза выше, чем на обычном опросе. Если иметь в виду фактор утомляемости, то ближе к концу опроса число выходов должно быть больше по причине усталости. Мы же наблюдаем обратную картину - студенты, ответившие на существенное количество вопросов, в том числе "трудных" открытых вопросов в начале анкеты, были заинтересованы в том, чтобы их труд не пропал, то есть старались дойти до конца анкеты. Получается, что в онлайн-опросах, так же как и в традиционных, необходимо наращивать сложность вопросов постепенно, отодвигая наиболее сложные вопросы ближе к концу анкеты. Отличия здесь от традиционных опросов в том, что при "бумажном" анкетировании респондент может пропустить сложные вопросы в начале и вернуться к ним потом или интервьюер может заметить низкую заполняемость анкеты и попросить ответить на пропущенные вопросы. В ситуации с онлайн-опросом это невозможно, поскольку порядок вопросов важен для правильного определения переходов.

Студенты, заполнявшие онлайн-анкету, давали более подробные ответы на открытые вопросы и на вопросы с множественным выбором, чем те, кто заполнял бумажную версию онлайн-анкеты - респонденты в среднем указывали больше на одного полководца, на одну битву, на одну песню и другое художественное произведение. Ответы студентов, заполнявших анкету по ссылке, оказались и более подробными - они чаще указывали не просто фамилии, а ФИО полководцев, полные названия песен, фильмов, книг и т. д. с уточнением авторов. Причин повышенной информированности две: студенты, заполнявшие электронный вариант анкеты, имели возможность отвечать в более спокойной обстановке и имели больше времени подумать, чем студенты в ситуации с "бумажным" опросом, когда интервьюер ждет, пока студент заполняет анкету. Еще одной причиной является то, что, заполняя анкету по ссылке, студент находился рядом с компьютером и мог параллельно заглянуть в различные интернет-энциклопедии и просто копировать/вставить в анкету ФИО полководцев, названия произведений и битв. Таким образом, ответы на вопросы онлайн-анкеты являются менее спонтанными и меньше соответствуют задумке авторов опроса - выяснить те фамилии и названия, которые пребывают в памяти студентов, поскольку заполнявшие анкету по ссылке могли подглядывать информацию в сети Интернет. Но поскольку и на вопросы с множественным выбором в случае онлайн-опроса студенты дают больше ответов, чем те, кто заполнял "бумажную" версию анкеты, то можно сделать вывод, что студенты, заполнявшие электронную анкету, могли обращаться к сети Интернет не столько за тем, чтобы вспомнить фамилию или название, сколько чтобы правильно их записать. Исходя из этого можно дать рекомендацию тем исследователям, которые проводят онлайн-опросы: в тех случаях, когда нужно замерить именно то, что находится в памяти респондента, необходимо дополнять такие вопросы инструкциями типа: "пожалуйста, запишите название так, как вы его помните, никуда не подглядывая". Можно также технически заблокировать возможность вставки в текстовое поле вопроса.

Было проведено также и содержательное отличие ответов онлайн- и оффлайн-респондентов на вопросы анкеты. В целом различия были небольшие (самый высокий коэффициент корреляции составил всего 0,130 по шкале от 0 до 1). Тем не менее, в ряде случаев вероятность ошибки (определенная с помощью критерия Хи-квадрат) составила менее 0,05, это свидетельствует о том, что данные различия нельзя просто списать на погрешность выборки. Содержательно это проявилось в том, что студенты, заполнявшие онлайн-версию анкеты, реже смотрят телевизор, и, соответственно, меньше знакомы с современными телесериалами и фильмами о войне. Следовательно, общность респондентов, доступная для онлайн-опросов, до сих пор имеет определенные особенности, несмотря на постоянное расширение российской интернет-аудитории и широкое проникновение Интернета в современную студенческую среду.

Данные, собранные с помощью онлайн-исследования практически исключают влияние интервьюера. Мы проверили качество данных рядом тестов и в итоге провели комплексную оценку - скользящий экзамен, состоящий в том, что каждый пакет данных (полученных из разных вузов) изымался из выборки и качество выборки оценивалось без этого пакета 5. По результатам серии тестов выяснилось, что есть много пакетов более качественных, чем онлайн-данные, но также есть ряд пакетов очень некачественных - налицо грубая работа интервьюеров, и данные этих пакетов очень сильно отличаются от всего массива, многие анкеты очень похожи, табличные вопросы заполнены очень монотонно, подозрительно высокое или подозрительно низкое число ответов на вопросы с множественным выбором и т. п. Таким образом, качество онлайн-данных не зависит от интервьюера, а, следовательно, при условии использования качественного инструмента, возможны только случайные, а не систематические искажения результатов.

В целом, соглашаясь с выводами, приведенными в статье С.И. Некрасова 6, о том, что продумав стратегию исследования можно добиться с помощью онлайн-опросов тех же результатов, что и с помощью традиционных методов, мы хотим отметить, что и традиционные методы не всегда достаточно эффективны, поскольку не всегда соблюдаются все необходимые процедуры контроля качества данных.

Литература

1. Девятко И.Ф. Онлайн исследования и методология социальных наук: новые горизонты, новые (и не столь новые) трудности // Онлайн исследования в России 2.0: Сборник статей. М., 2010. С. 17-30.

2. Российское общество социологов. [Электронный ресурс]. URL: http://www.ssa-rss.ru/ (дата обращения: 03.09.2015 г.).

3. Публикации РОС. [Электронный ресурс]. URL: http://www.ssa-rss.ru/index.php?page_id=40 (дата обращения: 03.09.2015 г.).

4. Шкурин Д.В. Технологии сбора и обработки данных по проекту "Российское студенчество о Великой Отечественной войне" // Война была позавчера… / Сб. статей Материалы мониторинга "Современное российское студенчество о Великой Отечественной войне". Екатеринбург, 2015. С. 84-89.

5. Мартышенко Н.С., Мартышенко С.Н., Кустов Д.А. Многомерные статистические методы повышения достоверности маркетинговых данных // Практический маркетинг. 2007. № 1. С. 20-30.

6. Некрасов С.И. Сравнение результатов онлайн- и оффлайн-опросов (на примере анкет разной сложности) // Социология: 4. М. 2011. № 32. С. 53-74.

Размещено на Allbest.ru