Подводные камни полевых исследований

Размещено на http://www.allbest.ru/

1

Реферат

на тему: «ПОДВОДНЫЕ КАМНИ ПОЛЕВЫХ ИССЛЕДОВАНИЙ»

Введение

Маркетинговые исследования - это, пожалуй, самая мифологизированная отрасль маркетинга. К результатам исследований часто относятся как к откровению и ссылаются на них как на непреложные истины. Но порой маркетологи сталкиваются с неприятной ситуацией: проведя комплекс маркетинговых исследований (добившись - часто не без труда - согласия на их финансирование), они получают результаты, ценность и достоверность которых вызывает серьезные сомнения.

Риск при проведении исследований складывается, по большому счету, из нескольких следующих факторов:

· риск гипотезы;

· риск выбора подрядчика;

· риск разработки проекта исследования;

· риск полевых работ;

· риск неверной интерпретации результатов;

· риск утечки информации;

· риск принятия решений на основании информации исследований.

Что такое цели исследования?

Информация - грозное оружие в современном мире. Но, покупая оружие, надо знать, как его использовать. Любой исследовательский проект ad hoc должен быть направлен на проверку гипотез. Перед началом проекта компания должна представлять, какие сценарии ее деятельности на рынке будут запущены после получения той или иной информации.

Предположим, компания является производителем макарон. Гипотеза компании - если делать макароны длиной от 1 м, они будут пользоваться колоссальным спросом. Возможности компании позволяют производить такого рода продукт. Исследовательский проект в этом случае должен подтвердить или опровергнуть данную гипотезу. Результаты проверки гипотезы включают три сценария - производство нового продукта стартует, о производстве нового продукта забывают навсегда, или проект откладывается на неопределенное время.

Принято считать, что качественные исследования - в отличие от количественных - не столько проверяют гипотезы, сколько способствуют их рождению. Однако, не имея вектора «снятия» информации, маркетолог рискует заблудиться в дебрях потребительского сознания, которое менее всего ориентировано на генерацию новых идей. Сознание потребителя отзывается на стимулы, а если нет стимулов - нет идей. Идеи рождаются вследствие провокации исследователей, и чем ярче выражен вектор провокации, тем отчетливей реакция потребителя.

Попробуем смоделировать два варианта развития глубинных интервью.

Первый - нейтральный. Наш производитель макарон пытается выяснить у потребителя, не хочется ли ему чего-нибудь «этакого»?

«Модератор. Скажите, если говорить о макаронах, вы не испытываете желания попробовать что-нибудь новенькое?

Респондент. Макароны? Трудно сказать... Что вообще можно сказать о макаронах? Ну, разве что качество пусть будет получше. И цена поменьше».

Потребителю нечего сказать о макаронах. Потому что производителю не о чем спросить. Второй - провоцирующий. Производитель преподносит свою идею и пытается понять, как к его гипотезе отнесется потребитель.

«Модератор. Скажите, а для вас важна длина макарон?

Респондент. Ну, длина... Вообще, настоящие спагетти должны быть длинные.

Модератор. Длинные - это сколько?

Респондент. Вот столько. Сантиметров двадцать, может быть.

Модератор. А вы купили бы макароны длиной в один метр?

Респондент. Метр?!

Модератор. Да, не менее одного метра?

Респондент. А что с ними делать? Как я их буду готовить? Они и на кухне у меня не поместятся никуда... И из магазина их нести неудобно...

Модератор. Вы сказали, что настоящие спагетти должны быть длинные. Какой длины спагетти вам было бы удобно покупать?

Респондент. Ну, максимум - сантиметров двадцать-тридцать».

Если есть стимулы, которые провоцируют реакцию, потребитель даст вашей гипотезе «сигнал светофора». Красный или зеленый - это другой вопрос.

Без гипотез, которые жизненно важны для заказчика, у исследовательского проекта нет ценности. И сколь бы качественно ни было проведено исследование, если заказчик не открывает отчет с замиранием сердца (подтвердятся его идеи или нет) - значит, информация, полученная в результате исследования в 95% случаев не представляет и не будет представлять для него никакой ценности. Исключение составляют разве что панельные и трекинговые исследования, задача которых - мониторинг определенных переменных с целью изучения их динамики.

Рынок маркетинговых исследований - фавориты и аутсайдеры

В отличие от рекламных агентств, исследовательские компании не участвуют в международных рекламных дефиле, не выигрывают громких призов и не делают ролики, которые смотрит вся страна. Ориентироваться на исследовательском рынке сложнее, чем на рекламном. Попробуем, тем не менее, разобраться и разделить игроков исследовательского рынка на три группы в разрезе качество / цена / лояльность к клиенту.

Первая группа - международные сетевые компании и крупнейшие российские агентства, работающие на рынке с момента его основания. К числу таких компаний можно отнести AC Nielsen, GfK, «Комкон», Gallup и др. У них высокие стандарты качества, но в цене их продукта составляющая «надбавки за бренд» весьма высока. К тому же таким компаниям интересна работа с крупными клиентами и крупными заказами (разовыми проектами они не брезгуют, но относятся к ним без энтузиазма).

Некоторые сетевые агентства аргументируют высокие цены владением «запатентованными методиками», которые принадлежат только им одним. Это неправда. Так же, как методики маркетинговых исследований адаптируют методы прикладной социологии, «патентованные» методики представляют собой вариации на тему основных исследовательских методов.

Вторая группа - средние агентства с оптимальным соотношением цена/качество. В пример можно привести такую компанию, как Magram. Единственный недостаток агентств этой группы - у них менее громкие имена (пока). Зато и цены у них ниже, а качество работы подчас не хуже, чем у агентств первой категории. Они активно развивают клиентскую базу и дорожат каждым клиентом. В работе с заказчиком они более гибки и лояльны.

Третья категория - небольшие агентства. Аутсайдеры исследовательского - как и любого другого - рынка привлекательны низкими ценами. Качество хромает по объективным причинам: во-первых, отсутствие портфеля клиентов не дает возможность развиваться профессионально; во-вторых, отсутствие репутации и более чем средние зарплаты не дают возможности привлекать уже состоявшихся профессионалов. Костяк таких агентств - академические социологи предпенсионного возраста, вчерашние студенты соцфаков без практического опыта, а иногда и просто шарлатаны.

Вообще, уровень исследовательского агентства проще всего определить по его портфелю клиентов. Среди клиентов обязательно должны быть крупные FMCG-компании, желательно международные - именно в таких компаниях деятельность по исследованиям рынка хорошо поставлена, они хорошо знают «планку» качества, ниже которой нет смысла опускаться. Если у исследовательской компании есть подобные клиенты, значит, «планку» она преодолевает и с ней смело можно работать.

Определенным критерием является и цена. Уважающая себя компания возьмет за одну фокус-группу среди потребителей со средним доходом от $1 тыс. до $1,4 тыс. (если вы новый клиент - для постоянных цена может быть ниже). Если цены опускаются ниже $800, значит, вы имеете дело со слабым агентством. Стоимость уличного опроса у компании с проверенной репутацией составит приблизительно $8-12 за респондента и вряд ли опустится ниже $7. С известной опаской я бы отнесся к компаниям, которые специализируются на политических и электоральных исследованиях. Пристрастность такого рода исследований ни для кого не секрет - политическое исследование является скорее методом политического PR, нежели инструментом получения информации.

Также не рекомендую работать с исследовательскими подразделениями рекламных агентств. Это частенько практикуется, однако тем самым нарушается один из фундаментальных принципов маркетинговых исследований - они должны быть независимы. Можно ли ожидать от рекламного агентства беспристрастности при тестировании, скажем, рекламных роликов собственного производства? Вряд ли.

Приведу пример. Исследовательское подразделение некоего рекламного агентства проводило для своего старого клиента фокус-группы. Клиент задал критерии отбора респондентов: необходимо было, в частности, отобрать в группы как лояльных потребителей продукции клиента, так и потребителей конкурентов. Однако агентство провело рекрутинг таким образом, что все респонденты оказались потребителями марок клиента (при этом они также и потребляли иногда продукцию конкурентов, так что с формальной точки зрения все было «чисто»). Маркетологи клиента были поражены: поскольку доля компании на рынке была не выше 3%, часть задач проекта не была выполнена - не был взят релевантный срез рынка. Однако руководство компании клиента осталось довольно, ведь респонденты в наилучших выражениях высказались и о самой продукции, и о дизайне упаковки и рекламных материалов. Создателями коих и было упомянутое рекламное агентство... Приятно, что и говорить! Качественное проведение исследования было тактической задачей агентства - а стратегическая задача заключалась в том, чтобы сказать клиенту еще раз (теперь устами потребителя): все, что агентство для него сделало, есть хорошо.

Риск количественных исследований

риск маркетинговый исследование выборка

Надежность данных количественного исследования связана прежде всего с надежностью выборки.

В реальности методы проектирования выборки весьма далеки от научных и, как правило, находятся где-то между интересами исследователя и интересами заказчика. Интересы исследователя - максимально увеличить выборку, потому что чем больше респондентов будет опрошено, тем больше будет бюджет исследования. У заказчика обратный интерес - заплатить как можно меньше. Истина, как водится, теряется где-то посередине.

В среде маркетологов бытует мнение о том, что чем выборка больше, тем лучше. Это не совсем так. Если не углубляться в дебри математической статистики, основной принцип проектирования выборки формулируется следующим образом: выборка тем больше, чем больше ее вариация по отдельным переменным. Многие маркетологи, особенно начинающие, ставят объем выборки в зависимость от объема генеральной совокупности. Но значительно важнее структура совокупности.

На стадии планирования необходимо прогнозировать анализ подвыборок. Например, предполагается исследовать данные по каждой возрастной группе. Следовательно, требование репрезентативности предъявляется уже не ко всей выборке, а к каждой подвыборке: репрезентативна должна быть подвыборка респондентов 25-35 лет, 36-45 и т. д.

Приведу пример, пусть утрированный. В городе N проводится исследование. В первой анкете лишь один вопрос: сколько в этом городе мужчин и женщин? Второй вариант анкеты выясняет, какой процент жителей проживает на различных улицах города. Рассматривается одна и та же генеральная совокупность - все население города N. Тем не менее, очевидно, что для получения валидных данных по первой анкете достаточно случайным образом опросить несколько десятков человек. А для надежного ответа на второй вопрос понадобятся ответы десятков тысяч. Если же нам потребуется анализировать подвыборку с целью получения данных по количеству мужчин и женщин на каждой улице, то число респондентов еще больше возрастет.

Приведу также пример напрасно потраченных денег. Компания X проводит количественное исследование потребителей. Объем выборки составляет 2,5 тысяч человек, тысяча из которых проживает в Москве. Отчет компании строится таким образом, что анализируются только подвыборки городов. Тесты на нормальное распределение показывают, что по всем переменным при уменьшении численности выборки в 3 раза распределение по переменным изменяется в пределах статистической погрешности. Распределение средних нормально при выборке в 700 человек. Именно эта выборка и была необходима для данного исследования.

Другой пример. Компания проводит замеры эффективности рекламы в Москве. Объем выборки составляет 350 человек. Анализируется множество подвыборок - проводится, в частности, перекрестный анализ по переменной спонтанного знания марок, между тем вариация данной переменной достигает 50-ти. В результате по большинству подвыборок число опрошенных составляет всего несколько человек. Ясно, что ценность подобного анализа равна нулю. Прежде чем говорить об объеме выборки, определитесь с глубиной анализа. Возможно, вам достаточно опросить 500 человек. А может быть, необходимо опрашивать 5 тысяч! Еще один вопрос, которому часто не уделяется должного внимания при разработке проекта исследования, - это вопрос о методе формирования выборки. По большому счету, все выборки делятся на два типа - случайные вероятностные и квотные. При случайной выборке каждый представитель совокупности имеет равные шансы попасть в выборку. При квотной заранее определяются квоты, т. е. фактически самостоятельные подвыборки, которые в общей выборке составляют фиксированный процент.

При выборе квотного метода структуру выборки определяет произвол клиента, а при выборе простого случайного - произвол агентства. Не так давно я просматривал старый отчет по исследованию потребителей коньяка. Моему удивлению не было предела, когда я узнал, что 21% регулярных потребителей конька - это люди не старше 24 лет, причем 19% имеют незаконченное высшее образование! Не нужно иметь больших познаний в маркетинге - спросите у любого продавца в магазине, и он скажет, что коньяк покупают в основном мужчины старше 30 лет. Так в чем же дело, откуда столько студентов? А дело в том, что молодежь - наиболее доступная группа для интервьюера (более открыта, лучше идет на контакт). И если интервьюер будет свободен в выборе респондентов, он будет выбирать не по принципу «случая», а по принципу наименьшего сопротивления. Отсюда в некоторых исследованиях оказывается неправдоподобно высокий процент юных потребителей не только коньяка, но и импортных автомобилей, загородной недвижимости и пр. Есть и другие нюансы - скажем, молодой девушке-интервьюеру гораздо проще «разговорить» мужчину, нежели женщину. Наиболее критичны для репрезентативности выборки подобные «мелочи жизни» при уличных личных интервью и тестах in-hall. Поэтому из двух зол меньшим я считаю квотную выборку. Вводные данные, необходимые для выставления квот, можно взять из панелей desk research компаний «Комкон» или Gallup. Множество больших и маленьких маркетинговых ошибок происходит в постановке вопросов анкеты. Вариантов здесь великое множество, приведу несколько примеров, весьма распространенных.

1. Вопрос о потреблении марок.

Нередко путают предпочтение, потребление и покупку - а для многих продуктов эти различия принципиальны... На вопрос «как часто вы покупаете коньяк?» ответ один. А на вопрос «как часто вы пьете коньяк?» ответ будет совсем иным. Мне доводилось видеть анкету, в которой вопрос о лояльности формулировался следующим образом: «какую марку вы любите больше всего?». Если бы такой вопрос задавался потребителям коньяка, можно было бы поразиться любви потребителей к дорогим французским коньякам - при том, что их сегмент рынка ограничивается долями процента. Увы, потребитель любит выдавать желаемое за действительное. Любить и потреблять - не одно и то же.

2. Вопрос об уровне дохода. Во многих странах на него отвечают неохотно, в России же этот вопрос у населения популярен еще меньше, чем где бы то ни было. Маркетологи для повышения «надежности» ответа на этот вопрос формулируют его как вопрос о доходе на душу населения. Не уверен, что все читатели смогут сразу дать достоверный ответ на этот вопрос - даже если захотят. Например, у респондента есть семья - жена и двое детей. Расходная часть семейного бюджета, кроме того, складываются из неработающих родителей обоих супругов, а доходная - из зарплат, а также пенсий родителей. Для расчета дохода на душу населения необходима сложная формула. Таких случаев масса. Этот вопрос - один из тех, достоверный ответ на которые получить невозможно. В крайнем случае можно выстроить «лестницу» ответов, зачитав респонденту ряд ответов и попросив остановиться на том, который соответствует истине:

· еле хватает на еду;

· хватает на еду и на одежду;

· хватает на еду и на одежду, однако не хватает на дорогие вещи, путешествия, бытовую технику;

· хватает на все, но было бы трудно приобрести новую машину;

· хватает на все, но было бы трудно приобрести новую квартиру;

· хватает на все, не испытываю никаких ограничений в тратах.

Но и этот шаблон, хорошо работающий в условиях стратификации общества, к сожалению, в России не всегда полезен - разве мало людей, не имеющих средств на одежду, но зато раз в квартал отправляющихся в отпуск за границу? Или людей, тратящих на развлечения половину своего дохода?

3. Вопросы о медиа-предпочтениях. Здесь также хромает точность измерений. Классический пример - чтение прессы. Нередко этот вопрос ставится так: «какие журналы, газеты вы читаете?» В результате респондент честно говорит, что чаще всего он читает журнал «За рулем» и газету «Московский комсомолец». Но насколько регулярно он покупает и читает эти издания? В такой постановке вопроса это остается «за кадром», что сводит ценность информации к нулю - ведь вопросы о медиа-предпочтениях, как правило, имеют цель формирования «пула» медиа, оптимальных для размещения рекламы. А наш респондент покупает «МК» раз в месяц, «За рулем» - раз в квартал. Для него это часто, а для прогноза эффективности - нуль с хвостиком. Вопросы по прессе можно сформулировать следующим образом.

· Какие ежедневные газеты вы покупаете не реже трех раз в неделю?

· Какие еженедельные издания вы покупаете не реже двух раз в месяц?

· Какие ежемесячные издания вы покупаете не реже шести раз в год?

При такой формулировке есть шанс получить более или менее достоверные данные - с поправкой на то, что часть респондентов просто не поймет, о чем идет речь, и какие-то ежедневные газеты попадут в категорию еженедельников, и наоборот. Впрочем, подобные ошибки без труда распознаются при первичной обработке данных. Вообще говоря, список «трудных» вопросов можно продолжать до бесконечности, однако хотелось бы остановиться на другой «ахиллесовой пяте» исследований - ошибках шкалирования. Как известно, все переменные могут быть разделены на три шкалы - номинальную, порядковую и интервальную. Номинальная и порядковая шкалы не позволят провести статистический анализ данных - с их помощью можно получить информацию только о частоте появления тех или иных признаков по переменной. А расчет, в частности, статистик при анализе переменных, полученных с помощью метода семантического дифференциала, невозможен. Однако такого рода ошибки допускаются сплошь и рядом.

Например, респонденту предлагают оценить свое согласие или несогласие с утверждением: «я боюсь котов и люблю мышей» по пятибалльной шкале, где 1 будет значить «совершенно не согласен», а 5 - «абсолютно согласен». Предположим, при выборке в 100 человек 50 из них отметили единицу, а 50 - пятерку. И что же говорят нам исследователи? Исследователи говорят, что среднее составило 3 балла - это значит, что все респонденты не имеют определенного мнения по этому вопросу. Но как же так? Ведь половина очень даже боится котов, а другая половина их не боится совершенно. Выводить среднее в данном случае - это то же самое, что искать среднее между мужчиной и женщиной. Тем не менее, среднее значение упорно вычисляются в случае использования порядковой шкалы - так тестируются ролики, слоганы, вкусы продуктов и многое, многое другое. В худшем случае это ведет к серьезному искажению фактов, как в нашем примере. В лучшем - к неясности толкования результатов: в самом деле, чем значение признака 3,2 отличается от значения 3,6?

Существуют очень простые методы, позволяющие получить заведомо ложную информацию в количественных исследованиях. Компания X проводила оценку эффективности рекламной компании с двумя волновыми замерами - pre-campaign и post-campaign. Для снижения издержек полевые работы проводились в крупных супермаркетах. Результаты были впечатляющими - все показатели бренда выросли не менее чем на 50%! Маленькая ремарка: в тех же самых супермаркетах проводилась промо-акции, размещались палетная выкладка и множество PОS-материалов.

Риск качественных исследований

Джек Траут во время своего визита в Москву назвал фокус-группы «вредным для маркетинга недоразумением». Лучше сказать, что качественные исследования являются слишком тонким инструментом, который часто ломается. Основная проблема всех качественников - неоднозначность результатов и вариативность трактовки. Иногда качественные исследования не столько дают ответы на вопросы, сколько окончательно все запутывают. Качественные исследования подобны океану - в нем всегда есть несколько течений. Только профессионализм модератора может позволить отделить зерна от плевел и найти мэйнстрим. Если среди двух гомогенных фокус-групп одна была яркой и креативной, а другая - пассивной и вялой, есть большое искушение обратить большее внимание на мнение активной группы. Постоянно случается, что заказчик и исследователь не согласны между собой в оценке результатов качественных исследований: из одной и той же исходной информации они могут сделать совершенно разные выводы. Если представители клиента привыкли мыслить фактами и цифрами, им трудно смириться с мыслью о том, что количественные выводы по качественным исследованиям сделать невозможно.

Мне довелось работать с одним агентством, которые завершало отчеты многостраничными графиками с результатами опроса... шестнадцати респондентов, которые участвовали в двух фокус-группах. На мой вопрос «зачем вы это делаете?» они честно ответили: «Видите ли, клиент требует четкости и ясности. Мы и даем ему эту ясность». Какая уж там статистика, в самом деле...

Качественным исследованиям вообще нельзя верить - их результаты можно только принимать во внимание. На должном уровне проведенная группа дает не столько результаты по каждому респонденту, сколько общее мнение целевой аудитории - либо сигнализирует об отсутствии такового. Один из самых больных вопросов - вопрос о количестве фокус-групп. На практике встречаются варианты - от одной до нескольких десятков. Какой является оптимальным? Трудно сказать. Я бы рекомендовал задействовать не менее четырех гомогенных групп. Это значит, что одну гомогенную группу следует провести три раза. Возьмем наш пример с тестированием «пивных» роликов. Первая группа дала один результат, вторая - совершенно другой. Если бы тем дело и ограничилось, исследователям пришлось бы только разводить руками. Однако после дополнительных групп счет стал 3:1 и выяснилось, что мнение одной группы было случайным «выбросом». Эффект «выброса» в качественных исследованиях наблюдается весьма часто, и, если групп недостаточно, может исказить результат. Увеличение количества групп, как правило, не приводит к изменению данной тенденции: при восьми группах этот результат, скорее всего будет 6:2, при 12 - 9:3 и так далее.

Однако случаются и исключения. Крупный производитель алкоголя провел 16 фокус-групп по тестированию упаковки и не получил однозначных результатов - каждый из пяти вариантов дизайна бутылки был выбран группами примерно столько же раз, сколько и другие. Психологические мотивы подобных казусов, как правило, свидетельствуют либо о том, что все хорошо, либо о том, что все плохо. Это значит, что либо все бутылки полностью соответствовали ожиданиям целевой аудитории, либо наоборот - все полностью не соответствовали. В первом случае заказчика можно только поздравить, во втором - посочувствовать ему.

Многое значит интуиция и опыт. Предположим, вы провели несколько групп и мнения разделились. Но вы чувствуете, что целевая аудитория все же склоняется к одному полюсу. И вам нужны аргументы. В таком случае необходимо иметь смелость констатировать, что охват исследования был недостаточным, и провести дополнительные группы. Именно они могут поставить (и часто ставят) все точки над i.

Отдельной строкой хотелось бы выделить рекрутмент респондентов на качественные исследования. Порой на фокус-группах оказывается совсем не те люди, которые нужны клиенту. Поэтому исследование стреляет «мимо» целевой аудитории. Происходит это по ряду причин. Во-первых, из-за чрезмерно сложных квот. Если в фокус-группу необходимо набрать по одному потребителю каждой марки, причем половина из них должна быть с уровнем дохода $300-400, а вторая - с доходом $400-600, а также в них должны быть представлены люди со средним, средним, специальным и высшим образованием, а еще не менее трех респондентов должны регулярно читать журнал «Огонек» - будьте уверены: такие квоты не будут выполнены.

Во-вторых, исследования не попадают в цель из-за того, что требования заказчика к рекрутменту не всегда формулируются четко, однозначно и максимально «прозрачно», причем в письменном виде. Ясность видения бренд-менеджером своей целевой аудитории медленно, но верно тускнеет по мере движения информации от заказчика к интервьюеру. Увы, рядовому интервьюеру не всегда известно, что потребители коньяка «Арарат» трехлетней выдержки не имеют ничего общего с потребителями «Арарата» выдержки пятилетней, ибо данные продукты отличаются по цене на 40%, не говоря уж о том, что в России есть «Арараты» не менее десятка производителей, цена которых колеблется от 150 до 500 рублей за 0,5 л. Если требования заказчика недостаточно продуманы, ждите сюрпризов. Однажды автор, сопровождая фокус-группы с потребителями импортного пива в одном южном городе, столкнулся с любопытной ситуацией: тамошнее агентство-субподрядчик предъявило в качестве респондентов четырех любителей пива «Оболонь». На высказанные претензии агентство давало справедливый по форме ответ: пиво «Оболонь» является украинским, а значит импортным. И эта марка крайне популярна на Юге России... Разумеется, потребители пива «Оболонь», которое стоило в рознице 15 рублей, были совершенно не нужны в исследовании импортного пива, которое стоит не менее 35 рублей.

В-третьих, результаты могут быть неправильными из-за того, что на качественные исследования часто приглашают людей в неудобное для них время - например, перед праздниками. Никогда не забуду фокус-группы, которые проводились 30 апреля вечером, в последний день перед майскими праздниками, в 19.30. Вместо необходимых 12-14 человек пришли... шестеро. Впрочем, ничего удивительного: целевая аудитория начинала праздновать, ей было не до исследования...

В-четвертых, результаты страдают из-за того, что исследователи, оптимизируя свою прибыль, порой занижают порог денежного вознаграждения для респондентов и делают проблематичным привлечение высокодоходной аудитории. Весьма желательно этот вопрос поднять до начала полевых работ, и, если сумма покажется заниженной, просто увеличить бюджет исследования - это лучше, чем получить отчет о мнении людей, которое вам не интересно. Чрезвычайно полезно присутствие заказчика на качественных исследованиях. Он может лично отобрать «правильных» респондентов и забраковать сомнительных. В процессе интервью у заказчика могут возникнуть неожиданные идеи, и у него будет уникальная возможность немедленно протестировать их на потребителях, шепнув словечко модератору. Кроме того, ни запись, ни отчет никогда не даст бренд-менеджеру такого погружения в целевую аудиторию, как непосредственное присутствие на фокус-группах.

Риск полевых работ

Полевые работы - самое слабое место российских исследований. Плохо сделанное поле убило не один исследовательский проект. Для заказчика самое скверное в полевых проблемах то, что он может никогда о них и не узнать. Причин проблем несколько. Первая - непрофессионализм интервьюеров. Плохих интервьюеров много, равно как и плохих промоутеров, курьеров и пр. - такова уж специфика этих профессий. Скажу больше: плохих интервьюеров большинство. С удручающей частотой интервьюеры делают следующее:

· стремясь выполнить полевые квоты, «рисуют» респондентам нужный возраст, социальное положение и даже иногда пол;

· при необходимости опрашивают своих родственников, друзей и знакомых, иногда по несколько раз;

· часто заполняют «до конца» анкеты в том случае, если респондент бросил отвечать на середине;

· нарушают инструкции по постановке вопросов, например, не зачитывают варианты ответа в том случае, когда это необходимо сделать;

· пропускают или не полностью записывают ответы на открытые вопросы («а зачем записывать все, что они там болтают?»);

· присваивают деньги и подарки, предназначенные для респондентов.

Следующая причина: стремясь к снижению издержек, исследователи передают многие работы на фриланс. В количественных исследованиях это, как правило, кодировка и ввод данных, в качественных - подготовка транскриптов. А в период чрезмерного наплыва работы на руки фрилансерам отдаются и подготовка аналитических отчетов по результатам исследования. Фрилансеры воспринимают свою работку как халтуру и относятся к ней соответственно. Например, SPSS - основное средство обработки данных - вполне позволяет уменьшить в несколько раз трудозатраты при вводе данных. Достаточно скопировать базу данных и «перемешать» идентификационные номера респондентов. Обнаружить подлог несложно, если есть желание и время, но у менеджера проекта может не оказаться ни того, ни другого.

Представим следующую ситуацию. Модератор провел фокус-группы. Работы много, и модератора сразу бросают на другой проект. Расшифровкой групп занимается милая девушка-первокурсница, фрилансер, и из-за плохого качества записи она «опускает» до 30% реплик респондентов - плохо слышно, что ж тут поделаешь? Далее транскрипты отправляются опять же внештатному сотруднику, который может физически размещаться где угодно, хоть в Аргентине, и он готовит отчет на основании тех транскриптов, которые ему прислали. 30% информации пропадают бесследно... Проконтролировать все эти нюансы невозможно, поэтому рекомендую всегда требовать и бегло просматривать исходники - видеозаписи, или хотя бы транскрипты (стенограммы интервью).

Третья проблема - российские регионы. При проведении любых исследований в регионах практически все исследовательские компании обращаются к услугам местных агентств на этапе полевых работ. К сожалению, уровень региональных подрядчиков часто оставляет желать лучшего. Чем дальше от МКАД, тем больше можно встретить разного рода неожиданностей. Если в крупнейших региональных центрах - таких, как Петербург, Новосибирск, Екатеринбург, - есть достойные агентства, то в городах поменьше их днем с огнем не сыщешь. Поэтому лучше и не соваться в города размером с Урюпинск, даже если очень интересно. И всегда желательно прямо спросить свое агентство, в каких городах у него наиболее проверенные и надежные партнеры. Четвертая проблема - своего рода скелет в шкафу российской практики исследований. Я имею в виду профессиональных респондентов. Не секрет, что некоторые агентства располагают такими базами - это позволяет им существенно экономить на рекрутменте. Иногда на этом зарабатывают полевые бригадиры, с которыми липовые респонденты делятся полученными деньгами и подарками, а руководство агентства может быть и не в курсе о том, что такие вещи имеют место. Ясно, что профессиональные респонденты являются уже не потребителями, а экспертами. Кроме того, они могут не иметь никакого отношения к продуктам и целым товарным категориям, которым посвящено исследование. Что здесь можно сделать? Во-первых, не работать с малоизвестными исследовательскими агентствами - для удержания низких цен экономить они будут прежде всего на качестве. Во-вторых, максимально контролировать работу даже известных агентств. Нелишне по завершении полевых работ, например, выбрать пару десятков анкет и прозвонить по телефонным номерам - а существуют ли названные люди вообще?

Риск утечки информации

К сожалению, рекламные и исследовательские агентства представляют собой один из основных каналов утечки информации о маркетинговых планах компаний. Каковы могут быть утечки? Самый тяжелый случай - продажа исследований ad hoc прямым конкурентам. Существует «черный рынок» маркетинговой информации, на котором возможно купить практически любые данные о практически любой компании - бизнес-планы, отчеты о продажах и о финансовом положении. Есть агенты, которые специализируются на поставке такого рода информации. И результаты исследований - не исключение. Во многих маркетинговых агентствах отчеты хранятся таким образом, что получить доступ к архиву никому из сотрудников не составляет труда. Однако подобные факты редки - это случается, если некоторая компания всерьез занимается конкурентной разведкой. 90% утечек происходит значительно более невинным образом.

Предположим, некое исследовательское агентство в течение долгих лет ведет крупного клиента. И вот в это агентство приходит прямой конкурент этого клиента. Вы скажете - а как же гарантия конфиденциальности? Увы, есть вероятность того, что информация уйдет к конкуренту - особенно если отношения с ним давние и, соответственно, почти приятельские.

Как это можно предотвратить? Старайтесь не начинать работу с агентствами, которые имеют в качестве давних клиентов ваших прямых конкурентов. Поверьте, гарантии конфиденциальности ничего не стоят - еще никто в России не садился на скамью подсудимых за разглашение коммерческой тайны своего клиента, и ESOMAR ни одного из своих российских членов не исключала из своих рядов. Исследователь должен иметь полную информацию о задачах проекта - иначе он просто не сможет работать. Но можно ограничить доступ исследователя к той информации, которая не имеет прямого отношения к исследовательскому проекту. Объясняйте, что нужно узнать - но не стоит говорить, почему. Мир маркетинга тесен и пронизан родственными, дружескими и прочими неформальными связями. Менеджер вашего проекта, безупречный во всех отношениях, может оказаться давним другом директора по маркетингу вашей компании-конкурента... Понятно, что если вы тестируете дизайн нового продукта, не нужно быть семи пядей во лбу, чтобы прийти к выводу о том, что ваша компания в скором времени выведет на рынок новый продукт. Риск, что о ваших планах узнают конкуренты, у вас останется. Но разве обязательно распространяться о том, какова будет цена нового продукта, каковы планы по завоеванию доли рынка, на какие каналы сбыта рассчитан продукт? Да, ваши конкуренты могут узнать об угрозе - но только от заказчика зависит, смогут ли они оценить масштабы этой угрозы и, соответственно, принять меры по защите своих позиций.

В заключение приведу один пример. Компания тестировала названия новых продуктов, все названия прошли первичную проверку на патентную чистоту. Однако когда производитель, получив результат, подал заявку на регистрацию, оказалось, что наиболее выигрышные названия уже кто-то зарегистрировал...

Риск принятия решений

Предположим, проект завершен. Есть проблемы, которые ставят под сомнение либо достоверность данных в целом, либо (чаще) - некоторых его частей. Далее возможно три сценария развития событий. Первый сценарий. В компании-заказчике работают маркетологи честные и профессиональные. Они увидели проблемы и дополняют красивый отчет исследователя своими комментариями. Но это трудно, и «наверху» могут задать вопрос: «А почему же вы, голубчики, допустили такие проблемы?» Проще пойти по второму сценарию - и так, к сожалению, нередко поступают маркетологи профессиональные, но нечестные. Они видят проблемы, но умалчивают о них. В результате на основании недостоверных данных могут быть приняты неверные решения. Третий вариант. В компании работают маркетологи непрофессиональные. Они не увидели проблем, для них все получается гладко. Результат аналогичен результату второго сценария. Поэтому доверяйте, но проверяйте! И последнее. Маркетинговые исследования не дают рецептов для бизнеса. Они всего лишь диагностируют «состояние организма». Руководство компании должно иметь смелость принимать самостоятельные решения, идя иногда вопреки мнению потребителей. Только так можно выходить на новые рынки, выпускать новые продукты - словом, развивать бизнес.

Размещено на Allbest.ru