Фокус-группы

Основные количественные и качественные методы в маркетинговых исследованиях. Подготовка исследования. Сценарий фокус-группы. Обоснование и проведение исследования. Специфика исследуемой группы и выбор модератора. Анализ данных и составление отчета.

Рубрика Менеджмент и трудовые отношения
Вид книга
Язык русский
Дата добавления 27.11.2008
Размер файла 119,0 K

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

ФОКУС-ГРУППЫ

снижение риска при принятии решений

Дмитрий Петров

АННОТАЦИЯ

Метод фокус-групп является одним из наиболее эффективных качественных методов исследования, применяемых в коммерческом, социальном и политическом маркетинге, а также в социологических исследованиях. Книга содержит практические рекомендации по проведению исследования - области применения, описание коммуникативных техники и методы анализа данных. Предназначена для социологов, политологов, специалистов по маркетингу, преподавателей, студентов.

Содержание

ВВЕДЕНИЕ

ЧАСТЬ 1. КОЛИЧЕСТВЕННЫЕ И КАЧЕСТВЕННЫЕ МЕТОДЫ В МАРКЕТИНГОВЫХ ИССЛЕДОВАНИЯХ

ЧАСТЬ 2. ПОДГОТОВКА ИССЛЕДОВАНИЯ

ЧАСТЬ 3. СЦЕНАРИЙ ФОКУС-ГРУППЫ

ЧАСТЬ 4. ПРОВЕДЕНИЕ ИССЛЕДОВАНИЯ

ЧАСТЬ 5. АНАЛИЗ ДАННЫХ И СОСТАВЛЕНИЕ ОТЧЕТА

ЗАКЛЮЧЕНИЕ

ПРИЛОЖЕНИЕ

БИБЛИОГРАФИЯ

ВВЕДЕНИЕ

МЕМОРАНДУМ №1.

Руководителям Штаба избирательной кампании Президента Российской Федерации

Уважаемые господа! Благодарим Вас за приглашение принять участие в проведении Вашей избирательной кампании. До выборов осталось меньше трех месяцев, а согласно опубликованным данным рейтинг популярности Вашего кандидата драматически уступает рейтингу его соперников. Считая себя теперь членами Вашей команды и учитывая свой многолетний опыт проведения избирательных кампаний, предлагаем следующую программу предварительных действий:

3. Немедленное создание небольших, их трех - пяти человек, оперативных бригад социологов, которые под руководством членов нашей группы должны в двухнедельный срок облететь двадцать пять - тридцать регионов страны, чтобы с помощью разработанной на Западе методики определить на «фокус-группах» городских и сельских избирателей приоритетные политические, экономические и эмоциональные ориентиров вашего населения и отношение избирателей к платформам Президента и его соперников ј

Маршал ј отложил меморандум и поднял глаза ј

- Какие еще «фокус-группы»? - сказал он по-русски. - Что за фигня?

- Насколько я понимаю, это и есть их главная карта. Они опрашивают избирателей и по своей методике точно определяют, есть у кандидата шансы на победу, или нет. Но самое главное - они выпытывают, что эти избиратели хотят. После этого их кандидат обещает народу именно это и - выигрывает.

Э. Тополь. «Китайский проезд».

Не знаю, был ли такой разговор в действительности, но на недоуменные вопросы по поводу, что же такое фокус-группы, мне приходилось отвечать не раз. Впервые я познакомился с этим методом в 1994 году, когда в рамках программы РОСКОН (Российская социальная конверсия) проводился тренинг по обучению методу фокус-групп для отслаивания эффективности подачи материала в СМИ, социальной рекламы. Организаторы планировали создать исследовательскую сеть для оперативного проведения фокус-групп в различных регионах страны. По окончании проекта все участники получили сертификаты и разъехались по домам (от каждого региона участвовал один представитель). Вернувшись в Саратов, я первым делом попытался продолжить применять на практике эту методику, но оказалось, что о ней потенциальным заказчикам мало известно. Тогда, мы включили курс по фокус-группам в учебную программу и в течение трех лет я преподавал этот предмет студентам специальности «Социальная работа» СГТУ и слушателям МВА Высшей школы бизнеса СГТУ. Параллельно с этим мы проводили различные исследования в области коммерческого маркетинга, социального маркетинга и отдельные академические исследования.

Со временем появилось несколько пособий, посвященных методу фокус-групп, особенно хочется отметить книгу С.А. Белановского. Однако эти публикации, несмотря на достаточный объем практических рекомендаций по проведению фокус-групп, на мой взгляд, носят в большей степени методологический характер и не содержат тех рекомендаций, которые необходимы для анализа данных и составления отчета.

В предлагаемом пособии я постарался уделить основное внимание именно практическим рекомендациям.

Итак, мы рассмотрим один из наиболее перспективных методов маркетинговых исследований - метода фокус-групп - разновидности группового интервью, в основе которого лежит групповая дискуссия.

Почему я делаю акцент именно на маркетинговых исследованиях? В настоящее время основной сферой применения этого метода стали исследования в различных областях, включая:

· традиционный маркетинг товаров и услуг;

· анализ эффективности рекламы;

· маркетинг некоммерческих организаций, связанный с оценкой эффективности различных социальных проектов и программ, социальный маркетинг;

· “политический маркетинг”, связанный с изучением имиджей политических деятелей, организаций и их программ.

Так, или иначе все перечисленное относится непосредственно к маркетингу. Ведь на самом деле, все равно, какой товар мы предлагаем - зубную пасту, идею восстановления СССР, безопасный секс, кандидата в Президенты - технология изучения восприятия этих товаров одна и та же.

В развитых странах метод фокус-групп - один из наиболее популярных. Иногда создается впечатление, что американцы просто не могут принять решение, не опробовав на фокус-группах все возможные последствия. В США существует около 800 коммерческих фирм и примерно такое же число структурных подразделений, специализирующихся на фокус-групповых исследованиях, а общее число проводимых в этой стране групп превышает 200 тысяч. В России индустрия маркетинговых исследований находится в стадии формирования. Основными заказчиками фокус-групповых исследований являются сегодня западные фирмы, поставляющие свою продукцию на российский рынок. Однако, по прогнозам экспертов спрос на квалифицированные маркетинговые исследования будет с течением времени быстро расти.

Целью предлагаемого пособия является обучение применению данного метода для проведения прикладного маркетингового исследования, а также для оценки результатов исследований. Технологии коммуникации, многие приемы лежащие в основе метода фокус-групп могут быть использованы также и при проведении совещаний, переговоров, и во многих других случаях. Надо отметить, что одно время, на волне пика популярности метода его применяли во всевозможных сферах, считали неким универсальным инструментом. Как водится, по прошествии времени появились критические оценки метода. Так, в некоторых учебниках по прикладной социологии можно встретить упоминание о методе как «несоциологическом», непригодном для полноценного исследования. Однако, именно применение фокус-групп в сфере маркетинга служит главным подтверждением эффективности - никто не станет платить деньги за методики, которые не окупают затрат.

Существует мнение, что технологии фокус-групп могут быть успешно применены и в других, неисследовательских сферах, таких как совещания, консультации и т.д. Некоторые ученые скептически относятся к подобным рекомендациям, считая их данью моде. Однако, в основе коммуникативных технологий фокус-групп лежат приемы, используемые в других групповых техниках. Так, например, С.А. Белановский рекомендует в качестве пособия для интервьюера руководство по проведению допросов, техника активного слушания применяется в большинстве групповых коммуникативных методик, одним словом. в методе фокус-групп собраны наиболее эффективные приемы общения, позволяющие максимально понять собеседника.

Пособие, предлагаемое Вашему вниманию, включает в себя следующие основных части:

· определение тем исследования, область применения метода;

· технология и приемы сбора информации;

· методы обработки и анализа данных;

· способы представления, презентации результатов анализа (составление отчетов).

При подготовке были использованы материалы американских специалистов AED (Академия развития через образование), рекомендации ведущих зарубежных и российских исследователей.

ЧАСТЬ 1. КОЛИЧЕСТВЕННЫЕ И КАЧЕСТВЕННЫЕ МЕТОДЫ В МАРКЕТИНГОВЫХ ИССЛЕДОВАНИЯХ

Методы социальных исследований, к которым относятся и маркетинговые исследования, можно разделить на две базовые категории: количественные и качественные.

Количественные методы предполагают применение статистического подхода к анализу данных. Среди наиболее распространенных количественных методов можно назвать анкетный опрос и формализованное интервью.

Количественные методы можно охарактеризовать как “формализованные” или “массовые”. Под формализацией понимается степень направленности методики на строгую фиксацию определенного набора переменных и их количественное измерение. Так, мы можем с помощью опроса выяснить предпочтения потребителей по поводу того, или иного продукта и выразить это в процентах. Характерной особенностью количественных методов является то, что исследуемые переменные заданы исследователем заранее, и отступление от них в процессе сбора данных невозможно. Так, анкетный опрос предполагает наличие бланка с перечнем вопросов, на которые необходимо отвечать в строго определенном порядке.

Данные, собранные с помощью количественных методов, подвергаются последующей статистической обработке. Наиболее простым примером такого подхода является анализ рейтингов телепередач, политиков, товаров и т.д. В результате мы имеем информацию о тех, или иных предпочтениях людей, но данный метод не дает нам ответа на вопрос о причинах этих предпочтений, или неприятий. Получая ответ на вопрос «сколько?», мы не получаем ответа на вопрос «почему?», то есть, зная распределение предпочтений, мы не можем ничего сказать о том чем нравится или не нравится наш товар и в чем причины такого отношения к нему интересующей нас группы людей, или целевой аудитории.

В противоположность количественным, качественные или неформализованные методы ориентированы не на массовый сбор данных, а на достижение углубленного понимания исследуемых явлений. Отсутствие формализации делает невозможным массовый охват исследуемых объектов, что относят к недостаткам этой категории методов. Однако, отказ от широты охвата компенсируется глубиной исследования, то есть, детальным изучением социального явления в его целостности и взаимосвязи с другими явлениями.

Качественные методы позволяют провести более гибкий анализ причинно-следственных связей с более подробным объяснением исследуемых факторов. Здесь результаты редко выражены в цифрах и нет возможности провести статистический анализ данных.

Наиболее распространенными качествами методами в маркетинговых исследованиях можно назвать индивидуальные и групповые интервью. К последним относится метод фокус-групп.

В 20-е годы сфера коммерческих исследований создала технологию массовых количественных опросов и распространила ее на всю социологию. Однако, в 50-е годы при освоении новой предметной области, а конкретно - маркетинговых исследований, именно коммерческая сфера первой почувствовала недостаточность и поверхностность количественного аппарата, причем по чисто прагматическим соображениям. Следует отметить, что основным методом в этой сфере стали именно фокус-группы, а также, хотя и в меньшей степени, индивидуальные интервью. По единодушному мнению исследователей, в США фокус-группы активно применялись в маркетинговых исследователей уже с конца 40-х годов.

Популярность метода в этом случае определялась особенностями маркетинговых исследований. Задачи маркетинговых исследований, в отличие от исследований академических, обладают следующими специфическими чертами:

1) Исследовательские цели являются сугубо прагматическими. Заказчику важно, чтобы результаты исследования могли быть использованы в практических целях.

2) Подлежащая проверке гипотеза задается исследователю заказчиком. Заказчик обращается к исследователю, чтобы уменьшить риск от принятия решения в условиях некоей неопределенности.

3) Исследования не способны дать заказчику достаточно точный и достоверный ответ, снижающий степень риска до нуля. Они могут лишь уменьшить степень неопределенности. При этом всегда остается риск ошибки, а подлинная результативность исследования почти не поддается строгой проверке.

4) Любое конкретное маркетинговое исследование всегда жестко ограничено во времени и средствах. В связи с этим, целью исследований является получение не максимально достоверного результата, а результата, который видится максимально достоверным при заданном объеме средств. Это требует от исследователя очень жесткой расстановки приоритетов.

В основе маркетингового исследования всегда лежит некая маркетинговая гипотеза. Маркетинговые гипотезы рождаются в сознании менеджеров на основе:

· оценки технологических, финансовых и иных возможностей предприятия,

· гипотез о рыночных перспективах новой продукции, услуги, или рекламной кампании.

Экспертная оценка менеджерами своих ресурсных возможностей, как правило, бывает реалистичной. Тем не менее, основной риск связан не с оценкой ресурсных возможностей, а с собственно маркетинговыми аспектами гипотезы.

Так, в США на рынке товаров широкого потребления терпят неудачу около 40% всех предлагаемых новинок.

Корпорация «ТI», расширяя объемы производства и сокращая издержки, добилась заметного снижения цены и завоевала основную часть американского рынка калькуляторов. Однако, на рынке наручных часов этот же подход не сработал. Несмотря на низкие цены, часы покупателям не приглянулись.

Маркетинговая гипотеза представляет собой спроецированное на общество экспертное мнение менеджеров, которые часто полагаются на собственную интуицию. Иногда такие гипотезы оказываются эффективными сверх всяких ожиданий. Однако, риск от принятия решений даже очень квалифицированных менеджеров остается велик, так как рыночная ситуация может изменяться крайне неожиданно, поэтому и не прекращаются попытки уменьшить его с помощью проведения специальных исследований.

Можно выделить три основных способа проверки маркетинговых гипотез, а именно:

1) Полномасштабное внедрение изделия на рынок. Это самый рискованный, дорогостоящий, но и единственно надежный способ проверки изначальной гипотезы.

2) Выведение на рынок пробных партий изделия, или рыночный эксперимент. Затраты меньше, но все же достаточно велики. Кроме того, если в первом случае наряду с риском провала есть шанс крупного успеха, то этот вариант с изготовлением и внедрением пробной партии всегда убыточен. Также, вялая продажа пробной партии может быть объяснена тем, что покупатель еще не распробовал продукт, а активная продажа может объясняться ажиотажным эффектом.

3) Опросы покупателей. Метод имеет свои преимущества и недостатки.

Среди преимуществ опросов отметим следующие:

· опрос на несколько порядков дешевле рыночного эксперимента.

· если рыночные эксперименты рассматривают покупателя как «черный ящик», то опросы пытаются определить мотивы потребительского поведения.

Гипотеза менеджера строится как раз на этих неосознанных представлениях о мотивах потребителя, которая проецируется им на общество по принципу «то, что нравится мне, должно понравиться другим». Если менеджер действительно опытен, то такой подход оправдывает себя чаще, чем принято думать, так как он основан на длительном наблюдении и осмыслении его результатов. Тем не менее, риск все равно остается велик.

Итак, цель опросов состоит в том, чтобы проверить и скорректировать первоначальные менеджерские гипотезы, опираясь на «экспертизу потребителя», который видит проблему в ином ракурсе, чем производитель.

Однако, метод опросов имеет и ряд недостатков. Главным препятствием на пути эффективных прогнозов с помощью опросов является так называемый парадокс Ла-Пьера - люди не всегда поступают так, как говорят. Это особенно наглядно проявляется в сфере маркетинговых исследований и может иметь весьма серьезные последствия. Поэтому не существует такой области, в которой тратится столь много средств на изучение понимания человеческого поведения, как индустрия маркетинга и рекламы.

Еще одним препятствием в применении массовых опросов в маркетинговых исследованиях - проблема статистической достоверности результатов. Для получения полноценных, достоверных результатов необходим опрос большого количества представителей интересующей исследователя популяции, то есть, объем выборки достаточно велик, что сразу сказывается на стоимости исследования. К тому же, выборка должна быть случайной (вероятностной), что можно сделать лишь обладая доступом к базам данных, которые у нас традиционно засекречены (базы данных паспортных столов, например). Несоблюдение всех необходимых для количественного опроса условий сводит на нет все усилия по его проведению, делает невозможным строить достоверные прогнозы, опираясь на статистику.

К методам опроса можно отнести как количественные методы, такие, как анкетирование, и качественные - индивидуальные и групповые интервью, к которым относится и метод фокус-групп, который является наиболее распространенным в области маркетинговых исследований.

Если количественные методы отвечают на вопрос «сколько?», то качественные методы отвечают на вопрос «почему?». Качественные исследования направлены на понимание мотивационных аспектов поведения покупателей.

Это различие часто становится источником непонимания со стороны заказчиков, ставящих завуалированные количественные вопросы типа: «Какой вид упаковки больше нравится?», или «Что будут покупать?». В идеале, для ответа на такие вопросы можно использовать анкету, содержащую все виды упаковок, или перечень всех существующих товаров, провести статистический анализ, что, впрочем, вряд ли предоставило бы достаточно достоверные данные.

Качественные исследования могут дать ответ на вопрос, чем, какими качествами, понравился, или не понравился тот, или иной товар и с чем это связано, чем это обусловлено. Надежных данных о количестве покупателей, которым товар понравился, или не понравился, качественное исследование дать не может, да и не ставит такой цели, но может выявить определенные тенденции.

Со времен Р. Мертона фокус-группы стали важным инструментом прикладной исследовательской работы в области социальных наук, маркетинга, социальной политики, рекламы, СМИ.

Во второй половине 60-х гг. метод фокус-групп преимущественно использовался в маркетинговых исследованиях. Тогда же и появился сам термин. В 70-е и 80-е гг. фокус-группы стали активно применять в исследованиях по рекламе.

В настоящее время метод фокус-групп продолжает широко использоваться в маркетинге, в частности в исследованиях рекламы. Так, например, в 1980 г. американскими исследователями было обнаружено, что 37 крупнейших пользователей телевизионной рекламы чаще всего применяли метод фокус-групп для оценки этой рекламы. Также, одна киностудия за пять лет в пять раз увеличила свои прибыли и получила множество призов благодаря тому, что регулярно использовала фокус-группы для того, чтобы выяснить возможные реакции телезрителей на различные варианты концовок готовящихся фильмов.

Фокус-группы позволяют оперативно узнать реакцию клиентов целевого рынка на продукт, его позиционирование, или другие интересующие заказчика вопросы.

Так, американская сеть баров быстрого обслуживания «Тако Буэно» подчеркивала, что они готовят «супервкусно». Из результатов фокус-групп фирма узнала, что, по мнению потребителей, бары быстрого обслуживания вообще не могут супервкусно готовить - и не важно, так ли это на самом деле. Бары быстрого обслуживания могут предлагать вкусную, но не супервкусную еду. Разница, возможно не бросается в глаза, но имеет ключевое значение для формирования позиции фирмы. Избавившись от оттенка неправдоподобности, привнесенного приставкой «супер», фирма сосредоточила свое внимание на том, что действительно отличало фирму «Тако Буэно», а именно - на ключевом преимуществе, предлагаемом клиентам: блюда приготовлены непосредственно перед подачей.

Ненаправленное интервью привлекло внимание социальных исследователей в конце 30-х - начале 40-х годов. Диксон (1938) упоминает о них в исследованиях мотивации труда, а Карл Роджерс - в психотерапии. Во время второй мировой войны повышенное внимание уделялось фокусированному интервью в группах, в первую очередь как средству повышения боевого духа. Многие их тех процедур легли в основу классической работы Р. Мертона, М. Фиске и П.Л. Кендалл «Фокусированное интервью» и стали в последствии обычными практиками для проведения фокус-групп.

За последние тридцать лет большинство фокус-групповых интервью проводилось в области маркетинговых исследований. Те, кто разрабатывали, или производили новые товары понимали важность рекламы своей продукции, а также, осознавали финансовый риск внедрения нового товара. Здесь все зависело от потенциального покупателя. В этой ситуации фокус-группы обладали несомненной ценностью, так как они позволяли разработчику, производителю и продавцу понять чувства и мысли потребителя.

В дальнейшем, фокус-группы стали рассматриваться как важный шаг в формировании маркетинговой стратегии. Коэ и Маклохлин (1980) обнаружили, что фокус-группы были наиболее популярной техникой для оценки телевизионной рекламы. Некоторые товары подвергались существенному пересмотру в плане оформления, упаковки и рекламы в соответствии с результатами фокус-групп. Рекламные кампании часто подчеркивали те качества товара, которые потребитель рассматривал как положительные. Например, компании, производящие напитки, обнаружили благодаря фокус-группам, что потребители пьют напитки не потому, что испытывают жажду, а из-за социабельных черт, с которыми ассоциируется продукт. Не удивительно, что рекламные слоганы подчеркивали, например, содействие личной привлекательности на пляже и т.д.

Со временем, фокус-группы вышли за рамки рекламы. Так, например, одна компания, планировавшая выпуск фильтров для автомобильных кондиционеров, изменила свои планы после проведения фокус-групп. Потребители не видели необходимости в подобных фильтрах, не хотели за них платить, и они опасались возможных последствий применения этих фильтров для самого кондиционера. Небольшие затраты на фокус-групповое исследование спасли компанию от невыгодных вложений в новый продукт.

Интересен пример использования фокус-групп для выяснения причин снижения числа желающих поступить в Университет штата Миннесота среди выпускников школ сельских районов. В ходе проведения с ними фокус-групп выяснилось, что их смущало слишком большое число студентов в университете, огромные размеры его зданий и всего университетского городка, где они боялись затеряться. А в рекламных проспектах университета выделяли именно эти характеристики как достоинства. Проанализировав результаты фокус-групп, руководство университета решило сместить акценты в рекламной кампании по привлечению учеников из маленьких городков, которые предпочитали поступать в небольшие колледжи других штатов. В новых проспектах всячески подчеркивалось внимательное и доброжелательное отношение к каждому студенту, показывались небольшие уютные аудитории и комнаты в общежитиях, компактный студенческий городок сельскохозяйственного колледжа, отмечались преимущества совместной учебы для выходцев из сельских районов штата.

Фокус-группы нашли широкое применение в маркетинговых исследованиях, так как они предоставляют достоверные результаты по приемлемой цене. Эта техника наиболее приемлема, когда цель исследования - объяснить отношение людей к своему опыту, каким-либо идеям, или событиям.

Потеря потенциального потребителя - вещь опасная. Время от времени необходимо прилагать усилия чтобы соприкоснуться с клиентом, посмотреть на организацию, товар, услугу с точки зрения клиента. Патриция Лэбоу полагает, что время “сидячего принятия решений” закончилось. Она пишет:

Понимаем мы это, или нет, но наше общество в основном является рыночно-ориентированным. Ни один из наших институтов не существует независимо от общественного мнения, каждый должен играть роль. Каждый из них должен соответствовать потребностям общества. Вследствие этого, каждый политик обязан знать, какие потребности существуют, и постараться определить наилучший способ предоставления услуг или продукции, способствующих удовлетворению этих потребностей.

Именно благодаря социальному и политическому маркетингу метод фокус-групп получил распространение в России. Социальный маркетинг является технологией предложения определенного поведения как товара. Необходимо проанализировать, что мешает людям поступать определенным образом, найти способы устранения этих препятствий, чтобы создать эффективную социальную рекламу. Здесь без фокус-групп не обойтись. Именно при реализации проекта РОСКОН началось активное применение фокус-групп в нашей стране. Целью проекта было содействие позитивному восприятию населением рыночных реформ. Для этого был разработан ряд учебных фильмов, теле- и радиопередач, газетных публикаций, направленных на определенные целевые аудитории: школьники, студенты, служащие, крестьяне, домохозяйки, военнослужащие и т.д. Каждый из подготовленных материалов проходил предварительное тестирование в фокус-группах, чтобы выяснить, насколько адекватно представители целевых аудиторий его воспринимают, чтобы успеть его скорректировать до выхода в эфир, или до публикации.

Социальный маркетинг часто предусматривает внедрение социальных программ, идей которые не свойственны данной конкретной культуре, или субкультуре. В этом случае образцы социальной рекламы также проходят тестирование в фокус-группах. Это могут быть программы планирования семьи, здорового образа жизни, снижения межэтнической напряженности и т.д.

Политический маркетинг обычно связывают с деятельностью имиджмейкеров и предвыборными кампаниями. В первом случае необходимо проанализировать восприятие того или иного политика на уровне имиджа. Специалисты могут давать рекомендации политику по поводу внешнего вида, стиля поведения, но слишком рискованно представить новый имидж без получения обратной связи от интересующей группы населения. Ошибка может дорого обойтись. При проведении предвыборных кампаний необходимо оперативно реагировать на изменение ситуации. Если подсчет рейтингов дает представление о распределении приоритетов среди избирателей, то он не дает никакой информации о причинах падения рейтинга. Для корректировки тактики необходимо также оперативное проведение фокус-групп. Хочу отметить, что фокус-групповой бум был в определенной мере обусловлен активным использованием этого метода в предвыборной кампании Б. Клинтона.

Особенности метода фокус-групп

Как уже говорилось, существуют два типа качественных интервью, которые применяются в маркетинговых исследованиях: индивидуальные и групповые. Индивидуальные интервью построены на взаимоотношениях интервьюер - респондент, в групповых интервью в качестве респондента выступает группа представителей интересующей целевой аудитории. В последнее время нет единого мнения, чем отличается собственно фокус-группа от группового интервью, однако, можно сказать, что, в отличие от обычного группового интервью, фокус-группа имеет более конкретную направленность (фокус) и характеризуется более директивным стилем проведения, в то время, как просто групповое интервью считается в большей степени ненаправленным, более гибким (при этом приемы проведения остаются теми же).

Можно сказать, что фокус-группа - особая форма группового интервью. Это интервью проводится, как правило, тремя исследователями: один модератор (ведущий группы) и два ассистент-модератора (аналитики).

Методом фокус-групп называют неформализованное интервью, проводимое не с индивидуальным респондентом, а с группой. Элементы обычного индивидуального интервью, то есть, взаимодействия “интервьюер - респондент”, сочетаются в этом методе с взаимодействиями “респондент - респондент”. Иными словами, это - исследовательская техника сбора данных посредством группового обсуждения темы, заданной исследователем. Фокус-группа - заранее спланированная дискуссия.

Можно провести аналогию между фокус-группой и телевизионными ток-шоу, где предлагается тема для обсуждения группе людей, и функция ведущего заключается в том, чтобы вести дискуссию в нужном русле. Однако разница между телевизионными дискуссиями и фокус-группами принципиальна. Она заключается в конечной цели. Если целью первых является столкновение мнений по определенному вопросу с целью привлечения внимания аудитории, то целью фокус-групп, в отличие от других видов групповых дискуссий, является получение информации о мнениях и реакциях их участников в том виде, какими они непосредственно являются для дальнейшего принятия решения. Также, при проведении фокус-групп недопустимо задавать наводящие вопросы, вопросы, содержащие подсказки.

В настоящее время в практику вошло множество групповых техник. Это и тренинги, имеющие целью изменение поведения, или социальных установок людей (психологические тренинги), терапевтические группы, группы принятия решения (дельфийские группы, группы мозгового штурма), которые имеют свои особенности как в методике проведения, так и в конечном результате.

Фокус-группа - группа особого типа с точки зрения цели, размера, состава и методики проведения. Фокус-группа обычно формируется из семи - десяти участников, не знакомых друг с другом. Эти участники отбираются по наличию ряда общих характеристик, имеющих отношение к теме фокус-группы.

Исследователь создает в фокус-группе непринужденную обстановку, которая предполагает терпимое отношение к различным мнениям и точкам зрения, без принуждения участников голосовать, разрабатывать планы или приходить к консенсусу.

Групповая дискуссия проводится несколько раз среди подобных типов участников для выявления тенденций и моделей восприятия.

Тщательный и систематический анализ этих дискуссий обеспечивает ключи к проникновению в сущность мнений о тех или иных видах продукции, услугах, возможностях, ситуациях.

Итак, фокус-группа может быть определена как тщательно запланированная дискуссия, нацеленная на сбор мнений в определенной области в непринужденной обстановке. Она проводится под руководством опытного интервьюера. Атмосфера дискуссии спокойная, уютная, доверительная, и сама дискуссия часто оказывается увлекательной для участников по мере обмена мыслями и мнениями. Члены группы оказывают друг на друга определенное влияние, откликаясь на высказывания и комментарии в ходе дискуссии.

Проблема определения сферы применения фокус-групп является одной из центральных, решенных лишь на практическом, но не на теоретическом уровне. Можно отметить следующие примеры использования фокус-групп:

1) Нет знаний по какой-либо проблеме; фокус-группы помогают собрать недостающие сведения по исследуемому вопросу.

2) Конструирование вопросника, анкеты.

3) Для проверки каких-то идей. Как идея воспринимается, оценивается данной целевой аудиторией.

Американский социолог Р.Мертон, выделяет следующие отличительные особенности фокус-групп:

1) Респонденты должны быть участниками некоторой определенной ситуации, иметь некий общий опыт.

2) Эта ситуация предварительно анализируется исследователем, на основании чего он приходит к ряду гипотез.

3) На основе этого анализа разработан сценарий интервью, в котором очерчиваются основные области исследования, вопросы.

4) Интервью фокусируется на субъективных переживаниях людей по поводу заранее проанализированной ситуации.

Фокус-группа помогает выявить то, как различные люди понимают одну и ту же ситуацию, дают возможность получить более разнообразный массив ответов.

Авторы различных методических пособий по проведению фокус-групп обычно сопоставляют их с индивидуальным интервью, отмечая преимущества того или другого метода. Предметом споров часто является групповая динамика, влияние которой на качество полученной информации расценивается неоднозначно. Одни социологи считают, что групповая динамика необходима, ее надо добиваться, некоторые авторы полагают, что групповая динамика отрицательно влияет на респондентов и результаты. Рассмотрим основные последствия взаимодействия участников фокус-групп друг с другом.

Растормаживающий и сдерживающий эффект.

В ходе проведения групповой дискуссии между участниками возникают определенные взаимоотношения, которые влияют как на ход дискуссии, так и на полученную информацию. В результате этих взаимоотношений, в группе могут наблюдаться растормаживающий и сдерживающий эффекты.

Растормаживающий эффект связан с тем, что в группе часто находится участник, готовый поделиться своим опытом более откровенно, и это раскрепощает других.

Стимулирующим фактором является также аспект социального равенства участников.

В ходе фокус-групп участники могут бросать своего рода вызов друг другу и отвечать на этот вызов, что приводит к высокой степени вовлеченности и обеспечивает спонтанность ответов. Этот растормаживающий эффект иногда называют эффектом вагонного попутчика. Как правило, участники группы не знакомы друг с другом, возможно, они никогда больше не встретятся, что и позволяет им быть более откровенными. Возможно даже, что фокус-группа окажется единственным местом, где человек сможет позволить себе высказать свое мнение открыто. Однако, это не всегда так.

Основным фактором сдерживания является очевидное нежелание людей публично говорить об интимных проблемах, сообщать о социально неодобряемых поступках или побуждениях, высказывать социально неодобряемые мысли. Человек может попасть под влияние группы и, вместо того, чтобы высказать свое личное мнение, будет просто транслировать общепринятые фразы. В современных маркетинговых исследованиях основными темами, в которых особенно велик фактор сдерживания, называют контрацепцию, личную гигиену, финансы. Возможность возникновения сдерживания следует учитывать при выборе применяемой методики, чтобы оценить, в какой мере сдерживающий фактор может помешать получить интересующую информацию.

Характер получаемой информации.

Фокус-группы более пригодны для получения широкого спектра мнений, реакций и установок, более или менее репрезентативного по отношению к исследуемой целевой аудитории, то есть, характерных для определенной категории людей. Важным достоинством фокус-групп является проявление в них плохо осознаваемых установок, которые становятся осознанными и выявляются в процессе общения.

Таким образом, фокус-группы наиболее пригодны для исследования проблем, в которых требуется не столько глубокое изучение некоего сложного вопроса, сколько получение данных о спектре возможных реакций или ситуаций.

ЧАСТЬ 2. ПОДГОТОВКА ИССЛЕДОВАНИЯ

Исследование методом фокус-групп включает в себя следующие основные этапы:

1) Определение цели исследования.

2) Формирование исследовательской группы.

3) Разработка сценария фокус-группы.

4) Определение места проведения фокус-групп.

5) Набор респондентов.

6) Проведение фокус-групп.

7) Анализ полученных данных.

8) Составление отчета.

Определение цели исследования.

Как правило, цель исследования определяется заказчиком. Заказчик определяет, какие решения будут приняты с учетом результатов исследования и предъявляет основные требования к результату. Однако, заказчик может иметь смутное представление о возможностях и области применения метода, поэтому, на первом этапе исследования следует как можно подробнее выяснить, что именно требуется заказчику, в какой мере возможно применение данного метода в конкретном случае, скорректировать требования заказчика таким образом, чтобы применяемая методика соответствовала поставленной задаче. Иными словами, на первом этапе следует провести индивидуальное интервью с заказчиком, объяснить возможности применяемого метода и характер получаемой информации. Необходимо сделать все, чтобы у человека не сложилось впечатление, что ему предлагают просто выбросить деньги на ветер.

Здесь же необходимо точно определить целевые аудитории, то есть, те категории населения, которые являются объектом исследования. Уже на основании определения целевых аудиторий определяется количество фокус-групп, которые следует провести.

Формирование исследовательской команды.

После того, как определился круг интересующих вопросов, или тем, а также количество фокус-групп, формируют исследовательскую группу. Для проведения фокус-группы необходимы модератор, который непосредственно проводит групповую дискуссию, ассистенты модератора, которые ведут протокол обсуждения и координатор, который занимается набором респондентов, обеспечением необходимым оборудованием и занимается поиском помещения для работы фокус-групп.

Часто, в различной литературе можно увидеть упоминания о модераторе, ассистенте модератора (ассистент- модератор) и аналитике. В связи с этим возникает некоторая путаница, связанная с различными традициями проведения фокус-группового исследования. На мой взгляд, оптимальный состав команды такой - один модератор, два аналитика и координатор (менеджер). При этом аналитики выполняют свои функции при подготовке исследования и играют роль ассистентов при работе фокус-групп. Затем, все трое занимаются анализом результатов и составлением отчета.

Часто исследовательская команда уже существует, но бывают ситуации, когда требуется привлечение дополнительных сотрудников. Например, если количество необходимых групп достаточно велико, следует проводить их одновременно, иначе на исследование уйдет слишком много времени. Как правило, маркетинговые исследовательские фирмы располагают штатом модераторов. В других случаях, тема обсуждений может потребовать от модератора определенной специфической компетентности. Тогда также следует искать модератора, который в достаточной степени владеет темой.

Место проведения фокус-групп

Помещение для проведения фокус-групп должно отвечать определенным требованиям комфорта. Участники группы должны чувствовать себя «как дома». Идеальное помещение для проведения фокус-групп - это комната, разделенная на две части полупроницаемым зеркалом, чтобы можно было наблюдать за проведением фокус-группы, не мешая участникам. На данный момент таких комнат, приспособленных специально для проведения фокус-групп крайне мало, поэтому приходится подыскивать помещение из того, что есть.

Участники группы и модератор располагаются за круглым столом так, что все оказываются «в равных условиях» на подобие рыцарей круглого стола. Модератор не выделяется в группе и является как бы равноправным участником, первый среди равных. Подобное расположение обеспечивает снижение психологического барьера, который обычно возникает при расположении участников в виде учебной группы в классной комнате, когда существует символическое разделение учитель / ученик. Когда участники садятся за круглый стол такого разделения не происходит. Поэтому, такие помещения, как учебные аудитории менее всего подходят для проведения фокус-группового исследования.

На рис. 2 представлена стандартная схема расположения участников вокруг стола. Здесь видно, что ассистент модератора не сидит за столом вместе со всеми. Он располагается несколько позади модератора и ведет протокол дискуссии. Вместе с тем, он должен находиться в непосредственной близости от модератора, так, чтобы иметь возможность обратить его внимание на какие-нибудь важные детали. Для этого ассистент, как правило, передает модератору записки.

Перед каждым участником, включая модератора, находится табличка, на которой тот пишет свое имя (или псевдоним).

Также, для создания соответствующей обстановки, во время проведения фокус-групп участникам предлагают напитки (кофе, чай, лимонад) и какие-нибудь легкие закуски вроде печенья или чего-то в этом роде. Алкогольные напитки не рекомендуются, так как они могут оказать негативное влияние на ход дискуссии, сделать группу менее управляемой.

Вообще, созданию непринужденной атмосферы многие авторы уделяют серьезное внимание. Так, Р. Крюгер рассматривает ситуацию, когда кто-то из участников захочет закурить. Такое может случиться, если фокус-группа проходит в течение длительного времени. В этом случае он рекомендует спросить остальных участников, не против ли они, а если они возражают, предложить курильщику покурить возле открытого окна, или двери, чтобы он не выходил из комнаты и не выбывал из дискуссии.

Требования комфорта должны соответствовать особенностям целевой аудитории. Может оказаться, что обстановка будет непривычной для респондентов, которые могут в ней чувствовать себя скованно. Например, при проведении фокус-групп с подростками некоторые исследователи предпочитают естественную среду, такую, как улица, кафе и т.п.

Количество групп.

Для проведения исследования обычно используют 5 фокус-групп для представителей определенной целевой аудитории - 4 основные и 5-я - контрольная. Это число является оптимальным, так как 4 группы позволяют собрать весь спектр интересующих мнений. Однако, количество групп может варьироваться от 1 до 12. Считается, что 3 -минимальное число групп, при котором еще можно говорить о проведении полноценного прикладного исследования. Как считают многие авторы, проект, состоящий из одной или двух групп неизбежно должен быть отнесен к одной из следующих категорий:

1) пилотажное (пробное) исследование с методическими целями;

2) пилотажное исследование с маркетинговыми целями;

3) учебные фокус-группы;

4) некорректное, неквалифицированное или недобросовестное исследование;

5) исследуемая популяционная группа столь малочисленна, что более одной или двух групп собрать невозможно.

Первая фокус-группа, в каком бы проекте она не осуществлялась, всегда будет пилотажной. Многие авторы считают, что первая группа редко бывает результативной. На основании результата первой группы можно скорректировать план исследования, учитывая допущенные промахи и ошибки, а также, полученные ранее не учтенные данные таким образом, чтобы последующие группы помогли собрать максимум информации.

Размер группы

Группа не должна быть настолько большой, чтобы быть неуправляемой или препятствовать адекватному участию большинства членов, и она не должна быть настолько малой, чтобы не обеспечить существенно больший охват, чем индивидуальное интервью. К тому же, следует учитывать, что в любой группе обязательно найдется участник, который будет стараться избежать участия в обсуждении, так что реально в обсуждении примет участие меньшее число респондентов.

Число участников группы зависит от степени опытности модератора и, отчасти, от персонального стиля работы. Для начинающего модератора оптимальное число участников - 7 человек.

Набор респондентов.

Сколько нужно групп; квалификация респондентов, продолжительность, время и место - все эти вопросы необходимо решить.

Вопросы о количестве групп и особенностях целевой аудитории, а также продолжительности проведения групп определяются модератором и аналитиком при подготовке исследования. Но существует, также, и ряд организационных вопросов, таких, как поиск помещения для проведения фокус-групп и процесс набора респондентов. Этими вопросами занимается координатор исследования, в функции которого входит набор респондентов, аренда помещения и обеспечение необходимыми ресурсами..

Проблема набора респондентов может потребовать привлечения дополнительных сил, если количество требуемых групп достаточно велико. Следует отметить, что далеко не все с энтузиазмом воспринимают предложение участвовать в фокус-группе, так как не знают, что это такое. Поэтому для набора респондентов следует привлекать коммуникабельных и не вызывающих подозрения людей и определить тактику набора таким образом, чтобы у людей не сложилось впечатление, что их, по крайней мере, не приглашают на презентацию «гербалайфа», или просто пытаются познакомиться. На этом этапе часто могут возникать трудности, поэтому необходимо проводить набор респондентов заранее.

Оплата респондентов

При планировании исследования нельзя упускать из виду тот факт, что при проведении фокус-групп, оплата респондентов обязательна. Это необходимо во-первых, для того, чтобы обеспечить явку участников, а во-вторых, чтобы иметь дополнительную возможность контроля над группой.

Размер оплаты определяется в каждом конкретном случае самим исследователем с учетом особенностей целевой аудитории. В некоторых случаях в качестве оплаты можно использовать образцы тестируемой продукции, или ограничиться представительскими подарками, если респонденты относятся к обеспеченной категории населения.

Как показывает опыт, при подготовке к проведению фокус-групп рекомендуется приглашать как минимум 10 человек, чтобы пришло 8. Однако, если приходят все приглашенные, и их число превышает необходимое, рекомендуется оплачивать даже тех, кто не примет участие в фокус-группе. Это необходимо для того, чтобы не подрывать доверие к исследователю и стимулировать людей к возможному участию в дальнейших исследованиях.

Требования, предъявляемые к респондентам.

При наборе респондентов следует соблюдать определенные условия, необходимые для наиболее эффективного проведения фокус-группы.

· Респонденты должны принадлежать одной и той же социальной группе; критерии принадлежности определяются исследователем исходя из целей исследования. Это могут быть возрастные, половые, и другие статусные критерии.

· Релевантность проблемы образу жизни респондентов (необходимо соответственно сформулировать тему обсуждения). Тема должна соответствовать образу жизни респондентов.

· Наличие потребителей (экспертов) одного уровня. В маркетинговых исследованиях это будут люди, которые имеют одинаковый опыт потребления интересующих товаров, или услуг. В других случаях - это будут люди, которые имеют равную степень заинтересованности интересующей нас проблемой, или находившиеся в какой-либо определенной ситуации.

· Принадлежность к одной культуре (национальной). Присутствие в группе представителей разных культур поднимает проблему межкультурных коммуникаций, так как для разных культур характерно различное восприятие одних и тех же вещей в следствие культурных традиций.

Гомогенность участников.

На первый взгляд казалось бы, чем более разнородной по составу будет группа, тем больший спектр мнений мы получим. Однако, на практике все совсем наоборот.

Состав группы должен быть максимально гомогенным (однородным), так как люди лишь в ограниченной мере могут понимать тех, кто придерживается принципиально иного образа жизни и взглядов.

Разумная гомогенность состава группы является стимулятором дискуссии.

Чем более социально и интеллектуально гомогенной является группа, тем более продуктивны ее сообщения. Наиболее общий принцип формирования групп состоит в том, чтобы участники принадлежали к одному социальному слою и чувствовали себя комфортно в беседе друг с другом. Желательно, чтобы тема обсуждения была знакома респондентам по повседневному опыту.

Важно отметить, что целью отбора респондентов является гомогенность социальных характеристик участников, а не их взглядов и установок.

Социально-демографические характеристики участников

Основными социальными характеристиками, которые обычно принимаются при определении состава групп, являются:

· принадлежность к социальному классу,

· образование,

· пол,

· возраст,

· национальность,

· иногда - религиозная принадлежность.

Если члены группы различаются по социальному статусу, а также по умственным способностям и уровню образования, интервью подвергается двоякому разрушению:

1) Респонденты с разными статусами часто обращаются к опыту, чуждому, или ничего не значащему для других.

2) Респонденты с более низким статусом чувствуют себя скованно, когда респонденты с более высоким статусом описывают свои реакции, стараются избежать неблагоприятного контраста, храня молчание. Особенно это проявляется в случае различий по уровню образования.

Если обеспечение гомогенности по многим параметрам затруднено, то следует прежде всего придерживаться гомогенности образовательного уровня.

Пол участников.

Пол является характеристикой, вызывающей существенные разногласия среди специалистов.

Традиционная точка зрения, обосновывающая принцип сегрегации (разделения) по полу следующая.

Мужчины и женщины часто фундаментально различаются в своих мотивациях и представлениях, поэтому в смешанных и сегрегированных группах характер участия в дискуссии может различаться. Это связано с тем, что некоторые люди весьма чувствительны к реакциям лиц противоположного пола и могут говорить не то, что чувствуют на самом деле. Другие участники бывают застенчивыми и не желают высказываться.

Противники сегрегации указывают на то, что сегодня многие из указанных факторов не так существенны и, если предмет обсуждения не связан с вопросами пола, то нет и препятствий для проведения смешанных групп.

При этом, следует отметить, что:

1) При проведении фокус-групп с молодыми людьми до 25 лет, а также с подросткам и детьми принцип сегрегации обязателен.

2) Предмет обсуждения в смешанных группах не должен быть связан с интимными и сексуальными сторонами жизни людей.

3) Сегрегация необходима для менее образованных слоев.

4) В группах профессионалов сегрегация не нужна, необходимо соблюдать баланс.

5) В смешанных группах особенно необходима гомогенность по возрасту и образованию.

Как показывает практика, все же лучше разделять группы по половому признаку, если есть такая возможность.

Возраст участников.

Возраст является важной статусной характеристикой, которую следует особо учитывать при определении состава фокус-групп. Допустимый возрастной интервал уменьшается в зависимости от того, какая возрастная категория является объектом нашего исследования.

В группах 6 - 12 лет не желателен возрастной интервал даже в 1 год.

До 20 лет - не больше, чем 2 года.

Возрастные границы в этих двух категориях обусловлены тем, что в этом возрасте люди накапливают социальный опыт высокими темпами, и если мы увеличим возрастной интервал, то это приведет к нарушению однородности группы.

Группа 20 - 25 лет. Здесь возрастной интервал увеличивается, но, по мнению многих исследователей, в этом случае нежелательно присутствие лиц старшего возраста.

Возраст 25 - 40 или 30 - 50 - так называемые «средние» группы.

Если объектом исследования являются пенсионеры, то здесь главным разделяющим признаком будет социальное положение.

Ограничения на участие в фокус-группах.

Помимо основных требований, предъявляемых к участникам фокус-групп, существуют и ряд ограничений. Так, не рекомендуется проводить фокус-группы со следующими категориями:

· лица, знакомые с процедурой проведения фокус-групп;

· лица, лично знакомые с модератором;

· лица, профессионально знакомые с предметом обсуждения;

· лица, профессиональная деятельность которых связана с маркетингом, социологи, психологи;

· семейные пары;

· знакомые друг с другом.

Лица, знакомые с процедурой проведения фокус-групп, уже имеют определенный опыт участия, который может влиять на характер их высказываний. Велика вероятность того, что они будут чувствовать себя экспертами и ориентироваться на ожидания ведущего группы. Однако, это условие не всегда выполняется, так как, например, в США проводится столь большое количество таких исследований, что это ограничение затрудняет набор респондентов. Поэтому, в последнее время допускается привлечение респондентов, которые как минимум два месяца не участвовали в фокус-группах. В нашей стране выполнение этого условия пока не составляет труда, однако есть недобросовестные исследователи, которые имеют уже готовые выборки для проведения фокус-групп, что существенно облегчает им задачу набора группы, но делает результаты таких групп неприемлемыми для принятия решений и дискредитирует метод в глазах заказчика.


Подобные документы

  • Основная цель и задачи мониторинга персонала. Принципы и условия его организации и проведения. Требования к мониторинговым показателям. Краткие характеристики методов сбора данных: анкетирования, интервью, фокус-группы, наблюдения, анализа документов.

    курсовая работа [99,6 K], добавлен 17.03.2015

  • Теоретические основы использования социологических методов в PR. Анализ проблемной ситуации в компании "Альянс". Фокус-группа как метод социологического исследования. Рекомендации по совершенствованию корпоративной культуры и снижению текучести кадров.

    курсовая работа [56,6 K], добавлен 25.01.2015

  • Специфика деятельности молодежных групп. Сущность и специфика работы молодежной группы в оздоровительном секторе СПбПУ. Способы повышения эффективности работы молодежной группы на примере команды оздоровителей профкома студентов и аспирантов СПбПУ.

    курсовая работа [246,8 K], добавлен 13.04.2016

  • Сущность понятия "производственная группа", особенности взаимоотношения с человеком. Анализ деятельности учреждения и факторов эффективности работы группы. Методы влияния на группы и организация работы производственных групп в современном предприятии.

    дипломная работа [87,6 K], добавлен 09.10.2009

  • Необходимость в формировании квалифицированной группы внедрения и сопровождения системы, выбор сильного руководителя группы. Подготовка предприятия к реализации ИС. Реорганизация организационной структуры управления и реинжиниринг бизнес-процессов.

    курсовая работа [952,3 K], добавлен 26.05.2014

  • Рассмотрение влияния общества и больших социальных групп на индивида. Определение малой группы, ее признаков, параметров, функций и классификации, а также межличностных отношений в ней. Исследование психологии коллектива как высокоразвитой группы.

    презентация [319,5 K], добавлен 14.01.2015

  • Понятие групп и особенности группы. Формальные и неформальные группы. Методы управления организацией. Влияние неформальных групп на жизнь организации и их особенности. Синтез формального и неформального в организации. Психологический климат в коллективе.

    реферат [26,4 K], добавлен 07.05.2013

  • Группы и их значимость, классификация. Управление неформальными организациями. Факторы, влияющие на эффективность работы неформальной группы. Групповая социометрия, ее цели проведения. Сущность Хоторнского эффекта. Функциональные роли членов группы.

    презентация [227,4 K], добавлен 12.11.2014

  • Классификация и структура корпоративной культуры. Организационно-экономическая характеристика группы компаний "Автомагистраль". Анализ системы управления персоналом, методы их мотивации. Соотношения, характеризующие структуру рабочей силы фирмы.

    дипломная работа [577,9 K], добавлен 21.12.2015

  • Роль группы в формировании мотивационной структуры личности. Основные условия усиления групповой мотивации. Мотивы вступления людей в неформальные группы. Анализ мотивационной структуры персонала с использованием теории базовых и ведущих потребностей.

    контрольная работа [349,3 K], добавлен 27.05.2016

Работы в архивах красиво оформлены согласно требованиям ВУЗов и содержат рисунки, диаграммы, формулы и т.д.
PPT, PPTX и PDF-файлы представлены только в архивах.
Рекомендуем скачать работу.