Метод фокус-групп

Количественные и качественные методы в социологии. Фокусированное интервью по Р. Мертону и фокус-группы. Ограничения на участие в фокус-группах. Количество концепций, которые могут быть обсуждены в группе. Квалификация аналитика и виды первичных данных.

Рубрика Социология и обществознание
Вид учебное пособие
Язык русский
Дата добавления 02.05.2012
Размер файла 349,2 K

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

МЕТОД ФОКУС-ГРУПП

С.А.Белановский

Белановский С.А. МЕТОД ФОКУС-ГРУПП.--М.: Издательство Магистр, 1996.-272 с

Метод фокус-групп, или групповое глубокое интервью, относится к числу так называемых "гибких" или "качественных" методов социологического исследования. В настоящее время в развитых странах "гибкие" методы опросов (индивидуальное и групповое интервью) сделались не просто разновидностью исследовательских методик, но и отраслью индустрии, обслуживающей функционирование институтов рынка (маркетинг) и институтов демократии (анализ и коррекция политических имиджей). Внедрение в практику этих методов в России необходимо для повышения культуры работы рыночных и политических институтов.

Настоящий учебник является первым в России описанием метода фокус-групп. Предназначен для социологов, психологов, политологов, специалистов по маркетингу, преподавателей, студентов, исследователей.

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ

Глава 1. ВОЗНИКНОВЕНИЕ МЕТОДА ГРУППОВЫХ ИНТЕРВЬЮ

§ 1.1 Количественные и качественные методы в социологии: историческая ретроспектива

§ 1.2 Традиция экспериментальной работы с группами

§ 1.3 Фокусированное интервью по Р.Мертону и фокус-группы

Глава 2. ТЕОРЕТИЧЕСКИЕ АСПЕКТЫ МЕТОДА ГРУППОВЫХ ИНТЕРВЬЮ

§ 2.1 Валидность качественных методов

§ 2.2 Группа как модель социума

§ 2.3 Подходы к анализу групповых интервью

Глава 3. ФОКУС-ГРУППЫ В КОНТЕКСТЕ МЕТОДОВ ЭМПИРИЧЕСКОЙ СОЦИОЛОГИИ

§ 3.1 Фокус-группы и включенное наблюдение

§ 3.2 Фокус-группы и индивидуальные глубокие интервью

§ З.З Фокус-группы и диадические интервью

§ 3.4 Фокус- группы и количественные опросы

§ 3.5 Фокус- группы и контент-анализ

§ 3.6 Фокус-группы и прожективная техника

Глава 4. СОЦИОЛОГИЧЕСКИЕ МЕТОДЫ В МАРКЕТИНГОВЫХ ИССЛЕДОВАНИЯХ

§ 4.1 Источники маркетинговых гипотез и возможности их проверки

§ 4.2 Парадокс Ла-Пьера в маркетинговых исследованиях

§ 4.3 Методы маркетинговых исследований

Глава 5. ОБЩИЕ ПРИНЦИПЫ ФОРМИРОВАНИЯ ГРУПП

§ 5.1 Число участников

§ 5.2 Гомогенность состава участников

§ 5.3 Ограничения на участие в фокус-группах

§ 5.4 Число групп

§ 5.5 Число географических мест проведения групп

Глава 6. ОРГАНИЗАЦИЯ ПРОВЕДЕНИЯ ФОКУС-ГРУПП

§ 6.1 Устройство помещения

§ 6.2 Обеспечение явки

§ 6.3. Питье и закуска

§ 6.4 Организационная структура фокус-группового исследования

Глава 7. ПОСТАНОВКА ЦЕПЕЙ ИССЛЕДОВАНИЯ

§ 7.1 Смысл постановочного этапа

§ 7.2 Квалификация постановщика

§ 7.3 Работа постановщика

§ 7.4 Углубленные действия при постановке целей

§ 7.5 Определение границ исследования

§ 7.6 Результат постановочного этапа

Глава 8. КРИТЕРИИ ОТБОРА РЕСПОНДЕНТОВ И ФИЛЬТРУЮЩИЙ ОПРОС

§ 8.1 Выбор отборочных критериев

§ 8.2 Техника набора участников

Глава 9. ПЛАН (ВОПРОСНИК) ОБСУЖДЕНИЯ

§ 9.1 Функции плана обсуждения

§ 9.2 Прямая и обратная последовательность тем

§ 9.3 Степень включенности модератора

§ 9.4 Стимулы и тесты

§ 9.5 Количество концепций, которое может быть обсуждено в группе

Глава 10. МОДЕРАТОР

§ 10.1 Функции модератора

§ 10.2 Предметная подготовка

§ 10.3 Личностные качества модератора

§ 10.4 Деструктивные персональные стили

§ 10.5 Качества хорошего модератора

§ 10.6 Демография модератора

Глава 11. РАБОТА ГРУППЫ

§ 11.1 Перед началом

§ 11.2 Начальный этап

§ 11.3 Роли участников

§ 11.4 Управление групповым процессом

§ 11.5 Методы зондирования

§ 11.6 Стимулирование обсуждения

§ 11.7 Сравнение однотипных предметов

§ 11.8 Контроль над предвзятостью модератора

§ 11.9.Завершение группового интервью

§ 11.10 Участие наблюдателей

Глава 12. АНАЛИЗ И ОТЧЕТ

§ 12.1 Квалификация аналитика и виды первичных данных.

§ 12.2 Методы анализа

§ 12.3 Виды отчетов

ЗАКЛЮЧЕНИЕ

ЛИТЕРАТУРА

ВВЕДЕНИЕ

Данный учебник, посвященный описанию метода фокус-групп, является продолжением усилий автора по внедрению в практику отечественных социальных исследований и преподавания так называемых «гибких» или «качественных» методов опросов. Предыдущая книга, имеющая название «Глубокое интервью», посвящена в основном описанию метода индивидуального интервьюирования. Групповое интервьюирование является родственным методом, имеющим, однако, свою специфику и свои сферы применения.

В развитых странах использование индивидуальных и, особенно, групповых интервью приобрело промышленные масштабы. В середине 90-х годов только в США действовало около 800 самостоятельных коммерческих фирм, осуществляющих фокус-групповые исследования, а общее число ежегодно проводимых в этой стране групп, возможно, перевалило за 200-тысячную отметку. Если 20 лет назад авторы руководств по проведению групповых интервью писали, что к участию в группах не следует привлекать лиц, ранее участвовавших в подобных опросах, то сегодня, в связи с исчерпанием контингента опрашиваемых, стандартное требование состоит в том, чтобы респондент лишь в течение полугода не принимал участия в фокус-группах.

Основной сферой применения фокус-групповых исследований стали маркетинговые исследования, включая: а) традиционный маркетинг товаров и услуг, б) маркетинг некоммерческих организаций, связанный в основном с оценкой эффективности различных социальных проектов и программ; в) так называемый «политический маркетинг», связанный с изучением имиджей политических деятелей, организаций и их программных документов. Ныне можно сказать, что фокус-группы сделались неотъемлемым элементом маркетинговых исследований и, в более широком смысле, важным элементом функционирования институтов рынка и демократии.

Вместе с тем следует указать, что в сфере академических социальных исследований метод фокус-групп нашел лишь ограниченное применение, хотя имеются попытки расширить сферу его использования и в этой области. Следует также отметить, что фокус-группы не вытеснили метод индивидуального глубокого интервью, которое по-прежнему широко применяется и в академических, и в коммерческих исследованиях.

Как уже говорилось, методы индивидуального и группового интервью являются родственными, поэтому при их описании возникает много линий пересечения. В данном учебнике автор максимально избегал дублирования со своей предыдущей работой.

Автор приносит глубокую благодарность всем людям и организациям, оказавшим ему помощь в написании данной книги.

Автор благодарит учредителей Центра политического консультирования «Никколо М» И.Е.Минтусова и Е.В.Егорову, осуществивших финансирование второго издания этой книги.

Для обсуждения книги с автором можно связаться по адресу Москва, Самаркандский бульвар, квартал 134а, д.5 кв.9, телефон 709 -13-17.

Глава 1. ВОЗНИКНОВЕНИЕ МЕТОДА ГРУППОВЫХ ИНТЕРВЬЮ

Метод глубокого группового интервью, или фокус-групп, возник на пересечении ряда исследовательских традиций и занял определенное место среди других методов эмпирической социологии. Широкое применение этого метода в ряде областей обусловлено некоторыми его уникальными свойствами, которые и доныне являются предметом обсуждений и споров. В первой главе мы ставим своей целью описать генезис возникновения метода фокус-групп, сознательно избегая обычно появляющихся рost factum упрощенных трактовок. В последующих главах мы перейдем к описанию возможностей рассматриваемого метода и его специфики.

Метод фокус-групп имеет свои истоки в рамках традиций как эмпирической социологии, так и экспериментальной психологии. В социологии фокус-группы относятся к так называемым «качественным» методам, история развития которых пока слабо освещена в отечественной литературе. По этой причине представляется целесообразным расширить рамки исторического описания и дать краткий ретроспективный обзор развития качественных методов в сопоставлении с количественными. чтобы вписать фокус-группы в адекватный общесоциологический контекст.

Как уже говорилось в предыдущем учебнике, развитие методов эмпирической социологии не носило линейного характера, а в существенной мере было подвержено колебаниям наподобие маятника. Если при этом еще учесть наличие существенных различий между академическими и прикладными исследованиями, то целостная картина получается довольно сложной и недостаточно изученной. Методический ракурс истории социологии еще ждет своего исследователя. По этой причине приведенный ниже очерк схематичен, но все же необходим, поскольку исторический контекст возникновения методов важен для понимания областей их применимости.

§ 1.1 Количественные и качественные методы в социологии: историческая ретроспектива

Термины "качественные методы исследования" и "качественная социология" сегодня уже прочно вошли в лексикон российских социологических публикаций, о чем свидетельствует, например, следующий отрывок:

«В течение длительного времени в западной социальной науке почти безраздельно господствовала позитивистская методология с ее ориентацией на естественнонаучные исследовательские схемы, критерии и стандарты. Многие годы доминирующее положение в эмпирической социологии занимали исследования, цель которых состояла в проверке заранее выдвинутых гипотез с помощью формализованных методов и измерительных процедур. Лишь начиная с 50-х годов стала звучать усиливающаяся критика традиционной эмпирической социологии, которая стала определяться в научной литературе как количественная, позитивистская, нормативная и тд. Эта критика исходила главным образом от сторонников феноменологических, интернационистских и этнометодологических направлений и сосредотачивалась не только на применяемых в количественной социологии процедурах формализации и квантафикации, но была нацелена на базисные (часто имплицитные) предпосылки о природе социальной реальности, лежащие в основании количественного подхода. В ходе дискуссии с позитивистски ориентированной социологией развивались не только альтернативные теоретические программы, но и осуществлялась активная полевая работа, в которой ставка делалась на так называемые свободные, неструктурированные, интерпретативные, качественные методы сбора данных. В конечном итоге эта исследовательская сфера стала рассматриваться как вполне самостоятельная область социологии со своим собственным теоретическим, методологическим и методическим арсеналом, а для ее характеристики в настоящее время все чаще используюттермин «качественная социология». В западной социальной науке качественная социология представляет собой научное направление, имеющее парадигмальные характеристики, проявляющиеся в общности и взаимосвязанности теоретических концепций, методологических подходов и конкретных методов исследования» [13, с 3-4,121].

Приведенное выше описание, с нашей точки зрения, в целом является правильным, но вместе с тем нуждается в некоторых уточнениях Главное из них должно состоять в том, что так называемая «качественная социология» не является столь целостным и интегрированным теоретическим, методологическим и методическим научным направлением, как это описывает цитируемый выше автор. Учитывая, что указанное описание является довольно типичным, причем не только для российских, но и для многих западных публикаций последних лет, представляется необходимым рассмотреть вопрос о взаимоотношении методов в более конкретном контексте их возникновения.

В качестве преамбулы отметим, что любая научная дисциплина, будь то физика, биология или социология, не является чем-то целостным, а скорее представляет собой сложный и далеко не всегда упорядоченный конгломератразличных субдисциплин. Это можно пояснить на примере физики, поскольку в ее состав входят такие разные субдисциплины, как астрофизика, квантовая механика, термодинамика, а также такие сугубо практические области, как электротехника, теплотехника, сопротивление материалов и тд. Сходные примеры можно привести из области химии, биологии и других наук.

Достаточно очевидно, что социология в этом ряду не только не является исключением, но и, пожалуй, демонстрирует еще большую степень дезинтеграции, чем традиционные естественные науки. Чтобы не быть голословными, приведем мнение признанного специалиста Н.ФЛаумовой, которая следующим образом характеризует состояние западной социологам последних лет «Наиболее значительная, заслуживающая внимания тенденция связана с тем, что в 70-е -- 80-е годы естественный процесс дифференциации науки приобрел формы, позволяющие делать вывод о резком ослаблении в ней внутренних теоретических и предметных связей... Социетальные проблемы рассматриваются практически вне теоретических предпосылок, на эмпирическом уровне... Продолжается процесс обособления прикладной социологии. Прикладные работы все больше образуют автономную область, до которой очень смутно доносятся теоретические споры» [24, с. 292-294].

Тезис о теоретической, предметной и методической неодородности социологии важен для нас потому, что возможности любого метода и его роль среди других методов не могут быть правильно поняты вне контекста его возникновения и тех задач, которые он первоначально был призван решать, а также вне понимания процессов «экспансии» этого метода на другие предметные области.

Предельно упрощая, история развития методов эмпирической социологии с момента ее зарождения и до наших дней выглядит следующим образом.

Как известно, основным эмпирическим методом, которым пользовались социологи первого поколения (Ф.Теннис, Э.Дюркгейм, Г.Зиммель и другие) было наблюдение, причем не включенное наблюдение в современном понимании этого слова, а обыденное, или «жизненное» наблюдение, дополнявшееся изучением литературы, общением с коллегами и тд.

Первые попытки использования в социологической работе систематического эмпирического материала относятся к началу XX века. Основными ввдами эмпирических данных в те годы были: письма, дневники, материалы судебных дел, устные истории, позднее -- автобиографии, а еще позднее -- методы агентурной работы, заимствованные у спецслужб (разновидность включенного наблюдения). Таким образом, первый этап развития социологии с точки зрения используемых методов должен быть охарактеризован как «качественный». Одним из главных направлений эмпирических исследований тех лет было изучение социальных причин преступности, особенно молодежной и подростковой. Позднее, после начала «великой депрессии», фокус интересов сместился в сторону криминальных сфер теневой экономики.

В 20-е годы в США были разработаны и быстро вошли в моду количественные стандартизированные опросы. Для нас важно, что сфера возникновения количественных опросов изначально не имела ничего общего ни с теоретическими трудами отцов-основателей социологии, ни с первыми эмпирическими исследованиями, посвященными генезису личности преступников и некоторым другим изучавшимся в те годы проблемам. Если исследования, в рамках которых осущеста-лялся сбор автобиографий, были научно-поисковыми, то массовые опросы с момента своего возникновения имели в основном не просто прикладной, а коммерческий характер, поскольку были востребованы и финансировались газетами и политическими партиями для решения вполне конкретной практической задачи: замера рейтингов политических деятелей и прогноза результатов выборов. В те же годы были предприняты первые попытки количественного изучения аудитории средств массовой информации и рекламы.

Считается, и не без основания, что новые количественные методы существенно потеснили предшествующую «качественную» традицию, оттянув на себя, в частности, фокус общественного интереса, а вследствие этого -- финансовые и иные ресурсы, включая и ресурс доступа к средствам пропаганды своих идей (эффект, свойственный любой моде). Здесь, пожалуй, уместно отметить, что европейские социологические школы, которые могли бы составить альтернативу американским, в то время были раздавлены послевоенным экономическим кризисом и окончательно погибли в огне второй мировой войны, после которой на несколько десятилетий установилась так называемая «эпоха американизма», когда вновь возникавшие европейские школы могли выполнять лишь роль реципиентов американских достижений.

Разработка и внедрение метода массовых опросов явились крупным технологическим достижением, на основе которого в развитых странах сформировалась целая экономическая отрасль, или «индустрия опросов», ставшая неотъемлемым элементом современного общества. Значение и финансовая мощь этой отрасли существенно возросли с тех пор, как на основе массовых опросов стали проводиться регулярные маркетинговые исследования, ставшие более мощным (и более стабильным по сравнению с политикой) источником финансирования.

Система социологического образования, разумеется, не могла остаться в стороне от этих процессов. Методы стандартизованных опросов, включая весь сопутствующий им шлейф методов сбора и обработки данных, стал крупной составной частью системы социологического образования и академической социологии. Результаты стандартизованных опросов естественным образом оказались массивами информации, чрезвычайно удобными для осуществления различных математических операций, в том числе и с помощью ЭВМ. Так родилась математическая социология, имевшая свои несомнентае достижения, но очень сильно формализовавшая процесс социологического образования, потеснив в нем собственно гуманитарные направления.

Технология массовых опросов и сопутствующие ей математические методы оказали огромное влияние на социологию в целом, включая все ее отрасли. Это влияние неоспоримо, но неоднозначно. Целостный анализ данной проблемы выходит за рамки нашего рассмотрения. Для наших целей важно лишь установить, где и почему возникла «...растущая неудовлетворенность исследователей поверхностью массовых опросов» [7, с.5].

Прежде, чем дать ответ на этот вопрос, необходимо отметить, что если до 50-х годов мы могли упрощенно рассматривать эмпирическую социологию как нечто единое, и выделять в ее развитии «качественный» и «количественный» периоды, то в дальнейшем такое упрощение становится уже неправомерным. В связи с этим необходимо рассмотреть методическую динамику, как минимум, в трех автономных областях: в теоретической социологии, в системе социологического образования и в коммерческих социологических исследованиях.

Развитие теоретической социологии и связанных с ней эмпирических исследований, как уже говорилось, шло автономно от коммерческих, и путь этот оказался извилист.

Данный вопрос уже был частично описан в предыдущем учебнике. Избегая повторов, напомним, что в 30-е годы в США сформировалась сильная теоретическая школа, получившая название структурно-функциональной. В тот же период на очень высокий уровень вышел ряд других социологических школ, связанных, в частности, с исследованием организаций, культуро-антропологическими исследованиями и некоторыми более частными направлениями. Для нас важно, что эти направления характеризовались не только высокой теоретической, но и очень высокой методологической культурой. Поэтому приписывание им примитивных «количественных» или позитивистских ориентации было бы грубой ошибкой. Обладая очень высокой квалификацией (см., например, статью П.Лазарсфельда в сборнике «Социология сегодня»[30]), названные школы в совершенстве владели всем арсеналом эмпирических методов, модифицируя и комбинируя их в зависимости от возникавших исследовательских нужд. Основными средствами эмпирической работы этих школ были: наблюдение (включенное и обыденное), эксперименты, в т.ч. групповые, индивидуальные неструктурированные интервью, стандартизованные количественные опросы. Что же касается групповых интервью, то они применялись сравнительно редко и не находились в фокусе методического внимания теоретиков и эмпириков тех лет.

Для более правильного понимания роли эмпирических исследований в социологической теории следует отметить, что «теоретический уровень науки относительно самостоятелен, он способен развиваться и без непосредственной опоры на данные эмпирические исследования, поскольку теоретические и эмпирические гипотезы могут появляться в результате уточнения и развития содержания понятий, а не в результате эмпирического анализа связей между теми явлениями, в которых эти понятия операционализированы» [24, с. 297].

Идейный конфликт между «количественной» и «качественной» социологией обозначился в конце 60-х годов на волне критики структурного функционализма со стороны возникшей в те годы феноменологической социологии и смежных с ней направлений. В нашей предыдущей книге мы уже писали, что этот конфликт сопровождался сильными идеологическими перехлестами. Сейчас для нас важно отметить, что критика феноменологов имела два аспекта: теоретический и методический, причем критикующие в пылу полемики, по-видимому. плохо осознавали, что эти аспекты критики должны были быть направлены на разные объекты.

Анализ теоретических аспектов спора не входит в нашу задачу, однако методические аспекты имеют прямое отношение к нашей теме. С нашей точки зрения, методическая революция, происходившая одновременно с теоретической, имела две основные причины. Первая, достаточно очевидная, состояла в том, что для сторонников феноменологической и этаометодологической ориентации «живая речь» и «живое наблюдение» действительно были более релевантны их теоретическим взглядам, чем данные стандартизованных опросов. Иллюстрацией могут служить использовавшиеся А,Сикурелом такие методы сбора данных, как участвующее наблюдение, запись на пленки дискуссий, изучение протоколов судебных заседаний и тд. Позднее под влиянием работ основоположников феноменологической социологии возродился интерес к биографическому методу и методу устных историй, причем оба они получили существенное методическое и теоретическое развитие.

Если не считать отмеченных выше идеологических перехлестов, описанный выше процесс смещения фокуса методических интересов в целом следует считать нормальным, поскольку для каждой специфичной системы концептуальных представлений и для соответствующего ей специфичного объекта существует свой естественный баланс методов, определяемый не идеологическими пристрастиями, а объективными свойствами изучаемых проблем (это отмечают и сами социологи феноменологической ориентации). Для полноты картины добавим, что, с нашей точки зрения, снижение интереса к количественным методам в области теоретической социологии связано с падением интереса к зонам релевантности этих методов, но не с исчезновением этих проблемных зон как таковых.

Вторая причина критики количественных методов, по-видимому, более важная, чем первая, но до сих пор плохо осознанная, состоит в том, что теоретики феноменологической ориентации, по крайней мере, наиболее молодые из них, выступая против «социологического истеблишмента», соединили в единый объект структурно-функциональную теоретическую социологию и, как это ни странно, сложившуюся в университетах и колледжах систему преподавания методов эмпирического социологического исследования. Если засилие количественных и математических методов никоим образом не было характерно для теоретической социологии, то оно, несомненно, имело место в системе методического образования социологов, в основу которого был положен весьма искусственный гибрид между описанием прикладных количественных методик и обоснованием их валидности в духе позитивистской философии, причем сами прикладные исследования и их реальная специфика в таких описаниях вообще как бы игнорировались.

В предыдущей книге мы уже подробно писали, что основной недостаток позитивистской методологической концепции состоял в том, что концентрируя внимание на точности измерений и математической проверке гипотез, она ничего не говорила о том, что такое содержательные теории и гипотезы и откуда они берутся. Такая неадекватность системы социологического образования имеет, на наш взгляд, достаточно глубокую причину. Трагедия социологии как научной дисциплины, состоит в том, что она создала множество высочайших теоретических трудов, но не создала жанра теоретического учебника, в котором эти труды нашли бы адекватное обобщение. Вследствие этого каждое новое поколение социологов в процессе своего профессионального роста в очень большой степени вынуждено опираться на самообразование. Отсюда -- периодическая идеологизация социологии, «конфликты поколений», периоды подъемов и спадов, крутых идеологических поворотов и тд. Отсюда же -- ощутимый крен социологического образования в сторону изучения методов исследования, опасность которого недвусмысленно выразил экономист Ф.Хайек: «..К несчастью, технические приемы исследовательской работы сравнительно легко осваиваются, поэтому и в положении учителей часто оказываются люди, владеющие техникой, но слабо разбирающиеся в предмете исследования, так что и их работа с научной точки зрения оказывается несостоятельной» [33].

Исходя из вышеизложенного, следует попытаться определить ту реальную область, применительно к которой критика количественных методов опросов действительно была обоснованной. Такая критика явно не была направлена в адрес организованных по принципу поточного производства коммерческих опросов, которые осуществлялись автономно, имели независимые источники финансирования и успешно решали ставившиеся перед ними практические задачи. Кроме того, как будет показано ниже, качественные методы активно использовались в коммерческих опросах еще в начале 50-х годов, т.е. задолго до возникновения описываемых академических споров.

С другой стороны, объектом методической критики не была и структурно-функциональная социология, которая, как уже говорилось, весьма корректно и с высоким уровнем рефлексии пользовалась всем арсеналом социологических методов, включая и количественные, и качественные опросы. Чтобы не быть голословными, укажем, что нам не известна ни одна публикация, в которой с методической точки зрения критиковались бы результаты количественных опросов, положенные в основу теоретических работ Р.Мертона, П.Лазарсфельда, С.Стауфера и других наиболее известных социологов структурно-функционального направления, проводивших эмпирические исследования. Еще меньше оснований считать объектом методической критики социологию организаций, поскольку в этой области стандартизованные массовые опросы хотя и использовались, но никогда не были доминирующими (исключение составляют различные анкеты и формуляры, распространяемые так называемыми «специалистами по управлению», но их деятельность лишь с большой натяжкой может быть охарактеризована как социологическая). Что же касается третьей из названных нами высокоразвитых теоретико-эмпирических школ, а именно, культур-антропологии, то эта область никогда не страдала от засилия количественных методов, о чем свидетельствует, к примеру, следующее высказывание КЛеви-Стросса:

«Подлинность существования корреляции, даже основанной на впечатляющих статистических данных, зависит в конечном счете от правильности производимого заранее выделения тех явлений, между которыми устанавливаются корреляции, что создает опасность возникновения порочного круга... Статистический метод всегда оказывается эффективным для обнаружения неправильно установленных корреляций» [20, с.275].

Итак, если учесть, что растущая неудовлетворенность поверхностью количественных опросов не могла быть адресована ни сфере коммерческих опросов, ни ведущим теоретико-эмпирическим направлениям исследовательской социологии тех лет, остается констатировать, что эта неудовлетворенность вызывалась в первую очередь специфичным освещением методических вопросов в самой университетской среде, т.е. в сфере преподавания социологии, а также в связи с поверхностностью работ, выполнявшихся под непосредственным влиянием рекомендаций учебных курсов по методике социологических исследований.

При осмыслении этого вывода следует учесть, что текущая социологическая периодика в существенной мере заполнялась публикациями неадекватно сориентированных исследователей, чаще всего молодых. В принципе такое явление следует считать нормальным, поскольку публикации выполняют, в том числе, и учебные функции. Однако неадекватное и некритическое использование количественного инструментария в этих публикациях просто бросалось в глаза и поэтому стало естественной мишенью для критики. В нашей предыдущей книге мы уже приводили примеры результатов опросов, в которые трудно вложить какой-либо определенный смысл. Число таких примеров легко умножить.

Охарактеризовав причины сдвига методических ориентации в направлении качественных методов в академической социологии, нам остается определить, какой вклад внесла в этот процесс сфера коммерческих опросов. Вновь следует подчеркнуть, что, хотя обе эти сферы оказывали и оказывают друг на друга определенное, а временами и очень существенное влияние, динамика их развития по всем существенным признакам является автономной. Яркой иллюстрацией этого являются различия в показателях их ресурсной динамики. По сравнению с «золотым веком» западной теоретической социологии 40-60-х годов, к 80-м годам резко упала ее общественная популярность, сократилось число социологических кафедр и численность изучающих социологию студентов, сильно возрос средний возраст преподавателей, сократились ассигнования, сузилась аудитория читателей фундаментальных теоретических трудов [11, с.57]. Университетская революция 60-х годов в социологии привела к классической форме отраслевой депрессии. Только в последние годы эта депрессия, возможно, начинает преодолеваться, причем в первую очередь за счет роста удельного веса преподавания предметов, ориентированных на прикладные и коммерческие цели.

Что же касается сферы коммерческих опросов, то за весь послевоенный период она переживала устойчивый рост, опережая по темпам роста экономику в целом и не испытывая никаких признаков депрессии.

Как уже говорилось, в 20-е годы сфера коммерческих исследований создала технологию массовых количественных опросов и распространила ее на всю социологию. Однако в 50-е годы при освоении новой предметной области, а конкретно маркетинговых исследований, именно коммерческая сфера первой почувствовала недостаточность и неадекватность количественного аппарата, причем по чисто прагматическим соображениям. Далее важно отметить, что основным дополняющим методом в этой сфере стали не качественные методы вообще, а именно фокус-группы, а также, хотя и в меньшей степени, -- индивидуальные неструктурированные интервью. Все авторы современных монографий по фокус-группам сходятся в том, что в США фокус-группы активно применялись в маркетинговых исследованиях уже с середины 50-х годов, а по мнению некоторых -- даже с конца 40-х [63,114 и др.].

Как могло получиться, что метод группового фокусированного интервью, широко применявшийся на практике, не составлявший особой тайны и описанный во многих публикациях, в том числе и учебных, три десятилетия оставался практически незамеченным, а затем в середине 80-х годов вдруг вошел в моду, перехлестнув по своей популярности все прочие методы вместе взятые? Этот факт трудно объяснить рациональными причинами. Продолжительная "незамеченность" метода, возможно, объяснялась инерционностью системы образования. Одна из очевидных причин внезапной «за-меченности» заключалась в том, что к нему проявили интерес социологии-теоретики феноменологической ориентации. Другая, совершенно независимая причина, состояла в том, что ряд исследователей, занимавшихся маркетинговыми фокус-группами и имевших стаж работы в этой области от 20 до 30 лет, примерно в одно и то же время независимо друг от друга написали несколько сильных учебников, которые просто не могли стать незамеченными.

Появление еще одного «качественного» метода было с восторгом встречено теми академическими кругами, которые придерживались качественной ориентации. Эта восторженная встреча была вызвана, по-видимому, двумя причинами: с одной стороны, этот метод соответствовал победившей качественной идеологии, а с другой, отвечал требованиям неафишируемого поворота системы социологического образования в сторону практически ориентированных и коммерческих исследований.

Однако описанные выше рациональные причины выглядят явно недостаточными для объяснения того громадного идеологического перехлеста, с которым по мировой социологии прокатился фокус-групповой «бум». В странах США и Западной Европы нашлись университеты и спонсоры, направляющие своих миссионеров для обучения других народов этому прогрессивному методу (побывали они и в России: имеется в виду организация ROSCON и некоторые другие). Удивляет, конечно, то, что, по крайней мере в России, эти миссионеры не столько разъясняли принципы проведения маркетинговых фокус-групп, сколько проповедовали идеи социального партнерства и мира, средством для достижения которых они считали фокус-группы, проводимые не профессиональными модераторами, а непосредственно лидерами соответствующих организаций: профсоюзов, предприятий, местных властей и тд. (утопизм этих идей в чем-то перекликается с идеями Я.Морено. который стремился к достижению сходных целей с помощью социометрии и психодрамы).

Сегодня, в 1996 году, уже стало очевидно, что «перехлесты» фокус-групповой моды сходят на нет, и метод фокус-групп возвращается в свои естественные границы, т.е. границы тех областей и сфер применения, где он всегда был наиболее эффективен. Полезный вклад фокус-группового «бума» в развитие методов эмпирической социологии состоял в том, что он привлек внимание к этому методу широких кругов исследователей и активизировал поиск новых областей релевантности. Не исключено, что в какой-то мере этот поиск был эффективен, однако окончательные итоги подводить пока рано. Все же, с нашей точки зрения, в ближайшее время следует ожидать усиления методических позиций индивидуального неструктурированного интервью как более универсального метода.

Описывая, по необходимости очень кратко, генезис метода фокус-групп в соотнесении с генезисом других методов эмпирической социологии, нам хотелось избежать некоторых упрощенных трактовок, связанных с разъяснением методических функций фокус-групп и качественных методов вообще. Само деление социологии на «количественную» и «качественную», с нашей точки зрения, правомерно только применительно к области эмпирических методик. Различные теоретические подходы и различные практические задачи могут в той или иной мере тяготеть к количественному или качественному инструментарию, но характеризовать их как «количественные» или «качественные» было бы, с нашей точки зрения, большой натяжкой.

Далее, хотя биографический метод, включенное наблюдение, дневники и личные документы, устные истории, различные виды индивидуальных неструктурированных интервью, а также фокус-группы обладают определенными общими свойствами, позволяющими объединить их в категорию «качественных методов», не следует забывать не только о существенной разнородности этих методов, но и об их «привязке» к различным проблемным областям. В частности, можно смело утверждать, что биографический метод никогда не найдет широкого применения в маркетинговых исследованиях. С другой стороны, биографический метод незаменим при изучении долгосрочных социальных сдвигов и ряда других проблем, где фокус-группы, неизбежно концентрирующиеся на весьма узкой проблеме обсуждения, вряд ли станут доминирующим инструментом исследования. В исследованиях организаций, преступных группировок, теневой экономики и ряда Других проблемных областей, как нам кажется, фокус-группы никогда не станут главным инструментом исследования, в частности потому, что в этих областях не всегда могут быть вычленены так называемые популяционные группы -- необходимое условие проведения группового интервью.

Сохраняется и, с нашей точки зрения, сохранится в будущем существенное различие в балансе качественных методов, используемых в академических и коммерческих исследованиях. В академических исследованиях, вообще говоря, используется весь арсенал количественных методик, и фокус-группы никоим образом не являются доминирующими. Значительные усилия, предпринятые во времена фокус-группового «бума», по распространению этого метода за пределы его традиционного использования имели весьма ограниченный успех. Правда, надо сказать, что в сфере социологического образования практика проведения групповых дискуссий, пусть даже по некоторой условной и учебной проблематике, является эффективным средством обучения.

В сфере коммерческих исследований «индустрия опросов» раскололась в настоящее время на две крупные подотрасли:

количественную и качественную. В качественной доминируют фокус-групповые исследования, которые ведутся с очень большим, все возрастающим размахом. Используются в этой подотрасли и индивидуальные глубокие интервью. Прочие качественные методы в коммерческих исследованиях практически не используются.

§ 1.2 Традиция экспериментальной работы с группами

Описав место фокус-групп в рамках традиции социологических опросов, нельзя оставить в стороне и другую традицию, повлиявшую на возникновение метода групповых глубоких интервью, а именно - традицию экспериментальной работы с группами, развившуюся в рамках смежной дисциплины -- психологии.

Традиция экспериментальной работы с группами включает в себя, как минимум, три крупных автономно сформировавшихся направления, одно из которых является собственно научным, а два других -- прикладными. Научным направлением мы в данном случае называем обширную сферу экспериментальных работ и их теоретических осмыслений, получившую обобщенное название «групповая динамика». Общепризнанным лидером, основоположником и наиболее продуктивным исследователем в этой области является психолог Курт Левин. Специфика экспериментов Левина состояла в том, что объектом и единицей исследования в них стала группа как целостный объект, в то время как входившие в ее состав индивиды и их взаимодействия рассматривались лишь как элементы этой целостности. В рамках работ по изучению групповой динамики были выявлены и изучены такие явления, как групповая сплоченность, групповое давление, лидерство, конформизм и нонконформизм, процессы принятия групповых решений и многое другое. Следует отметить, что многие эксперименты, проводившиеся над группами Левиным и его последователями, были весьма жесткими, порой на грани этически допустимого. В этом аспекте традиция экспериментальной психологии групп радикально отличалась от традиции социологических опросов, целью которых было и, по-видимому, остается получение «естественных» реакций респондентов, не искаженных каким-либо (даже минимальным и непреднамеренным) внешним давлением.

Вопрос о том, какие реакции испытуемых следует считать «истинными» -- неискаженными или полученными под сильным давлением, является риторическим. Точнее, его следует отнести к категории псевдопроблем, поскольку и та, и другая ситуация моделируют определенные категории поведенческих актов, осуществляемых в различных условиях. Если речь идет об индивидуальных и вполне добровольных видах поведения, таких, как свободное голосование или покупка товара (мы рассматриваем идеальный случай, свободный от каких-либо форм давления), то адекватным средством имитации является «мягкий» опрос. Напротив, поведение людей в организациях, на войне, в местах заключения и тд., где существуют мощные рычаги давления на личность и «силовые поля» межличностных взаимодействий, более адекватно моделируется левиновскими экспериментами. Таким образом, адекватность любой методики определяется степенью соответствия ее свойств основным аспектам моделируемой ситуации. Ниже, при описании самих фокус-групп, мы увидим, что проблема определения сферы их адекватного применения является одной из центральных, решенных лишь на практическом, но не на теоретическом, уровне.

Вторым крупным направлением экспериментальной и практической работы с группами является групповая психотерапия. В отличие от работ по изучению групповой динамики, обладающих хотя и не полным, но относительным концептуальным и методическим единством, область групповой психотерапии представляет собой крайне разнородную сферу различных теоретических и методических подходов, зачастую конфликтующих между собой. Подробное описание этих подходов выходит за рамки нашей темы и требует обращения к специальной литературе. Кратко охарактеризуем лишь некоторые основные направления.

В рамках психоаналитического подхода первым попытался работать с группами А.Адлер, последователь З.Фрейда, позднее разошедшийся с ним во взглядах, но продолжавший придерживаться модифицированной психоаналитической парадигмы. Первые попытки групповой психоаналитической работы были предприняты Адлером в начале 20-х годов. Позднее психоаналитическое направление, с одной стороны, все более дробилось на различные ответвления, но с другой оказывало заметное косвенное влияние на иные направления экспериментальной работы с группами, первоначально не имевшие никакой связи с психоанализом. В этой связи следует указатъ, в частности, на обширный комплекс так называемых прожективных методов, используемых и в фокус-групповых интервью.

Среди других направлений групповой психотерапии следует назвать созданные в начале 30-х годов Я.Морено социометрию и психодраму. Разработка этих методов мотивировалась сложным комплексом научных, психотерапевтических и социально-утопических идей. Хотя ожидания Морено относительно перспектив переустройства общества на основе разработанных им методик и концепций оказались нереалистичными, конкретные разработки прочно вошли в арсенал психологических, психотерапевтических и социологических методов.

В 50-е и 60-е годы в групповой психотерапии и возникло так называемое «гуманистическое» направление, крупнейшей фигурой которого стал К.Роджерс. Хотя сам Роджерс не занимался социологическими исследованиями, его работы были замечены социологами. Термин Роджерса «ненаправленное интервью» с соответствующими цитатами из его работ можно встретить почти во всех учебниках по интервьюированию как индивидуальному, так и групповому.

Терапевтические группы Роджерса и групповые интервью, помимо ненаправленности, имеют еще одно важное общее свойство. По мнению Роджерса, члены группы способны оказать друг другу более эффективную психотерапевтическую помощь, чем профессиональный психотерапевт, который полностью замыкает общение с пациентом на себя. Поначалу такой подход вызывает недоумение у самих пациентов, поскольку на вопрос: «Что мы будем обсуждать?» психотерапевт, по Роджерсу, должен ответить: «Мы должны решить это вместе». Следствием такого ответа обычно является длительная недоуменная пауза, однако постепенно дискуссия завязывается и набирает темп при внешне незаметной, но на самом деле весьма существенной поддержке психотерапевта, роль которого имеет много черт сходства (но одновременно и отличий) с ролью модератора фокус-групп.

Третьим направлением практической и экспериментальной работы с группами является в широком смысле деловая сфера, включающая в себя проблемы принятия управленческих решений и профессиональную экспертизу. Исходные формы этой работы являются не разработками социальных ученых, а продуктами самоорганизации общества, начиная с древнейших времен. Традиция деловых и военных совещаний известна даже у так называемых «примитивных» народов, не говоря уже о высокоразвитых цивилизациях древности и средних веков. Уже в древности было осознано, что число участников эффективного «узкого» совещания должно составлять ориентировочно от 5 до 15 человек, поскольку работа с более широкими собраниями и форумами требует принципиально иной организации. На более поздних этапах развития цивилизации яркими примерами практической групповой работы, имеющей много общего с экспериментальными группами, явились суды присяжных, медицинские консилиумы, технические советы, научные семинары и тд. Примером социального изобретения сравнительно недавнего времени являются так называемые «рабочие кружки качества», созданные в 50-х годах XX века японскими менеджерами и лишь затем освоенные и распространенные по всему миру профессиональными исследователями.

В XX веке социальные исследователи, прежде всего психологи, попытались, отчасти небезуспешно, перехватить инициативу и модифицировать традиционные типы деловых совещаний с помощью научных достижений как из области экспериментов по групповой динамике (методика «дельфи» [34], брейнсторминг, номинальные группы [68]), так и из области психотерапии (деловые игры, тренинга и тд.). Пик популярности этих нововведений пришелся в основном на 60-е годы.

Позднее, как это часто бывает, выяснилось, что многие оптимистические ожидания оказались завышенными. Тем не менее, названные направления существенно обогатили арсенал методов экспериментальной и прикладной психологии и оказали определенное влияние на развитие других методов (в том числе и метода фокус-групп), некоторые модификации которых включают в себя элементы названных выше методик.

Еще одна группа психологических методов, оказавшая очень сильное и возрастающее влияние на практику проведения фокус-групп, -- это обширный комплекс прожективных методик, предназначенных для тестирования, психодиагностики, выявления бессознательных мотиваций и тд. Эта четвертая психологическая традиция не является «групповой» в собственном смысле этого слова, но она может использоваться как в работе с индивидуальными респондентами, так и в работе с группами. В маркетинговых и политических исследованиях, т.е. на основном поле применения фокус-групп, прожектавные методики применяются в обоих названных вариантах, те. как элементы и индивидуальных, и групповых интервью. Прожективные методы в целом описаны в отечественной литературе, хотя общий объем и степень детальности этих описаний являются, конечно, недостаточными.

Сопоставляя сказанное в этом и в предыдущем параграфе, следует сделать вывод о том, что фокус-группы имеют (или могут иметь) двойной генезис: социологический и психологический. Ближайшим методическим аналогом фокус-групп в социологии является индивидуальное глубокое интервью, а в психологии -- описанные выше экспериментальные группы.

В России из-за сложившегося дисбаланса в системе социологического образования психологи оказались гораздо лучше подготовлены к восприятию и практическому использованию фокус-групп, поскольку методика индивидуального глубокого интервью на социологических факультетах не преподавалась, а экспериментальная работа с группами с давних пор была существенным элементом подготовки психологов. Будем надеяться, что в ближайшее время этот дисбаланс станет преодолеваться.

§ 1.3 Фокусированное интервью по Р.Мертону и фокус-группы

Описание генезиса метода фокус-групп в контексте других эмпирических методов не может быть полным без рассмотрения связи этого метода с известной работой Р.Мертона, М.Фиске и П.Кендалл «Фокусированное интервью».

Авторы современных учебников по фокус-группам, касаясь генезиса данного метода, обычно описывают его следующим образом: «Исследования при помощи фокус-групп не являются новыми. В общественных науках самыми ранними публикациями были публикации Р.Мертона и его сотрудников, которые использовали фокус-группы для изучения убедительности пропаганды во время войны» [9б]. Далее, как правило, следует краткий пересказ смысла основных понятий, введенных Мертоном и соавторами: ретроспекция, полнота, специфичность, глубина, личностный контекст. После этого ссылки на публикации Р.Мертона обычно заканчиваются, и дальнейшее описание методики фокус-групп осуществляется уже без какой-либо связи с указанным первоисточником. Лишь в самых последних публикациях и практических исследованиях вновь возникают определенные следы влияния публикаций Мертона и его коллег на современную практику применения метода.

Для того чтобы разъяснить это противоречие, необходимо разобрать проблемы, связанные со значениями трех основных терминов: глубокое интервью, фокусированное интервью, групповое интервью, имея в виду, что значение этих терминов в контексте публикаций 50-х и 80-х годов претерпело определенные изменения.

Термин «глубокое интервью» имеет различные значения в зависимости от того, используется он как психологическое или социологическое понятие. В психологии имеется термин "глубинная психология", которым обозначают ряд направлений, придающих решающее значение в организации человеческого поведения побуждениям, скрытым за поверхностью сознания, т.е. в «глубинах» психики. В соответствии с этим в психологической традиции глубинными или глубокими называют психоаналитические и иные интервью, направленные на выявление этих бессознательных побуждений [27, с.81].

В социологии термин «глубокое интервью» используется в совершенно ином значении, связанным со словом «зондирование» (рrobling). Методы зондирования применительно к фокус-группам подробно описаны ниже. Здесь мы ограничимся пояснением, что термин «зондирование» используется как в количественных, так и в качественных опросах, причем не исключено, что первоначально техника зондирования и сам термин были выработаны в сфере количественных опросов. Зондированием называется техника, побуждающая респондентов дополнить, разъяснить или объяснить то, что уже было ими сказано. В количественном инструментарии во всех необходимых случаях в анкетах имеется одно из следующих указаний интервьюеру: не зондировать, зондировать один раз, зондировать два раза, зондировать полностью. Пример полного, или глубокого зондажа в количественном опросе выглядит примерно так:

ИНТЕРВЬЮЕР: Какие лекарства от головной боли Вы знаете?

РЕСПОНДЕНТ: Аспирин, анальгин, пирамидон. И цитрамон.

ИНТЕРВЬЮЕР: (Молчание).

РЕСПОНДЕНТ: Еще спазган окажется, максиган. Я их путаю.

ИНТЕРВЬЮЕР: А еще?

РЕСПОНДЕНТ: Дочери я даю панадол, говорят, он безвреден...

ИНТЕРВЬЮЕР: Угу.

РЕСПОНДЕНТ: Да, я вспомнила, еще баралгин.

ИНТЕРВЬЮЕР: Так, баралгин.

РЕСПОНДЕНТ: Еще рекламируют что-то по телевизору, но я не помню. Какое-то средство с двойным действием.

ИНТЕРВЬЮЕР: А еще какие?

РЕСПОНДЕНТ: Больше не помню.

ИНТЕРВЬЮЕР: Точно?

РЕСПОНДЕНТ: Да, не могу вспомнить.

В приведенном выше примере хорошо видно, что глубокий зондаж -- это, так сказать, зондаж до конца, т.е. до тех пор, пока не появится уверенность, что респонденту уже нечего сказать по данному вопросу. В неструктурированных глубоких интервью у интервьюера, конечно, нет возможности с такой же настойчивостью заглублять каждый вопрос, но предполагается, что ключевые вопросы, насколько это возможно, будут прозондированы до конца. В групповых интервью требование «зондирования до дна» кажется трудновыполнимым, однако практика показывает, что активная групповая дискуссия часто спонтанно достигает хотя и несколько хаотичной, но очень высокой степени заглубления. Отсюда используемый многими термин: «групповое глубокое интервью».

Необходимо отметить, что термин «глубокое интервью» порой может быть отнесен к фокус-группам сразу в обоих смыслах. Последнее становится возможным в случае, когда в групповых опросах используются прожективные методики и другие методы клинической психологии, причем большинство авторов не расчленяют эти два значения. Однако Р.Мертон, несомненно, использовал термин «глубокое интервью» только в социологическом смысле этого слова.


Подобные документы

  • Развитие сетевой среды как дискретного культурного контекста. Определение и развитие метода онлайн фокус-групп в общественных науках. Групповая динамика и вход в группу, виды он-лайн дискуссий: временной критерий. Асинхронные онлайн фокус-группы.

    реферат [151,5 K], добавлен 18.01.2010

  • Определение и принципы метода фокус-группы, его специфика, достоинства, недостатки. Правила и требования к проведению фокус-групповых исследований. Определение эмоциональной и поведенческой реакций потенциальных потребителей на позиционирование шампуня.

    курсовая работа [86,3 K], добавлен 30.03.2015

  • Определение степени заинтересованности современной молодежи в чтении, выявление наиболее предпочтительных жанров литературы и оценка молодыми людьми качества современной литературы. Методика и этапы проведения данного исследования методом фокус-группы.

    курсовая работа [577,5 K], добавлен 20.12.2012

  • Интернет-аналоги качественных методов социологии. "Фокус-чат", виртуальное участвующее наблюдение, биография в режиме реального времени. Использование виртуальной телефонии для интервью и виртуального внешнего наблюдения. Процесс изучения блогов.

    курсовая работа [173,1 K], добавлен 09.02.2012

  • Интервью - распространенный метод сбора информации в социологии. Сбор данных методом формализованного интервью называют анкетированием. Он подразумевает стремление к максимальной стандартизации и унификации процедур сбора данных, их обработки и анализа.

    контрольная работа [13,3 K], добавлен 29.12.2008

  • Познавательные возможности опроса и его классификация. Социологическое наблюдение и эксперимент, экспертные оценки, анализ документов, микросоциологические исследования и фокус-группы. Особенности применения методов сбора первичной социальной информации.

    контрольная работа [33,4 K], добавлен 17.11.2010

  • Реклама как социокультурный феномен: понятие, механизмы воздействия и функции. Потребительские предпочтения молодёжи как социально-демографической группы. Программа социологического исследования, результаты анкетирования и фокус-групповой дискуссии.

    дипломная работа [856,7 K], добавлен 03.11.2015

  • Количественные приемы сбора социологических данных. Проведение социометрических исследований в малой общественной группе. Практика использования методов изучения в работе современного руководителя. Качественные способы сбора социологической информации.

    реферат [56,2 K], добавлен 06.11.2011

  • Классификация интервью. Виды интервью по степени стандартизации, характеру получаемой информации, отношению опрашиваемого к беседе. Подготовка к интервью. Психологическая подготовка. Вопросы в интервью. Проведение интервью.

    реферат [23,1 K], добавлен 06.12.2006

  • Понятие и сущность анкетных опросов, требования к их проведению и классификация вопросов. Анализ проблемы достоверности получаемой информации. Виды, принципы и правила проведения интервью. Основные методы анализа и классификации документов в социологии.

    реферат [38,8 K], добавлен 01.02.2010

Работы в архивах красиво оформлены согласно требованиям ВУЗов и содержат рисунки, диаграммы, формулы и т.д.
PPT, PPTX и PDF-файлы представлены только в архивах.
Рекомендуем скачать работу.