Организация маркетинга

Далее следует отметить, что количество информации, запрашиваемой у респондентов, сильно меняется от одного исследования к другому. Например, одно исследование своей целью ставит получение разнообразной информации о продукте и его марке, о жизненном стиле покупателей и их демографических характеристиках. В то время как другое -- пытается только определить, что посетитель магазина запомнил из рекламы у входа в данный магазин.

Традиционно телефонные обследования являются самыми короткими, в то время как личное интервью -- достаточно пространным.

Все другие методы сбора данных занимают промежуточное положение. Часто комбинированно применяют несколько методов сбора данных. Например, после короткого телефонного интервью проводится опрос по почте.

Существенное влияние на выбор метода сбора данных оказывает степень чувствительности изучаемой темы, т.е. степень затрагивания личных интересов, взглядов, морально-этических аспектов (сдача крови, расовые проблемы, личная гигиена, пожертвования в благотворительных целях и др.). Опыт изучения данных проблем говорит о том, что здесь менее всего подходит персональное интервью, а чаще всего используется телефонное интервью или интервью с помощью компьютера.

Выбор надлежащего метода следует основывать на одновременном учете всех указанных факторов, что чрезвычайно сложно и что порой дает противоречивые результаты. Окончательный выбор во многом зависит от квалификации и опыта работы исследователей, глубины владения ими отдельными методами сбора данных. В общем плане при выборе метода опроса надо руководствоваться ответами на следующий вопрос: «Какой метод сбора данных позволит получить наиболее полную репрезентативную информацию в пределах отпущенных времени и денежных средств?»

4.10 Разработка форм для сбора данных

4.10.1 Измерения в маркетинговых исследованиях

Для сбора данных разрабатываются анкеты (вопросники). Информация для их заполнения собирается путем проведения измерений. Под измерением понимается определение количественной меры или плотности некоей характеристики (свойства), представляющей интерес для исследователя. Измеряются характеристики некоторых объектов (потребители, марки продуктов, магазины, реклама и т.п.). Как только была определена некоторая характеристика для выбранного объекта, говорят, что объект был измерен по данной характеристике. Легче измеряются объективные свойства (возраст, доход, количество выпитого пива и т.п.), чем субъективные свойства (чувства, вкусы, привычки, отношения и т.п.). В последнем случае респондент должен перевести свои оценки на шкалу плотности (на некоторую числовую систему), которую должен разработать исследователь.

Измерения можно провести с помощью различных шкал. Выделяют четыре характеристики шкал: описание, порядок, расстояние и наличие начальной точки.

Описание предполагает использование единственного дескриптора, или опознавателя, для каждой градации в шкале. Например, «да» или «нет»; «согласен» или «не согласен»; возраст респондентов.

Порядок характеризует относительный размер дескрипторов («больше, чем», «меньше, чем», «равен»). Не все шкалы обладают характеристиками порядка. Например, нельзя сказать больше или меньше «покупатель» по сравнению с «непокупателем».

Такая характеристика шкалы, как расстояние, используется, когда известна абсолютная разница между дескрипторами, которая может быть выражена в количественных единицах. Респондент, который купил три пачки сигарет, купил на две пачки больше по сравнению с респондентом, купившим только одну пачку. Следует отметить, что когда существует «расстояние», то существует и «порядок». Респондент, купивший три пачки сигарет, купил их «больше, чем» респондент, приобретший только две пачки. «Расстояние» в данном случае равно двум.

Считается, что шкала имеет начальную точку, если она имеет единственное начало или нулевую точку. Например, возрастная шкала имеет истинную нулевую точку. Однако не все шкалы обладают нулевой точкой для измеряемых свойств. Часто они имею только произвольную нейтральную точку. Скажем, отвечая на вопрос о предпочтительности определенной марки автомобиля, респондент сказал, что он не имеет мнения. Градация «не имею мнения» не характеризует истинный нулевой уровень его мнения.

Каждая последующая характеристика шкалы строится на предыдущей характеристике. Таким образом, «описание» является наиболее базовой характеристикой, которая присуща любой шкале. Если шкала имеет «расстояние», она также обладает «порядком» и «описанием».

Выделяют четыре уровня измерения, определяющих тип шкалы измерений: наименований, порядка, интервальный и отношений. Их относительная характеристика дается в табл. 4.6.

Шкала наименований обладает только характеристикой описания; она ставит в соответствие описываемым объектам только его название, никакие количественные характеристики не используются.

Объекты измерения распадаются на множество взаимоисключающих и исчерпывающих категорий. Шкала наименований устанавливает отношения равенства между объектами, которые объединяются в одну категорию. Каждой категории дается название, численное обозначение которого является элементом шкалы. Очевидно, что измерение на этом уровне всегда возможно. «Да», «Нет» и «Согласен», «Не согласен» являются примерами градаций таких шкал. Если респонденты были расклассифицированы по роду их деятельности (номинальная шкала), то это не дает информацию типа: «больше, чем», «меньше, чем». В табл. 4.7 приводятся примеры вопросов, сформулированные как в шкале наименований, так и в других шкалах.

Шкала порядка разрешает ранжировать респондентов или их ответы. Она имеет свойства номинальной шкалы в сочетании с отношением порядка. Иными словами, если каждую пару категорий шкалы наименований упорядочить относительно друг друга, то получится порядковая шкала. Для того чтобы шкальные оценки отличались от чисел в обыденном понимании, их на порядковом уровне называют рангами. Например, частоту покупки определенного товара (раз в неделю, раз в месяц или чаще). Однако такая шкала указывает только относительную разницу между измеряемыми объектами.

(Зачастую предполагаемого четкого различения оценок не наблюдается и респонденты не могут однозначно выбрать тот или иной ответ, т.е. некоторые соседние градации ответов накладываются друг на друга. Такую шкалу называют полуупорядоченной; она находится между шкалами наименований и порядка.)

Интервальная, шкала обладает также характеристикой расстояния между отдельными градациями шкалы, измеряемого с помощью определенной единицы измерений, т.е. используется количественная информация. На этой шкале уже не бессмысленны разности между отдельными градациями шкалы. В данном случае можно решить, равны они или нет, а если не равны, то какая из двух больше. Шкальные значения признаков можно складывать. Обычно предполагается, что шкала имеет равномерный характер (хотя это предположение требует обоснования). Например, если оцениваются продавцы магазина по шкале, имеющей градации: чрезвычайно дружественен, очень дружественен, в известной мере дружественен, в известной мере недружественен, очень недружественен, чрезвычайно недружественен, то обычно предполагается, что расстояния между отдельными градациями являются одинаковыми (каждое значение от другого отличается на единицу -- см. табл. 4.7).

Шкала отношений является единственной шкалой, имеющей нулевую точку, поэтому можно проводить количественное сравнение полученных результатов. Такое дополнение позволяет вести речь о соотношении (пропорции) а: b для шкальных значений а и b . Например, респондент может быть в 2,5 раза старше, тратить в три раза больше денег, летать самолетом в два раза чаще по сравнению с другим респондентом (табл. 4.7).

Выбранная шкала измерений определяет характер информации, которой будет располагать исследователь при проведении изучения какого-то объекта. Кроме того, она предопределяет, какой вид статистического анализа можно или нельзя использовать.

При использовании шкалы наименований возможно нахождение частот распределения, средней тенденции по модальной частоте, вычисление коэффициентов взаимозависимости между двумя или большим числом рядов свойств, применение непараметрических критериев проверки гипотез [10].

Среди статистических показателей на порядковом уровне пользуются показателями центральной тенденции -- медианой, квартилями и др. Для выявления взаимозависимости двух признаков используются коэффициенты ранговой корреляции Спирмена и Кендэла.

Над числами, принадлежащими интервальной шкале, можно производить довольно разнообразные действия. Шкалу можно сжать или растянуть в любое число раз. Например, если шкала имеет деления от 0 до 100, то, разделив все числа на 100, получим шкалу со значениями из интервала от 0 до 1. Можно сдвинуть всю шкалу так, чтобы ее составляли числа от -50 до +50.

Кроме рассмотренных выше алгебраических операций, интервальные шкалы допускают все статистические операции, присущие порядковому уровню; возможны также вычисления средней арифметической, дисперсии т.д. Вместо ранговых коэффициентов корреляции вычисляется коэффициент парной корреляции Пирсона. Может также быть рассчитан множественный коэффициент корреляции.

Все перечисленные выше расчетные операции применимы также для шкалы отношений.

Надо иметь в виду, что полученные результаты всегда можно перевести в более простую шкалу, но никогда наоборот. Например, градации «сильно не согласен» и «в какой-то мере не согласен» (интервальная шкала) легко перевести в категорию «не согласен» шкалы наименований.

4.10.2 Построение шкал измерений

В простейшем случае оценка измеряемого признака некоторым индивидом производится путем выбора, как правило, одного ответа из серии предложенных или путем выбора одного числового балла из некоторой совокупности чисел. Таким оценкам предшествует построение шкалы измерений.

Для оценки измеряемого качества иногда пользуются графическими шкалами, разделенными на равные части и снабженными словесными или числовыми обозначениями. Респондента просят сделать отметку на шкале в соответствии с его оценкой данного качества.

Ранжирование объектов является другим широко используемым приемом измерения. При ранжировании производится оценивание по измеряемому качеству совокупности объектов путем их упорядочивания по степени выраженности данного признака. Первое место, как правило, соответствует наиболее высокому уровню. Каждому объекту приписывается оценка, равная его месту в данном ранжированном ряду.

Возможно попарное сравнение исследуемой совокупности по измеряемому качеству и дальнейшее упорядочивание их на основе результатов сравнения. Однако данный подход является более сложным и его, скорее, применяют при опросах экспертов, а не массовых респондентов.

Так, при построении шкалы часто используются экспертные оценки, а в дальнейшем принятая шкала применяется при проведении полномасштабного исследования.

Рассмотрим измерение, направленное на построение шкалы, т.е. построение шкальных весов оцениваемых признаков [19]. Для этого после определения числа и названий исследуемых признаков экспортно проводится назначение каждому признаку определенной количественной меры. Проще, но не лучше, осуществить построение шкалы с помощью простейших экспертных методов путем простого ранжирования или используя балльные шкалы. Полученные таким путем ранги (веса) оцениваемых признаков скорее всего будут носить ориентировочный характер. Причем многие эксперты, если не оговорить специальные правила определения шкальных весов, просто затруднятся провести такое измерение. Поэтому в данном случае целесообразно использовать более сложные методы.

При решении подобных задач часто используется метод парных сравнений. Предположим, что строится шкала для выяснения отношения к таким ценностям продукта, как «польза», «дизайн», «качество», «срок гарантии», «послепродажный сервис», «цена» и т. п. Предполагаем, что простое ранжирование (определение весов признаков) затруднено или имеет большое значение достаточно точное определение шкальных весов исследуемых признаков, поэтому прямое их экспертное определение не может быть осуществлено. Обозначим для простоты эти ценности символами А 1 , А 2 , А 3 ,..., А k .

Сущность метода парных сравнений состоит в том, чтобы предложить экспертам произвести сравнение объектов попарно, с тем чтобы установить в каждой паре наиболее важный (значимый) из них.

Из символов образуем всевозможные пары: (А 1 А 2 ), (А 1 А 3 ) и т. д. Всего таких парных комбинаций получится k * ( k -- 1)/2, где k -- количество оцениваемых признаков.

Выделенные пары признаков предъявляются экспертам на отдельных карточках так, чтобы одно и то же понятие не появлялось подряд в двух последовательно идущих карточках.

Результаты опроса сводятся в таблицу по образцу табл. 4.8, в которой приведены гипотетические результаты опроса 30 экспертов по 5 признакам.

Число на пересечении, например, первой строки (А 1 ) и второго столбца (А 2 ) представляет собой долю случаев предпочтения признака А 2 признаку А 1 (общее число суждений равно n , где n -- число экспертов). Очевидно, что на пересечении второй строки и первого столбца должно стоять число, дополняющее предыдущую долю до единицы. Если эксперт затрудняется выбрать предпочтительный признак, то в таблицу заносится число 0,5.

В математической модели, лежащей в основе построения шкалы методом парных сравнений, предполагается, что доля случаев предпочтения признака i признаку j f ( m ij ) подчиняется нормальному закону, т.е.

Следующий шаг в построении шкальных оценок заключается в том, чтобы обратить наблюдаемые отношения m ij в Z ij по приведенному уравнению. По приложению для каждого значения m ij (из табл. 4.8) находят Z ij и заносят в табл. 4.9.

В приложении приведены значения интеграла в пределах от 0 до Z , а не от-- ? до Z , как требует того приведенная выше формула. Поэтому при использовании этой таблицы надо исходить из следующего: табл. 4.8 антисимметрична относительно диагонали (на диагонали стоят нули), т. е. Z ij == Z ij ; причем значения Z положительны тогда, когда m ij (табл. 4.8) больше 0,5. Поэтому берем из табл. 4.8 те m ij , которые больше 0,5, вычисляем разности ( m ij -- 0,5). По приложению для них находим Z ij и записываем в табл. 4.9 со знаком «плюс». Симметричное к нему число Zij имеет знак «минус» и ту же абсолютную величину.

Если Z ij оказывается большим, чем 2,0, или меньшим 2,0, оно отвергается как нестабильное. Если ни одна из оценок не отвергается, то шкальная оценка признака i будет равна средней величине всех чисел в графе i табл. 4.9. Когда некоторые j отвергаются, то в табл. 4.9 ставится прочерк. Далее из данных столбца 2 вычитаются данные столбца 1, из 3 -- 2 и т. д., а результат заносится в новую таблицу. При этом разность между двумя прочерками или между значением и прочерком считается незначимой и в матрице ставится прочерк. Для преобразованной таблицы вновь вычисляются средние по столбцам, которые и отождествляются с весом признака измеряемого явления.

Нулевую точку устанавливают произвольным образом (см., например, последнюю строку в табл. 4.9).

Метод парных сравнений может использоваться также при определении относительных весов целей, критериев, факторов и др., осуществляемом при проведении различных маркетинговых исследований.

При большом числе признаков метод парных сравнений оказывается громоздким, поскольку эксперты должны -рассмотреть каждую возможную пару признаков, а число таких пар быстро растет с ростом числа признаков. Так, при k = 5 число пар равно 10, при k = 30 -- 435.

В таких случаях используются некоторые другие методы, из которых наибольшее применение получил метод равных интервалов [19].

Лайкерт в 1932 г. предложил метод измерения без использования экспертной оценки, который получил название шкалы Лайкерта (метод суммарных оценок). Группе лиц даются вопросы, которые должны оцениваться по пятибалльной системе в отношении согласия с этими вопросами (суждениями);

5 -- «полностью согласен»

4 -- «согласен»

3 -- «нейтрален»

2 -- «не согласен»

1 -- «полностью не согласен».

Баллы одного лица относительно всех вопросов суммируются. Полученная сумма -- балл этого лица. Затем лица ранжируются по баллам.

Для построения шкалы отбирается большое число вопросов, относящихся к исследуемой проблеме.

Данный метод можно использовать для отбора наиболее значимых вопросов для их включения в анкету, особенно в случае, когда имеется большое количество вопросов и реально существует проблема их отбора для включения в анкету.

Например, ограниченной группе потребителей или экспертов в 10 человек (А, Б, В и т.д.) дается 10 вопросов, из которых производится отбор. Вопросы оцениваются по пятибалльной шкале Лайкерта. Каждому лицу дается бланк (табл. 4.10).

Индивид делает отметку по каждому вопросу в соответствии со своим отношением к нему. Далее подсчитывается общий балл лица относительно всех вопросов. Полученные данные сводятся в следующую таблицу (здесь даны вычисления для пятого вопроса).

Затем строится таблица сопряженности между баллами вопроса и величинами в графе «разность», причем разности сгруппированы по интервалам (табл. 4.11).

Вычисляется коэффициент корреляции между баллом и разностью. И так для каждого вопроса. Вопросы с малыми корреляциями выбрасываются.

Техника построения шкал методом суммарных оценок обеспечивает порядковый уровень измерения.

Проблема сопоставимости признаков, измеренных по разным шкалам, с одной стороны, и желание иметь некий интегральный показатель для характеристики совокупности свойств измеренного объекта -- с другой, приводят к задаче объединения нескольких признаков, измеренных по разным шкалам, в один общий, итоговый показатель -- индекс.

Следует помнить, что было бы большим заблуждением требовать от индекса того, чего он не может дать, -- полной качественной характеристики объекта наблюдения, так как задача шкалирования предполагает .всего лишь разработку механизма сведения качественных признаков к количественным.

При построении индекса измеряемое качество следует искать в сочетании оценок по совокупности исходных признаков.

В общем виде измеряемое качество у можно представить некоторой функцией исходных признаков (х), т. е.

Y = f (Х 1 , Х 2 ,..., Х k ).

Возможны различные представления функции f и, с другой стороны, различные способы приписывания оценок исходным признакам {х}. В зависимости от этого можно выделить три существенно различных типа методов:

1. Конструкция индекса задана на основе предваряющих исследование логических операций. Так, приписывание респонденту значения по основному показателю может определяться некоторой логической схемой, например схемой логического квадрата.

Разберем этот случай на примере построения итогового индекса уровня индивидуальной свободы одеваться для подростка. Этот индекс может быть построен на базе двух исходных: в вопросе А подросток дает свою оценку предоставляемой ему родителями свободы выбора (оценки 1,2,3,4); вопрос Б содержит информацию о том, как родители, по мнению респондента, учитывают его индивидуальные склонности (оценки 1,2,3). Схема объединения вопросов А и Б в итоговом показателе дана на рис . 4.3. Итоговый индекс имеет три градации, различающиеся по уровню индивидуальной свободы, -- 111,11,1.

2. Итоговый индекс может представлять собой аналитическую функцию от исходных признаков. Форма математической зависимости между исходными признаками обосновывается исходя из теоретических соображений.

Примером подобного рода косвенного измерения является шкала Лайкерта. Респонденту предъявляется серия из вопросов, связанных с исследуемым объектом либо непосредственно, либо только весьма косвенно. Общий балл респондента по всему вопроснику определяется как сумма его баллов x 1 по всем признакам, т. е. суммарный балл равен x 1 + x 2 + x 3 +,..., + x k .

Другой пример касается определения устойчивости интересов респондента в проведении досуга с помощью индекса «стабильных занятий на досуге». Он представляет собой отношение количества «стабильных» занятий ( z ) к числу всех занятий ( t ), присутствующих в досуге респондента, т. е. индекс стабильности занятий имеет вид у == z / t .

3. Конструкция индекса может определяться путем применения некоторых формальных методов преобразования исходных признаков изучаемой совокупности. Обоснованность конструкции индекса и его формирование определяются непосредственно самим методом.

Наибольшую известность получили методы факторного анализа, распознавание образов, некоторые процедуры анализа причинных структур.

Во многих случаях при составлении вопросников нецелесообразно с «нуля» разрабатывать шкалы измерений. Лучше воспользоваться стандартными типами шкал, используемыми в области маркетинговых исследований. К числу таких шкал относятся: модифицированная шкала Лайкерта, шкала для изучения жизненного стиля и семантическая дифференциальная шкала.

На основе модифицированной шкалы Лайкерта (интервальная шкала), адаптированной под цели проводимого маркетингового исследования, изучается степень согласия или несогласия респондентов с определенными высказываниями. Данная шкала носит симметричный характер (табл. 4.12) и измеряет интенсивность чувств респондентов.

Существуют различные варианты модификации шкалы Лайкерта, например, вводится различное число градаций (7--9).

Школа для изучения жизненного стиля является специальным направлением применения модифицированной шкалы Лайкерта и предназначена для изучения системы ценностей, личностных качеств, интересов, мнений относительно работы, отдыха, покупок различных людей. Такая информация дозволяет принимать эффективные маркетинговые решения. Пример анкеты для изучения жизненного стиля приводится в табл. 4.13.

Семантическая дифференциальная шкала содержит серию двухполярных определений, характеризующих различные свойства изучаемого объекта. Так как многие маркетинговые стимулы основаны на мыслительных ассоциациях и отношениях, не выраженных явно, то данный тип шкалы часто используется при определении имиджа товарной марки, магазина и т.п. Результаты изучения мнений потребителей относительно двух ресторанов (№1 и №2) на основе семантической дифференциальной шкалы приводятся в табл. 4.14.

Таблица 4.14

Сравнительная оценка двух ресторанов

Обозначения: - оценки ресторана №1,

- оценки ресторана №2.

В табл. 4.14 специально положительные или отрицательные оценки не расположены только с одной стороны, а случайным образом перемешаны. Это сделано для того, чтобы избежать «гало эффекта». Он заключается в том, что если первый оцениваемый объект обладает более высокими оценками (которые расположены только с левой стороны анкеты) по сравнению со вторым объектом, то респондент будет иметь тенденцию и дальше ставить оценки слева.

'Одним из достоинств данного метода является то, что если отдельным градациям в шкале присвоить номера: 1, 2, 3, и т.д. и ввести в компьютер данные разных респондентов, то конечные результаты могут быть получены в графическом виде (табл. 4.14).

При применении вышеназванных шкал возникает вопрос о целесообразности использования нейтральной точки. Все зависит от того, имеют или нет респонденты нейтральное мнение. Однозначной рекомендации по этому вопросу дать не представляется возможным.

То же самое можно сказать и относительно того, строить шкалу симметричной или несимметричной.

Существует великое множество вариантов шкал, построенных на основе изложенных принципов. Окончательный выбор обычно делается на основе испытания уровня надежности и точности измерений, проведенных с помощью различных вариантов шкал.

4.10.3 Надежность и достоверность измерения маркетинговой информации

Описанные выше способы построения шкал не дают полного представления о свойствах полученных оценок. Необходимы дополнительные процедуры для выявления присущих этим оценкам ошибок. Назовем это проблемой надежности измерения. Данная проблема решается путем выявления правильности измерения, устойчивости и обоснованности.

При изучении правильности устанавливается общая приемлемость данного способа измерения (шкалы или системы шкал). Непосредственно понятие правильности связано с возможностью учета в результате измерения различного рода систематических ошибок. Систематические ошибки имеют некоторую стабильную природу возникновения: либо они являются постоянными, либо меняются по определенному закону.

Устойчивость характеризует степень совпадения результатов измерения при повторных применениях измерительной процедуры и описывается величиной случайной ошибки. Она определяется постоянством подхода респондента к ответам на одинаковые или подобные вопросы.

Например, вы являетесь одним из опрашиваемых, отвечающих на вопросы анкеты табл. 4.14 относительно деятельности какого-то ресторана. Из-за медленного обслуживания в данном ресторане вы опоздали на деловую встречу, поэтому вы дали самую низкую оценку по данному показателю. Спустя неделю вам позвонили и просили подтвердить, что вы действительно приняли участие в проведенном обследовании. Затем вас попросили по телефону ответить на ряд дополнительных вопросов, среди которых был вопрос о быстроте обслуживания по шкале от 1 до 7, где 7 означало самое быстрое обслуживание. Вы поставили 2, продемонстрировав высокий уровень идентичности оценок и, следовательно, -- устойчивость ваших оценок.

Наиболее сложный вопрос надежности измерения -- его обоснованность. Обоснованность связана с доказательством того, что измерено вполне определенное заданное свойство объекта, а не некоторое другое, более или менее на него похожее.

При установлении надежности следует иметь в виду, что в процессе измерения участвуют три составляющие: объект измерения (респондент), измеряющие средства, с помощью которых производится отображение свойств объекта на числовую систему, и субъект (интервьюер), производящий измерение. Предпосылки надежного измерения кроются в каждой отдельной составляющей.

Прежде всего сам объект в отношении измеряемого свойства может обладать значительной степенью неопределенности. Так, зачастую у респондента нет четкой иерархии жизненных ценностей, а следовательно, нельзя получить и абсолютно точные данные, характеризующие важность для него тех или иных явлений. Он может быть плохо мотивирован, вследствие чего невнимательно отвечает на вопросы. Однако только в последнюю очередь следует искать причину ненадежности оценок в самом респонденте.

С другой стороны, может быть, что способ получения оценки не в состоянии дать максимально точных значений измеряемого свойства. Например, у респондента существует определенная иерархия ценностей, а для получения информации используется номинальная оценка с вариациями ответов от «очень важно» до «совсем неважно». Как правило, из приведенного набора все ценности помечаются ответами «очень важно», «важно», хотя реально у респондента имеется большее число уровней значимости.

Наконец, при наличии высокой точности первых двух составляющих измерения субъект, производящий измерение, допускает грубые ошибки; нечетко составлены инструкции к анкете; интервьюер каждый раз по-разному формулирует один и тот же вопрос, используя различную терминологию. Например, в процессе интервью, в ходе которого должна быть выявлена система ценностей опрашиваемого, интервьюер не смог довести до респондента суть опроса, не смог добиться доброжелательного отношения к исследованию и пр.

Каждая составляющая процесса измерения может быть источником ошибки, связанной либо с устойчивостью, либо с правильностью, либо с обоснованностью. Однако, как правило, исследователь не в состоянии разделить эти ошибки по источникам их происхождения и поэтому изучает ошибки устойчивости, правильности и обоснованности всего измерительного комплекса в совокупности. При этом правильность (как отсутствие систематических ошибок) и устойчивость информации -- элементарные предпосылки надежности. Наличие существенной ошибки в этом отношении уже сводит на нет проверку данных измерения на обоснованность.

В отличие от правильности и устойчивости, которые могут быть измерены достаточно строго и выражены в форме числового показателя, критерии обоснованности определяются либо на основе логических рассуждений, либо на основе косвенных показателей. Обычно применяется сравнение данных одной методики с данными других методик или исследований.

Прежде чем приступать к изучению таких компонентов надежности, как устойчивость и обоснованность, необходимо убедиться в правильности выбранного инструмента измерения.

Возможно, что последующие этапы окажутся излишними, если в самом начале выяснится полная неспособность данного инструмента на требуемом уровне дифференцировать изучаемую совокупность, иначе говоря, если окажется, что систематически не используется какая-то часть шкалы либо та или иная градация шкалы или вопроса. И наконец, возможно, что исходный признак не обладает дифференцирующей способностью в отношении результирующего показателя -- индекса. В первую очередь нужно ликвидировать или уменьшить такого рода недостатки шкалы и только затем использовать ее в исследовании.

К числу недостатков используемой шкалы прежде всего следует отнести отсутствие разброса ответов по значениям шкалы. Попадание ответов в один пункт свидетельствует о полной непригодности измерительного инструмента -- шкалы. Такая ситуация может возникнуть или из-за «нормативного» давления в сторону общепринятого мнения, или из-за того, что градации (значения) шкалы не имеют отношения к распределению данного свойства у рассматриваемых объектов (нерелевантны).

Например, если все опрашиваемые респонденты согласны с утверждением «хорошо, когда строительный инструмент является универсальным» и нет ни одного ответа «не согласен», то подобная шкала не поможет дифференцировать отношение респондентов к разным типам строительных инструментов.

Использование части шкалы. Довольно часто обнаруживается, что практически работает лишь какая-то часть шкалы, какой-то один из ее полюсов с прилегающей более или менее обширной зоной.

Так, если респондентам для оценки предлагается шкала, имеющая положительный и отрицательный полюса, в частности от +3 до --3, то при оценивании какой-то заведомо положительной ситуации респонденты не используют отрицательные оценки, а дифференцируют свое мнение лишь с помощью положительных. Для того чтобы вычислить значение относительной ошибки измерения, исследователь должен знать определенно, какой же метрикой пользуется респондент -- всеми семью градациями шкалы или только четырьмя положительными. Так, ошибка измерения в 1 балл мало о чем говорит, если мы не знаем, какова действительная вариация мнений.

Для вопросов, имеющих качественные градации ответов, можно применять подобное требование в отношении каждого пункта шкалы: каждый из них должен набирать не менее 5% ответов, в противном случае считаем этот пункт шкалы неработающим. Требование 5%-ного уровня наполнения каждой градации шкалы не следует рассматривать как строго обязательное; в зависимости от задач исследования могут быть выдвинуты большие или меньшие значения этих уровней.

Неравномерное использование отдельных пунктов шкалы. Случается, особенно при использовании упорядоченных шкал, что некоторое значение переменной (признака) систематически выпадает из поля зрения респондентов, хотя соседние градации, характеризующие более низкую и более высокую степень выраженности признака, имеют существенное наполнение.

Так, если конфигурация распределения ответов на вопрос с четырьмя упорядоченными градациями такова, как на рис. 4.4, градации данной шкалы, видимо, неудачно сформулированы. Значительное наполнение двух соседних по отношению к пункту 2 пунктов (1 и 3) свидетельствует о «захвате» части голосов из плохо сформулированного пункта 2.

Ранг градации

Рис. 4.4. Пример неравномерного распределения ответов по шкале

Аналогичная картина наблюдается и в том случае, когда респонденту предлагают шкалу, имеющую слишком большую дробность: будучи не в состоянии оперировать всеми градациями шкалы, респондент выбирает лишь несколько базовых. Например, зачастую десятибалльную шкалу респонденты расценивают как некоторую модификацию пятибалльной, предполагая, что «десять» соответствует «пяти», «восемь» -- «четырем», «пять» -- «трем» и т.д. При этом базовые оценки используются значительно чаще, чем другие.

Для выявления указанных аномалий равномерного распределения по шкале можно предложить следующее правило: для достаточно большой доверительной вероятности (1--? ? 0,99) и, следовательно, в достаточно широких границах наполнение каждого значения не должно существенно отличаться от среднего из соседних наполнений. Для чего используется критерий хи-квадрат [19].

Определение грубых ошибок. В процессе измерения иногда возникают грубые ошибки, причиной которых могут быть неправильные записи исходных данных, плохие расчеты, неквалифицированное использование измерительных средств и т. п. Это обнаруживается в том, что в рядах измерений попадаются данные, резко отличающиеся от совокупности всех остальных значений. Чтобы выяснить, нужно ли эти значения признать грубыми ошибками, устанавливают критическую границу, так чтобы вероятность того, что крайние значения превысят ее, была бы достаточно малой и соответствовала бы некоторому уровню значимости а. Это правило основано на том, что появление в выборке чрезмерно больших значений хотя и возможно как следствие естественной вариабельности значений, но маловероятно.

Если окажется, что какие-то крайние значения совокупности принадлежат ей с очень малой вероятностью, то такие значения признаются грубыми ошибками и исключаются из дальнейшего рассмотрения, Выявление грубых ошибок особенно важно проводить для выборок малых объемов: не будучи исключенными из анализа, они существенно искажают параметры выборки. Для этого используются специальные статистические критерии определения грубых ошибок [19].

Итак, дифференцирующая способность шкалы как первая существенная характеристика ее надежности предполагает: обеспечение достаточного разброса данных; выявление фактического использования респондентом предложенной протяженности шкалы; анализ отдельных «выпадающих» значений; исключение грубых ошибок. После того как установлена относительная приемлемость используемых шкал в указанных аспектах, следует переходить к выявлению устойчивости измерения по этой шкале.

Существует несколько методов оценки устойчивости измерений: повторное тестирование; включение в анкету эквивалентных вопросов и разделение выборки на две части.

Метод повторного тестирования был охарактеризован выше.

Часто интервьюеры в конце опроса частично его повторяют, говоря при этом: «Заканчивая нашу работу, вновь коротко пройдемся по вопросам анкеты, чтобы я мог проверить, все ли я правильно записал из ваших ответов». Конечно, речь идет не о повторении всех вопросов, а только критических из их числа. При этом надо помнить, что если интервал времени между тестированием и повторным тестированием слишком короткий, то респондент просто может помнить первоначальные ответы. Если интервал слишком велик, то могут иметь место некоторые реальные изменения.

Включение в анкету эквивалентных вопросов предполагает использование в одной анкете вопросов по той же проблеме, но сформулированных по-другому. Их респондент должен воспринимать как разные вопросы. Главная опасность данного метода заключается в степени эквивалентности вопросов; если это не достигается, то респондент отвечает на разные вопросы.

Разделение выборки на две части основано на сравнении ответов на вопросы двух групп респондентов. Предполагается, что эти две группы являются идентичными по своей композиции и что средние оценки ответов для этих двух групп являются очень близкими. Все сравнения делаются только на групповой основе, поэтому сравнение внутри группы проводить невозможно. Например, среди студентов колледжа с помощью модифицированной шкалы Лайкерта с пятью градациями был проведен опрос относительно их будущей карьеры. В анкете приводилось утверждение: «Я считаю, что меня ожидает блестящая карьера». Ответы были обобщены, начиная с «сильно не согласен» (1 балл) и кончая «сильно согласен» (5 баллов). Затем общая выборка опрошенных была разделена на две группы и были вычислены средние оценки для этих групп. Средняя оценка была одинаковой для каждой группы и равнялась 3-м баллам. Данные результаты дали основание считать измерение надежным. Когда же групповые ответы были проанализированы более внимательно, то оказалось, что в одной группе все студенты ответили «и согласен и не согласен», а в другой -- 50% ответили «сильно не согласен», а другие 50% -- «сильно согласен». Как видно, более глубокий анализ показал, что ответы не являются идентичными.

Вследствие данного недостатка этот метод оценки устойчивости измерений является наименее популярным.

О высокой надежности шкалы можно говорить лишь в том случае, если повторные измерения при ее помощи одних и тех же объектов дают сходные результаты. Если устойчивость проверяют на одной и той же выборке, то часто оказывается достаточным сделать два последовательных замера с определенным временным интервалом -- таким, чтобы этот промежуток не был слишком велик, чтобы сказалось изменение самого объекта, но и не слишком мал, чтобы респондент мог по памяти «подтягивать» данные второго замера к предыдущему (т. е. его протяженность зависит от объекта изучения и колеблется от двух до трех недель).

Существуют различные показатели оценки устойчивости измерений. Среди них чаще всего используется средняя квадратическая ошибка (см. ниже).

До сих пор речь шла об абсолютных ошибках, размер которых выражался в тех же единицах, что и сама измеряемая величина. Это не позволяет сравнивать ошибки измерения разных признаков по разным шкалам. Следовательно, помимо абсолютных, нужны относительные показатели ошибок измерения.

В качестве показателя для нормирования абсолютной ошибки можно использовать максимально возможную ошибку в рассматриваемой шкале ( x max ).

Если число делений шкалы k , тогда x max , равное разнице между крайними значениями шкалы ( x max -- x min ), будет k -- 1 и относительная ошибка окажется такой:

(здесь х -- средняя арифметическая ошибка измерения).

Однако зачастую этот показатель «плохо работает» из-за того, что шкала не используется на всей ее протяженности. Поэтому более показательными являются относительные ошибки, рассчитанные по фактически используемой части шкалы.

Если число градаций в «работающей» части шкалы обозначить k 1 , то тогда

а если в качестве абсолютной ошибки использовалась средняя квадратическая ошибка S , то показатель относительной ошибки

Для повышения устойчивости измерения необходимо выяснить различительные возможности пунктов используемой шкалы, что предполагает четкую фиксацию респондентами отдельных значений: каждая оценка должна быть строго отделена от соседней. На практике это означает, что в последовательных пробах респонденты четко повторяют свои оценки. Следовательно, высокой различимости делений шкалы должна соответствовать малая ошибка.

Эту же задачу можно описать в терминах чувствительности шкалы, которая характеризуется количеством делений, приходящихся на одну и ту же разность в значениях измеряемой величины, т. е. чем больше градаций в шкале, тем больше ее чувствительность. Однако чувствительность нельзя повышать простым увеличением дробности, ибо высокая чувствительность при низкой устойчивости является излишней (например, шкала в 100 баллов, а ошибка измерения ±10 баллов).

Но и при малом числе градаций, т. е. при низкой чувствительности, может быть низкая устойчивость, и тогда следует увеличить дробность шкалы. Так бывает, когда респонденту навязывают категорические ответы «да», «нет», а он предпочел бы менее жесткие оценки. И потому он выбирает в повторных испытаниях иногда «да», иногда «нет».

Итак, следует найти некоторое оптимальное соотношение между чувствительностью и устойчивостью. Рекомендуется использовать столько градаций в шкале, чтобы ее ошибка была меньше 0,5 балла.

Если ошибка меньше 0,5 балла, то в последовательных опросах ответы в среднем будут совпадать. При 1 x 1 ? 0,5 балла ответы в последовательных опросах будут в среднем отличаться на 1 балл (и выше).

Существуют способы, позволяющие добиться требуемой чувствительности [19].

На основе данных двух последовательных проб определяют пороги различаемости градаций шкалы. В том случае, если обнаружено смешение градаций, применяют один из двух способов.

Первый способ. В итоговом варианте уменьшают дробность шкалы (например, из шкалы в 7 интервалов переходят на шкалу в 3 интервала).

Второй способ. Для предъявления респонденту сохраняют прежнюю дробность шкалы и только при обработке укрупняют соответствующие ее пункты.

Второй способ кажется предпочтительнее, поскольку, как правило, большая дробность шкалы побуждает респондента и к более активной реакции. При обработке данных информацию следует перекодировать в соответствии с проведенным анализом различительной способности исходной шкалы.

Итак, предложенные способы анализа целесообразны при отработке окончательного варианта методики. Анализ устойчивости отдельных вопросов шкалы позволяет: а) выявить плохо сформулированные вопросы, их неадекватное понимание разными респондентами; б) уточнить интерпретацию шкалы, предложенной для оценки того или иного явления, и выявить более оптимальный вариант дробности значений шкалы.

Изучение устойчивости окончательного варианта методики даст представление о надежности данных (связанной с устойчивостью), которые будут получены в основном исследовании.

Обоснованность измерения. Проверка обоснованности шкалы предпринимается лишь после того, как установлены достаточные правильность и устойчивость измерения исходных данных. Как уже отмечалось, проверка обоснованности -- достаточно сложный процесс и, как правило, не до конца разрешимый. И поэтому нецелесообразно сначала применять трудоемкую технику для выявления обоснованности, а после этого убеждаться в неприемлемости данных вследствие их низкой устойчивости.

Обоснованность данных измерения -- это доказательство соответствия между тем, что измерено, и тем, что должно было быть измерено. Некоторые исследователи предпочитают исходить из так называемой наличной обоснованности, т. е. обоснованности в понятиях использованной процедуры. Например, считают, что удовлетворенность товаром -- это то свойство, которое содержится в ответах на вопрос: «Удовлетворены ли вы товаром?». В серьезном маркетинговом исследовании такой сугубо эмпирический подход может оказаться неприемлемым.

Остановимся на возможных формальных подходах к выяснению уровня обоснованности методики. Их можно разделить на три группы: 1) конструирование типологии в соответствии с целями исследования на базе нескольких признаков; 2) использование параллельных данных; 3) судейские процедуры.

Первый вариант нельзя считать полностью формальным методом -- это всего лишь некоторая схематизация логических рассуждений, начало процедуры обоснования, которая может быть на этом и закончена, а может быть подкреплена более мощными средствами.

Второй вариант требует использования по крайней мере двух источников для выявления одного и того же свойства. Обоснованность определяется степенью согласованности соответствующих данных.

В последнем случае мы полагаемся на компетентность судей, которым предлагается определить, измеряем ли мы нужное нам свойство или что-то иное.

Конструированная типология. Один из способов -- использование контрольных вопросов, которые в совокупности с основными дают большее приближение к содержанию изучаемого свойства, раскрывая различные его стороны.

Например, можно определять удовлетворенность используемой моделью автомобиля лобовым вопросом: «Устраивает ли вас ваша нынешняя модель автомобиля?» Комбинация его с двумя другими косвенными: «Хотите ли вы перейти на другую модель?» и «Рекомендуете ли вы своему другу купить данную модель автомобиля?» позволяет произвести более надежную дифференциацию респондентов. Типология по пяти упорядоченным группам от наиболее удовлетворенных автомобилем до наименее удовлетворенных проводится с помощью «логического квадрата».

Обоснованность в подобного рода типологии не доказывается каким-либо формальным критерием и опирается на логические доводы.

Единственное требование, которое может быть выдвинуто при конструировании такого рода типологии, -- это положительная корреляция между составляющими ее признаками. Отсутствие положительной взаимосвязи между вопросами может свидетельствовать о том, что мы не понимаем сущности измеряемого явления.

Параллельные данные . Нередко целесообразно разработать два равноправных приема измерений заданного признака, что позволяет установить обоснованность методов относительно друг друга, т. е. повысить общую обоснованность путем сопоставления двух независимых результатов.

Классифицируем параллельные процедуры в зависимости от соотношения методов и исполнителей: а) несколько методов -- один исполнитель; б) один метод -- несколько исполнителей; в) несколько методов -- несколько исполнителей.

Несколько методов -- один исполнитель. Здесь один и тот же исполнитель использует два или более различных методов для измерения одного и того же свойства.

Рассмотрим различные способы использования этого метода и прежде всего -- эквивалентные шкалы. Возможны равнозначные выборки признаков для описания измерения поведения, отношения, ценностной ориентации, т.е. какой-то установки. Эти выборки и образуют параллельные шкалы, обеспечивая параллельную надежность.

Каждую шкалу рассматриваем как способ измерения некоторого свойства и в зависимости от числа параллельных шкал имеем ряд способов измерении. В качестве исполнителя выступает респондент, дающий ответы одновременно по всем параллельным шкалам. Все ответы сортируются в зависимости от принадлежности к шкале, и таким образом получаем параллельные данные.

При обработке такого рода данных следует выяснить два момента: 1) непротиворечивость пунктов отдельной шкалы; 2) согласованность оценок по разным шкалам.

Первая проблема возникает в связи с тем, что модели ответов не представляют идеальной картины; ответы нередко противоречат друг другу. Поэтому встает вопрос, что принимать за истинное значение оценки респондента на данной шкале.

Вторая проблема непосредственно касается сопоставления параллельных данных.

Рассмотрим пример неудавшейся попытки повысить надежность измерения признака «удовлетворенность автомобилем» с помощью трех параллельных порядковых шкал. Приведем две из них:

Пятнадцать суждений (в порядке, обозначенном слева, в начале каждой строки) предъявляются респонденту общим списком, и он должен выразить свое согласие или несогласие с каждым из них. Каждому суждению присваивается оценка, соответствующая его рангу в указанной пятибалльной шкале (справа). (Например, согласие с суждением 4 дает оценку «1», согласие с суждением 11 -- оценку «5» и т. д.)

Рассматриваемый здесь способ предъявления суждений списком дает возможность проанализировать пункты шкалы на непротиворечивость. При использовании упорядоченных шкал наименований обычно считается, что пункты, образующие шкалу, взаимно исключают друг друга и респондент легко найдет тот из них, который ему подходит.

Изучение распределений ответов показывает, что респонденты выражают согласие с противоречивыми (с точки зрения исходной гипотезы) суждениями. Например, по шкале «В» 42 человека из 100 одновременно согласились с суждениями 13 и 12, т. е. с двумя противоположными суждениями.

Наличие в ответе противоречивых суждений приводит к необходимости вычислять ошибку противоречивости. Это будет разница в рангах, наиболее противоположных для данной шкалы суждений в ответе респондента.

Итак, средние ошибки, характеризующие противоречивость для рассматриваемых шкал, оказались равными

Ошибка в 1,57 балла при пятибалльной оценке, видимо, слишком велика, чтобы считать шкалу приемлемой.

Данный подход повышения надежности шкалы является весьма сложным. Поэтому его можно рекомендовать лишь при разработке ответственных тестов или методик, предназначенных для массового употребления или панельных исследований.

Один метод -- несколько исполнителей. Если метод надежен, то разные исполнители дадут совпадающую информацию, но если их результаты плохо согласуются, то либо измерения ненадежны, либо результаты отдельных исполнителей нельзя считать равноценными. В последнем случае надо установить, нельзя ли рассматривать какую-либо группу результатов заслуживающей большего доверия. Решение этой задачи тем более важно, если предполагается, что одинаково допустимо получение информации любым из рассматриваемых методов (например, использование самооценок против оценок). Анализ параллельных данных с помощью описанных ниже процедур позволит установить правильность такого предположения.

Для количественных признаков при решении вопроса о согласованности оценок нескольких исполнителей предлагается выявить ошибки соответствия одним из приемов, рассмотренных при изучении устойчивости. Прежде всего, поскольку мы имеем здесь случай прямых групповых наблюдений, наиболее адекватной оценкой совпадения данных является средняя квадратическая ошибка.

Тем же способом можно изучать совпадения оценок и самооценок. Если согласованность оценок со стороны «судей» и соответствующих самооценок респондентов будет достаточно высокой, это может означать, что методика достаточно обоснована. Во всяком случае, одновременное использование оценок и самооценок дает возможность глубже понять сущность измеряемых признаков, уточнить их смысл.

Несколько методов -- несколько исполнителей. Одним из способов установления обоснованности измерения некоторого качества у одного и того же респондента (объекта) является фиксирование данного свойства разными исполнителями, владеющими разными методами. Как и в предыдущих случаях, здесь нельзя установить некую абсолютную обоснованность, поэтому рассматривается лишь обоснованность одного способа относительно другого.

Использование параллельных методов измерения одного и того же свойства сталкивается с целым рядом трудностей.

Во-первых, неясно, в какой мере оба метода измеряют одно и то же качество объекта, причем, как правило, формальных критериев для проверки такой гипотезы не существует. Следовательно, необходимо прибегнуть к содержательному (логико-теоретическому) обоснованию того или иного метода.