Y = a₀ + a₁x₁ + a₂x₂ + … + a_nx_n (1)

где a0 - константа, xi - независимые переменные, или предикторы, ai - коэффициенты при них, а Y - зависимая переменная.

В анализе социологических данных предикторы и зависимая переменная - некоторые признаки респондентов или иных изучаемых эмпирических объектов, а связь между правой и левой сторонами уравнения обычно не динамическая (функциональная), а статистическая; поэтому справа обычно стоит не просто зависимая переменная, а её выборочная оценка математического ожидания (т.е. среднее арифметическое значение). Например, зная возраст автовладельца, его доход и цену его нынешнего автомобиля, можно попробовать оценить примерную цену нового автомобиля (в случае наличия у автовладельца желания сменить автомобиль).

Регрессионная модель считается качественной, во-первых, если предикторы «объясняют» большую долю вариации зависимой переменной. Другими словами, насколько знание возраста автовладельца, его дохода и цены его нынешнего автомобиля позволяет повысить точность прогноза цены нового автомобиля по сравнению с ситуацией незнания этих параметров, настолько регрессионная модель качественна. Оценке качества модели служит параметр, называемый R² или его аналоги. Во-вторых, качественная регрессионная модель такая - в которой все предикторы статистически значимы. Это означает, что коэффициенты ai не равны нулю ни в выборочной совокупности, ни в генеральной совокупности. Для проверки статистической значимости существует специальный математико-статистический инструментарий.

Здесь мы не будем углубляться в детали регрессионного моделирования: каков математико-статистический инструментарий проверки статистической значимости, каковы показатели объясняющей способности модели, каковы требования, предъявляемые ею к данным. Эти детали хорошо изложены в [8, ch.5].

Значимость регрессионного моделирования для социологов становятся совершенно очевидной, когда речь идёт о такой его ветви, как логистическое регрессионное моделирование. Дело в том, что слева в этой разновидности регрессионного моделирования находится не метрическая или хотя бы интервальная переменная, не слишком характерная для социологии, а вероятность интересующего исследователя события (например, того, что респондент купит ту или иную модель автомобиля). Если быть точным, то слева стоит отношение вероятности того, что интересующее событие произойдёт к вероятности, что оно не произойдёт; причём от этого отношения с целью нормировки взят логарифм. Таким образом, в логистическом виде уравнение регрессии (1) превращается в:

log(p/q) = a₀ + a₁x₁ + a₂x₂ + … + a_nx_n (2)

где p - вероятность того, что интересующее событие произойдёт, q - вероятность того, что интересующее событие не произойдёт, log - логарифм по любому основанию, обычно в качестве основания выступает экспонента.

Логистическое регрессионное моделирование по большинству оснований сходно с классическим. Его особенности изложены, напр., в [7, ch.9.3]. В контексте настоящей статьи эти особенности не принципиальны.

Казалось бы, методам регрессионного моделирования не один десяток лет, он нашёл своё воплощение в различных статистических пакетах - какие здесь могут быть проблемы? По крайней мере, методологические? Мы представим пример такой проблемы, после чего дадим её строгую формулировку и теоретическое обобщение.

Иллюстрация проблемы

Недавно в Москве было проведено исследование на тему: «Потребление московскими семьями с детьми услуг развивающих и развлекательных детских центров». Цель: составить детальные описания того, как проводят своё время малолетние дети из московских семей, классифицировать семьи по этому признаку, выяснить какие характеристики семьи в целом и родителей в отдельности предопределяют попадание семьи в тот или иной класс. Соответственно цель распадается на 3 блока задач, вторая и третья из которых «напрашиваются» на применение логистической регрессии. Каждый из блоков задач включает разные опции времяпрепровождения детей: начиная с центров дошкольного образования через различные секции и кружки к развлекательным центам. Генеральная совокупность - московские семьи (в пределах «старой» Москвы). Эмпирическа база - представители московских семей (мамы, папы, бабушки, дедушки). Выборочная совокупность - 500 респондентов (как раз средняя выборка). социология регрессионный моделирование предиктор

Довольно глубокое исследование - на самом деле, несколько исследований в одном. В массиве данных около 700 переменных (до создания фиктивных) с очень неравномерным распределением пропусков.

В качестве иллюстрации к нашей статье мы взяли только один блок задач - посвящённый развлекательным центрам; и только 328 респондентов - имеющих мало пропусков по переменным, относящимся к интересующему нас блоку. Эти переменные таковы. Зависимая: «Часто ли Вы с ребенком (детьми) посещаете развлекательные детские мероприятия»: «Редко (раз в месяц и даже реже)» (0) и «Часто (чаще раза в месяц)» (1). Потенциальными предикторами выступают 6 категориальных переменных: «Ваше семейное положение», «Материальное положение Вашей семьи», «Ваше образование», «Ваша должность», «В каком административном округе Москвы Вы проживаете?», «Насколько далеко от центра проживаете?» .

Попробуем построить модель логистической регрессии общепринятым в социологии способом². Получаем:

• оценка качества модели (аналог R²) равна 62%. Очень хороший результат, особенно для социологических исследований;

• среди всех значений (их 27) всех предикторов на 5-процентном уровне значимости значимо только значение «Менеджер» предиктора «Должность респондента». Коэффициент при этом значении равен 0,8.

Можем ли мы считать модель состоявшейся и приступить к её интерпретации? Большинство пользователей метода отвечают «да». Действительно практика «выдёргивания» значимой переменной из окружения статистически не значимых предикторов общепринята в социологических исследованиях. Чтобы не быть голословными, приведём фрагмент другого исследования компетентного и авторитетного российского учёного, подготовленного для международного круга читателей.

В новейшем и масштабном исследовании [9] автор отбирает для интерпретации статистически значимые предикторы (например, доход) [ibid, p.24]. Но если судить по приложениям к статье, эти предикторы находятся в окружении ряда статистически не значимых предикторов (например, «беспокойство по поводу дохода») [ibid, p.18]. Очень вероятно, что после применения более тонкого алгоритма отбора предикторов для итоговой модели выводы исследования претерпели бы некоторые изменения. Но это тема отдельной - скорее содержательной, а не методологической статьи.

Мы же вернёмся к нашему примеру и посмотрим, как «поведёт себя» найденный нами статистически значимый предиктор вне окружения статистически не значимых предикторов.

Т.е. банально построим однофакторную регрессионную модель, предиктором³которой выступит значение «Менеджер» предиктора «Должность респондента». Получаем:

• оценка качества модели (аналог R²) равна 0,2%;

• предиктор на 5-процентном уровне значимости не значим. Коэффициент при этом значении равен -0,27.

10 минут назад мы получили хорошую модель со статистически значимым предиктором, который имел прямое влияние на вероятность того, что респондент часто водит своего ребёнка в развлекательные центры. Теперь та же модель никуда не годится - ни по оценке качества модели, ни по статистической значимости предиктора. Более того, теперь влияние предиктора на вероятность того, что респондент часто водит своего ребёнка в развлекательные центры, обратное. Что произошло с моделью за 10 минут? Мы исключили из неё все предикторы, кроме одного. Оказалось, что это был набор из 27 взаимодействующих новые дихотомические переменные. Каждая новая дихотомическая переменная соответствует одной категории исходной категориальной переменной и кодируется «да/нет» (1/0). Новые дихотомические переменные выступают в роли предикторов регрессионного уравнения. Содержательно это оправданно в большинстве случаев номиналистичностью социологических шкал, о чём говорили выше. Оправданно это и в части применения МНК, поскольку он как раз предполагает расчёт средних арифметических значений предикторов и зависимой переменной. Чтобы полностью эмпирически оправдать применение техники дихотомизации категориальных предикторов в бинарной логистической регрессии, ниже на примере покажем, что интерпретация её результатов не меняется при изменении кодировки дихотомических шкал в рамках допустимых для данной шкалы преобразований (см. [4]).

Для построения модели бинарной логистической регрессии мы пользуемся статпакетом SPSS и будем ссылаться на его алгоритмы и результаты там, где без этого не обойтись. Наш выбор имеет ту причину, что реализовать алгоритмы регрессионного моделирования вручную крайне затруднительно и большинство социологов прибегают для этого к статистическим пакетам - причём большинство к SPSS предикторов. Никакие параметры регрессии не фиксировали это взаимодействие. Взаимодействие стало заметным только после исключения 26 предикторов из набора. Т.е. взаимодействие обнаружило себя только после того, как было разрушено. Проверяют ли социологи свои регрессионные модели на наличие взаимодействия? Обычно нет. Это практическая проблема. Располагают ли социологи хорошо разработанными инструментами для проверки своих регрессионных моделей на наличие взаимодействия? Нет. Есть только разрозненные приёмы и рекомендации. Это методологическая проблема. Мы собрали ряд рекомендаций из самых свежих источников и обобщили их. Но прежде чем изложить их, разберёмся в сути проблемы через рассмотрение феномена взаимодействия.

Описание феномена взаимодействия и теоретическое обобщение проблемы

Начнём с предостережений, которые даёт в своём учебнике К. Доугерти исследователям, исповедующим механический подход к регрессионному моделированию: «Свойства оценок коэффициентов регрессии в значительной мере зависят от правильности спецификации модели. Результаты неправильной спецификации переменных в уравнении могут быть в обобщенном виде выражены следующим образом. 1. Если опущена переменная, которая должна быть включена, то оценки коэффициентов регрессии, вообще говоря, хотя и не всегда, оказываются смещенными. Стандартные ошибки коэффициентов и соответствующие тесты в целом становятся некорректными. 2. Если включена переменная, которая не должна присутствовать в уравнении, то оценки коэффициентов регрессии будут несмещенными, однако, вообще говоря (хотя и не всегда), - неэффективными. Стандартные ошибки будут в целом корректны, но из-за неэффективности регрессионных оценок они будут излишне большими» [1, с.166]. Далее автор подробно, с примерами и упражнениями раскрывает эти два пункта. Несомненно, его предупреждения актуальны для исследователей не только экономических явлений. Но проблема смущённости и неэффективности регрессионной модели проистекает не только из неучтённой корреляции включённых и не включённых в модель предикторов - на чём акцентирует своё внимание К. Доугерти. Эта проблема шире. Оба описанных К. Доугерти изменения набора предикторов даже при отсутствии внутри набора какой-либо корреляции могут повлиять на поведение всех предикторов этого набора. Может незначимый коэффициент стать значимым? Да. Может, наоборот, значимый коэффициент стать незначимым? Да. Может величина коэффициента измениться? В разы. Может коэффициент поменять свой знак? Запросто. Это его величество взаимодействие. К. Доугерти и многие другие авторы не рассматривает проблему формирования набора предикторов в контексте этого явления.

D.W. Hosmer и S. Lemeshow, внёсшие заметный вклад в развитие логистического регрессионного моделирования, заметили что взаимодействие «ловится» по-разному и предложили различать два типа взаимодействия, а также - в рамках логистической модели - формальный аппарат для их различения. «Взаимодействие принимает самые разные формы, поэтому начнём с описания ситуации, в которой взаимодействия нет. Представим ситуацию: у нас один дихотомический признак и один континуальный признак. <…> Если связь между континуальным признаком и результирующей переменной одинакова для каждого уровня дихотомического признака, то взаимодействия между дихотомическим континуальным признаками нет» [6, p.63]. Hosmer и Lemeshow различают 2 типа взаимодействие (interaction): «вмешательство» (confounding) и «модификация эффекта» (effect modifying). Формальным основанием для констатации наличия взаимодействия (любого из двух типов) является изменение регрессионного коэффициента одного предиктора при включении в модель другого предиктора (что мы и наблюдали на нашем примере). Формальным основанием для различения confounder и effect modifier является статистически не значимое или значимое (соответственно) повышение качества модели при включении в неё члена более высокого порядка (например, перемножения) . [Ibid, p. 65-66].

Поскольку обозначенные два типа взаимодействия проявляются отнюдь не только в регрессионном моделировании, предлагаем альтернативную терминологию: взаимодействие первого типа, effect modifier - явное взаимодействие, взаимодействие второго типа, confounder - латентное взаимодействие.

Рекомендации по решению проблемы

Итак, в новейших западных работах содержатся предложения по обнаружению взаимодействия и его двух типов, по крайней мере для регрессионного моделирования. Если перевести их на язык рекомендаций, то они будут выглядеть так:

Помимо содержательной стороны рекомендаций есть и техническая: когда у Вас 27 предикторов, проверять каждый из них на участие во взаимодействии - очень долго и утомительно. Есть различные процедуры, применение которых позволяет автоматизировать процесс проверки предикторов на участие во взаимодействии. Мы говорим о довольно новых⁵ процедурах пошаговой регрессии. Они в разном сочетании реализованы в популярных стапакетах.

Разнообразие процедур пошаговой регрессии как по заложенным в них принципам, так и по решаемым ими задачам довольно велико, отношение к ним западного научного сообщества полярно, они до сих пор не имеют достаточного теоретического осмысления и обобщения. Поэтому, конечно, без их систематизации наши рекомендации не могут считаться законченными. Но такая систематизация - цель отдельной работы. В текущей же работе мы рекомендуем следовать при применении процедур пошаговой регрессии прилагаемыми к соответствующим статпакетам руководствам пользователей.

Иллюстрация применения рекомендаций

Применив наши рекомендации по учёту взаимодействия, мы смогли построить две качественные модели, которые при традиционном способе регрессионного моделирования совершенно не просматривались.

• оценка качества модели (аналог R²) равна 37,5%. Для социологических моделей вполне приемлемо;

• 5 предикторов, значимых на 5-процентном уровне значимости.

Таблица 1. Предикторы второй модели

Интерпретация: если семья имеет доход ниже или выше, чем «Заработков хватает на все, кроме покупки недвижимости», живёт в любом округе Москвы, кроме Западного, родители не разведены, не имеют учёной степени, то вероятность, что они будут водить детей на развлекательные детские мероприятия чаще, чем раз в месяц равна P. И эта вероятность P равна 0,99. Поскольку соотношение шансов P/(1-P) = 176,81 (строка, соответствующая константе таблицы 1). Назовём это состояние «status-quo». Теперь рассмотрим учтённые моделью потенциальные изменения (каждое изменение предполагает, что остальные признаки соответствуют status-quo):

1. Самой «старой» из них не более 20 лет.

2. «Разведен(а)».

3. «Заработков хватает на все, кроме покупки недвижимости».

4. «Учёная степень».

5. «Западный административный округ». ¹⁰ «Московская область».

• если материальное состояние семьи меняется, то вероятность снижается до 0,95. если семья переезжает в Западный административный округ, то вероятность снижается до 0,88.

• если родители разводятся, то вероятность снижается до 0,91.

• если кто-то из родителей получает учёную степень, то вероятность снижается до 0,83.

Как видим, все предикторы в случае их «активации» (т.е. когда респонденты обладают этими свойствами) снижают вероятность того, что родители будут водить детей на развлекательные детские мероприятия чаще, чем раз в месяц.

Разумеется, модель доступна для более глубокой интерпретации. Например, интерпретации сочетаний предикторов (без перемножений).

Вторая модель:

• оценка качества модели (аналог R²) равна 37,5%;

• 5 предикторов, значимых на 5-процентном уровне значимости.

Таблица 2 Предикторы второй модели