,

где N_i количество объектов, попавших в i-ый класс.

Данный вывод согласуется с известным кибернетическим законом, сформулированным У.Р. Эшби Эшби У.Р. Конструкция мозга. - М.: Иностранная литература, 1962., законом необходимого разнообразия. Этот закон в рассматриваемой ситуации можно сформулировать следующим образом. Разнообразие (неопределенность) классификации совокупности объектов должна быть не ниже разнообразия всей совокупности объектов.

2.2.3 Характеристика методов дискриминантного анализа

Ставя задачу проверки классификации, построенной с помощью кластерного анализа, необходимо понять, чем разные классы отличаются друг от друга со статистической точки зрения. Методологии и методам дискриминантного анализа, позволяющего решать эту задачу, посвящена обширная литература См., например, Айвазян С.А., Бухштабер В.М., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Классификация и снижение размерности. М.: Финансы и статистика, 1989; Енюков И.С. Методы, алгоритмы, программы многомерного статистического анализа. М.: Финансы и статистика, 1986; Кулаичев А.П. Методы и средства анализа данных в среде Windows. STADIA 6.0. М.: Информатика и компьютеры, 1996; Справочник по прикладной статистике, т. 2 / Под ред. Э. Ллойда, У. Ледермана. М.: Финансы и статистика, 1990..

Будем понимать под "классом" генеральную совокупность, описываемую функцией плотности распределения вероятностей f(X). Тогда решение об отнесении объекта к некоторому классу принимается в пользу этого класса потому, что в рамках данного класса появление этого наблюдения выглядит более правдоподобным. Именно этот принцип и положен в основу вероятностных методов классификации: наблюдение будет относиться к тому классу, в рамках которого его реализация выглядит более правдоподобной. Правда, во-первых, этот принцип может корректироваться с учетом удельных весов классов и специфики так называемой "функции потерь" c(j|i), которая определяет стоимость потерь от отнесения объекта i-го класса к классу с номером j. И, во-вторых, для того чтобы этот принцип практически реализовать, мы должны располагать полным описанием гипотетических классов, т.е. знанием функций плотности распределений вероятностей f_i(X), задающих закон распределения вероятностей соответственно для i-го (i = 1,…, k) класса. Последнее затруднение обходят с помощью обучающих выборок в случае классификации с обучением и с помощью модели смеси распределений в случае классификации без обучения.

Очевидно, желательно строить классификации, которые минимизируют потери от неправильной классификации объектов. Пусть c(j|i) величина потерь от отнесения одного объекта i-го класса к классу j (при i = j, очевидно, c_ij = 0). Таким образом, если неправильно классифицированы m(j|i) объектов, то потери, связанные с отнесением объектов i-го класса к классу j составят m(j|i)c(j|i), а общие потери C_n при такой процедуре равны

.

Переходя к удельной характеристике потерь, получаем в пределе при n :

.

Здесь и ; P(j|i) вероятности отнести объект класса i к классу j, и _i априорные вероятности принадлежности объекта классу i. Другими словами, предполагается, что частоты попадания объектов в те или иные классы сходятся к соответствующим вероятностям.

Величина

определяет средние потери от неправильной классификации объектов i-го класса, так что средние удельные потери от неправильной классификации всех анализируемых объектов будут равны

В достаточно широком классе ситуаций полагают, что потери c(j|i) одинаковы для любой пары i и j, т.е. c(j|i) = c₀ = const при j i; i, j = 1, 2,…, k. В этом случае стремление к минимизации средних удельных потерь C будет эквивалентно стремлению максимизации вероятности правильной классификации объектов, равной . Поэтому часто говорят не о потерях, а о вероятностях неправильной классификации .

Сформулируем постановку задачи построения оптимальной процедуры классификации p-мерных наблюдений X₁, X₂,…, X_n при наличии обучающих выборок. Классифицируемые наблюдения интерпретируются в данной задаче как выборка из генеральной совокупности, описываемой так называемой смесью k классов с плотностью вероятности

где _j априорная вероятность появления в этой выборке элемента из класса j с плотностью f_j(x).

Введем понятие дискриминантной функции (X). Функция (X) может принимать только натуральные значения, причем те X, при которых она принимает значение, равное j, будем относить к классу j, т.е.

S_j = {X: (X) = j},

j = 1, 2,…, k. S_j это p-мерные области в пространстве (X) возможных значений анализируемого многомерного признака X, причем функция (X) строится таким образом, чтобы их сумма (теоретико-множественная) S₁ + S₂ +…+ S_k заполняла все пространство (X) и чтобы они попарно не пересекались. Таким образом, решающее правило (X) может быть задано разбиением S = = (S₁, S₂,…, S_k) всего пространства (X) на k непересекающихся областей. Дискриминантная функция) (X) (или S) называется оптимальной (байесовской), если она сопровождается минимальными потерями среди всех других процедур классификации.

Оказывается, что процедура классификации S^* = (S₁^*, S₂^*,…, S_k^*), при которой потери будут минимальными, определяется следующим образом См., например, Андерсон Т. Введение в многомерный статистический анализ. М.: Физматгиз, 1963.:

Другими словами, наблюдение X ( = 1, 2,…, n) будет отнесено к классу j тогда, когда средние удельные потери от его отнесения именно в этот класс окажутся минимальными по сравнению с аналогичными потерями, связанными с отнесением этого наблюдения в любой другой класс. Однако данное соотношение задает лишь теоретическое оптимальное правило классификации: для того чтобы его реально построить, необходимо знание априорных вероятностей _i и плотностей распределения вероятностей f_i(X), i = 1,…, k.

Априорные вероятности _j (j = 1, 2,…, k) оцениваются просто, если ряд наблюдений, составленный из всех обучающих выборок, может быть классифицирован как случайная выборка объема

n = n₁ + n₂ +…+ n_k

из генеральной совокупности. Тогда оценки

где n_j объем j-й обучающей выборки.

Что касается задачи оценки законов распределения вероятностей f₁(X),…, f_k(X), то ее удобно разбить на два случая:

1-й случай (параметрический дискриминантный анализ) характеризуется известным общим видом функций f_j(X), т.е. все классы описываются законами распределения вероятностей одного и того же параметрического семейства {f(X; )}: класс i отличается от класса j только значением параметра , т.е. f_j(X) = f(X; _j), j = 1, 2,…, k. Тогда в качестве оценок неизвестных функций f_j(X) используются функции , где статистическая оценка неизвестного значения параметра _j, полученная по наблюдениям j-й обучающей выборки.

2-й случай (непараметрический дискриминантный анализ) не предусматривает знания общего вида функций f_j(X) (j = 1, 2,…, k). В этом случае приходится строить так называемые непараметрические оценки для функций f_j(X), например, гистограммного или ядерного типа, либо пользоваться некоторыми специальными приемами См., например, Айвазян С.А., Бухштабер В.М., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Классификация и снижение размерности. М.: Финансы и статистика, 1989..

2.3 Методика построения экономических индикаторов

2.3.1 Постановка задачи

Одной из важных проблем экономического анализа является построение индикаторов, отражающих некоторое свойство экономических агентов, которое не может быть измерено непосредственно. Часто бывают ситуации, когда анализируемое свойство характеризуется набором показателей (в общем случае не обязательно количественными), отражающими в той или иной степени различные стороны этого свойства. Как правило, в таких ситуациях предпринимаются попытки построения индексов, представляющих собой взвешенную сумму измеряемых количественно показателей.

Однако возникает проблема определения весов. Чаще всего эта проблема решается экспертным образом. В настоящей работе предлагается подход к построению индексов, основанный на построении индикаторов линейных отношений предпочтения.

Рассмотрим следующую задачу. Пусть имеется N объектов X⁽¹⁾,…, X^(N), описываемых n показателями x₁,…, x_n, характеризующими некоторое свойство R. Это означает, что исследуемое множество объектов описывается N точками в n-мерном пространстве: . Естественно, что выбор показателей x₁,…, x_n существенным образом определяет результат. Мы предполагаем, что все n характеристик значимы (с содержательной точки зрения) для измерения свойства R. Кроме того, предполагаем a priori, что при определении свойства R каждый из n показателей имеет равный вес, т.е. при определении свойства R мы не отдаем явного предпочтения какому-либо конкретному показателю. Таким образом, свойство R задает в n-мерном пространстве некоторую структуру данных. Другими словами, значения характеристик, описывающих исследуемые объекты, не могут быть произвольными, а обладают некоторой структурой, определяемой свойством R. При достаточно общих предположениях эту структуру можно выявить. Опишем один из возможных подходов, позволяющих определить заданную в неявном виде структуру данных. Предположим, что исследуемые объекты упорядочены в соответствии со свойством R, т.е. чем больше номер объекта, тем он лучше в смысле свойства R. Если это так, то свойство R задает на множестве исследуемых объектов отношение предпочтения. Это, в свою очередь, означает, что существует некоторая функция f, которую мы назовем индикатор предпочтения R, обладающая следующим свойством:

.

Поскольку мы предположили, что объекты X_i упорядочены в порядке возрастания номеров, то индикатор является монотонной функцией от номера объекта. В силу того, что индикатор предпочтения задается с точностью до монотонного преобразования можно утверждать См., например, Юдин А.Д. Цой Э.В. Линейное программирование в порядковых шкалах // Известия АН СССР. Техническая кибернетика, 1984, № 1., что среди множества индикаторов предпочтения R существует линейная функция (индикатор предпочтений):

.

Построим линейную регрессию n показателей, характеризующих свойство R на значения индикатора f^*:

.

Если статистические характеристики (в особенности, объясняющие) построенной регрессии являются хорошими, то функция может рассматриваться в качестве индекса, характеризующего зависимость свойства R от показателей x₁,…, x_n. Для удобства функцию целесообразно нормировать, чтобы она принимала значения в промежутке от 0 до 100. Поэтому окончательный вид индекса, измеряющего зависимость свойства R от показателей x₁,…, x_n следующий:

, а соответственно.

Таким образом, если известно упорядочение объектов в соответствии с некоторым свойством, то задача построения индекса, отражающего это свойство в зависимости от набора параметров, не представляет принципиальных трудностей. Однако возникает вопрос: как построить соответствующее упорядочение? Этот вопрос тем более актуален в связи с тем, что возможное количество упорядочений N объектов равно N! = 1 2 3 … N.

2.3.2 Алгоритм построения упорядочения

Разобьем множество объектов на два подмножества так, что объекты, входящие в одно и то же подмножество, ближе друг к другу (в некотором, заранее заданном смысле), чем объекты, входящие в разные подмножества. Наилучшее разбиение в смысле статистической однородности объектов, входящих в один класс, получается при применении Ward's method кластеризации с квадратичным эвклидовым расстоянием. Будем считать объекты, входящие в один и тот же кластер, (подмножество) эквивалентными между собой в смысле свойства R, характеризуемого показателями x₁,…, x_n.

Определим, какой из двух кластеров является "лучшим" в смысле свойства R, т.е. для которого значения заданного набора показателей, характеризующие свойство R, являются "лучшими" по сравнению с соответствующими значениями показателей для другого кластера. Например, если мы рассматриваем развитие экономик ряда стран, очевидно, что кластер, для которого средние темпы роста экономики будут выше, является "лучшим" по сравнению с кластером, для которого средние темпы роста экономик вошедших в него стран ниже. Зададим на множестве кластеров функцию и введем новую переменную y⁽¹⁾, принимающую для каждого объекта X_j значение, равное значению функции f₂ на кластере, к которому принадлежит этот объект, т.е. . Введем, также, переменную y⁽²⁾, принимающую для каждого объекта X_j значение, равное значению функции f₂ на кластере, к которому не принадлежит этот объект, т.е. . Построим две регрессии: регрессию показателей x₁,…, x_n на переменную y⁽¹⁾ и регрессию тех же показателей на y⁽²⁾. Эти две регрессии будут иметь одинаковые статистические характеристики. Отличаться они будут лишь знаком коэффициентов при регрессорах и значением свободного члена. В качестве упорядочения кластеров, выбираем то упорядочение, которое соответствует тому, что большим значениям характеристик свойства R отвечает кластер с "лучшим" значением этого свойства.

На следующем шаге строим разбиение множества объектов на три кластера . Это означает (так устроены алгоритмы кластеризации), что один из двух кластеров, построенных на предыдущем шаге, разобьется на два кластера. Рассмотрим два упорядочения кластеров: в том случае, если "разбился" на два кластера , то и , а если "разбился" , то и . Задаем на множестве кластеров функции и . Вводим переменные: и .

Строим две регрессии: регрессию показателей x₁,…, x_n на переменную y⁽¹⁾ и регрессию тех же показателей на y⁽²⁾. В качестве упорядочения трех кластеров, выбираем то упорядочение, которому соответствуют лучшие статистические характеристики регрессии.

На (r - 1)-м шаге строим разбиение множества объектов на r кластеров . Рассмотрим два упорядочения кластеров, если на два кластера "разбился" кластер :

и

Задаем на множестве кластеров две функции и . Вводим две переменные и . Строим две регрессии: регрессию показателей x₁,…, x_n на переменную y⁽¹⁾ и регрессию тех же показателей на y⁽²⁾. В качестве упорядочения трех кластеров, выбираем то упорядочение, которому соответствуют лучшие статистические характеристики регрессии.

После проведения K шагов описанного алгоритма получаем 2K функций и , отвечающих разному количеству кластеров (от 2 до K + 1) и разным их перестановкам. Каждой из этих функций соответствует некоторая регрессия

.

Та из функций , статистические характеристики которой являются наилучшими, может рассматриваться в качестве приближения индикатора, характеризующего зависимость свойства R от показателей x₁,…, x_n.

Для удобства, как отмечалось выше, построенную функцию целесообразно нормировать так, чтобы она принимала значения в промежутке от 0 до 100. Поэтому окончательный вид индекса, измеряющего зависимость свойства R от показателей x₁,…, x_n принимает вид:

.

Заметим, что для существования линейного индикатора отношения предпочтения, характеризуемого набором показателей x₁,…, x_n в силу теоремы о замещении См., например, Кини Р.Л., Райфа Х. Принятие решений при многих критериях: предпочтения и замещения. М.: Радио и связь, 1981., необходимо и достаточно, чтобы изменение значения одного из показателей компенсировалось некоторой линейной комбинацией изменений остальных показателей.

2.4 Схема формального анализа

Приведем схему, в соответствии с которой мы будем проводить в дальнейшем классификацию регионов России по всем рассматриваемым наборам показателей.

1 этап. Проводится кластеризация регионов России в соответствующем многомерном пространстве по всем имеющимся данным семью методами кластерного анализа:

Average Linkage (Between Groups) (AL(BG));

Average Linkage (Within Groups) (AL(WG));

Single Linkage (SL);

Complete Linkage (CmL);

Centroid Linkage (CnL);

Median Linkage (ML);

Ward Linkage (WL)

с использованием семи различных расстояний Последние три метода могут использовать только квадратичное эвклидово расстояние.:

Squared Euclidean Distance (SED);

Euclidean Distance (ED);

Cosine of Vectors of Values (CVV);

Correlation between Vectors of Values (CBVV);

Chebychev Distance (ChD);

City Block Distance (CBD);

Minkowski Distance (MD).

Графический анализ изменения расстояния (в процентах от максимального расстояния) между объединяемыми кластерами в зависимости от номера итерации метода по всем рассматриваемым методам и расстояниям позволяет определить момент остановки работы методов кластеризации. Как правило, процесс кластеризации целесообразно производить до тех пор, пока расстояние между объединяемыми кластерами в среднем по всем методам и расстояниям не превышает 510 %. Однако окончательное решение об остановке методов и, тем самым, о количестве кластеров, на которое разбивается вся совокупность объектов, остается за содержательным анализом.

Каждая построенная классификация характеризуется степенью равномерности распределения количества регионов по кластерам. Чем более равномерно регионы распределены по кластерам, тем выше энтропия (неопределенность) построенной классификации. При разбиении регионов, например, на 10 кластеров максимально возможная неопределенность классификации равна log₂10 3,32 бит. С формальной точки зрения, наилучшей классификацией можно считать ту, которая наиболее равномерно распределяет исследуемые объекты между классами, т.е. имеет максимальную энтропию.

Анализ всей совокупности регионов за все годы всеми методами по всем расстояниям позволит выбрать метод и расстояние, дающие наиболее равномерное распределение исследуемых объектов по кластерам.

2 этап. На данном этапе проводится содержательный анализ полученных по лучшему (с формальной точки зрения) методу кластеров. Методология исследования заключается в экспертной оценке однородности (с экономической точки зрения) полученных кластеров.

Выделение экономически однородных групп кластеров, т.е. сокращение числа групп регионов с однородным уровнем рассматриваемых показателей, упрощает задачу динамической классификации регионов России с точки зрения исследуемой характеристики регионов на протяжении всего анализируемого периода.

3 этап. Этот этап заключается в проведении кластеризации регионов России в соответствующем многомерном пространстве по лучшему (с формальной точки зрения) методу кластерного анализа отдельно по каждому году анализируемого периода. Сравнение построенных на этом этапе классификаций с частью общей классификации, построенной на первом этапе, относящейся к соответствующему году, позволяет оценить устойчивость получаемых результатов. Содержательный анализ годовых классификаций дает возможность уточнить группы кластеров, выделенные на втором этапе (в данном исследовании мы опускаем данный этап, поскольку нас больше интересует перемещение регионов между кластерами от года к году, о чем будет сказано ниже).

4 этап. На этом этапе строится индикатор исследуемой экономической характеристики регионов России, измеряемой выбранным набором показателей. После этого производится сравнение результатов, полученных кластеризацией, с результатами разбиения на классы по построенным индикаторам. При этом рассматриваются три способа классификации регионов в соответствии с построенными индикаторами:

Поскольку индикатор принимает значения на отрезке [0, 100], разобьем множество объектов на М классов следующим образом:

где М количество объектов, N количество кластеров.

Разобьем множество объектов таким образом, чтобы все М классов содержали одинаковое количество объектов (точнее, классов по объектов, а остальные по ).

Разобьем множество объектов на М классов в соответствии с лучшим методом, выбранным на первом этапе, используя индикатор в качестве характеристики объектов.

Сравнение построенных разбиений позволяет выбрать наилучший способ использования индикатора в качестве "дискриминирующей" функции.

Построенные в работе индикаторы, характеризующие различные свойства исследуемых объектов (регионов России), могут использоваться аналогично "дискриминирующим" функциям. При получении дополнительной информации (например, по регионам, по которым ее не было, или за какой-либо другой год) нет необходимости заново проводить кластеризацию регионов. Достаточно рассчитать значения индикатора по полученным данным для каждого нового объекта и в соответствии с этим значением отнести объект к тому или иному классу. Кроме того, в отличие от традиционных дискриминирующих функций, индикаторы достаточно хорошо содержательно интерпретируемы (в случае выполнения условий теоремы о замещении для показателей, характеризующих исследуемое свойство).

5 этап. Этот этап аналогичен второму этапу. Однако в этом случае содержательному анализу (на основе экспертных оценок) подвергаются результаты разбиения регионов по выделенным на третьем этапе классам. Таким образом, тип региона определяется как нахождение региона в группе, характеризуемой принадлежностью к определенному классу по каждой из трех рассмотренных выше классификаций.

Глава 3. Многомерная классификация регионов Российской Федерации

Как уже было сказано выше, на первом этапе мы будем рассматривать многомерные (трехмерные) классификации регионов РФ по трем, наиболее характерным с экономической точки зрения, видам показателей: уровень жизни населения, инвестиционная активность и экономический потенциал. Мы понимаем ограниченность данного набора показателей, который не может охватить многие важные аспекты развития экономик субъектов РФ, особенно с учетом глубины процессов, проходящих во всех сферах жизни при переходе от социалистической к рыночной экономики. Именно поэтому, в Приложениях 3 и 4 приведены типологии регионов РФ по степени институциональных преобразований (глубины приватизации) и социально-демографическим характеристикам. Наиболее подробно применяемая процедура выбора метода кластерного анализа и расстояния между кластерами будет показана на примере первой их указанных классификаций - классификации регионов по уровню жизни населения, тогда как для двух других классификаций мы ограничимся результатами, полученными наилучшим методом. В данной работе мы отдаем предпочтение анализу совокупности данных по регионам за несколько лет перед анализом годовых распределений, что позволяет выявить более общие типы экономического поведения регионов в 1995-1999 годах, включая динамику рассматриваемых характеристик от года к году. Анализ результатов кластерного анализа за отдельные годы может играть при этом вспомогательную роль и быть использован при объяснении принадлежности того или иного региона к определенному классу (типу) субъектов РФ.

3.1 Классификация регионов по уровню жизни населения

Отличительной чертой состояния российской экономики в период рыночных реформ является крайне высокий уровень межрегиональной дифференциации в уровне жизни населения Подробная характеристика и анализ причин и особенностей межрегиональных различий в уровне жизни были представлены, в том числе, в рамках проекта CEPRA "Уровень жизни и неравенство доходов в отдельных регионах. Разработка программ адресной социальной помощи".. На протяжении 1995-1997 годов разрыв в уровне среднедушевых доходов населения между наиболее богатыми и наиболее бедными регионами достигал нескольких раз. Несмотря на то что в последнее время глубина неравенства несколько снизилась, дифференциация уровня жизни населения между отдельными регионами РФ остается крайне высокой по меркам развитых стран, а также стран с переходной экономикой. К сожалению, анализ ситуации в этой области чрезвычайно затруднен из-за ограниченности официальной статистики о различных аспектах уровня жизни населения. Результаты опросов и обследований позволяют изучить проблему глубже, однако, эти данные не всегда регулярны и не дают непрерывных серий наблюдений. В рамках классификации регионов РФ по характеристикам межрегиональной дифференциации уровня жизни населения мы намерены выделить классы регионов с относительно однородными показателями уровня жизни. Результаты решения данной задачи могут быть использованы при дальнейшем изучении региональных проблем экономического и социального развития России и выработке рекомендаций в области социальной политики и поддержки населения.

Как было сказано во введении, мы предполагаем, что межрегиональная дифференциация уровня жизни населения может быть охарактеризована тремя показателями:

Долей населения с доходами ниже прожиточного минимума, %;

Отношением среднедушевых доходов к прожиточному минимуму, %;

Отношением среднедушевых расходов к прожиточному минимуму, %.

Проведем кластеризацию регионов России (77 регионов) в соответствующем трехмерном пространстве по этим трем показателям по данным за 1995-1999 годы семью методами кластерного анализа с использованием семи различных расстояний.

Анализ всей совокупности регионов за все годы всеми методами по всем расстояниям позволит выбрать метод и расстояние, дающие наиболее равномерное распределение исследуемых объектов по кластерам. В Приложении 2 представлены результаты кластеризации регионов выбранным (формально лучшим) методом с полученным расстоянием по каждому году в отдельности.

Для выбора формально наилучшего метода классификации определим величину энтропии, получаемую при классификации каждым методом при различных расстояниях. Лучшей, как указывалось в 2.2.2, будет классификация с максимальной неопределенностью.

Исходные данные. На рисунке 3.1.1 приведены графики изменения расстояния (в процентах от максимального расстояния) между объединяемыми кластерами в зависимости от номера итерации метода по всем рассматриваемым методам и расстояниям.

Как видно из рисунка 3.1.1, в среднем по всем методам и расстояниям вплоть до 364-й итерации расстояние между объединяемыми кластерами не превышает 10 % максимального, а до 340-й - 5 %. Если не рассматривать явно выделяющиеся результаты метода Average Linkage (Within Groups) с расстояниями Euclidean Distance, Chebychev Distance, City Block Distance и Minkowski Distance, то в среднем расстояние между объединяемыми кластерами не превышает 5 % максимального вплоть до 367-й итерации, а 10 % до 375-й.

Остановка методов кластеризации после 367-го шага позволяет разбить регионы России за рассматриваемые 5 лет на 16 кластеров. Результаты кластеризации для разбиения всей совокупности объектов (регионов России за 5 лет) на 16 кластеров по всем рассматриваемым методам и расстояниям приведены в Приложении 2.

Рисунок 3.1.1. Графики изменения расстояния между объединяемыми кластерами (расстояние на последнем (382-м) шаге принимается за 100 %)

Размещено на http://www.allbest.ru/

В том же приложении приведено число регионов, попавших в каждый из кластеров по всем методам и расстояниям, а также энтропия соответствующих классификаций (максимально возможная энтропия равна log₂16 = 4 бит). Как видно из этих таблиц, разбиения регионов на кластеры при использовании различных методов и расстояний существенно отличаются друг от друга. Отметим, что классификации, построенные с помощью метода Single Linkage, при всех расстояниях обладают минимальной неопределенностью (от 0,473 до 0,827 бит). При этом большая часть из рассматриваемых объектов попадает в один кластер, а в остальные 15 кластеров попадают по 1 5 объектов (в одном случае 10). Это означает, что в ситуациях, когда нужно рассматривать всю совокупность объектов по исследуемому свойству, следует исключать из рассмотрения объекты, не входящие в самый большой кластер, поскольку они существенно отличаются по этому свойству от входящих в него объектов.

Максимальная энтропия (3,243 бит) отвечает классификации, построенной с помощью Ward Linkage с использованием Squared Euclidean Distance. Следовательно, этот метод кластеризации приводит к наиболее равномерно распределенной классификации регионов. Данная классификация с координатами центров кластеров, а также движение регионов по различным кластерам в разные годы приведены в Приложении 2.

Таблица 3.1.1. Количество регионов в кластерах в разные годы при кластеризации в соответствии с Ward Linkage по данным 1995-1999 гг.

Кластер	1995	1996	1997	1998	1999
1	25	20	14	14	16
2	14	11	9	18	8
3	9	13	9	10	4
4	1	1	2	1	1
5	8	6	4	8	20
6	6	11	22	11	3
7	1	0	0	1	0
8	3	1	0	2	8
9	2	4	4	3	3
10	2	3	2	4	8
11	2	1	1	2	4
12	3	1	5	1	1
13	0	1	1	0	0
14	0	2	3	1	0
15	0	1	1	1	0
16	0	0	0	0	1
Всего	76	76	77	77	77

• Сравнение результатов данной классификации, относящихся к 1995 г., с классификацией, построенной по данным 1995 г., показывает, что 92,8 % неопределенности второй классификации определяется знанием первой классификации, т.е. при переходе к кластеризации регионов по данным за все года наблюдений, ошибка распределения регионов по данным, относящимся к 1995 году, возникающая за счет влияния данных за 1996-1999 годы, составляет около 7 %. По данным 1996 г. это соотношение составляет 93,8 %, 1997 г. 81,2 %, 1998 г. 82,5 %, 1999 г. 93,7 %. Следовательно, общая классификация, построенная по данным за все годы, в значительной мере объясняет (в среднем 88,8 %) частные классификации, построенные по данным за отдельные годы.

Нормированные данные. Использованные для кластеризации показатели, характеризующие межрегиональную дифференциацию уровня жизни населения, неоднородны. Поэтому произведем нормировку показателей путем линейного преобразования так, чтобы все переменные принимали значения на отрезке [0, 100] (0 - минимальное значение, 100 - максимальное значение переменной) и построим классификацию в соответствии с нормированными показателями. Для этого для каждого показателя, принимающего значения x_i,t (i номер региона, t год) введем значения y_i,t следующим образом:

На рисунке 3.1.2 приведены графики зависимости расстояния от номера итерации между объединяемыми кластерами в соответствующем трехмерном пространстве.

Из рисунка 3.1.2 видно, что в этом случае расстояния между объединяемыми кластерами растут более равномерно. 5 % от максимального расстояния в среднем отвечает разбиение на 69 кластеров. При 10 % в среднем производится 355 итераций объединения кластеров, что соответствует 28 кластерам. Если (аналогично предыдущему случаю) не рассматривать явно выделяющиеся результаты, полученные методами (Average Linkage (Within Groups) с расстояниями Euclidean Distance, Chebychev Distance, City Block Distance, Minkowski Distance и Single Linkage с расстоянием Cosine of Vectors of Values), то 5 % от максимального расстояния в среднем отвечает разбиение на 30 кластеров, а 10 % на 10 кластеров.

Рисунок 3.1.2. Графики изменения расстояния между объединяемыми кластерами (расстояние на последнем (382-м) шаге принимается за 100 %) по нормированным показателям

Размещено на http://www.allbest.ru/

Для сопоставимости результатов проведем разбиение всей совокупности объектов на 16 кластеров, что отвечает объединению кластеров с расстоянием между ними не превышающем 7,5 % от максимального (в среднем). Результаты кластеризации по всем рассматриваемым методам и расстояниям приведены в Приложении 2. Там же приведено число регионов, попавших в каждый из кластеров по всем методам и расстояниям, а также энтропии соответствующих классификаций. Максимальная энтропия (3,667 бит) отвечает классификации, построенной с помощью Complete Linkage с использованием расстояния Cosine of Vectors of Values. Следовательно, этот метод кластеризации приводит к наиболее равномерному распределению количества регионов по кластерам. Данная классификация с координатами центров кластеров, движение регионов по различным кластерам в разные годы и количество регионов в кластерах по годам приведены в Приложении 2. Чуть менее равномерная классификация (энтропия 3,643 бит) получается с помощью Ward Linkage с расстоянием Squared Euclidean Distance. Соответствующие результаты приведены в таблице 3.1.2.

Таблица 3.1.2. Количество регионов в кластерах в разные годы при кластеризации в соответствии с Ward Linkage по нормированным данным 1995-1999 годы

Кластер	1995	1996	1997	1998	1999
1	14	22	9	8	0
2	12	17	2	0	0
3	1	1	1	1	1
4	11	7	8	11	8
5	6	3	3	6	7
6	9	4	3	5	1
7	3	2	16	14	13
8	1	1	1	1	1
9	6	5	19	12	11
10	2	4	2	3	2
11	3	3	1	3	2
12	2	4	7	6	6
13	2	2	2	3	8
14	3	1	0	1	7
15	1	0	2	2	9
16	0	0	1	1	1
Всего	76	76	77	77	77

Сравнение результатов данной классификации, относящихся к 1995 г., с классификацией, построенной по данным 1995 г., показывает, что 76,9 % неопределенности второй классификации определяется знанием первой классификации. По данным 1996 г. это соотношение составляет 77,9 %, 1997 г. 84,1 %, 1998 г. 94,4 %, 1999 г. 93,7 %. Следовательно, общая классификация, построенная по данным за все годы, в значительной мере объясняет (в среднем 85,4 %) частные классификации, построенные по данным за отдельные годы. Более того, объясняющая способность общей классификации с течением времени растет.

Сравнение классификаций по исходным и нормированным данным. Для сравнения полученных классификаций построим матрицы сопряженности (см. таблицы 3.1.3, 3.1.4 и 3.1.5). Какая из полученных классификаций межрегиональной дифференциации уровня жизни населения лучше, может определить только их содержательный анализ. С формальной точки зрения, здесь можно лишь заметить, что две классификации, построенные по нормированным данным, существенно отличаются друг от друга и обе они отличаются от классификации, построенной по исходным данным. Сравним сначала классификации по нормированным данным по двум выбранным методам между собой.

Таблица 3.1.3. Матрица сопряженности для кластеризаций регионов России по нормированным характеристикам уровня жизни за 1995-1999 гг. методом Complete Linkage с расстоянием Cosine of Vectors of Values и методом Ward Linkage

	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16
1	7	5	0	0	0	0	10	0	0	0	0	0	0	0	0	0	22
2	0	10	0	0	0	0	0	0	4	0	0	0	0	3	0	0	17
3	22	0	0	19	0	1	0	0	0	0	0	0	0	0	0	0	42
4	0	10	0	0	0	0	1	0	37	0	0	0	0	6	0	0	54
5	0	1	5	0	0	0	0	5	9	0	0	0	0	0	0	0	20
6	2	0	0	13	0	0	0	0	0	0	0	0	0	0	4	0	19
7	3	3	0	0	0	0	27	0	0	0	0	0	0	0	0	0	33
8	0	0	0	0	14	1	0	0	0	7	0	4	17	0	0	0	43
9	0	0	0	1	11	15	0	0	0	0	0	21	0	0	7	0	55
10	11	0	0	0	0	0	7	0	0	0	0	0	0	0	0	0	18
11	0	2	0	0	0	0	0	0	0	0	0	0	0	3	0	3	8
12	0	0	0	0	0	0	0	0	0	6	12	0	0	0	0	0	18
13	3	0	0	7	0	5	0	0	0	0	0	0	0	0	3	0	18
14	0	0	0	0	0	0	1	0	3	0	0	0	0	0	0	0	4
15	5	0	0	5	0	0	0	0	0	0	0	0	0	0	0	0	10
16	0	0	0	0	0	0	2	0	0	0	0	0	0	0	0	0	2
	53	31	5	45	25	22	48	5	53	13	12	25	17	12	14	3

Как следует из таблицы 3.1.3, построенные классификации существенно различаются между собой. Количество информации об одной классификации, содержащееся в другой, равно 2,217 бит. Поскольку энтропия классификации, построенной с помощью Complete Linkage с использованием расстояния Cosine of Vectors of Values, равна 3,667 бит, а неопределенность классификации, построенной с помощью Ward Linkage с расстоянием Squared Euclidean Distance равна 3,643 бит, то это означает, что знание первой классификации снижает неопределенность второй классификации на 60,9 %. В то же время вторая классификация снижает неопределенность первой на 60,5 %. Такое существенное расхождение между двумя классификациями с близкими неопределенностями лишний раз подтверждает необходимость проведения тщательного содержательного анализа построенных классификаций. Формально построенная классификация может служить лишь основой для последующего качественного анализа, а также для отбора классифицирующих показателей.

Сравним теперь классификацию по исходным данным методом Ward Linkage с классификацией по нормированным данным методом Complete Linkage с расстоянием Cosine of Vectors of Values.

Таблица 3.1.4. Матрица сопряженности для кластеризации регионов России по характеристикам уровня жизни методом Ward Linkage и нормированным характеристикам уровня жизни методом Complete Linkage с расстоянием Cosine of Vectors of Values

	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16
1	11	1	24	11	0	9	7	0	3	9	0	0	11	0	3	0	89
2	2	0	9	0	0	6	0	9	28	1	0	0	3	0	2	0	60
3	5	3	5	13	0	0	12	0	1	4	1	0	0	0	1	0	45
4	0	0	0	0	5	0	0	0	0	0	0	0	0	1	0	0	6
5	0	0	0	0	0	0	0	22	19	0	0	1	4	0	0	0	46
6	4	9	0	21	9	0	7	0	0	1	1	0	0	1	0	0	53
7	0	0	0	0	2	0	0	0	0	0	0	0	0	0	0	0	2
8	0	0	3	0	0	2	1	0	4	1	0	0	0	0	3	0	14
9	0	0	1	4	0	1	5	0	0	2	0	0	0	2	1	0	16
10	0	0	0	0	0	0	0	12	0	0	0	7	0	0	0	0	19
11	0	0	0	0	0	0	0	0	0	0	0	10	0	0	0	0	10
12	0	4	0	5	0	0	0	0	0	0	2	0	0	0	0	0	11
13	0	0	0	0	2	0	0	0	0	0	0	0	0	0	0	0	2
14	0	0	0	0	1	1	1	0	0	0	1	0	0	0	0	2	6
15	0	0	0	0	0	0	0	0	0	0	3	0	0	0	0	0	3
16	0	0	0	0	1	0	0	0	0	0	0	0	0	0	0	0	1
	22	17	42	54	20	19	33	43	55	18	8	18	18	4	10	2

Количество информации, содержащееся в одной классификации о другой, равно 1,462 бит. Поскольку энтропия классификации по исходным данным составляет 3,243 бит, а по нормированным - 3,667 бит, то это означает, что знание классификации по нормированным показателям объясняет менее половины (45,1 %) неопределенности классификации по исходным показателям, а знание классификации по исходным показателям объясняет всего 39,9 % неопределенности классификации по нормированным показателям.

Наконец, сравним классификацию по исходным данным методом Ward Linkage с классификацией по нормированным данным тем же методом.

Таблица 3.1.5. Матрица сопряженности для кластеризации регионов России по характеристикам уровня жизни методом Ward Linkage и нормированным характеристикам уровня жизни методом Ward Linkage

	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16
1	34	7	0	24	0	4	8	0	9	0	0	1	0	0	2	0	89
2	10	0	0	9	7	17	3	0	0	1	0	12	1	0	0	0	60
3	6	15	0	4	1	0	13	0	4	0	0	0	0	2	0	0	45
4	0	0	5	0	0	0	1	0	0	0	0	0	0	0	0	0	6
5	0	0	0	0	16	1	0	0	0	3	0	10	8	0	8	0	46
6	0	7	0	0	0	0	12	0	31	0	0	0	0	3	0	0	53
7	0	0	0	0	0	0	0	2	0	0	0	0	0	0	0	0	2
8	1	0	0	6	1	0	2	0	0	0	0	2	0	0	2	0	14
9	2	1	0	2	0	0	6	0	2	0	0	0	0	2	1	0	16
10	0	0	0	0	0	0	0	0	0	7	4	0	8	0	0	0	19
11	0	0	0	0	0	0	0	0	0	2	8	0	0	0	0	0	10
12	0	0	0	0	0	0	0	0	6	0	0	0	0	4	0	1	11
13	0	0	0	0	0	0	0	2	0	0	0	0	0	0	0	0	2
14	0	1	0	0	0	0	3	0	1	0	0	0	0	0	1	0	6
15	0	0	0	0	0	0	0	0	0	0	0	0	0	1	0	2	3
16	0	0	0	0	0	0	0	1	0	0	0	0	0	0	0	0	1
	53	31	5	45	25	22	48	5	53	13	12	25	17	12	14	3

Количество информации, содержащееся в одной классификации о другой, равно 1,552 бит. Поскольку энтропия классификации по исходным данным составляет 3,243 бит, а по нормированным - 3,643 бит, то это означает, что знание классификации по нормированным показателям объясняет немногим менее половины (47,9 %) неопределенности классификации по исходным показателям, а знание классификации по исходным показателям объясняет всего 42,6 % неопределенности классификации по нормированным показателям.

Поскольку информативность классификаций по методу Ward Linkage несколько выше, чем информативность классификации для нормированных показателей по методу Complete Linkage с расстоянием Cosine of Vectors of Values и классификации по методу Ward Linkage для исходных показателей, будем в дальнейшем строить классификацию регионов по уровню жизни на основе результатов, полученных по методу Ward Linkage.

Классификация регионов по уровню жизни. Качественный анализ полученных для нормированных показателей по методу Ward Linkage кластеров показывает, что кластеры, с точки зрения дифференциации уровня жизни, могут быть отнесены к нескольким экономически достаточно однородным группам. Такие группы выделены нами на основе сопоставления и ранжирования (по всем полученным кластерам) нормированных значений трех рассматриваемых показателей уровня жизни. В частности, могут быть выделены пять групп кластеров (регионов):

1) Регионы с низким уровнем жизни (кластеры 5, 6, 10, 11, 12, 13).

2) Регионы с высоким уровнем жизни (кластеры 3, 8, 14, 16).

3) Регионы с низким уровнем бедности, но и низким уровнем расходов и доходов населения (кластеры 2 и 9).

4) Регионы с высоким уровнем бедности, но и высоким уровнем расходов и доходов населения (кластер 15).

5) Регионы со средним уровнем жизни (кластеры 1, 4, 7).

Выделение экономически однородных групп кластеров, т.е. сокращение числа групп регионов с однородным уровнем дифференциации жизни, упрощает задачу динамической классификации регионов РФ с точки зрения дифференциации уровня жизни на протяжении 1995_1999 годов. Движение субъектов РФ в 1995_1999 годах по указанным группам регионов представлено в таблице 3.1.6.

Таблица 3.1.6. Движение регионов РФ по группам кластеров, полученных при кластеризации в соответствии с Ward Linkage по нормированным данным за 1995-1999 годы

	1995	1996	1997	1998	1999
Республика Карелия	5	3	3	5	3
Республика Коми	3	3	3	3	2
Архангельская область	5	5	5	1	1
Вологодская область	3	3	3	5	5
Муpманская область	3	3	3	3	2
г. Санкт-Петербург	2	2	5	5	5
Ленинградская область	5	5	5	1	1
Новгоpодская область	3	3	3	3	3
Псковская область	1	1	5	1	1
Бpянская область	3	3	3	5	4
Владимиpская область	5	5	5	5	1
Ивановская область	1	5	5	5	1
Калужская область	5	5	5	5	4
Костромская область	5	5	3	5	5
г. Москва	2	2	2	2	2
Московская область	5	5	5	5	3
Оpловская область	3	3	5	5	5
Рязанская область	5	5	3	5	1
Смоленская область	3	3	3	5	3
Тверская область	5	5	5	5	1
Тульская область	3	3	3	3	5
Ярославская область	3	3	3	5	3
Республика Маpий Эл	1	1	1	1	1
Республика Мордовия	1	1	1	1	1
Чувашская Республика	5	5	5	1	1
Кировская область	5	5	5	1	1
Нижегородская область	3	3	3	3	5
Белгородская область	3	3	3	3	3
Воронежская область	5	5	5	5	5
Курская область	3	5	5	5	5
Липецкая область	3	3	3	3	3
Тамбовская область	3	3	5	5	3
Республика Калмыкия	1	1	1	1	1
Республика Татарстан	3	3	3	3	2
Астраханская область	1	1	5	1	4
Волгоградская область	1	5	5	5	1
Пензенская область	5	1	1	1	1
Самарская область	3	3	2	2	2
Саратовская область	1	1	1	5	4
Ульяновская область	3	3	3	3	5
Республика Адыгея	1	1	1	1	1
Республика Дагестан	1	1	1	1	1
Республика Ингушетия	_	_	1	1	1
Кабардино-Балкарская Республика	1	1	1	1	4
Карачаево-Черкесская Республика	1	1	1	1	1
Республика Северная Осетия-Алания	1	1	1	1	5
Краснодарский край	5	5	5	5	5
Ставропольский край	1	5	4	4	4
Ростовская область	1	3	3	3	2
Республика Башкоpтостан	1	5	5	5	5
Удмуpтская Республика	5	5	5	5	1
Куpганская область	1	1	1	1	1
Оpенбуpгская область	1	5	5	5	5
Пеpмская область	5	3	3	2	2
Свеpдловская область	5	5	5	5	5
Челябинская область	5	5	5	5	5
Республика Алтай	5	1	1	1	1
Алтайский край	1	1	1	1	1
Кемеровская область	2	3	3	3	3
Новосибирская область	1	1	4	4	1
Омская область	5	5	5	5	5
Томская область	5	3	3	5	3
Тюменская область	2	2	2	2	2
Республика Бурятия	1	1	1	1	1
Республика Тыва	1	1	1	1	1
Республика Хакасия	5	5	5	1	4
Красноярский край	2	3	3	3	2
Иркутская область	1	5	5	5	2
Читинская область	1	1	1	1	1
Республика Саха (Якутия)	5	5	5	1	5
Приморский край	5	5	5	5	5
Хабаровский край	5	5	5	5	5
Амурская область	4	5	5	5	4
Камчатская область	3	5	5	5	5
Магаданская область	5	5	5	1	4
Сахалинская область	5	1	1	1	5
Калининградская область	5	5	5	5	5

Анализ движения регионов между указанными пятью группами кластеров свидетельствует о наличии шести классов регионов:

1) Регионы со стабильно высоким уровнем жизни. К данному классу относятся 9 регионов: Кемеровская область, Коми, Красноярский край, Москва, Мурманская область, Новгородская область, Самарская область, Татарстан, Тюменская область.

2) Регионы со стабильно низким уровнем жизни. К данному классу относятся 21 регион: Адыгея, Алтайский край, Астраханская область, Бурятия, Волгоградская область, Республика Алтай, Дагестан, Ингушетия, Кабардино-Балкарская Республика, Калмыкия, Карачаево-Черкесская Республика, Курганская область, Марий Эл, Мордовия, Новосибирская область, Пензенская область, Псковская область, Северная Осетия, Ставропольский край, Тыва, Читинская область.

3) Регионы, в которых наблюдалось повышение уровня жизни. К данному классу относятся 5 регионов: Башкортостан, Иркутская область, Оренбургская область, Пермская область, Ростовская область.

4) Регионы, в которых наблюдалось снижение уровня жизни. К данному классу относятся 8 регионов: Архангельская область, Брянская область, Кировская область, Ленинградская область, Магаданская область, Санкт-Петербург, Хакасия, Чувашская Республика.

Таблица 3.1.7

	Доля населения с доходами ниже прожиточного уровня	Отношение среднедушевых доходов к прожиточному уроню	Отношение среднедушевых расходов к прожиточному уроню
Регионы со стабильно высоким уровнем жизни	19,8 %	269,4 %	251,2 %
Регионы со стабильно низким уровнем жизни	49,6 %	124,8 %	98,3 %
Регионы, в которых наблюдалось повышение уровня жизни	27,4 %	188,0 %	157,1 %
Регионы, в которых наблюдалось снижение уровня жизни	32,7 %	155,4 %	137,9 %
Регионы с неустойчивой ситуацией, колебаниями уровня жизни от года к году без явного тренда в одну или другую сторону	28,9 %	166,0 %	142,4 %
Регионы со стабильно низким уровнем бедности, но и устойчиво низкими доходами и расходами населения	21,1 %	174,8 %	160,0 %

5) Регионы с неустойчивой ситуацией, колебаниями уровня жизни от года к году без явного тренда в одну или другую сторону. К данному классу относятся 28 регионов: Амурская область, Владимирская область, Вологодская область, Воронежская область, Ивановская область, Калининградская область, Калужская область, Камчатская область, Карелия, Костромская область, Краснодарский край, Курская область, Московская область, Омская область, Орловская область, Приморский край, Рязанская область, Саратовская область, Республика Саха (Якутия), Сахалинская область, Свердловская область, Смоленская область, Тамбовская область, Тверская область, Томская область, Удмуртская Республика, Хабаровский край, Челябинская область.

6) Регионы со стабильно низким уровнем бедности, но и устойчиво низкими доходами и расходами населения. К данному классу относятся 6 регионов: Белгородская область, Липецкая область, Нижегородская область, Тульская область, Ульяновская область, Ярославская область.

Рисунок 3.1.3

В таблице 3.1.7 приведены средние для классов значения трех рассматриваемых характеристик уровня жизни. На рисунке 3.1.3 показано географическое распределение регионов по классам. Примечательно, что регионы с нестабильной ситуацией сконцентрированы преимущественно в Центрально-Европейской части России, Восточной Сибири и на Дальнем Востоке. Как видно из рисунка, не наблюдается какой-либо однородности географического распределения регионов по выделенным классам. Субъекты РФ, относящиеся к классу регионов со стабильно низким уровнем жизни, расположены на Северном Кавказе и южной части Сибири вдоль границы РФ.

3.2 Классификация регионов по инвестиционной активности

Одной из важнейших задач при анализе текущей экономической ситуации и перспектив развития экономики России является изучение инвестиционных процессов, характера и форм инвестиционной деятельности хозяйствующих субъектов. Однако построение единой инвестиционной функции для всей российской экономики чрезвычайно затруднено, или невозможно, не только из-за недостатков имеющихся данных, но и из-за различия типов инвестиционных процессов в различных субъектах РФ. В рамках классификации регионов РФ по характеру инвестиционной активности (инвестиционного поведения) мы намерены выделить классы регионов с относительно однородными типами и характеристиками инвестиционной активности. Таким образом, результаты решения данной задачи могут быть использованы при изучении инвестиционных процессов в регионах РФ.

Мы предполагаем, что инвестиционная активность в регионе может быть охарактеризована тремя показателями:

Отношение инвестиций в основной капитал к ВРП.

Относительные темпы роста инвестиций в основной капитал по сравнению со среднероссийским уровнем.

Отношение иностранных инвестиций к ВРП.

Для выбора метода кластеризации регионов РФ по показателям инвестиционной активности мы применили процедуру, аналогичную той, которая использовалась при кластеризации регионов по уровню жизни. С формальной точки зрения наилучшим оказался метод Ward Linkage с расстоянием Squared Euclidean Distance. Здесь мы приводим результаты кластеризации только наилучшим методом. Кластеризация регионов России по трем указанным показателям проведена на данных за весь период с 1995 по 1999 годы, 78 регионов. В Приложении 2 приведены результаты кластеризации по отдельным годам.

Исходные данные. В первую очередь рассмотрим распределение регионов России по кластерам на основе не нормированных значений характеристик инвестиционной активности. Рисунок 3.2.1 показывает зависимость расстояния в соответствующем трехмерном пространстве между объединяемыми кластерами от номера итерации.

Рисунок 3.2.1. Динамика роста расстояния между объединяемыми кластерами по показателям инвестиционной деятельности

Размещено на http://www.allbest.ru/

Из рисунка видно, что, начиная с 378 итерации, скорость роста расстояния между объединяемыми кластерами начинает превышать экспоненциальный рост. Из этого можно сделать вывод о том, что генеральная совокупность регионов распадается на 12 кластеров. В Приложении 2 приведено соответствующее разбиение и координаты центров кластеров, а также данные о принадлежности регионов различным кластерам в разные годы.