Сравнительная оценка качества прогностических моделей риска заболеваний желудка

Для приведенных в таблице обозначений расчет показателей качества осуществляется в соответствии с выражениями:

Значения показателей качества диагностических решающих правил:

· для физиологических показателей:

Таблица

ИП=25, щ0=50;
ИО=29, щ1=50;
ЛП=25;
ЛО=21;
ДЧ= 25/50 = 0,5;
ДС = 29/50 = 0,58;
ПЗ+= 25 / (25+25) = 0,5;
ПЗ-= 29 /(29+21) = 0,58;
ДЭ=(25+29)/(25+29+25+21)=0,54.

Эффективность решающего правила в виде разделяющей гиперплоскости Yфиз = 0,02х1+3,18х2 - 1,52х3 + 0,12х4 + 0,04х5 +0,2х6+ 0,24х7 + 0,04х8 + 0,01х9 + 0,12х11 + 0,04х12 - 9,2139 составляет 54%.

· для лабораторных показателей:

Таблица

ИП=26, щ0=50;
ИО=32, щ1=50;
ЛП=24;
ЛО=18;
ДЧ= 26/50 = 0,52;
ДС = 32/50 = 0,64;
ПЗ+= 26 / (26+24) = 0,52;
ПЗ-= 32/(32+18) = 0,64;
ДЭ= (26+32)/(26+32+24+18)= 0,58.
Эффективность решающего правила в виде разделяющей гиперплоскости
Yлаб = 3,38х1 + 0,28х2 + 0,01х3 + 0,78х4 + 0,09х5 - 0,58х6 - 0,46х7 - 1,88х8 + 0,94х9 + 0,02х10 + 0,12х11 + 0,18х12 + 0,3х14 + 0,2х15 - 398,041 составляет 58%.

для психологических показателей по тесту Стреляу:

Таблица

ИП=32, щ0=50;
ИО=30, щ1=50;
ЛП=18;
ЛО=20;
ДЧ= 32/50 = 0,64;
ДС = 30/50 = 0,6;
ПЗ+= 32 / (32+18) = 0,64;
ПЗ-= 30/(30+19) = 0,6;
ДЭ= (32+30)/(32+30+18+20)= 0,62.
Эффективность решающего правила в виде разделяющей гиперплоскости YпсихСТ = 1,48х1 + 0,58х2 - 3,42х3 + 0,04х4 - 154,284 составляет 62%.

для психологических показателей по тесту Русалова:

Таблица

ИП=35, щ0=50;
ИО=28, щ1=50;
ЛП=22;
ЛО=15;
ДЧ= 28/50 = 0,56;
ДС = 35/50 = 0,7;
ПЗ+= 28 / (2228+22) = 0,56;
ПЗ-= 35/(35+15) = 0,7;
ДЭ= (28+35)/(28+35+22+15)= 0,63.

Эффективность решающего правила в виде разделяющей гиперплоскости YпсихРус = 0,02х1 + 0,38х2 + 0,02х3 - 0,04х4 - х5 + 0,4х6 + 0,16х7 + 0,04х8 - 1,1686 составляет 63 %.

· для психологических показателей по тесту психопатизации и невропатизации:

Таблица

ИП=31, щ0=50;
ИО=28, щ1=50;
ЛП=19;
ЛО=22;
ДЧ= 31/50 = 0,62;
ДС = 28/50 = 0,56;
ПЗ+= 31 / (31+19) = 0,62;
ПЗ-= 28/(28+22) = 0,56;
ДЭ= (31+28)/(31+28+19+22)= 0,59.

Эффективность решающего правила в виде разделяющей гиперплоскости

YпсихНЕВ = -5,64х13 - 2,18х14 + 198,3018 составляет 59%.

Проверим эффективность решающих правил на контрольной выборке.

Таблица 3.23 - Разделение контрольной физиологической выборки по классам

	Yфиз Б	Класс	Yфиз З	Класс
1	-59,47	2	-18,53	2
2	-56,87	2	-51,19	2
3	-41,51	2	-20,07	2
4	-27,55	2	-18,83	2
5	-17,81	2	48,63	1
6	-16,71	2	50,87	1
7	-37,67	2	-26,01	2
8	11,03	1	-51,19	2
9	-0,25	2	69,35	1
10	-18,05	2	48,61	1
11	-23,26	2	-37,89	2
12	20,27	1	-21,45	2
13	12,63	1	2,61	1
14	-1,19	2	-27,79	2
15	-38,33	2	-49,23	2

Полностью таблица разделение контрольной физиологической выборки по классам представлена в таблице А.32. Приложения А.

Полностью таблица разделение контрольной лабораторной выборки по классам представлена в таблице А.33. Приложения А.

Полностью таблица разделение контрольной психологической выборки по тесту Стреляу по классам представлена в таблице А.34. Приложения А.

Полностью таблица разделение контрольной психологической выборки по тесту Русалова по классам представлена в таблице А.35. Приложения А.

Полностью таблица разделение контрольной психологической выборки по тесту психопатизации и невропатизации по классам представлена в таблице А.36. Приложения А.

Значения показателей качества диагностических решающих правил для контрольной выборки:

· для физиологических показателей:

Таблица

ИП=20, щ0=40;
ИО=23, щ1=40;
ЛП=20;
ЛО=17;
ДЧ= 20/40 = 0,5;
ДС = 23/40 = 0,58;
ПЗ+= 20 / (20+20) = 0,5;
ПЗ-= 23 /(23+17) = 0,58;
ДЭ= (20+23)/(20+23+17+20)= 0,54.

Эффективность решающего правила для контрольной выборки в виде разделяющей гиперплоскости Yфиз = 0,02х1+3,18х2 - 1,52х3 + 0,12х4 + 0,04х5 +0,2х6+ 0,24х7 + 0,04х8 + 0,01х9 + 0,12х11 + 0,04х12 - 9,2139 составляет 54%.

· для лабораторных показателей:

Таблица

ИП=21, щ0=40;
ИО=25, щ1=40;
ЛП=19;
ЛО=15;
ДЧ= 21/40 = 0,53;
ДС = 25/40 = 0,63;
ПЗ+= 21 / (31+19) = 0,53;
ПЗ-= 25 /(25+15) = 0,63;
ДЭ= (21+25)/(21+25+19+15)= 0,58;
Эффективность решающего правила для контрольной выборки в виде разделяющей гиперплоскости Yлаб = 3,38х1 + 0,28х2 + 0,01х3 + 0,78х4 + 0,09х5 - 0,58х6 - 0,46х7 - 1,88х8 + 0,94х9 + 0,02х10 + 0,12х11 + 0,18х12 + 0,3х14 + 0,2х15 - 398,041 составляет 58%.

для психологических показателей по тесту Стреляу:

Таблица

ИП=26, щ0=40;
ИО=22, щ1=40;
ЛП=14;
ЛО=18;
ДЧ= 25/40 = 0,65;
ДС = 22/40 = 0,55;
ПЗ+= 26 / (26+14) = 0,65;
ПЗ-= 22 /(22+18) = 0,6;
ДЭ= (26+22)/(26+22+14+18)= 0,60.

Эффективность решающего правила для контрольной выборки в виде разделяющей гиперплоскости YпсихСТ = 1,48х1 + 0,58х2 - 3,42х3 + 0,04х4 - 154,284 составляет 60%.

для психологических показателей по тесту Русалова:

Таблица

ИП=22, щ0=40;
ИО=28, щ1=40;
ЛП=18;
ЛО=12;
ДЧ= 22/40 = 0,55;
ДС = 28/40 = 0,7;
ПЗ+= 22 / (22+18) = 0,55;
ПЗ-= 28 /(28+12) = 0,7;
ДЭ= (22+28)/(22+28+18+12)= 0,63.

Эффективность решающего правила для контрольной выборки в виде разделяющей гиперплоскости YпсихРус = 0,02х1 + 0,38х2 + 0,02х3 - 0,04х4 - х5 + 0,4х6 + 0,16х7 + 0,04х8 - 1,1686 составляет 63 %.

· для психологических показателей по тесту психопатизации и невропатизации:

Таблица

ИП=26, щ0=40;
ИО=26, щ1=40;
ЛП=14;
ЛО=14;
ДЧ= 26/40 = 0,65;
ДС = 26/40 = 0,65;
ПЗ+= 26 / (26+14) = 0,65;
ПЗ-= 26 /(26+14) = 0,7;
ДЭ= (26+26)/(26+26+14+14)= 0,65.

Эффективность решающего правила для контрольной выборки в виде разделяющей гиперплоскости YпсихНЕВ = -5,64х13 - 2,18х14 + 198,3018 составляет 65%.

Дискриминантный анализ

Дискриминантный анализ как раздел многомерного статистического анализа включает статистические методы классификации многомерных наблюдений в ситуации, когда исследователь обладает так называемыми обучающими выборками (классификация с обучением) [9].

Цель дискриминантного анализа состоит в том, чтобы на основе измерения различных характеристик (признаков, параметров) объекта классифицировать его, т.е. отнести к одной из нескольких групп (классов) некоторым оптимальным способом. Под оптимальным способом понимается либо минимум математического ожидания потерь, либо минимум вероятности ложной классификации. Этот вид статистического анализа является многомерным, так как использует несколько параметров объекта.

Широкий круг задач, возникающих на практике и связанных с классификацией, можно решить методами дискриминантного анализа, типичные области применения которого медицина, управление производством, экономика, геология, контроль качества.

В общем случае задача различения (дискриминации) формулируется следующим образом. Пусть результатом наблюдения над объектом является построение k-мерного случайного вектора X = (x₁, х₂,..., х_к). Требуется установить правило, согласно которому по значениям координат вектора X объект относят к одной из возможных совокупностей р_i, i = 1, 2,..., n. Для построения правила дискриминации все выборочное пространство R значений вектора X разбивается на области R_i, r = 1,2,..., n, так что при попадании X в R_i, объект относят к совокупности р_i.

Правило дискриминации выбирается в соответствии с определенным принципом оптимальности на основе априорной информации о вероятностях p_i, извлечения объекта из р_i. При этом следует учитывать размер убытка от неправильной дискриминации. Априорная информация может быть представлена как в виде некоторых сведений о функциях k-мерного распределения признаков в каждой совокупности, так и в виде выборок из этих совокупностей. Априорные вероятности p_i могут быть либо заданы, либо нет. Очевидно, что рекомендации будут тем точнее, чем полнее исходная информация.

Обычно в задаче различения переходят от вектора признаков, характеризующих объект, к линейной функции от них, дискриминантной функции-гиперплоскости, наилучшим образом разделяющей совокупность выборочных точек.

Методы дискриминации можно условно разделить на параметрические и непараметрические.

В параметрических известно, что распределение векторов признаков в каждой совокупности нормально, но нет информации о параметрах этих распределений. Здесь естественно в дискриминантной функции заменить неизвестные параметры распределения их наилучшими оценками, произведенными на основе выборочных точек. Правило дискриминации можно основывать на отношении правдоподобия.

Непараметрические методы дискриминации не требуют знаний о точном функциональном виде распределений и позволяют решать задачи дискриминации на основе незначительной априорной информации о совокупностях, что особенно ценно для практических применений.

Таким образом, параметрический дискриминантный анализ применяется при выполнении ряда предположений:

* предположения о том, что наблюдаемые величины -- измеряемые характеристики объекта имеют нормальное распределение. Это предположение следует проверять. В модуле имеются специальные опции, позволяющие быстро построить гистограммы и нормальные вероятностные графики. Умеренные отклонения от этого предположения допустимы;

* предположения об однородности дисперсий и ковариаций наблюдаемых переменных в разных классах. Умеренные отклонения от этого предположения также допустимы.

Наиболее важным критерием правильности построенного классификатора является практика.

В модуле Discriminant Analysis пакета STATISTICA имеется широкий набор средств, обеспечивающих проведение дискриминантного анализа данных, визуализации и интерпретации результатов. Модуль позволяет проводить классификационный анализ с пошаговым включением или исключением переменных или вводить в модель заданные пользователем блоки переменных. В дополнение к многочисленным графикам и статистикам, описывающим дискриминирующую функцию, программа содержит также большой набор средств и статистик для классификации старых и новых наблюдений (для оценки качества модели).

В целом модуль Discriminant Analysis -- это обучающая система и очень полезный инструмент для поиска переменных, позволяющих относить наблюдаемые объекты в одну или несколько реально наблюдаемых групп; классификации наблюдений в различные группы.

Модели, реализованные в модуле, являются линейными, а функции классификации и дискриминантные функции -- линейными комбинациями наблюдаемых величин.

Используя пакет дискриминантного анализа, получим значения коэффициентов для классификационных функций для каждого класса.

Функции классификации -- это линейные функции, которые вычисляются для каждой группы и могут быть использованы для классификации наблюдений. Наблюдение приписывают той группе, для которой классификационная функция имеет наибольшее значение.

Функции классификации для физиологических показателей имеют вид:

Yфиз = -2,5Х1 + 0,13Х2 + 0,48Х3 + 2,64Х4 - 1,94Х5 + 1,42Х6 + 0,89Х7 - 1,46Х8 - 3,91Х9 + 2,03Х10 - 3,79Х11 + 9,59Х12 - 19,72;

Yфиз = -3,09Х11 + 0,1Х22 + 0,52Х33 + 1,59Х44 - 2,25Х55 + 0,21Х66 + 0,19Х77 - 2,14Х88 - 4,61Х99 + 3,69Х1010 - 4,72Х1111 + 9,07Х1212 - 20,33.

Функции классификации для лабораторных показателей имеют вид:

Yлаб = 0,74У1 + 20,43У2 + 161,33У3 + 4,34У4 + 2,57У5 + 1,08У6 + 2,19У7 + 0,88У8 + 2,20У9 + 4,21У10 - 23,02У11 - 10,16У12 - 3,19У13 - 6,00У14 + 17,69У15 - 254,87;

Yлаб = 0,76У11 + 18,54У22 + 159,54У33 + 4,19У44 + 2,53У55 + 1,09У66 + 2,27У77 + 0,92У88 + 2,12У99 + 4,20У1010 - 25,64У1111 - 11,67У1212 - 2,96У1313 - 8,94У 1414 + 15,50У1515 - 247, 07.

Функции классификации для психологических показателей имеют вид:

Yпсих Ст = -15,13Z1 + 19.23Z2 + 2,22Z3 + 437,14Z4 - 312, 61;

Yпсих Cт = -15.15Z11 + 19,20Z22 + 2,39Z33 + 437,16Z44 - 315, 91;

Yпсих Рус = 2,06Z5 + 2,44Z6 + 1,27Z7 + 1,34Z8 + 2,66Z9 + 3,01Z10 - 0,05Z11 + 1,22Z12 - 47, 18;

Yпсих Рус = 2,02Z55 + 2,37Z66 + 1,26Z77 + 1,41Z88 + 2,98Z99 + 2,75Z1010 - 0,05Z1111 + 1,18Z1212 - 47, 84;

Yпсих невр = 0,23Z13 + 0,28Z14 - 5,34;

Yпсих невр = 0,27Z1313 + 0,33Z1414 - 7,40.

Найдем классификационную матрицу для каждого класса, которая содержит информацию о количестве и проценте корректно классифицированных наблюдений в каждой группе. Строки матрицы -- исходные классы, столбцы -- предсказанные классы. В таблице 3.24 G_1:1 и G_2:2 - 1-й и 2-й класс соответственно (1 класс - больные, 2 класс - здоровые).

Таблица 3.24 Классификационная матрица для физиологических показателей

	Percent	G_1:1	G_2:2
G_1:1	66,00	33	17
G_2:2	74,00	13	37
Total	70,00	46	54

Таблица 3.24 Классификационная матрица для лабораторных показателей

	Percent	G_1:1	G_2:2
G_1:1	76,00000	38	12
G_2:2	94,00000	3	47
Total	85,00000	41	59

Таблица 3.25 Классификационная матрица для психологических показателей по тесту Стреляу

	Percent	G_1:1	G_2:2
G_1:1	70,00000	35	15
G_2:2	58,00000	21	29
Total	64,00000	56	44

Таблица 3.26 Классификационная матрица для психологических показателей по тесту Русалова

	Percent	G_1:1	G_2:2
G_1:1	60,00000	30	20
G_2:2	70,00000	15	35
Total	65,00000	45	55

Таблица 3.27 Классификационная матрица для психологических показателей по тесту определения уровня невропатизации и психопатизации

	Percent	G_1:1	G_2:2
G_1:1	64,00000	32	18
G_2:2	60,00000	20	30
Total	62,00000	52	48

Классификация наблюдений упорядочит по первому и второму и выбору.

Столбец 1 содержит первый классификационный выбор, т.е. группу, для которой соответствующее наблюдение имеет наивысшую апостериорную вероятность и наибольшее значение классификационной функции. Наблюдения, которые не удалось правильно классифицировать, помечены *.

Таблица 28 - Классификации наблюдений для физиологических показателей

	Observed	1	2
* 1	G_1:1	G_2:2	G_1:1
2	G_1:1	G_1:1	G_2:2
3	G_1:1	G_1:1	G_2:2
4	G_1:1	G_1:1	G_2:2
5	G_1:1	G_1:1	G_2:2
6	G_1:1	G_1:1	G_2:2
* 7	G_1:1	G_2:2	G_1:1
8	G_1:1	G_1:1	G_2:2
* 9	G_1:1	G_2:2	G_1:1
10	G_1:1	G_1:1	G_2:2
11	G_1:1	G_1:1	G_2:2
12	G_1:1	G_1:1	G_2:2
13	G_1:1	G_1:1	G_2:2
14	G_1:1	G_1:1	G_2:2
* 15	G_1:1	G_2:2	G_1:1
16	G_1:1	G_1:1	G_2:2
* 17	G_1:1	G_2:2	G_1:1
18	G_1:1	G_1:1	G_2:2
19	G_1:1	G_1:1	G_2:2
20	G_1:1	G_1:1	G_2:2
* 21	G_1:1	G_2:2	G_1:1
22	G_1:1	G_1:1	G_2:2
* 23	G_1:1	G_2:2	G_1:1
24	G_1:1	G_1:1	G_2:2
25	G_1:1	G_1:1	G_2:2
26	G_1:1	G_1:1	G_2:2
27	G_1:1	G_1:1	G_2:2
* 28	G_1:1	G_2:2	G_1:1
* 29	G_1:1	G_2:2	G_1:1
* 30	G_1:1	G_2:2	G_1:1
* 31	G_1:1	G_2:2	G_1:1
32	G_1:1	G_1:1	G_2:2
33	G_1:1	G_1:1	G_2:2
34	G_1:1	G_1:1	G_2:2
* 35	G_1:1	G_2:2	G_1:1
36	G_1:1	G_1:1	G_2:2
* 37	G_1:1	G_2:2	G_1:1
38	G_1:1	G_1:1	G_2:2
* 39	G_1:1	G_2:2	G_1:1
40	G_1:1	G_1:1	G_2:2
41	G_1:1	G_1:1	G_2:2
42	G_1:1	G_1:1	G_2:2
43	G_1:1	G_1:1	G_2:2
44	G_1:1	G_1:1	G_2:2
* 45	G_1:1	G_2:2	G_1:1
46	G_1:1	G_1:1	G_2:2
47	G_1:1	G_1:1	G_2:2
* 48	G_1:1	G_2:2	G_1:1
49	G_1:1	G_1:1	G_2:2
* 50	G_1:1	G_2:2	G_1:1
51	G_2:2	G_2:2	G_1:1
* 52	G_2:2	G_1:1	G_2:2
53	G_2:2	G_2:2	G_1:1
54	G_2:2	G_2:2	G_1:1
55	G_2:2	G_2:2	G_1:1
56	G_2:2	G_2:2	G_1:1
* 57	G_2:2	G_1:1	G_2:2
58	G_2:2	G_2:2	G_1:1
59	G_2:2	G_2:2	G_1:1
60	G_2:2	G_2:2	G_1:1
* 61	G_2:2	G_1:1	G_2:2
* 62	G_2:2	G_1:1	G_2:2
63	G_2:2	G_2:2	G_1:1
64	G_2:2	G_2:2	G_1:1
65	G_2:2	G_2:2	G_1:1
66	G_2:2	G_2:2	G_1:1
* 67	G_2:2	G_1:1	G_2:2
68	G_2:2	G_2:2	G_1:1
69	G_2:2	G_2:2	G_1:1
70	G_2:2	G_2:2	G_1:1
71	G_2:2	G_2:2	G_1:1
* 72	G_2:2	G_1:1	G_2:2
* 73	G_2:2	G_1:1	G_2:2
74	G_2:2	G_2:2	G_1:1
75	G_2:2	G_2:2	G_1:1
76	G_2:2	G_2:2	G_1:1
77	G_2:2	G_2:2	G_1:1
* 78	G_2:2	G_1:1	G_2:2
* 79	G_2:2	G_1:1	G_2:2
80	G_2:2	G_2:2	G_1:1
81	G_2:2	G_2:2	G_1:1
82	G_2:2	G_2:2	G_1:1
83	G_2:2	G_2:2	G_1:1
84	G_2:2	G_2:2	G_1:1
85	G_2:2	G_2:2	G_1:1
86	G_2:2	G_2:2	G_1:1
87	G_2:2	G_2:2	G_1:1
88	G_2:2	G_2:2	G_1:1
89	G_2:2	G_2:2	G_1:1
90	G_2:2	G_2:2	G_1:1
* 91	G_2:2	G_1:1	G_2:2
92	G_2:2	G_2:2	G_1:1
* 93	G_2:2	G_1:1	G_2:2
* 94	G_2:2	G_1:1	G_2:2
95	G_2:2	G_2:2	G_1:1
96	G_2:2	G_2:2	G_1:1
* 97	G_2:2	G_1:1	G_2:2
98	G_2:2	G_2:2	G_1:1
99	G_2:2	G_2:2	G_1:1
100	G_2:2	G_2:2	G_1:1

Полностью таблица классификации наблюдений для лабораторных показателей представлена в приложении А.37. Приложения А. Полностью таблица классификации наблюдений для психологических показателей представлена в приложении А.38. Приложения А. Классификация объектов по методу расстояний Махалонобиса. В основе данного метода лежит определение расстояния от анализируемого наблюдения до центра (центроидов) каждого класса:

- расстояние от анализируемого наблюдения до центра 1-го класса

- расстояние от анализируемого наблюдения до центра 2-го класса

Признаем наблюдение принадлежащей к той группе, к которой оно ближе, т.е. когда расстояние Махаланобиса до нее минимально.

G_1:1 - расстояние до 1-го класса,

G_2:2 - расстояние до 2-го класса.

Таблица 29 - Расстояние Махалонобиса для физиологических показателей

	Observed	G_1:1	G_2:2
* 1	G_1:1	5,38	4,09
2	G_1:1	25,97	26,76
3	G_1:1	5,69	5,74
4	G_1:1	6,89	7,47
5	G_1:1	26,83	29,03
6	G_1:1	11,12	13,72
* 7	G_1:1	57,12	53,93
8	G_1:1	4,45	5,53
* 9	G_1:1	3,27	2,81
10	G_1:1	12,58	14,39
11	G_1:1	9,68	11,81
12	G_1:1	6,13	7,33
13	G_1:1	15,48	18,17
14	G_1:1	26,27	29,87
* 15	G_1:1	5,96	4,69
16	G_1:1	8,68	9,28
* 17	G_1:1	18,20	18,15
18	G_1:1	14,05	14,57
19	G_1:1	11,43	13,53
20	G_1:1	17,68	21,22
* 21	G_1:1	5,48	4,16
22	G_1:1	11,40	14,88
* 23	G_1:1	9,18	6,57
24	G_1:1	12,16	13,86
25	G_1:1	10,40	13,56
26	G_1:1	8,38	10,71
27	G_1:1	17,22	18,96
* 28	G_1:1	8,24	7,34
* 29	G_1:1	9,44	8,79
* 30	G_1:1	5,49	3,29
* 31	G_1:1	5,09	4,93
32	G_1:1	27,87	31,01
33	G_1:1	20,14	20,83
34	G_1:1	18,77	22,26
* 35	G_1:1	8,12	5,20
36	G_1:1	5,72	5,83
* 37	G_1:1	12,94	12,02
38	G_1:1	15,65	16,48
* 39	G_1:1	11,34	11,00
40	G_1:1	6,03	6,37
41	G_1:1	13,45	16,22
42	G_1:1	29,26	31,93
43	G_1:1	13,49	16,49
44	G_1:1	16,14	19,28
* 45	G_1:1	14,59	14,30
46	G_1:1	12,11	14,01
47	G_1:1	20,26	26,64
* 48	G_1:1	7,40	4,24
49	G_1:1	17,66	23,02
* 50	G_1:1	7,20	3,62
51	G_2:2	13,69	12,57
* 52	G_2:2	17,36	17,57
53	G_2:2	4,45	4,05
54	G_2:2	4,81	4,77
55	G_2:2	8,92	4,89
56	G_2:2	7,29	6,33
* 57	G_2:2	53,93	57,12
58	G_2:2	4,50	3,60
59	G_2:2	12,28	9,59
60	G_2:2	9,29	5,60
* 61	G_2:2	14,60	15,85
* 62	G_2:2	5,90	6,50
63	G_2:2	13,56	12,69
64	G_2:2	9,99	8,70
65	G_2:2	13,20	11,04
66	G_2:2	8,21	4,31
* 67	G_2:2	19,87	21,92
68	G_2:2	6,28	4,45
69	G_2:2	6,01	4,37
70	G_2:2	7,83	4,53
71	G_2:2	7,54	5,40
* 72	G_2:2	4,08	4,39
* 73	G_2:2	10,95	11,54
74	G_2:2	5,87	2,60
75	G_2:2	11,72	10,67
76	G_2:2	7,88	7,16
77	G_2:2	14,73	13,83
* 78	G_2:2	27,96	28,25
* 79	G_2:2	9,65	10,25
80	G_2:2	13,23	13,14
81	G_2:2	7,27	5,31
82	G_2:2	7,12	6,71
83	G_2:2	7,57	5,63
84	G_2:2	11,90	11,84
85	G_2:2	14,27	12,57
86	G_2:2	7,21	6,34
87	G_2:2	5,56	3,87
88	G_2:2	7,20	5,22
89	G_2:2	11,44	10,57
90	G_2:2	7,39	6,35
* 91	G_2:2	10,01	10,62
92	G_2:2	3,62	2,70
* 93	G_2:2	10,07	11,13
* 94	G_2:2	8,41	10,34
95	G_2:2	6,12	3,56
96	G_2:2	5,78	3,89
* 97	G_2:2	14,84	15,75
98	G_2:2	19,10	17,43
99	G_2:2	14,48	11,31
100	G_2:2	13,89	13,68

Полностью таблица расстояний Махалонобиса для лабораторных показателей представлена в приложении А.39. Приложения А. Полностью таблица расстояний Махалонобиса для психологических показателей представлена в приложении А.40. Приложения А. Оценка эффективности полученных моделей для дискриминантного анализа

· для физиологических показателей:

Таблица

ИП=33, щ0=50;
ИО=37, щ1=50;
ЛП=17;
ЛО=13;
ДЧ= 33/50 = 0,66;
ДС = 37/50 = 0,74;
ПЗ+= 33 / (33+17) = 0,66;
ПЗ-= 37 /(37+13) = 0,74;
ДЭ= (33+37)/(33+37+13+17)= 0,7.

Эффективность дискриминантного анализа составляет 70 %.

· для лабораторных показателей:

Таблица

ИП=38, щ0=50;
ИО=47, щ1=50;
ЛП=12;
ЛО=3;
ДЧ= 38/50 = 0,76;
ДС = 47/50 = 0,94;
ПЗ+= 38 / (38+12) = 0,76;
ПЗ-= 47 /(47+3) = 0,94;
ДЭ= (38+47)/(38+47+12+3)= 0,85.

Эффективность дискриминантного анализа составляет 85%.

· для психологических показателей по тесту Стреляу:

Таблица

ИП=35, щ0=50;
ИО=29, щ1=50;
ЛП=15;
ЛО=21;
ДЧ= 35/50 = 0,7;
ДС = 29/50 = 0,58;
ПЗ+= 35 / (35+15) = 0,7;
ПЗ-= 29 /(29+21) = 0,58;
ДЭ= (35+29)/(35+29+15+21)= 0,64.

Эффективность дискриминантного анализа составляет 64%.

· для психологических показателей по тесту Русалова:

Таблица

ИП=30, щ0=50;
ИО=35, щ1=50;
ЛП=20;
ЛО=15;
ДЧ= 30/50 = 0,6;
ДС = 35/50 = 0,7;
ПЗ+= 30 / (30+20) = 0,6;
ПЗ-= 35 /(35+15) = 0,7;
ДЭ= (35+30)/(35+30+15+20)= 0,65.

Эффективность дискриминантного анализа составляет 65%.

· для психологических показателей по тесту уровня невропатизации и психопатизации:

Таблица

ИП=32, щ0=50;
ИО=30, щ1=50;
ЛП=18;
ЛО=20;
ДЧ= 32/50 = 0,64;
ДС = 30/50 = 0,6;
ПЗ+= 32 / (32+18) = 0,64;
ПЗ-= 30 /(30+20) = 0,6;
ДЭ= (32+30)/(32+30+18+20)= 0,62.

Эффективность дискриминантного анализа составляет 62%.

Кластерный анализ

Главное назначение кластерного анализа (от англ. cluster -- гроздь, скопление) -- разбиение множества исследуемых объектов и признаков на однородные в некотором смысле группы, или кластеры. Методы кластерного анализа можно применять даже тогда, когда речь идет о простой группировке, в которой все сводится к образованию групп по количественному сходству.

Большое достоинство кластерного анализа в том, что он дает возможность производить разбиение объектов не по одному параметру, а по ряду признаков. Кроме того, кластерный анализ в отличие от большинства математико-статистических методов не накладывает никаких ограничений на вид рассматриваемых объектов и позволяет исследовать множество исходных данных практически произвольной природы. Задача кластерного анализа заключается в том, чтобы на основании данных, содержащихся во множестве X, разбить множество объектов G на m (m -- целое) кластеров Q₁, Q₂,..., Q_m так, чтобы каждый объект G_i принадлежал одному и только одному подмножеству разбиения. При этом объекты, принадлежащие одному и тому же кластеру, должны быть сходными, а объекты, принадлежащие разным кластерам, -- разнородными.

Наиболее известный метод представления матрицы расстояний или сходства основан на идее дендрограммы, или диаграммы дерева. Дендрограмму можно определить как графическое изображение результатов процесса последовательной кластеризации, которая осуществляется в терминах матрицы расстояний. С помощью дендрограммы можно графически или геометрически изобразить процедуру кластеризации при условии, что эта процедура оперирует только с элементами матрицы расстояний или сходства.

Существует много способов построения дендрограмм. В дендрограмме объекты располагаются вертикально слева, результаты кластеризации -- справа. Значения расстояний или сходства, отвечающие строению новых кластеров, изображаются над горизонтальной прямой поверх дендро- грамм.

Алгоритмы кластерного анализа имеют хорошую программную реализацию в пакете STATISTICA, которая позволяет решить задачи самой большой размерности.

Используем метод древовидной кластеризации и правило complete Linkage (полных связей). Суть правила в том, что два объекта, принадлежащих одной и той же группе (кластеру), имеют коэффициент сходства, который меньше некоторого порогового значения S. В терминах евклидова расстояния это означает, что расстояние между двумя точками (объектами) кластера не должно превышать некоторого порогового значения d. Таким образом, d определяет максимально допустимый диаметр подмножества, образующего кластер. Этот метод называют еще методом наиболее удаленных соседей, так как при достаточно большом пороговом значении d расстояние между кластерами определяется наибольшим расстоянием между любыми двумя объектами в различных кластерах. [6,16].

Диаграмма начинается с каждого объекта в классе (в левой части диаграммы). Постепенно (очень малыми шагами) «ослабевает» критерий, показывающий, какие объекты являются уникальными, а какие нет. Другими словами, понижается порог, относящийся к решению об объединении двух или более объектов в один кластер. В результате связывается все большее и большее число объектов и агрегируются (объединяются) все больше кластеров, состоящих из все сильнее различающихся элементов. На последнем шаге все объекты окончательно объединяются. На этих диаграммах горизонтальные оси представляют расстояние объединения (в вертикальных древовидных диаграммах вертикальные оси представляют расстояние объединения). Так, для каждого узла в графе (там, где формируется новый кластер) можно определить величину расстояния, для которого соответствующие элементы связываются в новый единственный кластер.

Рисунок 3 - Анализ кластеров для физиологических показателей

Из рисунка 3 можно сделать вывод, что объекты Х8 и Х10 наиболее близки и поэтому объединяются в один кластер на уровне близости, равном 2,5. Затем эти объекты объединяются в один кластер с объектом Х12 на уровне значимости, равном 3. Далее к ним присоединяется объект Х11 на уровне значимости 3,5. Объекты Х5, Х6 и Х9 объединяются в один кластер на уровне близости, равном 4. Затем эти объекты присоединяются к предыдущему кластеру. На уровне близости, равном 6 к существующему кластеру присоединяется объект Х1. Далее присоединяется объект Х4 на уровне близости, равном 7 и объект Х7 на уровне близости, равном 9. Объекты Х2 и Х3 объединяются в один кластер на уровне близости, равном 358. Итак, образовалось 2 кластера Х1, Х4, Х5, Х6, Х7, Х8, Х9, Х10, Х11, Х12 и Х2, Х3, которые объединяются в один на уровне значимости, равном 372.

Рисунок 4 - Анализ кластеров для лабораторных показателей

Из рисунка 4 видно, что наиболее близкими являются объекты Y11 и Y13, которые образуют кластер на уровне значимости, равном 1,5. Объекты

Y12 и Y15 образуют кластер и присоединяются к кластеру Y11, Y13 на уровне значимости, равном 1,75. На уровне близости, равном 2, к существующему кластеру присоединяется объект Y14. Далее присоединяется объект Y3, на уровне значимости, равном 4. Объекты Y2 и Y5 образуют кластер на уровне значимости, равном 11 и присоединяются к предыдущему кластеру на уровне значимости, равном 12. Затем присоединяется объект Y7, на уровне значимости, равном 12,5. Далее следует присоединение объектов Y4, Y9, Y10, Y8 и Y6 на уровнях значимости, равных 14,5, 15, 17, 205 и 318 соответственно. Окончательно все объекты группируются в один кластер на уровне значимости, равном 812.



Рисунок 5 - Анализ кластеров для психологических показателей

На рисунке 5 объекты Z9 и Z10 наиболее близки и образуют кластер на уровне значимости, равном 21. Объекты Z6 и Z11 образуют кластеры на уровне значимости, равном 25 и объекты Z5 и Z7 образуют кластеры уровне значимости, равном 25,5. Затем Z9, Z10, Z5, Z7 и Z8 и Z6, Z11 объединяются в один кластер на уровне значимости, равном 26,5. Далее присоединяется объект Z12 на уровне значимости, равном 27. Объект Z4 и Z 14 присоединяется к кластеру на уровне значимости, равном 42 и 74 соответственно.

Объекты Z1 и Z2 образуют кластер на уровне близости, равном 66. Далее к ним присоединяется Z3 и Z13 на уровне значимости, равном 69 и 114 соответственно. Теперь имеем 2 кластера: Z4, Z5, Z6, Z7, Z8, Z9, Z10, Z11, Z12, Z 14 и Z1, Z2, Z3, Z13. Окончательно все объекты группируются в один кластер на уровне значимости, равном 163.

Деревья классификации

Деревья классификации -- это метод, позволяющий предсказывать принадлежность наблюдений или объектов к тому или иному классу категориальной зависимой переменной в зависимости от соответствующих значений одной или нескольких независимых (предикторных) переменных. Цель построения дерева классификации заключается в предсказании значений категориальной зависимой переменной, и поэтому методы, реализованные в этом модуле, тесно связаны с более традиционными методами дискриминантного анализа, кластерного анализа, непараметрической статистики и нелинейного оценивания [16].

Способность деревьев классификации выполнять одномерное ветвление с предикторными переменными различных типов (категориальных, порядковых, интервальных) дает возможность анализировать вклады отдельных переменных в процедуру классификации.

Итак, методы анализа с помощью деревьев классификации можно охарактеризовать как набор иерархических, чрезвычайно гибких средств для предсказания пользователем принадлежности наблюдений (объектов) к определенному классу значений категориальной зависимой переменной по значениям одной или нескольких предикторных переменных.

Для решения задачи прогнозирования принадлежности объекта (случая) к определенному классу значений зависимой категориальной переменной по данным измерений одной или нескольких предикторных переменных было разработано большое число программ, реализующих метод деревьев классификации. Процесс вычисления (построения) дерева классификации состоит из четырех основных этапов:

1. Выбор критерия точности прогноза.

2. Выбор вариантов ветвления.

3. Определение момента, когда дальнейшие ветвления следует прекратить.

4. Определение «подходящего размера» дерева.

Рассмотрим этап 1. Цель анализа с помощью деревьев классификации в конечном счете состоит в том, чтобы получить максимально точный прогноз. Наиболее точным прогнозом считается такой, который связан с наименьшей ценой. В большинстве приложений цена -- это просто доля неправильно классифицированных наблюдений. Поэтому, как правило; самый лучший прогноз -- такой, который дает наименьший процент неправильных классификаций.

Второй этап анализа заключается в том, чтобы выбрать способ ветвления по значениям предикторных переменных, В соответствии с иерархической природой деревьев классификации такие ветвления производятся последовательно, начиная с корневой вершины, затем переходят к вершинам потомкам, пока дальнейшее ветвление не прекратится и «неразветвленные» вершины потомки окажутся терминальными. Терминальные вершины (или листья) -- это узлы дерева, начиная с которых никакие решения больше не принимаются. На рисунках терминальные вершины показываются программой красными пунктирными линиями, а остальные -- так называемые решающие вершины, или вершины ветвления, -- сплошными черными линиями. Началом дерева считается самая верхняя решающая вершина, которую иногда также называют корнем дерева.

Третий этап анализа заключается в выборе момента, когда следует прекратить дальнейшие ветвления. Метод деревья классификации обладает тем свойством, что если не установлено ограничение на число ветвлений, то можно прийти к «чистой» классификации, когда каждая терминальная вершина содержит только один класс наблюдений (объектов). Как правило, при анализе с помощью деревьев классификации данные о классификации зависимой переменной или уровни значений предикторных переменных содержат ошибки измерений или составляющую белого шума. Поэтому было бы нереально пытаться продолжать сортировку до тех пор, пока каждая терминальная вершина не станет «чистой».

С определением момента, когда дальнейшие ветвления следует прекратить, непосредственно связан четвертый этап -- определение «подходящих размеров» дерева. Очевидно, что чем больше размерность дерева классификации, тем точнее прогноз. Но сложнее интерпретация результатов и решающие правила, поэтому пользователю труднее сделать прогноз о принадлежности к классу нового наблюдения. Можно высказать ряд общих соображений о том, что следует считать «подходящими размерами» для дерева классификации. Дерево классификации должно быть достаточно сложным для того, чтобы учитывать имеющуюся информацию, и в то же время оно должно быть как можно более простым для возможности интерпретировать результаты. Дерево должно уметь использовать ту информацию, которая улучшает точность прогноза, и игнорировать ту, которая прогноза не улучшает.

Для построения деревьев классификации выберем метод C&RT-style exhaustive search for univariate, который предполагает перебор всех возможных вариантов ветвления по каждой предикторной переменной. Далее находится тот из них, который дает наибольший рост для критерия согласия (или, что-то же самое, наибольшее уменьшение отсутствия согласия). Для категориальной предикторной переменной, принимающей в данном узле k значений, имеется ровно 2^(к-1) - 1 вариантов разбиения множества ее значений на две части. Для некотегориального предиктора, имеющего в данном узле k различных уровней, имеется k - 1 точек, разделяющих разные уровни. Таким образом, количество различных вариантов ветвления, которые необходимо просмотреть, будет очень большим, если в задаче много предикторов, у них много уровней значений и в дереве много терминальных вершин.

Таблица 30 - Условия разделения физиологических показателей по вершинам

	Левая	Правая	Класс Б	Класс З	Предсказанные классы	Условия ветвления	Условия разделения
1	2	3	50	50	Б	-0,5000	Поджелудочной железы
2	4	5	41	47	З	-0,5000	Курение
3			9	3	Б
4			15	26	З
5	6	7	26	21	Б	-61,5000	Вес
6			11	2	Б
7	8	9	15	19	З	-0,5000	Лекарства
8	10	11	9	18	З	-0,5000	Алкоголь
9			6	1	Б
10			4	16	З
11			5	2	Б

Полностью условия разделения лабораторных и психологических показателей по вершинам представлены в таблице А.41 и А.42. Приложения А.

Из таблицы 30 следует, что левая ветвь содержит 5 узлов под номерами 2, 4, 6, 8 и 10; правая ветвь - 5 узлов под номерами 3, 5, 7, 9 и 11. Далее из строки 1 следует, что в первой вершине все показатели классифицированы как Б (больные). Из первой вершины выходит 2 ветви (правая и левая) с соответствующими вершинами 2 и 3.

Условие разделения показателей по вершинам 2 и 3 следующее: если значение показателя «поджелудочная железа» ? 0,5, тогда Б (больные) классифицируются как З (здоровые), в противном случае - как Б.

Из строк 2 и 3, следует, что по данному условию классифицированы 41 Б и 47 З, как З и 9Б и 3З как Б.

Далее из строки 4 следует, что по условию разделения показатель «курение» ? 0,5, 15 Б и 26 З классифицированы, как З. А из строки 5 следует, что по данному условию следует, что 26 Б и 21 З классифицированы как Б. Затем из 6 и 7 строк следует, что по условию показатель «вес» ? 61,5, 47 Б классифицированы как 13 Б и 34 З.

Из строк 8 и 9 следует, что при условии показатель «лекарства» ? 0,5, 9Б и 18З классифицированы, как З, а 6 Б и 1З , как З.

Затем из строк 10 и 11 следует, что при условии разделения показатель «алкоголь» ? 0,5, 4Б и 16З классифицированы как З, и 5 Б и 2 З классифицированы как Б.

Рисунок 6 - Деревья классификации для физиологических показателей

Полностью все деревья классификации представлены на рисунках 7 - 10 в приложении А.43 Приложения А.

Таблица 31 - Ранг значимости предикторных переменных физиологических показателей по 100-бальной шкале

	Ранг
Х3	100
Х4	68
Х5	43
Х6	69
Х7	82
Х8	42
Х9	90
Х10	29
Х11	52
Х12	12

Х3 - самая значимая переменная; Х7, Х9 - значимы.

Обсуждение результатов исследования

Данные мировой статистики свидетельствуют о широкой распространенности хронического гастрита, дуоденита и язвенной болезни среди взрослого населения всех стран.

Согласно поставленным задачам для анализа влияния показателей на заболеваемость населения в регионе нами были проведены следующие исследования:

Обсуждение результатов корреляционного анализа.

Анализ деревьев классификации выявил решающие правила для прогнозирования риска развития патологий желудка у работников агропромышленного комплекса.

Для физиологических показателей риском развития патологии желудка является следующий набор признаков: болезни поджелудочной железы, курение, астеническое телосложение, длительный прием лекарственных препаратов и злоупотребление алкоголем.

Для лабораторных показателей риском развития патологии желудка является следующий набор признаков: в анализе копрограммы показатель «цвет» и «реакция» - не в норме; в анализе крови повышенное содержание гемоглобина и эритроцитов.

Психологические параметры оказывают различное влияние на прогнозирование возникновения патологии желудка у работников агропромышленного комплекса. Низкая подвижность нервных процессов свидетельствует о возможных затруднениях в переходе к новым навыкам, избегание новых ситуаций. Высокий уровень эмоциональности в коммуникативной сфере ведет к высокой чувствительности к неудачам в общении. Высокий уровень эмоциональности свидетельствует о чувствительности к расхождению между задуманным и ожидаемым, планируемым и результатами реального действия, ощущению неуверенности, тревоги, неполноценности. Также свойственно высокое беспокойство по поводу работы, чувствительность к неудачам, к несовпадению между задуманным, ожидаемым, планируемым и результатами реального действия.

При высоком уровне невротизации наблюдается выраженная эмоциональная возбудимость, продуцирующая различные негативные переживания (тревожность, напряженность, беспокойство, растерянность, раздражительность). Безынициативность этих лиц формирует переживания, связанные с неудовлетворенностью желаний. Их эгоцентрическая личностная направленность проявляется как в склонности к ипохондрической фиксации на неприятных соматических ощущениях, так и в сосредоточенности на переживаниях своих личностных недостатков. Это, в свою очередь, формирует чувство собственной неполноценности, затрудненность в общении, социальную робость и зависимость.

Математические модели, основанные на дискриминантном анализе, позволяют определить степень риска развития патологии желудка у работников агропромышленного комплекса, улучшить качество их профессионального отбора, прогнозировать течение заболевания, оптимизировать лечебные и профилактические мероприятия.

Размещено на Allbest.ru