Исследование нетранзитивных подмножеств в результатах экспертных измерений

Психологами доказано, что попарное сопоставление лежит в основе любого выбора (т.е. вы выбираете продукты, сравнивая их попарно), тем не менее шкалу порядка часто составляют заранее (неранжированный ряд) и фиксируют в ней опорные (реперные) точки, которые называют баллами [8].

Алгоритм обработки результатов экспертиз, полученных методом попарного сопоставления, представлен на рисунке 2. Результат измерения, зависит от множества обстоятельств, не поддающихся строгому учету. Это и настроение эксперта в данный момент, и степень сосредоточенности, и наличие или отсутствие раздражающих факторов, и многое другое. Вследствие этого, как показывает опыт, результат измерения является в какой-то мере случайным. Повторное измерение той же самой величины может дать (и на практике дает) несколько иной результат, последующие - также. Народная мудрость давно выработала правило: "семь раз отмерь, один раз отрежь", имея в виду, что элемент случайности при многократном измерении одной и той же величины уменьшается. Результаты однократных измерений при этом усредняются.



Размещено на http://www.allbest.ru/

Рисунок 2 - Алгоритм обработки результатов экспертиз, полученных методом попарного сопоставления

1.1.2.3 Метод двойного попарного сопоставления

Существуют, однако, факторы, которые являются постоянно действующими для каждого человека. Это его требовательность (на конкурсах), личные вкусы, симпатии, склонности и т. п. Вследствие своих индивидуальных особенностей одни люди дают постоянно завышенные результаты измерений, а другие - постоянно заниженные. Чтобы избежать ошибок, вызванных этой причиной, проводят двойное, или полное, попарное сопоставление. Для этого используют свободную (нижнюю) часть таблицы 2 и проводят попарное сопоставление дважды. Например, проводят сопоставление первого объекта со вторым, третьим, четвертым и т.д., затем второго с первым, третьим, четвертым … и так до последнего, а потом в обратном порядке: последнего с предпоследним … и до первого. Таким образом, каждая пара объектов сопоставляется дважды, причем в разном порядке и по истечении некоторого времени.

В таблице 3 приведен пример ранжирования шести объектов методом двойного попарного сравнения. Это результат работы одного эксперта, оценивавшего объекты определенным образом.

Таблица 3 - Мнение эксперта

Номер объекта	1	2	3	4	5	6	Kij
1		<	^	<	<	<	4
2	0		^	<	<	<	3
3	<	<		<	<	<	5
4	^	^	^		^	^	0
5	^	^	^	<		^	1
6	^	^	^	<	<		2

Ранжированный ряд (шкала порядка) для объектов, сравнительная оценка которых приведена в таблице 3, будет иметь вид: Q4 > Q5 > Q6 > Q2 > Q1> Q3.

При таком сопоставлении иногда удается избежать случайных ошибок, кроме того, выявить экспертов, небрежно относящихся к своим обязанностям или не имеющих определенной точки зрения. Иначе говоря, двойное попарное сопоставление обладает более высокой надежностью, чем однократное.

Алгоритм обработки результатов экспертиз, полученных методом двойного попарного сопоставления, представлен на рисунке 3.



Размещено на http://www.allbest.ru/

Рисунок 3 - Алгоритм обработки результатов экспертиз, полученных методом двойного попарного сопоставления.

1.2 Нетранзитивность в результатах экспертных измерений

Экспертные измерения проводятся, как известно, на шкале порядка, где можно осуществлять логические операции. Эта возможность логических операций по шкале порядка называется свойством транзитивности [15]. Как показывает практика, эксперты при парных сравнениях объектов нередко дают противоречивые оценки сравнительной предпочтительности объектов. В этой ситуации возникает проблема при обработке результатов экспертных измерений связанная с возникновением нетранзитивности (нетранзитивных подмножеств), отражающая непоследовательность суждений экспертов. Результатом сопоставления и ранжирования является сам ранжированный ряд. При нарушении свойства транзитивности на шкале порядка решение в виде ранжированного ряда отсутствует, при этом возникает нетранзитивность.

Так, например, нередко встречается ситуация, когда эксперт предпочитает объект А объекту В, объект В - объекту С, а объект С - объекту А, хотя должен был бы объект А предпочесть объекту С. Такая противоречивость в суждениях экспертов называется нарушением свойства транзитивности, в результате образуется нетранзитивность.

Нетранзитивные подмножества образуются как по результатам ранжирования, так и по результатам попарного и двойного попарного сопоставления. Рассмотрим возможные случаи появления нетранзитивных подмножеств.

Случай 1. Ранжирование m объектов по сравнительной предпочтительности n экспертами. Допустим, что m=3, n=7. Тогда мнения семи экспертов о трех объектах экспертизы могут быть выражены следующим образом:

первый эксперт: а > б > в;

второй эксперт: а > в > б;

третий эксперт: б > в > а;

четвертый эксперт: а > б > в;

пятый эксперт: в > а > б;

шестой эксперт: б > в > а;

седьмой эксперт: в > б > а.

То есть, по мнению первого эксперта, третий объект предпочтительнее, чем второй, а второй объект предпочтительнее, чем первый, по мнению второго эксперта, второй объект предпочтительнее, чем третий, а третий предпочтительнее, чем первый, и т.д.

Предпочтения экспертов можно представить в виде рангов. В этом случае наиболее предпочитаемому объекту присваивают наибольший ранг, а наименее предпочитаемому - наименьший ранг. В случае трех объектов экспертизы наибольший ранг равен трем, а наименьший ранг - единице. Тогда результаты ранжирования объектов экспертами можно представить в виде таблицы 4.

Таблица 4 - Результаты ранжирования экспертов

Показатели	Эксперты	Сумма рангов
	1	2	3	4	5	6	7
а	1	1	3	1	2	3	3	14
б	2	3	1	2	3	1	2	14
в	3	2	2	3	1	2	1	14

В данном случае решение в виде ранжированного ряда отсутствует, возникает следующая нетранзитивная последовательность: а ~ б ~ в.

Случай 2. Ранжирование m объектов методом попарного сопоставления n экспертами. Допустим, что m=6, n=4. Также допустим, что все четыре эксперта выразили свои мнения совершенно одинаково. Тогда мнения четырех экспертов о шести объектах экспертизы могут быть выражены следующим образом, как это показано в таблице 5.

Таблица 5 - Мнение эксперта

Объекты экспертизы	а	б	в	г	д	е	Кij
а		<	^	^	^	<	2
б			<	^	^	<	2
в				^	<	<	3
г					<	^	4
д						^	2
е							2

В данном случае в ранжированном ряду возникает следующая нетранзитивная последовательность из 4 элементов: г < в < а ~ б ~ д ~ е.

В данном примере любой из элементов нетранзитивной последовательности а, д, е, б менее предпочтительны объектов в и г.

Случай 3. Ранжирование m объектов методом двойного попарного попарного сопоставления n экспертами. Допустим, что m=4, n=1. Тогда мнение эксперта может быть выражено так, как это показано в таблице 6.

Таблица 6 - Мнение эксперта

	а	б	в	г	Kij
а		<	<	<	3
б	^		^	<	1
в	^	<		^	1
г	^	^	<		1

В данном случае в ранжированном ряду возникает следующая нетранзитивная последовательность из 3 элементов: б ~ в ~ г > а.

То есть любой из элементов нетранзитивной последовательности б, в, г менее предпочтительнее а.

Таким образом, из приведенных примеров видно, что нетранзитивные включения появляются как в результатах измерения, полученных методом ранжирования, так и в результатах полученных методами попарного и двойного попарного сопоставления. В связи, с чем возникает задача исключения нетранзитивных подмножеств как в результатах измерения, полученных методом ранжирования, так и в результатах полученных методами попарного и двойного попарного сопоставления.

1.3 Анализ проблемы нетранзитивности результатов экспертных измерений

Экспертные измерения при принятии решений в той или иной форме использовались во все времена. Дельфийский оракул в Древней Греции вещал внушаемые свыше пророчества, а совет старейшин их интерпретировал, стремясь верно определить подсказанное богами решение.

Организация и проведение экспертиз, реализованных в той или иной форме, отражающей особенности эпохи, народа, традиций и обычаев, должны были обеспечить профессиональную оценку ситуаций и принятие эффективных управленческих решений.

По мере совершенствования и усложнения процесса принятия решений, по мере того, как мир становился более технологичным, возрастало внимание к экспертным измерениям.

Началом становления экспертных измерений можно считать момент создания первых официально описанных и исследованных технологий экспертного измерения (появление первых работ, посвященных групповому выбору, определению результата коллективных экспертиз, методам Дельфи, мозговой атаки, сценариев и др., описанию опыта их использования). Это 1950-1960-е гг. Хотя было и немало работ, предшествовавших началу широкого использования экспертных измерений [44].

К их числу можно отнести и рассуждения Галилео Галилея о точности оценок экспертов, и работы Кондорсе, впервые обратившего внимание на то, что принцип большинства далеко не всегда позволяет определить наилучшую альтернативу, и работы Фехнера, посвященные психологическим измерениям, и работы Бернулли по субъективной вероятности, и работы Эйлера, связанные с функциями полезности. Этот список, естественно, далеко не полон.

В СССР началом создания и использования методов экспертного измерения можно считать появление в конце 1960-х гг. работ В.М. Глушкова, Г.М. Доброва, Ю.В. Ершова и др. Однако возможности практического применения экспертных измерений в тот момент были несколько преувеличены, что показали специально проведенные эксперименты.

Однако следствием этого естественного заблуждения явился и вполне определенный положительный результат -- была осознана необходимость более тщательного изучения возможностей экспертного измерения, развития математических методов обработки и анализа экспертной информации [44].

Экспертные измерения в нашем понимании - это суждения высококвалифицированных специалистов - профессионалов, высказанные в виде содержательной, качественной или количественной оценки объекта, предназначенные для использования при принятии решений.

Итак, экспертными измерениями называют все данные, в любой форме полученные от экспертов в ходе групповой экспертизы. Также экспертными измерениями называют обобщенные данные, полученные после выполнения экспертных операций и статистической обработки оценок, полученных в результате экспертизы. [81, 82].

Оценки, получаемые при экспертных измерениях, представляют собой ранжированный ряд, поэтому одной из важных задач процедуры выработки экспертами суждений является правильно отобранная методика.

Для того чтобы получить от экспертов ранжированные ряды, необходимо соблюдать условия, способствующие повышению этой обоснованности. Главные из этих условий: определение целей, единство уровня и группы сравниваемых объектов, полное предварительное знакомство эксперта со всем набором сравниваемых объектов. В противном случае эксперты, по-разному поняв цель работы, будут исходить в своих предпочтениях из различных соображений и их ранжировки могут быть не согласованы.

Результат измерения, выполняемого экспертом, зависит от множества обстоятельств, не поддающихся строгому учету. Это и его настроение в данный момент, и степень сосредоточенности, и наличие или отсутствие раздражающих факторов, и многое другое. Поэтому вследствие своих индивидуальных особенностей одни люди дают постоянно завышенные результаты измерений, а другие - постоянно заниженные.

Нетранзитивность является следствием незначительности предпочтений, неуверенности эксперта при учете множества факторов, невнимательности, неправильной постановки задачи.

При оценке качества продукции при экспертных измерениях важно учитывать каждое мнение эксперта, так как выявление нетранзитивности может оказаться «полезным сигналом».

При работе экспертной комиссии, когда количество предпочтений отдаваемых экспертами каждому объекту экспертизы, равняется, она может быть следствием низкой согласованности мнений экспертов [81, 82].

Итак, отношение называется транзитивным, если для любых троек А, В и С, таких, что пары (А, В) и (В, С) удовлетворяют ему, то и пара (А, С) также ему удовлетворяет. Пример отсутствия транзитивности: игра «Камень, ножницы, бумага»: Камень сильнее Ножниц; Ножницы сильнее Бумаги; однако Камень не сильнее Бумаги. Здесь "сильнее" не имеет буквального значения, поскольку "сила" Бумаги в том, что она просто обертывает Камень.

Нетранзитивными называются подмножества, не удовлетворяющие свойству транзитивности, т.е. такие, что А < В < С, но С < А. Пример нетранзитивности: отношение «есть» в пищевой цепи является нетранзитивным в этом смысле: волки едят оленей, олени едят траву, но волки не едят траву; в круговом турнире часто бывает ситуация, когда команда A победила команду B, команда B - команду C, а команда C - команду A.

Исторически понятие «транзитивность» («переходность») употреблялось только по отношению к глаголам. В конце XX в. транзитивность стала изучаться и на уровне предложения - как фразовая характеристика. Одновременно актуализировались и исследования семантической составляющей транзитивности [37].

В логике транзитивность (переходность) определяется как такое свойство отношений, при котором из того, что 1-й элемент находится в определенном отношении ко 2-му, а 2-й к 3-му, следует, что 1-й элемент находится в этом же отношении к 3-му (из aRb и bRc следует aRc). Овладение транзитивными рассуждениями считается одним из важнейших этапов умственного развития человека. Оно связано со способностью делать дедуктивные заключения, с пониманием сущности измерения, принципов сохранения по Ж. Пиаже и т.д. В ряде работ показано, что в онтогенезе первые транзитивные умозаключения начинают осуществляться примерно с 5 лет [33, 42].

Особое место в дискуссиях занимает транзитивность - нетранзитивность превосходства. В классической логике сравнения транзитивность превосходства вводится как аксиома, считающаяся ключевым критерием рациональных действий: если первое превосходит второе в определенном отношении, а второе превосходит третье, то первое превосходит третье в указанном отношении. Следование аксиоме транзитивности рассматривается многими авторами как необходимое условие разумности выбора, а ее нарушение -- как логическая ошибка.

Т.е. можно высказать более жесткое суждение: в ситуациях взаимодействия между сравниваемыми объектами само следование аксиоме транзитивности может становиться логической ошибкой. Аксиома транзитивности, справедливая при отсутствии взаимодействий, перестает работать в более сложных случаях, когда взаимодействия все-таки происходят, а сравнение производится именно по способности взаимодействовать. Поэтому здесь требуется изменение способа рассуждений [55].

В проблеме о транзитивности/нетранзитивности выделяют три различные, но взаимосвязанные группы аргументов. Одна группа связана со строгими формально-логическими и математическими доказательствами транзитивности/нетранзитивности. Еще в XVIII в. де Кондорсе строго доказал, что групповые предпочтения могут быть нетранзитивными, хотя индивидуальные предпочтения каждого члена группы абсолютно логичны, последовательны, транзитивны [111].

Вторая группа аргументов связана с анализом реальных нетранзитивных отношений в тех или иных конкретных областях (например, биологии, социологии, психологии и др.) и конкретных механизмов взаимодействий, ведущих к нетранзитивности, если она обнаруживается. Так, в журнале «Nature» была опубликована серия статей по биологии со словами «камень - ножницы - бумага» (rock - paper - scissors games) в заголовках. В этих исследованиях показано, как, например, один вид микроорганизмов вытесняет с территории второй вид, этот второй вытесняет третий, а тот, в свою очередь, вытесняет первый. Отношения «бойцовской силы» между данными видами нетранзитивны [114, 129, 130, 139]. Это же относится и к борьбе компьютерных программ - участниц соревнований по интеллектуальным играм: шахматам, нардам и т.п., и к группам людей, использующих разные экономические стратегии. Также энтомологами показано, что в группе животных особь А может доминировать над В, В над С, но С над А [105], аналогичные ситуации наблюдаются в человеческих группах [33] и т. д. - такого рода примеры можно продолжать.

Третья группа аргументов в дискуссиях о транзитивности/нетранзитивности отношений превосходства относится к общенаучным и философским обобщениям проблемы и ее важнейшим следствиям [112,142]. Следует отметить наиболее важным является тезис П. Фишбурна: он сравнивает «транзитивно» и «нетранзитивно ориентированные» научные представления с евклидовой и неевклидовой геометрией и пишет, что отрицание нетранзитивности превосходства аналогично отрицанию неевклидовой геометрии [120]. Я. Вальсинер выдвигает фундаментальное положение, что нарушение транзитивности превосходства - это универсальная закономерность порождения новизны в любой системе [138].

Существование этих трех развитых групп аргументации разного уровня позволяет утверждать: понимание нетранзитивности отношений превосходства - не менее важная линия когнитивного развития, чем понимание транзитивности. Это две взаимосвязанные линии развития познания, и изучать их тоже нужно во взаимной связи [54-55].

Наиболее известные работы, посвященные нетранзитивности - это парадокс Кондорсе, аксиома Эрроу, счет Борда, метод Кемени и метод Шульца, применяемые в процедурах голосования.

1.3.1 Парадокс Кондорсем

Парадокс Кондорсем - известный парадокс теории общественного выбора, впервые описан Кондорсе в 1785 г. Он состоит в том, что правило простого большинства не в состоянии обеспечить транзитивность бинарного отношения общественного предпочтения среди выбираемых вариантов. В силу нетранзитивности результат может зависеть от порядка голосования, что дает возможность манипуляции выбором большинства.

Кондорсе определил правило, по которому сравнение выбираемых альтернатив производится с учетом полной информации о предпочтениях избирателей [43].

Согласно принципу Кондорсе, для определения истинной воли большинства необходимо, чтобы каждый голосующий проранжировал всех кандидатов в порядке их предпочтения. После этого для каждой пары кандидатов определяется, сколько голосующих предпочитает одного кандидата другому. Таким образом, формируется матрица предпочтений избирателей для всех пар кандидатов.

Приведем пример, иллюстрирующий точку зрения Кондорсе.

Пусть нам даны три варианта решения проблемы: А, В и С, голоса экспертов, в количестве 60 чел., распределились следующим образом.

Предпочтения:

23 человека: А<В<С;

17 человек: В<С<А;

2 человека: В<А<С;

8 человек: С<А<В;

8 человек: С<В<А.



Сравним предпочтения по отношению к парам вариантов. Берем А и С: тогда А предпочитают над С 23+2=25; С по сравнению с А предпочитают: 17+8+8=33. Следовательно, С предпочтительнее А (С < А) по воле большинства. Сравнивая попарно аналогичным образом А и В, В и С, получаем: В < С (42 против 16), С < А (33 против 25) и А < В (31 против 27). Следовательно, мы пришли к противоречию, к нетранзитивному отношению А < В < С < А. Столкнувшись с этим парадоксом, Кондорсе выбрал "наименьшее зло", а именно то мнение, которое поддерживается большинством голосов [44].

Индивидуальные транзитивные предпочтения парадоксальным образом трансформировались в нетранзитивные групповые. «Сумма рациональных выборов стала нерациональной из-за специфики взаимодействий между этими рациональными выборами». С парадоксом Кондорсе не могут справиться до сих пор, хотя те или иные частичные решения предлагаются.

1.3.2 Метод Борда

Отметим еще одну процедуру голосования из множеств предложенных - метод Борда. Согласно этому методу, результаты голосования выражаются в виде числа баллов, набранных каждым из вариантов решения [43].

Пусть число кандидатов равно n. Тогда за первое место присуждается n баллов, за второе - n-1, за последнее - 1 балл. Распределение голосов представлено в таблице 7.

Таблица 7 - Распределение голосов

Число голосующих	Предпочтения
23	А < C < B
19	B < C < A
16	C < B < A
2	C < A < B

В соответствии с методом Борда число баллов для каждого из кандидатов составит:

А: 23·3 + 19·1 + 16·1 +2·2 = 108;

В: 23·1 + 19·3 + 16·2 + 2·1 = 114;

С: 23·2 + 19·2 + 16·3 +2·3 = 138.

В соответствии с методом Борда победителем является кандидат С.

Однако с методом Борда, как и с принципом Кондорсе, возникают проблемы. Результаты голосования в выборном органе представлены в таблице 8.

Подсчитав баллы в соответствии с методом Борда, получим: А = 126, В = 103, С = 143. В соответствии с методом Борда лучшим следует объявить С. Однако в данном случае явным победителем является вариант А, набравший абсолютное большинство голосов: 31 из 62 [43].

Таблица 8 - Распределение голосов

Число голосующих	Предпочтения
31	А < C < B
12	B < C < A
17	C <B < A
2	C < A <B

Приведенные примеры позволяют понять, что парадоксы при голосовании не возникают лишь в случае, когда победитель определяется по принципу абсолютного большинства голосов. Однако такой случай нетипичен для большинства выборов в демократических странах. Обычно число вариантов решения больше, чем два, и редки случаи, когда кто-то из них сразу же получает поддержку абсолютного большинства избирателей [7].

1.3.3 Аксиомы Эрроу

Качественно новым шагом в развитии проблематики, разрабатывавшейся Ж. Кондорсе, стали в ХХ в. исследования К. Дж. Эрроу, получившего за них Нобелевскую премию.

В 1951 г. Эрроу провел систематическое исследование всех возможных систем голосования [83]. Он поставил вопрос в наиболее общем виде: можно ли создать такую систему голосования, чтобы она была одновременно рациональной (без противоречий), демократической (один человек -- один голос) и решающей (позволяла осуществить выбор). Вместо попыток изобретения такой системы Эрроу предложил набор требований, аксиом, которым эта система должна удовлетворять. Эти аксиомы были интуитивно понятны, приемлемы с точки зрения здравого смысла и допускали математическое выражение в виде некоторых условий. На основе этих аксиом Эрроу попытался в общем виде доказать существование системы голосования, удовлетворяющей одновременно трем перечисленным выше принципам: рациональная, демократическая и решающая [54].

Первая аксиома Эрроу требует, чтобы система голосования была достаточно общей для того, чтобы учитывать все возможные распределения голосов избирателей. Интуитивно это требование вполне очевидно. Заранее нельзя предсказать распределение голосов. Совершенно необходимо, чтобы система была действенной при любых предпочтениях избирателей. Эта аксиома получила название аксиомы универсальности.

Еще более очевидной с точки зрения здравого смысла является вторая аксиома Эрроу - аксиома единогласия. В соответствии с ней необходимо, чтобы коллективный выбор повторял в точности единогласное мнение всех голосующих. Если, например, каждый из голосующих считает, что кандидат А лучше кандидата В, то и система голосования должна приводить к этому результату [43].

Третья аксиома Эрроу получила название независимости от несвязанных альтернатив. Пусть избиратель считает, что из пары кандидатов А и В лучшим является А. Это предпочтение не должно зависеть от отношения избирателя к прочим кандидатам. Третья аксиома достаточно привлекательна, но не столь очевидна с точки зрения каждодневного человеческого поведения. Так, в работе Д.Х. Блэйр приводится убедительный пример нарушения этой аксиомы. Посетитель ресторана первоначально сравнивает блюдо А и В и хочет заказать А, потому что приготовление блюда В требует высокой квалификации повара, а по его мнению, такой повар вряд ли есть в данном ресторане. Вдруг он замечает в меню блюдо С - очень дорогое и также требующее высокого искусства приготовления. Тогда он выбирает блюдо В, считая, что повар умеет хорошо готовить [16].

Часто третья аксиома Эрроу нарушается судьями в фигурном катании. Давая сравнительные оценки двум сильным фигуристам в одиночном катании, они стараются учесть возможность хорошего выступления третьего сильного кандидата, оставляя ему шансы стать победителем. Отличное выступление в произвольном катании фигуриста С, имевшего ранее не очень высокий результат в обязательной программе, может повлиять на оценки фигуристов А и В. Если А имел отличный результат в обязательной программе, судьи иногда ставят его ниже фигуриста В при примерно равном выступлении, чтобы повысить шансы фигуриста С.

Тем не менее возможность предъявления требования независимости к системе голосования в качестве обязательного не вызывает сомнения.

Четвертая аксиома Эрроу носит название аксиомы полноты: система голосования должна позволять сравнение любой пары кандидатов, определив, кто из них лучше. При этом имеется возможность объявить двух кандидатов равнопривлекательными. Требование полноты не кажется слишком строгим для системы голосования [43].

Пятая аксиома Эрроу является уже знакомым условием транзитивности: если в соответствии с мнением избирателей кандидат В не лучше кандидата А (хуже или эквивалентен), кандидат С не лучше кандидата В, то кандидат С не лучше кандидата А. Считается, что система голосования, не допускающая нарушения транзитивности, ведет себя рациональным образом [43].

Определив пять аксиом - желательных свойств системы голосования, Эрроу доказал, что системы, удовлетворяющие этим аксиомам, обладают недопустимым с точки зрения демократических свобод недостатком: каждая из них является правилом диктатора - личности, навязывающей всем остальным избирателям свои предпочтения.

Результаты, выявленные Эрроу, получили широкую известность. Они развеяли надежды многих экономистов, социологов, математиков найти совершенную систему голосования.

Требование исключения диктатора приводит к невозможности создания системы голосования, удовлетворяющей всем аксиомам Эрроу. Поэтому результат Эрроу называют теоремой невозможности [43].

С 1951 г. математики и экономисты предпринимают попытки изменить требования Эрроу, «смягчить» аксиомы, чтобы избежать вывода, столь неприятного для демократической системы голосования. И поэтому многие исследователи отказываются от 1-го условия Эрроу, считая учитывать предпочтения на всем множестве альтернатив.

Анализ работ посвященных проблемам различных методов экспертного оценивания и нетранзитивности [13-15, 41-45, 59, 96, 113, 119, 131, 137] позволил выявить методы, исключающие нетранзитивность, применяемые при голосовании (метод Кемени и метод Шульца), которые можно применить для исключения нетранзитивных подмножеств из результатов экспертных измерений.

1.3.4 Метод Кемени

Еще один подход к проблеме борьбы с парадоксом Кондорсе был предложен американским математиком Дж. Кемени [41]. Согласно идее Дж. Кемени, следует найти среднее мнение как решение оптимизационной задачи. А именно надо минимизировать суммарное расстояние от кандидата в среднее до мнений экспертов. Найденное таким способом среднее мнение называют "медианой Кемени".

Выбор медианы основан на том, что медиана Кемени - единственное результирующее строгое ранжирование, являющееся нейтральным, согласованным и кондорсетовым. Таким образом, медиана удовлетворяет принципу выбора Кондорсе, не приводя к парадоксу Кондорсе [16].

Медиана Кемени удовлетворяет 2-5-м условиям Эрроу, не удовлетворяя лишь условию 1.

Метод Кемени - нахождение итогового мнения комиссии экспертов. Пусть мнения комиссии экспертов или какой-то ее части признаны согласованными. Каково же итоговое (среднее, общее) мнение комиссии? Математическая сложность состоит в том, что мнения экспертов лежат в некотором пространстве объектов нечисловой природы. Общая теория подобного усреднения построена в ряде работ, в частности, показано, что в силу обобщения закона больших чисел среднее мнение при увеличении числа экспертов (чьи мнения независимы и одинаково распределены) приближается к некоторому пределу, который естественно назвать математическим ожиданием (случайного элемента, имеющего то же распределение, что и ответы экспертов) [52].

Медиана Кемени - частный случай определения эмпирического среднего в пространствах нечисловой природы. Для нее справедлив закон больших чисел, т.е. эмпирическое среднее приближается при росте числа составляющих (т.е. р - числа слагаемых в сумме) к теоретическому среднему:

где М - символ математического ожидания. Предполагается, что ответы р экспертов А₁ , А₂ , А₃ ,…, А_р есть основания рассматривать как независимые одинаково распределенные случайные элементы (т.е. как случайную выборку) в соответствующем пространстве произвольной природы, например, в пространстве упорядочений или отношений эквивалентности [51].

Законы больших чисел показывают, во-первых, что медиана Кемени обладает устойчивостью по отношению к незначительному изменению состава экспертной комиссии; во-вторых, при увеличении числа экспертов она приближается к некоторому пределу. Его естественно рассматривать как истинное мнение экспертов, от которого каждый из них несколько отклонялся по случайным причинам [52].

Согласно идее Дж. Кемени, для решения задачи исключения нетранзитивности, надо минимизировать суммарное расстояние от кандидата в средние до мнений экспертов. Найденное таким способом среднее мнение называют "медианой Кемени".

С помощью расстояния Кемени находят итоговое мнение комиссии экспертов. Пусть А₁ , А₂ , А₃ ,…, А_{р -} ответы р экспертов, представленные в виде бинарных отношений. Для их усреднения используют медиану Кемени.

где Arg min - то или те значения А, при которых достигает минимума указанная сумма расстояний Кемени от ответов экспертов до текущей переменной А, по которой и проводится минимизация. Таким образом,

Кроме медианы Кемени используют среднее по Кемени, в котором вместо D (A_i ,A) стоит D² (A_i ,A) .

Существуют 2 метода решения данной задачи:

1) арифметическое нахождение медианы Кемени;

2) графическое нахождение медианы Кемени.

Поскольку графическое нахождение медианы Кемени достаточно громоздко, то для исключения нетранзитивности в результате экспертиз нами рассмотрено только арифметическое нахождение медианы Кемени. Для арифметического нахождения медианы Кемени желательно использовать вертикальную форму записи ранжирований.

При этом для заполнения матрицы отношения предпочтения необходимо произвести следующее преобразование [44]:

r_ij = (6)

Допустим, что при сравнении пяти объектов экспертизы получен следующий ранжированный ряд: в < д < г < а < б.

С помощью предложенного преобразования (6) такой ранжированный ряд можно представить в виде следующей матрицы отношений:

r_ij =

Пример. Пусть дана квадратная матрица (порядка 9) попарных расстояний для множества бинарных отношений из 9 элементов А₁ , А₂ , А₃ ,..., А₉ (см. табл.9). Необходимо найти в этом множестве медиану для множества из 5 элементов {А₂ , А₄ , А₅ , А₈ , А₉} [51].

Таблица 9 - Матрица попарных расстояний

	А1	А2	А3	А4	А5	А6	А7	А8	А9
А1	0	2	13	1	7	4	10	3	11
А2	2	0	5	6	1	3	2	5	1
А3	13	5	0	2	2	7	6	5	7
А4	1	6	2	0	5	4	3	8	8
А5	7	1	2	5	0	10	1	3	7
А6	4	3	7	4	10	0	2	1	5
А7	10	2	6	3	1	2	0	6	3
А8	3	5	5	8	3	1	6	0	9
А9	11	1	7	8	7	5	3	9	0

В соответствии с определением медианы Кемени следует ввести в рассмотрение функцию:

С(А) = ? D(A_i ,A) = D(A₂ ,A)+D(A₄ ,A)+D(A₅ ,A)+D(A₈ ,A)+D(A₉ ,A),

рассчитать ее значения для всех А₁ , А₂ , А₃ ,..., А₉ и выбрать наименьшее.

Проведем расчеты:

С(А₁) = D (A₂, A₁) + D (A₄, A₁) + D (A₅, A₁) +D (A₈, A₁) + D (A₉, A₁) =

= 2 + 1 +7 +3 +11 = 24,

С(А₂) = D (A₂, A₂) + D (A₄, A₂) + D (A₅, A₂) +D (A₈, A₂) + D (A₉, A₂) =

= 0 + 6 + 1 + 5 + 1 = 13,

С(А₃) = D (A₂, A₃) + D (A₄, A₃) + D (A₅, A₃) +D (A₈, A₃) + D (A₉, A₃) =

= 5 + 2 + 2 + 5 +7 = 21,

С(А₄) = D (A₂, A₄) + D (A₄, A₄) + D (A₅, A₄) +D (A₈, A₄) + D (A₉, A₄) =

= 6 + 0 + 5 + 8 + 8 = 27,

С(А₅) = D (A₂, A₅) + D (A₄, A₅) + D (A₅, A₅) +D (A₈, A₅) + D (A₉, A₅) =

= 1 + 5 + 0 +3 + 7 = 16,

С(А₆) = D (A₂, A₆) + D (A₄, A₆) + D (A₅, A₆) +D (A₈, A₆) + D (A₉, A₆) =

= 3 + 4 + 10 + 1 + 5 = 23,

С(А₇) = D (A₂, A₇) + D (A₄, A₇) + D (A₅, A₇) +D (A₈, A₇) + D (A₉, A₇) =

= 2 + 3 +1 + 6 + 3 = 15,

С(А₈) = D (A₂, A₈) + D (A₄, A₈) + D (A₅, A₈) +D (A₈, A₈) + D (A₉, A₈) =

= 5 + 8 + 3 + 0 +9 = 25,

С(А₉) = D (A₂, A₉) + D (A₄, A₉) + D (A₅, A₉) +D (A₈, A₉) + D (A₉, A₉) =

= 1 + 8 + 7 + 9 + 0 = 25.



Из всех вычисленных сумм наименьшая равна 13, и достигается она при А = А₂, следовательно, медиана Кемени - это А₂ .

Обратим внимание на то, что минимум может достигаться не в одной точке, а в нескольких. Поэтому медиана Кемени - это, вообще говоря, не элемент соответствующего пространства, а его подмножество. Поэтому более правильно сказать, что, по данным таблицы 7, медиана Кемени - это множество {А₂}, состоящее из одного элемента А₂ , т.е. в условиях примера:

В общем случае вычисление медианы Кемени - задача целочисленного программирования. В частности, для ее нахождения используются различные алгоритмы дискретной оптимизации, в том числе основанные на методе ветвей и границ. Применяют также алгоритмы, основанные на идее случайного поиска, поскольку для каждого бинарного отношения нетрудно найти множество его соседей [41, 51].

Воспользуемся методом Кемени для исключения нетранзитивности в результатах экспертных измерений, полученных способом ранжирования. Допустим, в результате ранжирования результат многократного измерения имеет следующий вид: а ~ б ~ в ~ г.

Для наглядности распишем мнение каждого эксперта в отдельности. Данные 4 экспертов при определении потребительских свойств продукции по пяти показателям качества способом ранжирования можно представить следующим образом:

1 эксперт: в > б > а;

2 эксперт: б > а > в;

3 эксперт: в > а > б;

4 эксперт: а > б > в.



Преобразуем данные экспертов для заполнения матрицы отношения предпочтения в соответствии с условием 1. Тогда мнения экспертов запишутся следующим образом: мнение первого эксперта - P¹_ij, мнение второго эксперта - P²_ij , мнение третьего эксперта - P³_ij, мнение четвертого эксперта - P⁴_ij.

Для нахождения медианны Кемени рассчитываем расстояние между каждыми двумя матрицами:

- расстояние матриц мнения первого эксперта и мнения второго эксперта P²_ij равно d (л₁, л₂) = 0 + 2 + 2 = 4;

- расстояние матриц мнения первого эксперта и мнения третьего эксперта P³_ij равно d (л₁, л₃) = 2 + 0 + 0 = 2;

- расстояние матриц мнения первого эксперта и мнения четвертого эксперта P⁴_ij равно d (л₁, л₄) = 2 + 2 + 2 = 6;

- расстояние матриц мнения второго эксперта и мнения третьего эксперта P³_ij равно d (л₂, л₃) = 2 + 2 + 2 = 6;

- расстояние матриц мнения второго эксперта и мнения четвертого эксперта P⁴_ij равно d (л₂, л₄) = 2 + 0 + 0 = 2;

- расстояние матриц мнения третьего эксперта и мнения четвертого эксперта P⁴_ij равно d (л₃, л₄) = 0 + 2 + 2 = 4.

Все полученные данные заносим в матрицу расстояний (табл. 10).

Все вычисленные суммы равны 12. Следовательно, медиана Кемени - это мнение всех экспертов. Это значит, что медиана Кемени не исключает нетранзитивность, возникшую в данном случае.



Таблица 10 - Матрица расстояний

	А1	А2	А3	А4	?
А1	0	4	2	6	12
А2	4	0	6	2	12
А3	2	6	0	4	12
А4	6	2	4	0	12

Приведем еще один пример. Допустим, в результате ранжирования результат многократного измерения 5 экспертов по четырем показателям качества имеет следующий вид: б > а ~ в ~ г.

Для наглядности распишем мнение каждого эксперта в отдельности. Данные экспертов при определении потребительских свойств продукции способом ранжирования можно представить следующим образом:

1 эксперт: б > г > в > а;

2 эксперт: б > в > а > г;

3 эксперт: а >г > в > б;

4 эксперт: б > в > а > г.

Проведем расчеты аналогично предыдущему примеру:

P¹_ij = P²_ij =

P³_ij = P⁴_ij =

P⁵_ij =

Находим расстояние между каждыми двумя матрицами:

d (л₁, л₂) = 0 + 0 + 2 + 0 + 0 + 2 = 4

d (л₁, л₃) = 2 + 2 + 2 + 2 + 2 + 0 = 10

d (л₁, л₄) = 2 + 2 + 0 + 2 + 2 + 0 = 8

d (л₁, л₅) = 0 + 0 + 2 + 0 + 0 + 2 = 4

d (л₂, л₃) = 2 + 2 + 0 + 2 + 2 + 2 = 10

d (л₂, л₄) = 2 + 2 + 2 + 2 + 2 + 2 = 12

d (л₂, л₅) = 0 + 0 + 0 + 0 + 0 + 0 = 0

d (л₃, л₄) = 0 + 0 + 2 + 0 + 0 + 0 = 2

d (л₃, л₅) = 2 + 2 + 0 + 2 + 2 + 2 = 10

d (л₄, л₅) = 2 + 2 + 2 + 2 + 2 + 2 = 12

Все полученные данные заносим в матрицу расстояний (табл.11).

Таблица 11 - Матрица расстояний

	А1	А2	А3	А4	А5	?
А1	0	4	10	8	4	26
А2	4	0	10	12	0	26
А3	10	10	0	2	10	32
А4	8	12	2	0	12	34
А5	4	0	10	12	0	26

Из всех вычисленных сумм наименьшая равна 26, и достигается она при А_1, А₂ и А_5, следовательно, медиана Кемени - это мнение 1, 2 и 5 экспертов. Это значит, что мнения экспертов 1, 2 и 5 находятся ближе ко всем остальным мнениям.

Это значит, что медиана Кемени не всегда однозначно исключает нетранзитивность, возникшую в данном случае.

1.3.5 Метод Шульце

Метод Шульце - система голосования, разработанная в 1997 г. М. Шульце. Метод Шульце представляет собой развитие идеи альтернативного голосования, которое применяется при выборах в различные органы власти Австралии, Новой Зеландии, Папуа - Новой Гвинеи, Фиджи, Ирландии, США, а также в ряде политических партий, неправительственных организаций и т.д. Сам Шульце называет ее «методом разъезженного пути» (англ. Beatpathmethod). Она позволяет определить победителя с использованием бюллетеней для голосования, в которых голосующие указывают свои предпочтения относительно кандидатур. Также этот метод можно использовать и для получения отсортированного по предпочтительности списка победителей.

Метод удовлетворяет критерию Кондорсе: если один из кандидатов является предпочтительным при попарном сравнении с каждым из других кандидатов, он объявляется победителем.

По методу Шульце, каждый бюллетень содержит полный список кандидатов, и каждый избиратель ранжирует их в порядке своего предпочтения. В самом распространенном формате используются числа по возрастанию, когда избиратель ставит «1» напротив имени самого желательного кандидата, «2» - напротив второго по предпочтительности, и так далее. Избиратели могут ставить одинаковые числа нескольким кандидатурам либо вообще не заполнять это поле для части кандидатур (в таком случае считается, что избиратель поставил такие кандидатуры одинаково ниже всех, для которых он указал число).

Существуют различные эвристики, реализующие решение по этому методу. Основными являются эвристика пути (англ. Pathheuristic) и эвристика множества Шварца (англ. Schwartzsetheuristic).

Основная идея эвристики пути - концепция косвенных побед, так называемых путей.

Если при парном сравнении кандидат C(1) побеждает C(2), кандидат C(2) побеждает C(3), кандидат C(3) побеждает C(4), … и C(n-1) побеждает C(n), то мы можем говорить, что существует путь от кандидата C(1) к кандидату C(n). Чем больше голосующих предпочитают первого кандидата второму кандидату, тем сильнее победа первого над вторым. Силой пути C(1),…,C(n) является слабейшая парная победа одного кандидата над другим в этой последовательности.

Предположим, что d[V,W] - это число голосующих, которые строго предпочитают кандидатуру V кандидатуре W.

Путь - это последовательность кандидатур C(1),…,C(n), где d[C(i),C(i+1)] > d[C(i+1),C(i)] для всех i = 1,…,(n-1).

Сила пути C(1),…,C(n) - это минимум d[C(i),C(i+1)] для всех i = 1,…,(n-1), где C(i) - это позиция номер i с начала пути; d[A,B] - это количество человек, поставивших кандидата A выше на одну или несколько позиций, чем кандидата B, при этом если определен рассматриваемый путь, то имена кандидатов могут заменяться их позициями в данном пути.

Силой сильнейшего пути p[A,B] от кандидатуры A к кандидатуре B называется максимальное из значений силы всех возможных путей от кандидатуры A до кандидатуры B. Если пути от кандидатуры A к кандидатуре B не существует, то p[A,B] принимается равной нулю.

Кандидат A побеждает кандидата B косвенно, если выполняется любое из двух следующих условий:

- сила сильнейшего пути от кандидата A к кандидату B сильнее, чем сила сильнейшего пути от кандидата B к кандидату A

- существует путь от кандидата A к кандидату B, а пути от кандидата B к кандидату A не существует.

Косвенные победы удовлетворяют условию транзитивности. Это означает, что если кандидат A косвенно побеждает кандидата B, а кандидат B косвенно побеждает кандидата C, то кандидат A также побеждает кандидата C косвенно. Таким образом, дополнительной процедуры для определения косвенных побед не требуется.

В эвристике пути используется следующая процедура построения графа путей предпочтения и определение силы путей:

Путем силы p от кандидата X до кандидата Y называется последовательность кандидатур C(1),…,C(n) со следующими пятью свойствами:

1) C(1) принимается равным X.

2) C(n) принимается равным Y.

3) для всех i от 1 до (n-1): d[C(i),C(i+1)] > d[C(i+1),C(i)].

4) для всех i от 1 до (n-1): d[C(i),C(i+1)] ? p.

5) по крайней мере для одного i из диапазона от 1 до (n-1): d[C(i),C(i+1)] = p, где p - это сила пути от кандидата X до кандидата Y, то есть p[X,Y].

Кандидатура A является возможным победителем тогда и только тогда, когда p[A,Z] ? p[Z,A] для каждой другой кандидатуры Z.

Пример 1

Допустим, в результате голосования получены следующие результаты, представленные в таблице 12.

Таблица 12 - Результаты голосования

	d[*,A]	d[*,B]	d[*,C]
d[A,*]	-	70	33
d[B,*]	27	-	60
d[C,*]	64	35	-

Жирным выделены значения d[X,Y]>d[Y,X]. Как видно из таблицы, в этом примере каждому кандидату предпочитается другой кандидат, однако сила предпочтения различается. Предпочтение, отдаваемое кандидату А перед кандидатом В, больше предпочтения, отдаваемого кандидату C перед кандидатом А, который и будет признан победителем.

Пример 2. Рассмотрим выборы, на которых 45 избирателей голосуют за пять кандидатов, A, B, C, D, E. Голоса распределились следующим образом:

5 ACBED (то есть 5 избирателей поставили A выше C, C выше B, B выше E, а E выше D)

5 ADECB

8 BEDAC

3 CABED

7 CAEBD

2 CBADE

7 DCEBA

8 EBADC

Разберем данную ситуацию. А выше В предпочли (5+5+3+7) = 20 избирателей, а В выше А предпочли (8+2+7+8) = 25 избирателей. Поэтому выбираем В >А, а на рисунке показываем стрелку от В к А и т.п.

Таким образом, строится предпочтения в виде схемы, представленной на рисунке 4.

Рисунок 4 - Схема предпочтения по Методу Шульце

Нарисованную схему предпочтения можно занести в таблицу 13.

Таблица 13 - Результаты голосования

Число голосующих, предпочитающих одного кандидата другому:
	d[*,A]	d[*,B]	d[*,C]	d[*,D]	d[*,E]
d[A,*]		20	26	30	22
d[B,*]	25		16	33	18
d[C,*]	19	29		17	24
d[D,*]	15	12	28		14
d[E,*]	23	27	21	31

Сила пути - это сила его слабейшего звена (критическое звено). Пути, каждый переход в которых удовлетворяет d[X,Y]>d[Y,X], можно построить, пользуясь следующими кусочками последовательностей: AC, AD, BA, BD, CB, CE, DC, EA, EB, ED.

Выявлены сильнейшие пути, представленные в таблице 14.

Таблица 14 - Силы сильнейших путей

	p[*,A]	p[*,B]	p[*,C]	p[*,D]	p[*,E]
p[A,*]		28	28	30	24
p[B,*]	25		28	33	24
p[C,*]	25	29		29	24
p[D,*]	25	28	28		24
p[E,*]	25	28	28	31

По методу Шульце будет провозглашен победителем кандидат E, так как p[E,X] ? p[X,E] для любого другого кандидата X.

нетранзитивный подмножество экспертный измерение

Так как 25 = p[E,A] > p[A,E] = 24, кандидат E лучше, чем кандидат A.

Так как 28 = p[E,B] > p[B,E] = 24, кандидат E лучше, чем кандидат B.

Так как 28 = p[E,C] > p[C,E] = 24, кандидат E лучше, чем кандидат C.

Так как 31 = p[E,D] > p[D,E] = 24, кандидат E лучше, чем кандидат D.

Так как 28 = p[A,B] > p[B,A] = 25, кандидат A лучше, чем кандидат B.

Так как 28 = p[A,C] > p[C,A] = 25, кандидат A лучше, чем кандидат C.

Так как 30 = p[A,D] > p[D,A] = 25, кандидат A лучше, чем кандидат D.

Так как 29 = p[C,B] > p[B,C] = 28, кандидат C лучше, чем кандидат B.

Так как 29 = p[C,D] > p[D,C] = 28, кандидат C лучше, чем кандидат D.

Так как 33 = p[B,D] > p[D,B] = 28, кандидат B лучше, чем кандидат D.

Таким образом, метод Шульце приводит к следующему порядку кандидатов: D > B > C >A > E.

Метод Шульце, разработанный для обработки результатов голосования, может быть применен для исключения нетранзитивных подмножеств, полученных при ранжировании показателей качества пищевых продуктов.

Воспользуемся методом Шульце для исключения нетранзитивности в результатах экспертных измерений, полученных способом ранжирования.

Допустим, что результат многократного измерения трех объектов тремя экспертами имеет следующий вид: а ~ б ~ в.

Для наглядности распишем мнение каждого эксперта в отдельности. Полученные данные экспертов можно представить следующим образом:

1 эксперт: а > б > в;

2 эксперт: в > а > б;

3 эксперт: б > в > а.

Результаты сопоставления трех объектов тремя экспертами можно представить в виде таблицы 15.

Таблица 15 - Число экспертов, предпочитающих один показатель другому

	d[*,а]	d[*,б]	d[*,в]
d[а,*]		1	2
d[б,*]	2		1
d[в,*]	1	2

Таблица 16 показывает сильнейшие пути от объекта X к объекту Y, а силы сильнейших путей представлены в таблице 18. Критическое звено сильнейшего пути подчеркнуто.



Таблица 16 - Сильнейшие пути

	… к а	… к б	… к в
от а…		а-(2)-в-(2)-б	а-(2)-в
от б …	б-(2)-а		б-(2)-а-(2)-в
от в…	в-(2)-б-(2)-а	в-(2)-б

Таблица 17 - Силы сильнейших путей

	p[*,а]	p[*,б]	p[*,в]
p[а,*]		2	2
p[б,*]	2		2
p[в,*]	2	2

По методу Шульце нетранзитивность не будет исключена, так как p[E,X] = p[X,E] для любого другого кандидата X.

Таким образом, метод Шульце не исключает нетранзитивность при числе объектов экспертизы = 3.

Приведем еще один пример. Допустим, результат многократного измерения 4 экспертов по шести показателям качества имеет следующий вид: в > г ~ б ~ д ~ е > а.

Для наглядности распишем мнение каждого эксперта в отдельности. Полученные данные экспертов можно представить следующим образом:

1 эксперт: е > д > г > в > б > а;

2 эксперт: г > в > б> д > а > е;

3 эксперт: в > а > г > е > б > д;

4 эксперт: в > б > д > е > г > а.

В данном случае не получается построить такую же схему предпочтений, так как число экспертов, которые предпочли один показатель другому (табл. 19), равно. Так как мы видим равнозначность в сравнениях: а = е, в = г, г = д, е = г, е = д, невозможно выявить сильнейшие пути. Следовательно, можно сделать вывод о том, что данный метод не всегда позволяет раскрыть нетранзитивность при четном количестве экспертов.

Таблица 18 - Число экспертов, предпочитающих один показатель другому

	d[*,а]	d[*,б]	d[*,в]	d[*,г]	d[*,д]	d[*,е]
d[а,*]		3	4	3	3	2
d[б,*]	1		4	3	1	2
d[в,*]	0	0		2	1	1
d[г,*]	1	1	2		2	2
d[д,*]	1	3	3	2		2
d[е,*]	2	2	3	2	2

Приведем еще один пример. Допустим, в результате ранжирования результат многократного измерения 5 экспертов по шести показателям качества имеет следующий вид:

в> д > б ~ г ~ е> а

Для наглядности распишем мнение каждого эксперта в отдельности. Полученные данные экспертов можно представить следующим образом:

1 эксперт: е > д > в > г > б > а

1 эксперт: в > г > б > д > е > а

1 эксперт: в > д > е > а > б > г

1 эксперт: в > б > д > е > г > а

1 эксперт: г > в > б > д > е > а

Мнения экспертов изобразим в виде схемы (рис. 5).



Рисунок 5 - Схема предпочтений по методу Шульца

Схему предпочтения, изображенную на рисунке 5, можно представить в виде таблицы 19.

Таблица 19 - Число экспертов, предпочитающих один показатель другому

	d[*,а]	d[*,б]	d[*,в]	d[*,г]	d[*,д]	d[*,е]
d[а,*]		3	4	3	3	2
d[б,*]	1		4	3	1	2
d[в,*]	0	0		2	1	1
d[г,*]	1	1	2		2	2
d[д,*]	1	3	3	2		2
d[е,*]	2	2	3	2	2

Следующим шагом является выявление сильнейших путей от объекта а к объекту б и т.д. Нам не удалось выявить сильнейшие пути, так как объект а оказался лучше всех, а показатель в хуже всех, что свидетельствует о невозможности построения путей. Следовательно, нетранзитивность в данном случае не раскрывается.



Выводы

1. Нетранзитивные включения появляются как в результатах измерения, полученных методом ранжирования, так и в результатах полученных методов попарного и полного попарного сопоставления.

2. Метод Кемени, заключающийся в нахождении результирующего ранжирования, который как можно ближе расположен ко всем ранжированиям экспертов, не всегда корректно исключает нетранзитивные включения, так как при увеличении объектов экспертизы может образоваться несколько медиан.

3. Метод Шульце, разработанный для исключения нетранзитивных подмножеств при обработке результатов голосования, не подходит для исключения нетранзитивных подмножеств, полученных при ранжировании объектов экспертизы.