4. Методы Кемени и Шульца не исключают нетранзитивные подмножества при небольшом числе объектов экспертизы, например, трех.



2. Исследование нетранзитивных подмножеств в результатах экспертных измерений

2.1 Причины возникновения нетранзитивных подмножеств

Для решения задачи исключения нетранзитивных подмножеств из результатов экспертных измерений, прежде всего, необходимо проанализировать причины возникновения нетранзитивных включений.

Нетранзитивность экспертных предпочтений является отнюдь не редким событием. Установлено, что число таких суждений велико и может достигать 30 % от их общего числа, особенно при сравнении нечетких множеств. Основная причина этого явления заключается в способе мышления человека, который обычно стремится заменить комплексную проблему последовательностью более простых задач. Выбор по сложному качественному признаку также может быть представлен как выбор по совокупности нескольких более простых признаков. А далее может происходить следующее: эксперт, сравнивая одну пару объектов, принимает за решающий один частный признак, а сравнивая другую пару объектов, может посчитать более важным другой частный признак. Это и приводит к противоречивости его суждений. Поэтому нарушение принципа транзитивности при сравнении многогранных понятий не всегда свидетельствует о некомпетентности экспертов [54, 55].

Однако некомпетентность эксперта является не единственной причиной появления нетранзитивных включений.

Причины, которые вызывают противоречивые суждения экспертов о сравнительной предпочтительности объектов, могут быть различными. Большое влияние на появление нетранзитивности в результатах экспертиз оказывает количественный и качественный состав экспертной комиссии. Безусловно, во всех без исключения случаях экспертиза должна проводиться грамотными, высококвалифицированными, достаточно компетентными в рассматриваемых вопросах и опытными специалистами. Весьма полезным является их специальное предварительное обучение и совершенно необходимым -- инструктаж. На завершающем этапе формирования экспертной группы целесообразно провести тестирование, самооценку, взаимооценку экспертов, анализ их надежности и проверку согласованности мнений. При подборе экспертов большое внимание уделяется согласованности их мнений. За меру согласованности мнений экспертов в этом случае принимается так называемый коэффициент конкордации, характеризующий о степени согласованности экспертной комиссии [11, 97, 103].

Одной из причин появления нетранзитивных подмножеств является методика обработки результатов экспертиз. Известны различные способы определения весовых коэффициентов, комплексирования показателей качества, уточнения весовых коэффициентов. При всем многообразии типовых схем проведения экспертиз необходимо выбрать из них оптимальный (наиболее рациональный) вариант для решения той или иной задачи. Также на появление нетранзитивности в результатах экспертиз влияет предложенная экспертам номенклатура показателей качества продукции, шкала оценок и структура анкет для опроса экспертов, так как неправильно поставленная задача может быть непонятной экспертам и ввести их в заблуждение.

При постановке задачи перед экспертами следует подробнейшим образом с привлечением тщательно подобранной ориентирующей информации разъяснить назначение обобщенной ранжировки, полученной в результате экспертизы. В противном случае эксперты, по-разному поняв цель работы, будут исходить в своих предпочтениях из различных соображений, и их ранжировки могут быть резко не согласованы.

Кроме того, результат измерения, выполняемого человеком, зависит от множества обстоятельств, не поддающихся строгому учету. Это и его настроение в данный момент, и степень сосредоточенности, и наличие или отсутствие раздражающих факторов, и многое другое.

Существуют, однако, факторы, которые являются постоянно действующими для каждого человека. Это его требовательность (на конкурсах), личные вкусы, симпатии, склонности и т.п. Вследствие своих индивидуальных особенностей одни люди дают постоянно завышенные результаты измерений, а другие - постоянно заниженные.

Необходимо быть очень внимательным при выборе места проведения экспертиз. Несомненно, в помещении, в котором жарко, душно, плохое освещение, экспертам будет сложно работать. В органолептическом анализе качества пищевых продуктов эксперт может допустить следующие ошибки: не воспринять раздражитель, в действительности присутствующий в образце; обнаружить раздражитель, который в действительности в образце не содержится. Эти ошибки возникают под действием различных факторов при любой интенсивности раздражителя (вкусового, зрительного и т. д.), как приятного, так и неприятного.

Например, при оценке качества пищевых продуктов свет действует на анализаторы вкуса. Исследования показывают, что пребывание в темноте в течение 30 мин ухудшает чувствительность ко всем основным вкусам в среднем на (40-50) % [60, 61]. Как следствие этого, интенсивность вкуса, а в некоторых случаях и приятный вкус пищевого продукта недооцениваются. Поэтому органолептический анализ и оценку качества рекомендуется проводить в хорошо освещенном помещении.

Температура окружающей среды и анализируемой пробы влияет на органолептические свойства по-разному. Экспериментально доказано, что пребывание в жарком помещении снижает чувствительность к соленым, кислым и горьким веществам и их вкус в пищевых продуктах недооценивается [60, 61]. Этим объясняется стойкое ухудшение восприимчивости четырех основных вкусов у пекарей хлебобулочных и кондитерских изделий, а также у сталеплавильщиков и стеклодувов.

Установлено, что наиболее отчетливо вкус и запах продуктов воспринимаются при температуре (37-38) С. Это оптимальный интервал. Дальнейший нагрев пищевых проб не усиливает ощущения их вкуса и аромата [65].

Температура пищевой пробы может влиять и на ее предпочтительность. Это необходимо учитывать при организации органолептического анализа качества продуктов. В некоторых случаях целесообразно вначале опробовать образец в холодном виде, а затем последовательно подогревать, поочередно дегустируя его при разных температурах, с тем чтобы проанализировать четыре основных вкуса продукта в оптимальной для них термической зоне.

Изменения (сдвиги) положительной оценки пищевой пробы в зависимости от состояния организма оценщика называется аллестезией [60, 61]. Такие сдвиги от приятного к неприятному возникают по отношению к некоторым вкусам и запахам пищи после насыщения. Сдвиги от неприятного к приятному к тем же вкусовым и запаховым компонентам происходят при состоянии голода. Результаты большинства исследований свидетельствуют о том, что состояние голода резко повышает чувствительность к сладкому, возрастает степень предпочтительности этого вкуса. Но в состоянии насыщения она падает.

Существует норма соотношения кислого и сладкого вкусов в прохладительных напитках. Поиск нормативных значений для интенсивностей органолептических свойств пищевых продуктов можно считать перспективной областью исследований. Практическая ценность этих исследований заключается в том, что, сравнивая с этими стандартами пробы продуктов, можно выравнивать их вкусовые качества и оптимально расходовать сырье, а также, опираясь на такие стандарты, можно было бы исключить ошибочные оценки качества.

Также на появление нетранзитивных включений влияют ассоциации, привыкание, положение образца, контраст качества. Ассоциации могут быть вызваны жизненным или профессиональным опытом дегустатора. Приемы сглаживания этого эффекта сводятся к тому, что во время дегустации используются нейтрализаторы: чай, кофе, минеральная вода; белые сухари, кисло- сладкое яблоко, соленое печенье или конфеты.

Привыкание наблюдается, когда серия образцов незначительно варьирует по органолептическим свойствам. Привыкание можно сгладить, используя разнообразные нейтрализаторы одновременно. Например, после анализа пробы выпить немного кофе и съесть кусочек печенья.

Положение образца влияет при парном сравнении. Проявляется в виде завышения оценки первой пробы. Чтобы убрать этот недостаток, рекомендуется оценивать пару, поочередно меняя последовательность проб [34, 60].

Контраст качества возникает при оценке серии, когда образец плохого качества предшествует или следует за высококачественным. Когда он оценивается после качественной пробы, то оценки значительно ниже тех, когда он оценивается первым. Если же проба высокого качества оценивается после посредственной или плохой, то ее оценка, как правило, выше, чем если бы она оценивалась бы первой. Для получения объективных органолептических оценок в этом случае следует избегать соседства контрастных проб. Организаторы работы дегустационной комиссии должны познакомиться с представленными на анализ образцами прежде, чем давать их дегустаторам.

Влияние времени, мотивов, авторитетов, оценочной шкалы, подмена задач также имеет влияние на появление нетранзитивных включений.

Влияние времени наблюдается при парном сравнении. Оценки качества объективны, если промежуток времени между сравнением не превышает 5 мин.

Под мотивами понимают психологические причины, влияющие на действия человека. Под влиянием мотивов дегустатор может сознательно завышать оценки проб. Мотивации могут быть обусловлены потребностями дегустатора, его притязаниями, чувством ответственности, добросовестностью и порядочностью. Влияние этого фактора контролировать трудно. Для снижения мотиваций рекомендуются шифровка проб, введение различных требований по регламенту работы оценочной комиссии [34, 60].

Некоторые дегустаторы склонны отождествлять свои оценки с оценками члена дегустационной комиссии, который, по их мнению, наиболее компетентен. Это влияние можно частично устранить, начав обсуждение оценок качества с опроса дегустаторов, занимающих более низкое служебное положение.

Чаще всего наблюдается так называемая центральная тенденция: дегустаторы склонны присваивать пробам оценки, расположенные в середине шкалы. Причиной этого явления служит то, что дегустаторы смутно понимают значения крайних оценок и расстояний между оценками. "Центральная тенденция" почти всегда проявляется при оценке новых, незнакомых пищевых продуктов. Ее влиянию подвергнуты и неопытные дегустаторы. Эффект снимается разъяснением значений оценок шкалы или смысла описательных выражений.

Дегустатор путает две задачи: задачу оценивания специфических свойств пищевых продуктов и задачу эмоциональной оценки меры приятности, предпочтительности пробы. В первом случае дегустатор должен оценивать продукт, исходя из его рецептуры, особенностей технологии, традиций изготовления. Во втором же случае дегустатор обязан выразить свое отношение к пищевому продукту, дать ему, в сущности, потребительскую оценку. Таких ошибок можно избежать, если председатель дегустационной комиссии подробно разъяснит цель органолептического анализа, даст ясные инструкции. Следовательно, можно утверждать, что дегустатор служит индикатором качества продуктов питания. Правильный отбор и обучение дегустаторов являются гарантией объективности и надежности органолептического анализа, если при этом соблюдаются научно обоснованные методы и стандартные условия его проведения [34, 60].

При подготовке и проведении экспертиз необходимо учитывать требования ГОСТ Р ИСО 8586-2-2008 Органолептический анализ. Общее руководство по отбору, обучению испытателей и контролю за их деятельностью Часть 2. Эксперты по сенсорной оценке [25]. В настоящее время введен в действие ГОСТ Р 54294-2010 Оценка соответствия. Беспристрастность. Принципы и требования. [25], который содержит принципы и требования, касающиеся элемента "беспристрастность" относительно стандартов по оценке соответствия, и в полной степени не отражает понятия беспристрастности экспертов, работающих в сфере оценки продукции.

Таким образом, при анализе всех этапов проведения экспертных измерений, можно выделить две основные группы причин возникновения нетранзитивных включений:

1) причины, связанные с организацией проведения экспертных измерений;

2) причины, связанные непосредственно с психофизиологическими способностями экспертов (табл. 21).

К причинам, связанным с организацией экспертных измерений, следует отнести следующие факторы: качественный и количественный состав экспертов, согласованность экспертов, структура и содержание анкет, номенклатура показателей качества, шкала оценок, условия проведения экспертной оценки (влияние температурного фактора, влияние времени, раздражающие факторы), алгоритм обработки результатов экспертиз (способ определения весовых коэффициентов показателей качества, способ определения комплексного показателя), а также такие факторы, как набор и предварительный отбор неподготовленных испытателей, обучение неподготовленных испытателей, отбор ознакомленных испытателей, последующий отбор отобранных испытателей после обучения, контроль за деятельностью кандидатов [24].

К причинам, связанным непосредственно с психофизиологическими способностями экспертов, следует отнести следующие факторы: требовательность, личные вкусы, симпатии, склонности, сенсорные способности эксперта, влияние голода, влияние ассоциаций, привыкание, положение образца, контраст качества, влияние времени, мотивов, авторитета, невнимательность, неуверенность эксперта.

Ошибки, возникающие вследствие причин, связанных с организацией экспертных измерений, следует исключать на этапе подготовки организации экспертных измерений. Ошибки, возникающие вследствие причин, связанных непосредственно с психофизиологическими способностями экспертов, следует исключать при обработке результатов экспертиз.

Таблица 20 - Причины возникновения нетранзитивных включений

Причины, связанные с организацией экспертных измерений	Причины, связанные непосредственно с психофизиологическими способностями экспертов
1	2
Набор и предварительный отбор неподготовленных испытателей	Интерес и мотивация
Обучение неподготовленных испытателей	Отношение к продуктам питания
Отбор ознакомленных испытателей	Знания и способности
Последующий отбор отобранных испытателей после обучения	Здоровье
Контроль за деятельностью кандидатов	Коммуникабельность
Качественный и количественный состав экспертов	Возможность участвовать в работе комиссии
Согласованность экспертов	Личные качества
Разработка показателей качества и анкет	Опыт в проведении органолептического анализа
Выбор способа определения весовых коэффициентов показателей качества	Требовательность
Выбор способа определения комплексного показателя	Сенсорные способности эксперта
Выбор шкалы	Влияние голода
Условия проведения экспертной оценки (влияние температурного фактора, влияние времени, раздражающие факторы)	Влияние ассоциаций, мотивов
Правильность обработки результатов экспертиз	Привыкание, положение образца
Способ получения информации опроса экспертов	Влияние мотивов, контраст качества
	Влияние авторитета, влияние времени
	Подмена задач
	Незначительность предпочтений
	Невнимательность эксперта
	Неуверенность эксперта

Нетранзитивные включения в результатах экспертных измерений могут возникать как «полезный сигнал», а также как результат сенсорной ошибки.

2.1.1 Нетранзитивные включения как полезные сигналы

Нетранзитивность как полезный сигнал является следствием каких-либо действительных отклонений в продукции или неправильной постановки задачи. Причинами возникновения нетранзитивных включений в качестве полезного сигнала в результатах экспертных измерений зачастую может являться некачественная организация экспертизы, в частности выбор методики измерений.

Эксперты способны сравнивать несколько объектов сразу. Если это легко сделать, простая ранжировка всех объектов может оказаться более предпочтительной. Однако когда различия между объектами невелики, желательно сравнивать каждую пару как можно более свободно от любых посторонних влияний, вызванных присутствием других объектов, то есть попарным сопоставлением. Ранжировка получается быстро только при вполне очевидных различиях; в противном случае процесс ранжирования практически требует многократного повторения попыток парных сравнений «соседей», прежде чем будет достигнуто разумное упорядочение.

Оценки, получаемые при экспертных измерениях, представляют собой ранжированный ряд. Для того чтобы получить от экспертов ранжированный ряд, необходимо соблюдать условия, способствующие повышению этой обоснованности. Главные из этих условий: определение целей, единство уровня и группы сравниваемых объектов, полное предварительное знакомство эксперта со всем набором сравниваемых объектов.

При постановке задачи перед экспертами следует подробнейшим образом с привлечением тщательно подобранной ориентирующей информации разъяснить назначение обобщенной ранжировки, полученной в результате экспертизы.

В работе И.Ф. Шишкина [94] приведен пример нетранзитивного включения как полезного сигнала на примере нерегулируемого перекрестка, где движение разрешено предпочтительно прямо (рис. 6).

Если, например, в ситуации, показанной на рисунке 10, задаться вопросом, каково положение каждого из автомобилей на нерегулируемом перекрестке, то ответ будет таким: проезд автомобиля б предпочтительнее, чем проезд автомобиля е, проезд автомобиля е предпочтительнее, чем проезд автомобиля г, проезд автомобиля г предпочтительнее, чем проезд автомобиля в. Здесь любой из элементов упорядоченного подмножества, представляющего собой замкнутую нетранзитивную последовательность, предпочтительнее а.



Размещено на http://www.allbest.ru/

Рисунок 6 - Нерегулируемый перекресток

Данная ситуация может быть представлена следующим образом: а > б ~ в ~ е ~ г.

В данном случае полезный сигнал заключается в том, что автомобили не смогут разъехаться в необходимые направления по правилу «правой руки» и только введение правил дорожного движения на нерегулируемом перекрестке или присутствие регулировщика может разрешить данную ситуацию [94].

Так и в повседневной жизни встречаются подобные примеры. Например, каждому человеку в жизни приходится делать множество измерений. Например, отправив за покупками в магазин ребенка, родитель просит приобрести продукт, который соответствует нескольким требованиям, например, «вкусный, дешевый, свежий». Юный покупатель стоит перед выбором, какой именно товар ему купить. На прилавке лежит товар А, который отвечает одному требованию покупателя, товар Б - второму, а товар В - третьему. Покупатель при выборе товара не может определить, какие показатели качества для него предпочтительнее, так как информация, предоставленная производителями, недостаточна. При этом возникает проблема выбора, вследствие чего покупатель не купит ни один из представленных товаров на прилавке или же купит все три товара.

В этом случае полезный сигнал заключается в том, что в данном примере стоит неправильная постановка задачи, которая заключается в том, что родитель не расставил приоритеты при выборе продукта, что и привело к появлению нетранзитивности. Появление нетранзитивности при дегустациях пищевых продуктов может быть следствием корреляционной зависимости между объектами. Например, при оценке вкуса, запаха, цвета и внешнего вида хлебобулочных изделий существует корреляционная зависимость между вкусом и запахом и между цветом и внешним видом.

При оценке качества продукции при экспертных измерениях важно учитывать каждое мнение эксперта, так как выявление нетранзитивности может оказаться «полезным сигналом». Нетранзитивность может быть как результатом корреляционной зависимости между объектами, так и неправильной постановки задачи. В этом случае по результатам анализа причин появления нетранзитивности необходимо проводить корректирующие мероприятия, такие как исключение зависимых между собой объектов или переформулировка постановленной задачи.

2.1.2 Нетранзитивные включения как сенсорные ошибки

Нетранзитивность также рассматривается как появление «шума», мешающего получению информации [94]. «Шумом» могут быть: наблюдение, которое ведется за работой комиссии; большое количество приглашенных; разговоры наблюдателей и т.д.

Поскольку возможности эксперта по переработке информации ограничены, то эксперт может принять решение, не используя всей информации, имеющейся в его распоряжении. Кроме того, новая информация воспринимается человеком с определенным внутренним сопротивлением и не сразу влияет на уже сложившиеся субъективные оценки либо на эксперта влияют шум, плохое настроение, недосып, большое количество окружающих, камеры и т.д. Отношение к новой информации будет благожелательнее, а восприятие и использование ее - полнее, если она представляется в доходчивой, яркой и компактной форме.

Эти психологические особенности вызывают необходимость предоставления экспертам возможностей для фиксации поступающей информации путем ведения записей, использования технических средств, а также необходимость предварительной обработки информации и представления ее экспертам в наиболее воспринимаемой форме.

Необходимо подчеркнуть, что обмен экспертами информацией об объекте может привести к изменению мнения одного из экспертов. Такая ситуация таит опасность потери творческой независимости в построении модели объекта экспертом.

При всех способах определения квалиметрической информации, в частности определения важности объектов (весовых коэффициентов показателей качества), возможны появления нетранзитивных подмножеств в результатах экспертиз.

1. Способ ранжирования. Допустим, что n экспертов ранжируют m объектов экспертизы. При n=3, m=3 возможно расположение мнений следующим образом, как это показано в таблице 21.

Таблица 21 - Мнения экспертов

Показатели	Эксперты	Сумма рангов
	1	2	3
а	1	2	3	6
б	2	3	1	6
в	3	1	2	6

В приведенном примере решение в виде ранжированного ряда отсутствует, возникает нетранзитивный элемент: а ~ б ~ в.

Также допустим, что n экспертов ранжируют m объектов экспертизы. При n=4, m=4 возможно расположение мнений, приведенное в таблице 22.

Таблица 22 - Мнения экспертов

Показатели	Эксперты	Сумма рангов
	1	2	3	4
а	1	2	3	4	10
б	2	3	4	1	10
в	3	4	1	2	10
г	4	1	2	3	10

В приведенном примере решение в виде ранжированного ряда также отсутствует, возникает нетранзитивный элемент: а ~ б ~ в ~ г.

Приведенные примеры показывают разные проявления нетранзитивности в результатах экспертных измерений путем ранжирования.

2. Способ попарного сопоставления. Допустим, что n экспертов ранжируют m объектов экспертизы методом попарного сопоставления. При n=1, m=3 возможно расположение мнений, приведенное в таблице 23.

Таблица 23 - Мнение эксперта

Показатели	а	б	в	Kij
а		<	^	^
б			<	^
в				^

В данном случае, по мнению данного эксперта, все объекты экспертизы получили одинаковое количество предпочтений. Решение в виде ранжированного ряда отсутствует, возникает следующая нетранзитивная последовательность: а ~ б ~ в.

Допустим, что n=1, m=4. В этом случае возможно расположение мнений следующим образом, как это приведено в таблице 24.



Таблица 24 - Мнение эксперта

Показатели	а	б	в	г	Кij
а		^	<	^	1
б			^	^	1
в				^	1
г					3

В данном случае, по мнению данного эксперта, три объекта экспертизы получили одинаковое количество предпочтений. Решение принимает следующий вид: а ~ б ~ в > г.

В ранжированном ряду образовалось нетранзитивное включение, состоящее из элементов а, б, в, где любой из них менее предпочтительнее г.

3. Способ полного попарного сопоставления. При полном попарном сопоставлении вследствие сенсорных помех также возможны появления нетранзитивности. Допустим, что мнение эксперта о трех объектах экспертизы выражено так, как представлено в таблице 25.

Таблица 25 - Мнение эксперта

Показатели	а	б	в	Kij
а		<	^	1
б	^		<	1
в	<	^		1

В данном случае, по мнению данного эксперта, все объекты экспертизы получили одинаковое количество предпочтений. Решение в виде ранжированного ряда отсутствует, возникает следующая нетранзитивная последовательность: а ~ б ~ в.

В случае сравнения четырех объектов мнение эксперта может быть выражено так, как представлено в таблице 26.



Таблица 26 - Мнение эксперта

Показатели	а	б	в	г	Kij
а		<	<	<	3
б	^		^	<	1
в	^	<		^	1
г	^	^	<		1

В данном случае, по мнению данного эксперта, три объекта экспертизы получили одинаковое количество предпочтений. Решение принимает следующий вид: б ~ в ~ г > а.

В ранжированном ряду образовалось нетранзитивное включение, состоящее из элементов б, в, г, где любой из них менее предпочтительнее а.

В случае сравнения пяти объектов экспертизы мнение эксперта может быть выражено так, как представлено в таблице 27.

Таблица 27 - Мнение эксперта

Показатели	а	б	в	г	д	Kij
а		<	^	^	<	2
б	^		<	<	^	2
в	<	^		^	<	2
г	<	^	<		^	2
д	^	<	^	<		2

В данном случае, по мнению данного эксперта, все объекты экспертизы получили одинаковое количество предпочтений. Тогда решение в виде ранжированного ряда отсутствует и возникает следующая нетранзитивность: а ~ б ~ в ~ г ~ д.

Допустим, что мнение эксперта о шести объектах экспертизы выражено так, как представлено в таблице 28.



Таблица 28 - Мнение эксперта

Показатели	а	б	в	г	д	е	Kij
а		^	^	^	^	^	0
б	<		^	<	^	<	3
в	<	<		^	<	^	3
г	<	^	<		<	^	3
д	<	<	^	^		<	3
е	<	^	<	<	^		3

В данном случае, по мнению данного эксперта, четыре объекта экспертизы получили одинаковое количество предпочтений. Здесь в ранжированном ряду образовалось нетранзитивное подмножество, представленное на рисунке 19, состоящее из элементов б, в, г, е, д, где любой из них предпочтительнее а: а > б ~ в ~ г ~ д ~ е.

Допустим, что мнение эксперта о семи объектах экспертизы выражено так, как представлено в таблицах 29 и 30.

Таблица 29 - Мнение эксперта

Показатели	а	б	в	г	д	е	ж	Кij
а		<	<	^	^	^	^	2
б	^		<	<	^	^	^	2
в	^	<		<	^	^	^	1
г	<	<	^		^	^	^	1
д	<	<	<	<		<	^	5
е	<	<	<	<	^		<	5
ж	<	<	<	<	<	^		5

По мнению данного эксперта (табл. 29), три объекта экспертизы получили одинаковое количество предпочтений: в ~ г > а ~ б > д ~ е ~ ж.

Отсюда видно, что ранжированный ряд, включает в себя нетранзитивное включение из трех элементов, каждый из которых предпочтительнее а, б, в, г.



Таблица 30 - Мнение эксперта

Показатели	а	б	в	г	д	е	ж	Kij
а		^	^	^	^	^	^	0
б	<		^	<	<	^	^	3
в	<	<		^	^	<	^	3
г	<	^	<		^	<	^	3
д	<	^	<	<		^	^	3
е	<	<	^	^	<		^	3
ж	<	<	<	<	<	<		6

По мнению данного эксперта (табл. 30), пять объектов экспертизы получили одинаковое количество предпочтений. В данном случае ранжированный ряд, состоящий из нетранзитивного включения из 5 элементов, где элементы б, в, г, д, е менее предпочтительнее элемента ж, но более предпочтительнее элемента а: а > б ~ в ~ г ~ д ~ е > ж.

Появление нетранзитивных включений предполагает изучение их свойств.

2.2 Свойства нетранзитивных подмножеств

В ходе исследования нетранзитивных включений были рассмотрены всевозможные проявления нетранзитивных включений при ранжировании, попарном сопоставлении, полном попарном сопоставлении 3, 4, 5, 6 и 7 объектов экспертизы, так как, по мнению многих исследователей, человеческий мозг не может одновременно сравнивать более семи объектов экспертизы [3, 7, 8]. Также при увеличении объектов экспертизы возрастает вероятность появления нетранзитивных включений. Нами были выявлены некоторые свойства нетранзитивных включений:

1. Исследование всевозможных вариантов проявления нетранзитивных подмножеств показало появление равных сумм предпочтений из трех объектов экспертиз (табл. 21-30), следовательно, минимальное количество элементов в нетранзитивных включениях будет равняться трем. Таким образом, выявлено первое свойство нетранзитивных подмножеств и предложено называть звеном нетранзитивное подмножество с минимальным количеством элементов, равным трём.

2. Нетранзитивные подмножества, состоящие из трех элементов, соединенных между собой одним связующим элементом, образуют цепи (табл. 28, 30). Это является вторым свойством нетранзитивных подмножеств.

3. Нетранзитивные включения, состоящие из трех и более элементов, соединенных между собой одним или двумя связующими элементами, образуют сети [94, 102].

4. Нетранзитивные подмножества могут появляться как по центру ранжированного ряда, так и по краям.

Например, при сравнении пяти объектов экспертизы мнение эксперта может быть выражено так, как показано в таблице 31.

Таблица 31 - Мнение эксперта

Показатели	а	б	в	г	д	Kij
а		^	^	^	^	0
б	<		<	^	^	2
в	<	^		<	^	2
г	<	<	^		^	2
д	<	<	<	<		4

В данном случае нетранзитивное звено из 3 элементов включено в ранжированный ряд по центру: а > б ~ в ~ г > д.

Вид нетранзитивности - включение нетранзитивного звена в ранжированный ряд по центру.

Возможны и следующие случаи, когда мнение эксперта выражены, как показаны в таблицах 32-33.



Таблица 32 - Мнение эксперта

	а	б	в	г	д	е	Kij
а		<	<	^	^	^	2
б	^		<	^	^	^	1
в	^	^		^	^	^	0
г	<	<	<		^	<	4
д	<	<	<	<		^	4
е	<	<	<	^	<		4

Ранжированный ряд включает нетранзитивный элемент справа:

в > б > а ~ г ~ д ~ е.

Таблица 33- Мнение эксперта

	а	б	в	г	д	е	ж	Kij
а		<	^	^	^	^	^	1
б	^		<	^	^	^	^	1
в	<	^		^	^	^	^	1
г	<	<	<		^	^	^	3
д	<	<	<	<		<	^	4
е	<	<	<	<	<		<	6
ж	<	<	<	<	<	0		5

Ранжированный ряд включает нетранзитивный элемент слева:

а ~ б ~ в > г > д > ж > е.

Приведенные примеры показывают разные проявления нетранзитивности в результатах экспертных измерений справа и слева.

Возможны случаи появления двух или более нетранзитивных включений в ранжированном ряду, как показано в таблице 34.



Таблица 34 - Мнение эксперта

Показатели	а	б	в	г	д	е	ж
а		<	^	^	^	^	^	1
б	0		<	^	^	^	^	1
в	<	0		^	^	^	^	1
г	<	<	<		^	^	^	3
д	<	<	<	<		<	^	5
е	<	<	<	<	^		<	5
ж	<	<	<	<	1	^		5

В ранжированный ряд включены два нетранзитивных звена с тремя элементами: а ~ б ~ в > г > д ~ е ~ ж.

Следовательно, выявлено несколько видов появления нетранзитивных включений. Поэтому четвертое свойство можно сформулировать следующим образом: в ранжированном ряду возможно появление одного или более нетранзитивного звена, как по центру, так и по краям.

2.3 Борьба с нетранзитивными включениями

Появление нетранзитивных включений в результатах экспертных измерений ставит актуальную задачу их исключения. На сегодня эта задача не решена. Необходимость исключения нетранзитивных включений продиктована тем, что основной причиной появления нетранзитивности является ошибка эксперта.

Раскрытие нетранзитивных включений образованных в результате сенсорных помех возможно при изменении одного или более знаков, в зависимости от вида нетранзитивных включений, что приведет к построению ранжированного ряда, обладающего свойством транзитивности.

Перед тем как изменить знак, необходимо решить проблему какие из предпочтений целесообразней изменить.

Допустим, что мнение эксперта при сравнении трех объектов выражено, так как это представлено в таблице 35.

Таблица 35 - Мнение эксперта

Показатели	а	б	в	Kij
а		<	^	1
б	^		<	1
в	<	^		1

По результатам экспертизы возникает нетранзитивное включение из трех элементов: а ~ б ~ в.

После изменения знака в поле сравнения «а в» ранжированный ряд будет иметь вид: в > б > а.

При этом свойство транзитивности выполняется.

Также допустим, что по результатам сравнения четырех объектов экспертизы экспертом получены данные, представленные в таблице 36.

Таблица 36 - Мнение эксперта

Показатели	а	б	в	г	Kij
а		<	^	<	2
б	^		^	^	0
в	<	<		^	2
г	^	<	<		2

В ранжированный ряд включен нетранзитивное включение с тремя элементами, предпочтительнее элемента б: б > а ~ в ~ г.

Для раскрытия нетранзитивности изменим знак в поле «аг» и получим ранжированный ряд, который будет иметь вид: б > а > в > г. В этом ряду свойство транзитивности выполняется.

Таким образом, видно, что в результате изменения одного неравенства (или нескольких неравенств) можно раскрыть нетранзитивность и построить ранжированный ряд, удовлетворяющий свойству транзитивности.



2.4 Кодирование квалиметрической информации

Знаки или символы любой природы, из которых конструируются информационные сообщения, называют кодами. Полный набор кодов составляет алфавит кодирования. Простейшим алфавитом, достаточным для записи информации о чем-либо, является алфавит из двух символов, описывающих два его альтернативных состояния («да» - «нет», «+» - «-», 0 или 1).

Любое информационное сообщение можно представить, не меняя его содержания, символами того или иного алфавита, или, говоря иначе, получить ту или иную форму представления [9].

В идеальной системе символы, которые появляются на выходе устройства, декодирующего сигналы на выходе канала должны совпадать с символами, которые поступают на вход устройства, кодирующего символы в сигналы на входе канала. Однако в реальной системе всегда есть случайные ошибки, и назначение кодов состоит в том, чтобы обнаруживать и исправлять ошибки.

Эксперты сообщают полезную информацию с помощью кодовых элементов «0» и «1», так что рассматриваемая задача схожа построению помехоустойчивых корректирующих кодов.

Для того чтобы коды были высокоэффективными, они должны быть длинными, потому что в этом случае влияние шума усредняется по большому числу символов. Поэтому нами предложено кодирование нетранзитивности в результатах экспертиз осуществляется с помощью двоичных кодов Хэмминга. Закодированными в данном случае могут быть как каждое из предпочтений, так и сумма предпочтений. Например, закодировать сумму предпочтений и каждое из предпочтений следующей таблицы.



Таблица 37 - Мнение эксперта

	а	б	в	г	Кij
а		1	1	1	3
б	0		0	1	1
в	0	1		0	1
г	0	0	1		1

Каждое предпочтение любой из таблиц результатов экспертиз уже закодировано, т.е. 1 - более предпочтительный объект; 0 - менее предпочтительный объект. Тогда соответствующая комбинация примет вид: 111001010001.

Чтобы закодировать суммы предпочтений необходимо произвести перевод десятичного числа в двоичную систему исчисления, в соответствии с алгоритмом на рисунке 7.

Размещено на http://www.allbest.ru/

Рисунок 7 - Алгоритм перевода целого десятичного числа N в позиционную систему с основанием 2

Тогда соответствующая комбинация примет вид: 11 01 01 01.

Однако при кодировании суммы предпочтений можно лишь обнаружить ошибку, но не определить в каком именно разряде она содержится и длина кода намного меньше, чем при кодировании каждого предпочтения.

Следовательно, при исключении нетранзитивности кодированием необходимо кодировать каждое из предпочтений.

2.5 Исключение нетранзитивности кодированием

Рассмотрим процедуру построения кода Хэмминга, реализующего идею многократных проверок на четность различных вариантов сумм кодовых элементов в определенных разрядах кодовой комбинации. В результате таких проверок удается получить номер искаженного разряда в двоичной системе исчисления.

Порядок построения кода Хэмминга следующий.

1. Определяется необходимое количество информационных k и проверочных r разрядов:

r = log2k, (8)

Число проверок в дальнейшем будет равняться числу проверочных разрядов r, а результат каждой проверки будет обозначаться символом 0 или 1. Записанные справа налево символы образуют число в двоичной системе счисления, соответствующее номеру искаженного разряда. Так как это число не может быть меньше k, а число разрядов в нем равно r, то должно выполняться условие:

2r - 1 ? k (9)

2. Все проверки заключаются в вычислении суммы по модулю 2 кодовых элементов в соответствующих разрядах кодовой комбинации. При первой проверке выбираются те разряды, двоичный номер которых содержит единицу в первом разряде, т.е. 1, 3, 5, 7, 9-й … . При второй проверке выбираются разряды, двоичный номер которых содержит единицу во втором разряде, т.е. 2, 3, 6, 7, 10-й … . При третьей проверке выбираются 4, 5, 6, 7, 12, 13-й … разряды и т.д.

3. Место расположения проверочных разрядов в кодовой комбинации в принципе может быть выбрано произвольным, однако при выбранном правиле проверок проверочные символы (0 или 1) удобнее размещать в разрядах, номера которых равны целой степени числа 2, т.е. в 1, 2, 4, 8-м и т.д.

4. Способ заполнения проверочных разрядов определяется правилом проверки корректирующего кода [26].

Например, построим код Хэмминга для таблицы 38 примера 1.

Таблица 38 - Мнение эксперта

	а	б	в	г	Кij
а		1	1	1	3
б	0		0	1	1
в	0	1		0	1
г	0	0	1		1

Кодовая комбинация таблицы выглядит следующим образом: 1 10 01 01 00 01.

Число информационных разрядов K = 12; число проверочных разрядов r = 4 (определяется из формулы (6)). Код Хэмминга, следовательно, должен иметь n = k +r = 16 разрядов.

Место расположения проверочных разрядов в кодовой комбинации удобнее размещать в разрядах, номера которых равны целой степени числа 2, т.е. в 1, 2, 4, 8-м и т.д. и контролировать те элементы, которые стоят справа от проверочного. Проверочный разряд равен сумме этих элементов по модулю 2.

Тогда кодовая комбинация примет вид:

^{1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16}

0 0 1 1 1 1 0 1 0 1 0 1 0 0 0 1

Возможно, в кодовой комбинации содержится ошибка. Для этого произведем четыре проверки:

1) 0 +1 + 1 + 0 + 0 + 0 + 0 + 0 = 0

2) 0 + 1 + 1 + 1 +0 + 0 + 0 = 1

3) 1 + 1 + 1 + 0 + 1 + 0 + 0 +0 = 0

4) 1 + 0 + 1 + 0 + 1 + 0 + 0 + 0 = 1.

Записывая результаты проверок, справа налево, устанавливаем, что искажен кодовый элемент в 10102 = 1•23 + 0• 22 + 1•21 + 0•20 = 10 разряде. Таким образом, правильной является кодовая комбинация 11 10 00 01 00 01. Значит, в таблице предпочтений необходимо исправить предпочтение б < г, на предпочтение б г.

Таблица 39 - Мнение эксперта

	а	б	в	г	Кij
а		1	1	1	3
б	0		0	0	0
в	0	1		0	1
г	0	1	1		2

Соответствующий ранжированный ряд имеет вид:

б в г а.



Из приведенного примера видно, что результаты, полученные в примере 1 и в данном случае, совпадают. Следовательно, нетранзитивность можно исключать как методом накопления измерительной информации, так и кодированием, с помощью помехоустойчивых кодов.

Алгоритм исключения нетранзитивности в результатах экспертных измерений с помощью кода Хэмминга приведен на рисунке 8.



Размещено на http://www.allbest.ru/

Рисунок 8 - Алгоритм исключения нетранзитивности в результатах экспертных измерений кодом Хэмминга



Выводы

1. Появление нетранзитивных включений обусловлено причинами, связанными с организацией экспертных измерений и психофизиологическими способностями экспертов.

2. Нетранзитивные включения могут появляться вследствие помех, а могут сигнализировать о неправильной постановке задачи или идентичности сравниваемых объектов, т.е. транзитивность можно рассматривать как полезный сигнал.

Нетранзитивные включения как полезный сигнал дает исследователям сигнал о методологической проблеме, о систематической ошибке.

Нетранзитивность в результате помех следует рассматривать как случайные ошибки.

3. Свойства нетранзитивных подмножеств:

1) минимальное количество элементов, из которых состоит нетранзитивное звено, равно трем;

2) звенья могут образовывать цепи с одним связывающим элементами;

3) нетранзитивное подмножество, состоящее из трех и более звеньев, с одним или более связывающими элементами могут образовывать сети;

4) в ранжированном ряду возможно появление одного или более нетранзитивного звена как по центру, так и по краям.

4. Нетранзитивность можно раскрыть путем изменения одного или нескольких знаков.

5. Установленные свойства нетранзитивных подмножеств являются признаками ошибок, которые могут быть использованы для их обнаружения. Предложено кодирование квалиметрической информации помехоустойчивым кодом, который позволяет обнаружить ошибки. Также выявлено, что применение помехоустойчивых кодов целесообразно при определении весовых коэффициентов, полученных методом двойного попарного сопоставления.

3. Исключение нетранзитивных подмножеств из результатов экспертиз

Решение актуальной задачи исключения нетранзитивных подмножеств из результатов экспертных измерений возможно путем накопления измерительной информации. Это фундаментальное свойство любого многократного измерения. Однако им нельзя воспользоваться при однократных экспертных измерениях, которые проводятся достаточно часто. Для исключения нетранзитивных подмножеств, получаемых в результатах однократного экспертного измерения, нами предложен метод шкалирования, который заключается в использовании реперных точек. Кроме того, для исключения нетранзитивных подмножеств из результатов экспертных измерений нами предложено использовать метод Кемени, вероятно-статистический метод и метод накопления.

3.1 Метод шкалирования

Метод шкалирования основан на выборе реперных точек на шкале порядка. Суть метода заключается в том, что эксперт будет сравнивать не объекты между собой, а объекты с реперной шкалой.

Схема работы эксперта будет выглядеть примерно следующим образом:

- проанализировать качество объектов;

- сравнивать показатели качества продукции а, б, в и т.д.;

- заполнить матрицу с помощью реперной шкалы.

Допустим необходимо сравнить три объекта экспертизы а, б, в. Результаты ранжирования представлены в таблице 40.



Таблица 40 - Мнение эксперта

Показатели	а	б	в	Кij
а		^	<	1
б	<		^	1
в	^	<		1

Ранжированный ряд имеет вид: б < а < в, но, б > в. Свойство транзитивности не выполняется, образуется нетранзитивный элемент б~а~в, который можно представить следующим образом на рисунке 9.

₁

б Ѓ© а

₂ Ѓ« ЃЄ ₃

в

Рисунок 9 - Свертка по результатам таблицы 41

Для раскрытия нетранзитивности в качестве избыточности вводим реперные точки 1, 2, 3, где 1> 2> 3. При этом возможны следующие варианты раскрытия нетранзитивного элемента:

1) 2 > в > 3 > а > 1 > б, т.к. 2 > 3 > 1 - решение отвергается;

2) 1 > б > 2 > в > 3 > а, т.к. 1> 2 > 3 - решение принимается;

3) 3 > а > 1 > б > 2 > в, т.к. 3 > 1 > 2 - решение отвергается;

4) б > 2 > в > 3 > а > 1, т.к. 2> 3 > 1 - решение отвергается;

5) в > 3 > а > 1 > б > 2, т.к. 3 > 1 > 2 - решение отвергается;

6) а > 1 > б > 2 > в > 3, т.к. 1 > 2 >3 - решение принимается.

Как видно из вышеизложенного, возможны 2 варианта раскрытия нетранзитивности (10), (11).



б > в > а (10)

и

а > б > в (11)

Возникает вопрос, какое же из этих неравенств правильное? Вероятность того, что неравенства (10) и (11) правильные, равнозначна.

Также допустим, что необходимо сравнить 4 объекта экспертизы: а, б, в, г. Возможно следующее заполнение экспертом таблицы 42.

Таблица 41 - Мнение эксперта

Показатели	а	б	в	г	Kij
а		<	^	<	2
б	^		^	^	0
в	<	<		^	2
г	^	<	<		2

При таком заполнении таблицы ранжированный ряд с нетранзитивным звеном б>а ~ в ~ г который можно, представить в виде рисунка 10.

₂

₁ а ЃЁ в

б > ₄ Ѓ« ЃЄ ₃

г

Рисунок 10 - Свертка по результатам таблицы 42

В качестве избыточности вводим реперные точки 1, 2, 3, 4, где 1> 2> 3> 4.

Возможны следующие варианты раскрытия нетранзитивного элемента:

1) 1>а>2>в>3>г>4, так как 1>2>3>4-решение принимается;

2) 2>в>3>г>4>а, так как 1>2>3>4 - решение принимается;

3) 3>г>4>а>2>в, так как 1 > 3 > 4 > 2 - решение отвергается;

4) 4>а>2>в>3>г, так как 1 > 4 > 2 > 3 - решение отвергается;

5) а>2>в>3>г>4, так как 1>2>3>4 - решение принимается;

6) в>3>г>4>а>2, так как 1 > 3 > 4 > 2 - решение отвергается;

7) г>4>а>2>в>3, так как 1 > 4 > 2 > 3 - решение отвергается.

При сравнении четырех объектов экспертизы возможны 3 варианта раскрытия нетранзитивности. Опять же возникает вопрос, какой же из них верный? При применении реперных точек возможно несколько вариантов раскрытия нетранзитивности.

3.2 Метод накопления измерительной информации

Многократное измерение одной или той же величины постоянного размера производится при повышенных требованиях к точности измерений. Такие измерения достаточно распространены.

Примером многократного измерения по шкале порядка служит работа экспертной комиссии.

Допустим, что экспертная комиссия состоит из 2 экспертов. Мнения экспертов представлены в таблицах 42-43.

Таблица 42 - Мнение 1 эксперта

Показатели	а	б	в	г	д	е	Kij
а		^	^	^	^	^	0
б	<		^	^	^	^	1
в	<	<		^	^	^	2
г	<	<	<		<	<	5
д	<	<	<	^		<	4
е	<	<	<	^	^		3



Таблица 43 - Мнение 2 эксперта

Показатели	а	б	в	г	д	е	Kij
а		<	<	^	^	^	2
б	^		<	^	^	^	1
в	^	^		^	^	^	0
г	<	<	<		^	<	4
д	<	<	<	<		^	4
е	<	<	<	^	<		4

Тогда свертки будут иметь вид, представлены соответственно:

а > б > в > е > д > г; в>б>а> г ~ д ~ е.

Общее предпочтение экспертов определяется по формуле:

где K_ij - предпочтение i-го эксперта по j-му показателю;

n - количество экспертов.

K₁ = 0+2=2;

K₂ = 1+1=2;

K₃ = 2+0=2;

K₄ = 5+4=9;

K₅ = 4+4=8;

K₆ = 3+4=7.

В результате обработки экспертных измерений имеются нетранзитивные включения:

K₁~ K₂ ~ K₃.

Для исключения нетранзитивности дополнительно привлечём 3 эксперта, мнение которого представлено в таблице 44.

Таблица 44 - Мнение третьего эксперта

Показатели	а	б	в	г	д	е	Kij
а		^	<	^	^	^	1
б	<		<	^	^	^	2
в	^	^		^	^	^	0
г	<	<	<		<	<	5
д	<	<	<	^		<	4
е	<	<	<	^	^		3

По результатам обработки экспертных измерений с учетом мнения третьего эксперта получены следующие данные:

K₁ = 0+2+1=3;

K₂ = 1+1+2=4;

K₃ = 2+0+0=2;

K₄ = 5+4+5=14;

K₅ = 4+4+4=12;

K₆ = 3+4+3=10.

По мнению трех экспертов, получается следующий ранжированный ряд: в>а>б>е>д>г.

В данном случае привлечение еще одного эксперта позволило нам раскрыть нетранзитивность. Но могут быть случаи, когда необходимо привлечь большее количество экспертов. Поэтому недостатком данного метода является привлечение большего числа экспертов, которое не всегда возможно.

3.3 Вероятностно-статистический метод исключения нетранзитивности

Вероятностно-статистический метод исключения нетранзитивности заключается в определении вероятности правильного решения экспертной комиссии, на основании которого принимается решение в пользу того или иного решения.

При сравнении двух объектов экспертизы а и б возможно получение двух неравенств: а < б и а > б. При вероятностно-статистическом методе раскрытия нетранзитивности по результатам экспертиз определяем вероятность правильного решения, что а < б. Если она ничтожно мала, то принимаем решение, что а > б.

Допустим, что экспертная комиссия, состоящая из 7 экспертов, сравнивает 5 объектов. Мнения экспертов представлены в таблицах 45-51.

Таблица 45 - Мнение первого эксперта

Показатели	а	б	в	г	д	Кij
а		^	<	^	<	4
б	<		<	<	^	6
в	^	^		^	<	2
г	<	^	<		^	4
д	^	<	^	<		4

Таблица 46 - Мнение второго эксперта

Показатели	а	б	в	г	д	Кij
а		<	^	<	<	6
б	^		^	^	<	2
в	<	<		^	<	6
г	^	<	<		^	4
д	^	^	^	<		2

Таблица 47 - Мнение третьего эксперта

Показатели	а	б	в	г	д	Кij
а		<	<	<	<	8
б	^		^	<	^	2
в	^	<		<	^	4
г	^	^	^		<	2
д	^	<	<	^		4



Таблица 48 - Мнение четвертого эксперта

Показатели	а	б	в	г	д	Кij
а		^	^	^	^	1
б	<		<	<	<	8
в	<	^		^	<	4
г	<	^	<		<	6
д	<	^	^	^		2

Таблица 49 - Мнение пятого эксперта

Показатели	а	б	в	г	д	Кij
а		0	<	^	<	4
б	<		<	^	<	6
в	^	0		^	<	2
г	<	<	<		^	6
д	^	^	^	<		2

Таблица 50 - Мнение шестого эксперта

Показатели	а	б	в	г	д	Кij
а		^	^	^	<	2
б	<		<	<	^	6
в	<	^		^	^	2
г	<	^	<		^	4
д	^	<	<	<		6

Таблица 51 - Мнение седьмого эксперта

Показатели	а	б	в	г	д	Кij
а		<	<	^	<	6
б	^		^	^	^	0
в	^	<		<	<	6
г	<	<	^		^	4
д	^	<	^	<		4

Данные экспертов можно представить следующим образом:

1 эксперт: в > а ~ г ~д > б,



отсюда видно, что у первого эксперта возникает нетранзитивный элемент.

2 эксперт: б ~ д> г> а ~ в

3 эксперт: б ~ г > в ~ д > а

4 эксперт: а > д > в > г >б

5 эксперт: в ~ д > а > б ~ г

6 эксперт: а ~ в >г >б ~ д

7 эксперт: б > г ~ д > а ~ в.

Результат многократного измерения в данном случае имеет вид:

в > д > а ~ б ~ г,

что свидетельствует о появлении нетранзитивности в суждениях экспертной комиссии. При обработке экспериментальных данных подсчитывается количество предпочтений. У одного эксперта обнаруживается равное количество предпочтений. Это говорит о том, что экспертом допущена ошибка.

Таким образом, возникает задача выявления и исключения ошибки, допущенной экспертом.

Для исключения нетранзитивности в данном случае применим вероятностно-статистический метод. Сначала определим вероятность правильного решения каждого неравенства экспертами.

В данном случае с предпочтением, а < б согласно мнению 3 эксперта, с предпочтением, а < б согласно мнению 4 эксперта, с предпочтением, а < в согласно мнению 4 эксперта, с предпочтением, а < в согласно мнению 3 эксперта, с предпочтением, а < г согласно мнению 3 эксперта, с предпочтением, а < г согласно мнению 4 эксперта, с предпочтением, а < д согласно мнению 5 экспертов, с предпочтением, а < д согласно мнению 2 эксперта, с предпочтением б < в согласно мнению 4 эксперта, с предпочтением б < в согласно мнению 3 эксперта, с предпочтением в < г согласно мнению 3 эксперта, с предпочтением в < г согласно мнению 4 эксперта, с предпочтением г < д согласно мнению 4 эксперта, с предпочтением г > д согласно мнению 3 эксперта.