Исследование нетранзитивных подмножеств в результатах экспертных измерений

Размещено на http://www.allbest.ru/

ВОСТОЧНО-СИБИРСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

ТЕХНОЛОГИЙ И УПРАВЛЕНИЯ

На правах рукописи

Диссертация на соискание ученой степени кандидата технических наук

исследование нетранзитивных подмножеств в результатах экспертных измерений

05.02.23 Стандартизация и управление качеством продукции

Шарапова саяна мункоевна

Научный руководитель:

Доктор технических наук, доцент Д.Н. Хамханова.

Улан-Удэ 2014



Содержание

Перечень условных обозначений и сокращений

Введение

1. Появление нетранзитивных подмножеств в результатах экспертных измерений

1.1 Экспертные методы измерений

1.1.1 Однократное и многократное экспертное измерение

1.1.2 Методы обработки результатов экспертных измерений

1.1.2.1 Метод ранжирования

1.1.2.2 Метод попарного сопоставления

1.1.2.3 Метод двойного попарного сопоставления

1.2 Нетранзитивность в результатах экспертных измерений

1.3 Анализ проблемы нетранзитивности результатов экспертных измерений

1.3.1 Парадокс Кондорсем

1.3.2 Метод Борда

1.3.3 Аксиомы Эрроу

1.3.4 Метод Кемени

1.3.5 Метод Шульце

Выводы

2. Исследование нетранзитивных подмножеств в результатах экспертных измерений

2.1 Причины возникновения нетранзитивных подмножеств

2.1.1 Нетранзитивные подмножества как полезные сигналы

2.1.2 Нетранзитивные подмножества как сенсорные ошибки

2.2 Свойства нетранзитивных подмножеств

2.3 Борьба с нетранзитивными подмножествами

2.4 Кодирование квалиметрической информации

2.5 Исключение нетранзитивности кодированием

Выводы

3. Исключение нетранзитивных подмножеств из результатов экспертиз

3.1 Метод шкалирования

3.2 Метод накопления измерительной информации

3.3 Вероятностно-статистический метод исключения нетранзитивности

Выводы

4. Исключение нетранзитивных подмножеств из результатов экспертных измерений в пищевой промышленности

4.1 Исключение нетранзитивных подмножеств из результатов экспертных измерений при определении весовых коэффициентов качества продукции молочной промышленности методом накопления

4.2 Исключение нетранзитивных подмножеств из результатов экспертных измерений при определении весовых коэффициентов качества продукции мясной промышленности методом накопления

4.3 Исключение нетранзитивных подмножеств из результатов экспертных измерений при определении весовых коэффициентов качества продукции мясной промышленности вероятностно-статистическим методом

4.4 Исключение нетранзитивных подмножеств из результатов экспертных измерений при определении весовых коэффициентов показателей качества хлебобулочной продукции методом Кемени

Выводы

Заключение

Список использованных источников

Приложение А. Многоуровневая структура показателей качества кефира

Приложение Б. Анкеты для опроса экспертов для определения весовых коэффициентов показателей качества кефира

Приложение В. Результаты определения весовых коэффициентов показателей качества кефира

Приложение Г. Многоуровневая структура показателей качества вареной колбасы «Докторская»

Приложение Д. Анкеты для опроса экспертов для определения весовых коэффициентов показателей качества колбасы вареной «Докторская»

Приложение Ж. Результаты определения весовых коэффициентов показателей качества вареной колбасы «Докторская»

Приложение К. Многоуровневая структура показателей качества хлебобулочных изделий

Приложение Л. Анкеты для опроса экспертов для определения весовых коэффициентов показателей качества хлебобулочных изделий

Приложение М. Результаты определения весовых коэффициентов показателей качества хлебобулочных изделий

Приложение Н. СТО 02069473.001-2013 «Методика оценки качества пищевой продукции экспертными методами измерений»

Приложение П. СТО 02069473.002-2013 «Исключение нетранзитивных подмножеств из результатов экспертных измерений. Метод накопления».

Приложение Р. СТО 02069473.003-2013 «Исключение нетранзитивных подмножеств из результатов экспертных измерений. Вероятностно-статистический метод».

Приложение С. «Положение о производственной лаборатории».

Приложение Т. «Положение о дегустационной комиссии»

Приложение У. Акты и справки о внедрении



Перечень условных обозначений и сокращений

А₁, А₂, . . . - ответы экспертов

а, б, в, г, д, е, ж, … (A, B, C) - объекты экспертизы

ГБОУ СПО БРТПиПП - государственное бюджетное образовательное учреждение среднего профессионального образования Бурятский республиканский техникум пищевой и перерабатывающей промышленности

К - контрольная проба

Л, Х - продукты

ЛПР - лицо принимающее решение

МОК - методика оценивания качества

ООО - общество с ограниченной ответственностью

ООО «Байкальская промысловая компания» - общество с ограниченной ответственностью «Байкальская промысловая компания»

ООО МИП «Алтан Уула» - общество с ограниченной ответственностью малое инновационное предприятие «Алтан Уула»

ООО МИП «Доктор Хлеб» - общество с ограниченной ответственностью малое инновационное предприятие «Доктор Хлеб»

ООО «Пиката» - общество с ограниченной ответственностью «Пиката»

СППК «Профит» - сельскохозяйственный потребительский перерабатывающий кооператив «Профит»

СССР - Союз Советских социалистических республик

СТО -- стандарт организации

СЭМ -- сенсорные экспертные методы

ФГБОУ ВПО ВСГУТУ - Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования Восточно-Сибирский государственный университет технологий и управления

d [a, * ], d [б, * ], d [в, * ], - количество предпочтений между объектами * и

А, В, С соответственно, где * - от А до С

F_{i j -} частота предпочтения i-м экспертом j-го объекта экспертизы

G - ранг, проставленный i-м экспертом j-му показателю качества

g_j - весовой коэффициент j-го показателя качества

K_i,j - число предпочтений i-м экспертом j-го объекта экспертизы

М - математическое ожидание

m - количество показателей качества

n - число мнений, удовлетворяющих необходимому условию

Рэ - вероятность предпочтений экспертов

Р₁, - первая проба

Р₂ - переменная проба, вторая проба

Р_I - вероятность ошибки первого рода

Р_II - вероятность ошибки второго рода

P_ijⁿ - мнения экспертов

n - количество экспертов

Q - случайный размер

Q_i , Q_j - i- й и j-й размеры

t - количество объектов

Х_доп - условная вероятность правильного решения о том, что i- й размер больше или меньше j-го размера

~ - обозначена равнозначность объектов

>, ^ - предпочтительность объектов.



Введение

Решение проблем повышения качества выпускаемой продукции является сегодня неотъемлемым элементом стратегии развития любого производства. В соответствии с существующими требованиями все процессы, связанные с повышением качества и конкурентоспособности продукции, следует начинать с анализа потребителей и ожиданий потребителей этой продукции, для чего в настоящее время широко используют экспертные методы измерений.

Экспертные методы измерений получили широкое распространение в различных отраслях: в пищевой, легкой, парфюмерной промышленности, архитектуре, медицине, спорте и т.д. [2-13, 15-27, 33-37, 39-49, 57-61, 64-66, 75, 103-106].

Они применяются тогда, когда применение более объективных методов с использованием технических средств невозможно, сложно и экономически невыгодно. Разновидностями экспертных измерений являются органолептические измерения и социологические исследования.

Экспертные измерения обычно проводятся по шкале порядка. Однако при измерениях по шкале порядка возникает такая ситуация, когда появляются нетранзитивные подмножества (включения), т.е. не соблюдается один из основных принципов измерения [20,50-56, 94, 95, 102, 111, 131, 132].

Особенно часто появляются нетранзитивные включения при определении весовых коэффициентов показателей качества пищевых продуктов методами ранжирования и попарного сопоставления [76-80, 86-90].

Впервые появление нетранзитивных подмножеств за рубежом была рассмотрена в работах [111,128]. В дальнейшем решению задачи исключения нетранзитивных подмножеств был посвящен ряд работ [41, 106, 112].

У нас в стране проблеме появления нетранзитивных подмножеств посвящены работы И.Ф. Шишкина [94,95,102], Поддъякова [54-56, 138] и С.В. Муравьева [131-132].

Однако эта задача не решена полностью. Метод нахождения сильнейшего пути [50-53], предложенный Шульцем, при голосовании не подходит, например, для исключения нетранзитивных подмножеств, полученных при определении весовых коэффициентов показателей качества пищевых продуктов.

С другой стороны, метод исключения нетранзитивных подмножеств путем нахождения медианы, предложенный Кемени, не всегда приемлем, так как может получиться несколько медиан.

Важность исключения нетранзитивных подмножеств продиктована:

а) широким применением экспертных методов измерений. Ежедневно в различных отраслях промышленности России выполняются сотни тысяч измерений экспертными методами для определения качества продукции и услуг;

б) ответственностью измерений экспертными методами, результаты которых используются на всех этапах производства;

в) требованиями взаимного доверия потребителей к результатам измерений экспертными методами.

В связи с этим возникает актуальная научная задача исключения нетранзитивных подмножеств из результатов экспертных измерений, позволяющих повысить их достоверность.

Целью диссертационной работы является разработка методов исключения нетранзитивных подмножеств из результатов экспертных измерений при контроле качества пищевых продуктов.

В соответствии с поставленной целью решались следующие задачи:

- исследование свойств нетранзитивных подмножеств;

- разработка способа выявления нетранзитивных подмножеств;

- применение метода Кемени для исключения нетранзитивных подмножеств из результатов определения весовых коэффициентов показателей качества пищевых продуктов;

- разработка методов исключения нетранзитивных подмножеств;

- опытно-промышленная апробация методов исключения нетранзитивных подмножеств на предприятиях пищевой промышленности при контроле качества органолептических показателей качества пищевых продуктов.

Методы исследования, обоснованность, достоверность.

Для решения поставленных задач были использованы методы: теории измерений, теории вероятности, математической статистики и имитационное моделирование.

Обоснованность применяемых методов подтверждается их широким использованием в самых различных прикладных исследованиях.

Достоверность результатов и выводов исследования подтверждена большим объёмом экспериментальных исследований, проведенных на предприятиях Республики Бурятия: общество с ограниченной ответственностью «Пиката» (ООО «Пиката»), ООО Малое инновационное предприятие «Алтан Уула» (ООО МИП «Алтан Уула»), Государственное бюджетное образовательное учреждение среднего профессионального образования Бурятский республиканский техникум пищевой и перерабатывающей промышленности (ГБОУ СПО БРТПиПП), ООО «Байкальская промысловая компания», сельскохозяйственный потребительский перерабатывающий кооператив «Профит» (СППК «Профит»), ООО Малое инновационное предприятие «Доктор Хлеб» (ООО МИП «Доктор Хлеб»).

Основные положения, выносимые на защиту и составляющие научную новизну.

1. Впервые установленные свойства нетранзитивных подмножеств и предложенный метод выявления нетранзитивных подмножеств, заключающийся в помехоустойчивом кодировании квалиметрической информации.

2. Разработанный метод исключения нетранзитивных подмножеств путём накопления квалиметрической информации, основанный на фундаментальном свойстве многократного измерения.

3. Разработанный вероятностно-статистический метод исключения нетранзитивных подмножеств, заключающийся в определения вероятности правильного решения экспертной комиссии.

4. Разработанный метод шкалирования, основанный на выборе реперных точек на шкале порядка, заключающийся в том, что эксперт сравнивает объекты не между собой, а с реперными точками.

Практическая значимость диссертационного исследования.

Научные результаты диссертационной работы и предложенные в ней решения реализованы при разработке стандартов организации и положений по проведению экспертных измерений на предприятиях пищевой промышленности. Разработанная система документов состоит из:

1. СТО 02069473.001-2013 «Методика оценки качества пищевой продукции экспертными методами измерений»;

2. СТО 02069473.002-2013 «Исключение нетранзитивных подмножеств из результатов экспертных измерений. Метод накопления».

3. СТО 02069473.003-2013 «Исключение нетранзитивных подмножеств из результатов экспертных измерений. Вероятностно-статистический метод».

4. «Положение о дегустационной комиссии».

5. «Положение о производственной лаборатории».

По теме диссертационной работы выполнена госбюджетная научно-исследовательская работа «Разработка методологических принципов обеспечения единства экспертных измерений», № государственной регистрации 01.200315157.

Апробация разработанных стандартов организаций и положений, проведенная в ООО «Пиката», ООО МИП «Алтан Уула», ГБОУ СПО БРТПиПП», ООО «Байкальская промысловая компания», СППК «Профит», ООО МИП «Доктор Хлеб» Республики Бурятия, показала целесообразность их применения. Кроме того, разработанные стандарты организации могут быть распространены на исключение нетранзитивных подмножеств из результатов экспертных измерений в ряде других отраслей, таких как парфюмерная, легкая, образование и т.п., где находят широкое применение экспертные методы измерений.

Результаты исследования, отдельные положения и рекомендации получили принципиальное одобрение и внедрены на предприятиях пищевой промышленности Республики Бурятия (ООО «Пиката», ООО МИП «Алтан Уула», ГБОУ СПО БРТПиПП, ООО «Байкальская промысловая компания», СППК «Профит», ООО МИП «Доктор Хлеб») и используются в учебном процессе ВСГУТУ по направлениям подготовки «Стандартизация и метрология», «Управление качеством» по дисциплинам «Квалиметрия» и «Квалиметрия и квалиметрический анализ».

Апробация работы. Основные положения диссертационного исследования докладывались и обсуждались на: международной научно-практической конференции «Качество образования: системы, технологии, инновации» (Барнаул, 2007 г.); XIII Международной научно-практической конференции студентов, аспирантов и молодых ученых "Современные техника и технологии" (Томск, 2007 г.), Юбилейной школе-конференции с международным участием (Москва, 2007 г.); I международной научно-практической конференции «Качество как условие повышения конкурентоспособности и путь к устойчивому развитию» (Улан-Удэ, 2009 г.), ежегодных научно-практических конференциях ВСГУТУ (Улан-Удэ, 2007-2013 гг.), опубликованы в журналах «Вестник ВСГТУ» (2011 г.), «Известия КГТУ» (2012 г.), «Фундаментальные исследования» (2012-2013 гг.).

Под руководством автора по теме диссертационной работы выполнены следующие дипломные работы: «Исследование экспертных методов оценки качества мясных изделий» (студентка ВСГУТУ Ц.Н. Бимбаева), «Сравнительный анализ экспертных методов измерений при оценке качества хлебобулочных изделий» (студентка ВСГУТУ А.Б. Будожапова), «Исследование экспертных методов оценки качества хлебобулочных изделий» (студентка ВСГУТУ Д.П. Раднаева), «Исследование экспертных измерений в ООО «Бурятмясопром»» (студентка ВСГУТУ А.С. Калашникова), «Методология проведения экспертных измерений в ОАО «Молоко Бурятии» (студентка ВСГУТУ А.А. Мункуева), «Исследование нетранзитивных включений в результатах экспертных измерений на примере хлебобулочных изделий» (студентка ВСГУТУ Е.Е. Бамбагаева).



1. Появление нетранзитивных подмножеств в результатах экспертных измерений

1.1 Экспертные методы измерений

Экспертные методы измерений получили широкое распространение в различных отраслях: в пищевой, легкой, парфюмерной промышленности, архитектуре, медицине, спорте и т.д.

Они применяются тогда, когда применение более объективных методов с использованием технических средств невозможно, сложно или экономически невыгодно. Разновидностями экспертных измерений являются органолептические измерения и социологические исследования [16, 19, 22-25, 52, 83].

В квалиметрии экспертный метод применяется для измерения показателей качества, определения значений весовых коэффициентов. Экспертные методы не требуют дорогостоящего оборудования, приборов, реактивов и нетрудоемки по времени. Научно организованный экспертный метод измерения по чувствительности превосходит многие приемы лабораторных исследований. В ряде случаев это единственно возможный метод, позволяющий отличить высококачественный продукт от ординарного, фальсифицированный от натурального, выявить ранние признаки порчи [92].

Однако экспертные методы не являются принадлежностью только квалиметрии. Они применяются при измерении физических величин, в медицине (консилиумы), в искусстве (жюри), в социально-политической сфере (референдумы), в государственном и хозяйственном управлении (коллегиальность). Но именно потребности квалиметрии поставили этот метод измерений на строгую научную основу [101].

Особенность экспертной квалиметрии заключается в том, что она ориентирована на человека как непосредственного измерителя качества в системе оценки. В настоящее время экспертные методы оценки качества представляют собой наиболее развитую область квалиметрии, они рассматриваются и исследуются во многих работах.

Однако целостного представления об экспертной квалиметрии как единой теории нет, нет единого понимания, что относить к методам экспертной квалиметрии: можно ли отнести к ним социометрические методы, оценки, формируемые лицом, принимающим решение (ЛПР), психофизические (органолептические), психологические, тестовые методы измерения качества.

Задачи, решаемые методами экспертной квалиметрии, многообразны, они касаются как процедур (алгоритмов) оценки качества в целом, так и отдельных операций оценивания - определения коэффициентов весомости, шкалирования, выявления отношений взаимозаменяемости в пространстве мер (показателей), определения состава оценочных показателей, обоснования системы базовых значений показателей, обоснования граничных (пороговых) значений показателей.

В экспертной квалиметрии выделяются два основных класса экспертиз. Первый - класс интеллектуальных экспертных методов, основанных на привлечении интеллекта (опыта, знаний) специалиста, второй - класс сенсорных экспертных методов (СЭМ), состоящий в использовании сенсорных (чувствительных) возможностей человека (специалиста). Отметим, что класс СЭМ по своему содержанию шире традиционно понимаемых органолептических измерений, использующих зрительный, слуховой, тактильный и другие анализаторы (органы чувств). Он охватывает также методы оценки качества, основанные на фиксируемых ощущениях испытателей различных видов техники (например, транспортных средств) [10].

По теоретическим и прикладным вопросам применения экспертного метода (для целей оценки качества) существует весьма обширная литература на русском и иностранном языках [1-25, 39-49, 57-61, 62-66, 68-71, 73-74, 81-82, 84, 97-100, 108-111, 115-118, 121-127, 133-143].

Экспертный метод - это метод решения задач, характеризующийся тем, что: 1) в решении участвует группа людей; 2) эти люди являются экспертами; 3) задача состоит в получении новой информации; 4) эта информация имеет общественную значимость; 5) при решении задачи обычно не используется определенный, общий для всех экспертов алгоритм; 6) решение базируется на опыте и интуиции экспертов, а не на непосредственных результатах расчетов или экспериментов. С учетом последней особенности экспертного метода приходится считать, что такие виды деятельности экспертов, которые требуют от них проведения специальных анализов, экспериментов, исследований и т.д., например криминалистическая или бухгалтерская экспертиза, строго говоря, не должны квалифицироваться как примеры применения собственно экспертного метода [8].

Решение задачи дается в форме коллективного экспертного суждения, получаемого на основе агрегирования индивидуальных экспертных суждений, выносимых отдельными экспертами.

Если экспертные суждения выражаются в количественной форме или по своему характеру могут интерпретироваться как оценочные (много - мало, лучше - хуже, дальше - ближе и т.д.), то они называются экспертными оценками - коллективными или индивидуальными. Процесс выявления индивидуальных экспертных суждений (или оценок) называется экспертным опросом, а вся совокупность процедур, необходимых для получения коллективного экспертного суждения (оценки), включая и процедуру экспертного опроса, носит название экспертизы.

Экспертный метод (для его обозначения применяются и другие термины-синонимы: экспертный способ, метод экспертных оценок), строго говоря, представляет собой не какой-то единый метод, а является совокупностью различных методов, которые могут считаться его модификациями. В свою очередь, сам экспертный метод вместе с так называемым социологическим методом образует метод групповых решений, входящий составной частью в теорию принятия решений [8].

Различные разновидности экспертного метода применялись и применяются у всех народов и во все времена для обсуждения разнообразных проблем и вынесения решений на советах, совещаниях, комиссиях и т.д. - везде, где основой решения являлось коллективное мнение компетентных людей (т.е. экспертов). Например, типично экспертными являются оценки, выставляемые учащимся на экзаменах в средней и высшей школе. То же относится к голосованию во всех органах коллективного руководства - партийных, административных, научных, общественных. Вообще, можно считать, что любое решение, принимаемое группой компетентных людей, представляет собой разновидность экспертного метода.

Использование экспертного метода целесообразно только в задачах особого класса, характеризующихся наличием одного из двух условий.

1. Задача не может быть решена никаким другим существующим способом. Например, в настоящее время еще не существует каких-либо (не являющихся экспертными) способов, с помощью которых было бы возможно достаточно надежно и точно оценивать эстетическую привлекательность внешнего вида произведений архитектуры или дизайна.

2. Другие, кроме экспертного, способы являются менее точными или более трудоемкими. Так, при оценке вкусовых качеств пищевых продуктов экспертный метод очень часто все еще дает более достоверные результаты и требует меньших затрат времени, чем методы физического или химического анализа. Особенно эффективно использование экспертного метода в задачах, характеризующихся неопределенностью ситуации, ее вероятностным характером. При этих условиях решение, данное экспертом, зачастую оказывается более точным, чем полученное расчетным путем, так как эксперт способен учитывать исходные данные в их динамике, развитии - начиная от генезиса этих данных с учетом их современного состояния и кончая прогнозированием их развития [8].

Вместе с тем экспертный метод не должен применяться, если имеются аналитические или экспериментальные методы, с помощью которых проблема может быть решена с меньшими затратами или более точно.

И данные практики, и теоретические исследования свидетельствуют о том, что экспертные суждения при соблюдении правильной методологии их получения содержат в себе достаточно достоверную информацию, использование которой позволяет принимать вполне обоснованные решения. В практическом аспекте это подтверждается, например, многовековым опытом человечества, при столкновении со сложной проблемой очень часто применявшим разновидность экспертного метода - групповые решения компетентных людей. Огромный опыт накоплен при экспертной оценке качества продукции. Такая экспертиза применяется во внешней и внутренней торговле большинства стран мира. На ее основе очень часто решается вопрос об отнесении партии изделий к той или иной качественной категории, устанавливаются продажные цены на многие продукты. Многолетний опыт применения экспертного метода в товароведении показал его достаточную надежность, в связи с чем во многих странах заключения эксперта-товароведа имеют юридическое значение [8].

В теоретическом аспекте правомерность использования экспертного метода подтверждается тем обстоятельством, что методологически правильно полученные экспертные суждения удовлетворяют двум общепринятым в науке критериям достоверности любого нового знания: точности и воспроизводимости результата. Что касается точности, то хороший эксперт способен давать свои суждения, очень близкие к истине, и гораздо более точные, чем суждения, полученные от неэкспертов.

Существует несколько основных областей применения экспертного метода: оптимизация управленческих решений; прогнозирование; оценка качества различных объектов и, главным образом, оценка качества продукции [8].

В экспертном методе можно выделить две черты: общую, не зависящую от сферы применения, т.е. от решаемых с его помощью задач; и специфическую, отличающую, например, методологию экспертной оценки качества от методологии экспертного прогнозирования. Общие черты касаются в основном двух этапов экспертизы: 1) формирования экспертной комиссии; 2) процедуры проведения экспертного опроса.

Преимущества экспертного метода: относительная технологическая простота применения, малые затраты времени на разработку и использование методики оценивания качества (МОК).

Недостатки экспертного метода: большая трудоемкость, связанная с необходимостью привлечения в качестве экспертов многих квалифицированных специалистов, относительно большая погрешность и малая надежность итоговых результатов.

Понятия индексной квалиметрии, основные определения и положения отражают концепцию индексной квалиметрии, изложенную в работах [63, 64].

Индексная квалиметрия есть теория измерения и оценки уровня качества или отдельных показателей качества объектов и процессов во времени и пространстве с помощью индексов. Индексная квалиметрия применяет и развивает аппарат теории индексов.

Из данного определения следует, что основная направленность индексной квалиметрии - оценка изменения, темпов движения показателей качества объектов и процессов. Индексная квалиметрия есть теоретическая подобласть измерения динамики качества.

Поскольку индексная квалиметрия базируется на концептуальном аппарате теории индексов (или индексологии), определенные теоретические положения теории индексов переносятся в индексную квалиметрию [64].

Экспертные измерения классифицируются также как и инструментальные измерения на однократные и многократные.



1.1.1 Однократное и многократное экспертное измерение

Видом измерений названа часть области измерений, имеющая свои особенности и отличающаяся однородностью измеряемых величин. По числу повторных измерений одной и той же величины различают однократные и многократные измерения. Однократное измерение - измерение, выполненное одним экспертом. Многократное измерение - измерение экспертной комиссии, результат которого получен из нескольких следующих друг за другом измерений, т.е. состоящее из ряда однократных измерений [101].

Подавляющее большинство измерений являются однократными. Можно сказать, что в обиходе, торговле, во многих областях производственной деятельности выполняются только однократные измерения. В обычных условиях их точность вполне приемлема, а простота, высокая производительность (количество измерений в единицу времени) и низкая стоимость (по оценке трудозатрат) ставят их вне конкуренции.

Необходимым условием проведения однократного измерения служит наличие априорной информации. К ней относится, например, информация о виде закона распределения вероятности показания и мере его рассеяния, которая извлекается из опыта предшествующих измерений, компетентность эксперта. Без априорной информации выполнение однократного измерения бессмысленно [101].

При обработке результатов однократного измерения предварительно проводится тщательный анализ априорной информации. В ходе этого анализа уясняется физическая сущность изучаемого явления, уточняется его модель, определяются влияющие факторы и меры, направленные на уменьшение их влияния, значения поправок, принимается решение в пользу той или иной методики измерения, выбирается эксперт (дегустатор), изучаются его квалификационные характеристики и опыт выполнения подобных измерений в прошлом. Важным итогом этой предварительной работы должна стать твердая уверенность в том, что точности однократного измерения достаточно для решения поставленной задачи. Если это условие выполняется, то после необходимых приготовлений, включающих выбор эксперта, исключение или компенсацию влияющих факторов, выполняется основная измерительная процедура - получение одного значения показания эксперта.

Согласно аксиоме метрологии, показание является случайным. Ни одно из отдельных его значений не дает полного представления о таком значении [101].

Конечной целью измерительного эксперимента является получение достоверной количественной информации о значении измеряемой величины. На пути к достижению этой цели получение результата однократного измерения служит промежуточным этапом. Дальнейшее зависит от того, какая априорная информация используется.

На основании анализа априорной информации устанавливаются вероятности ошибок первого и второго рода P_I и P_II. После этого выполняется основная измерительная процедура - сравнение между собой размеров Q_i и Q_j. На основании сравнения принимается решение относительно неравенства Q_i ? Q_j. Результат измерения представляет собой решение с указанием его вероятности [93].

Разновидностью однократного измерения по шкале порядка служит контрольно-измерительная операция, при которой случайный размер Q сравнивается с нормой.

Другой разновидностью однократного измерения по шкале порядка является обнаружение полезного сигнала на фоне случайных помех.

Результатом сравнения является ранжированный ряд, представляющий собой ряд однократных решений. В зависимости от того, как он получен, ранжированный ряд может быть:

- результатом измерений, если сравнение размеров производиться опытным путем: ранжированием; попарным сопоставлением; двойным попарным сопоставлением.

- результатом вычислений, если сравнение размеров производится теоретически (расчетным методом);

- смешанным ранжированным рядом, т. е. просто результатом сравнения размеров по шкале порядка, если сравнение производилось и теоретически, и экспериментально [85].

Во-первых, независимо от того, как получен ранжированный ряд, одним из условий обеспечения единства измерений экспертными методами по шкале порядка, несомненно, является требование к соблюдению свойства транзитивности шкалы. Например, если Q₁>Q₂ и Q₂>Q_3, то Q₁>Q_3.

Во-вторых, во всех случаях ранжированный ряд представляет собой ряд однократных решений: Q₁>Q_2, Q₂>Q_3,…,Q_i>Q_j и т. д.

Любое из этих однократных решений может быть как правильным, так и неправильным. Следовательно, необходимо определить качество однократного решения, которое зависит от способа получения ранжированного ряда. В том случае, если ранжированный ряд является результатом измерения, то для получения качественного однократного решения следует нормировать условную вероятность правильного решения о том, что i-й размер меньше или больше j-го размера - г_доп., а также условную вероятность правильного составления всего ранжированного ряда.

Вполне понятно, что вероятность правильного решения зависит от квалификации эксперта и равна его вероятности правильного решения. И естественно, что она должна быть не меньше некоторого фиксированного значения.

В тех случаях, когда ранжированный ряд является результатом вычислений, если сравнение размеров производилось теоретически (расчетным методом), то результат вычислений не является случайным. Если все расчеты выполнены, верно, то в этом случае любое однократное решение является правильным и нет необходимости нормировать условные вероятности правильного решения.

А в случаях, когда ранжированный ряд является смешанным ранжированным рядом, то необходимо нормировать условную вероятность правильного решения только при сравнении размеров производимых опытным путем, так как сравнение размеров производимое теоретически значительно точнее опытного.

Кроме того, ранжированный ряд может быть составлен по результатам комплексирования.

В квалиметрии часто составляют ранжированный ряд по результатам комплексирования показателей качества. Здесь меры качества принято называть показателями качества. Показатели качества, в зависимости от измеряемых свойств могут быть выражены как в единицах физических величин, так и в безразмерных единицах и в баллах. В этом случае возникает ряд дополнительных требований к формированию качественного ранжированного ряда, исходящих из требований к комплексированию:

- комплексирование показателей качества необходимо проводить с учетом соблюдения правил теории размерностей, для этого следует перейти от абсолютных значений единичных показателей к относительным, которые всегда безразмерны;

- для исключения компенсации низких значений главных показателей качества высокими значениями второстепенных комплексный показатель следует умножать на коэффициент вето G(Q_j) [70, 75, 85].

1.1.2 Методы обработки результатов экспертных измерений

В настоящее время разработаны различные методы экспертных измерений. Наиболее полная классификация экспертных методов дана в работе Г.Г. Азгальдова [3], в которой выделены 16 методов оценки качества проектов. Кратко приведем суть каждого метода.

Метод А. Суть этого метода заключается в том, что группа экспертов в количественной форме оценивает каждый из конкурирующих вариантов проектов по совокупности всех свойств, характеризующих качество этих вариантов. Затем на основе усреднения всех оценок отдельных экспертов определяется общая оценка.

Метод Б. Оценка объекта производится одним экспертом.

Метод В. Путем статистической обработки данных о реализации того или иного объекта выявляется мнение потребителей. При этом принимается, что наиболее покупаемая продукция свидетельствует о том, что качество этого изделия лучше, чем остальных аналогичных.

Метод Г основывается на массовом социологическом опросе потребителей (путем анкетирования и интервьюирования) [3].

Метод Д. Оценка проекта производится по показателю одного свойств, а остальные значения показателей качества фиксируются недостаточно жестко, некоторые вообще не фиксируются.

Метод Е. Выбор лучшего проекта осуществляются по показателю экономичности. В рамках данного метода стараются обеспечить сопоставимость отличающихся друг от друга проектов. С этой целью производят корректировку значений показателя экономичности для каждого варианта. Корректировка эта заключается в том, что проводят подсчет дополнительных затрат, которые нужно провести по каждому варианту, для обеспечения качественной равнозначности с вариантом - аналогом.

Метод Ж. Лучший вариант определяется только по одному показателю, выступающему в роли целевой функции, при ограничениях, наложенных на показатели других свойств.

Метод И. Выбор лучшего варианта осуществляется по комплексному показателю, образованному на основе функциональной зависимости между единичными показателями.

Метод К. Выбор лучшего варианта осуществляется по комплексному показателю, образованному в виде отношения экономичности к показателю эффективности [3].

Метод Л. Отличие этого метода от предыдущего заключается в том, что выбор лучшего варианта осуществляется по комплексному показателю, определяемому как разность значений этих двух показателей. Необходимым условием применение данного метода является выражение обоих показателей качества в одних и тех же единицах. В данном случае показатель эффективности выражают в денежной форме.

Метод М. Варианты сравниваются по значениям показателей отдельных свойств. Лучшие значения показателей качества выделяются определенным образом, не количественно (например, знаками (+) или (>) обозначаются лучшие показатели качества, а остальные - знаками (-) или (<)). Затем составляется таблица сравнения вариантов, на основании которого выбирается лучший вариант.

Метод Н заключается в том, что качество вариантов определяется путем сравнения значений отдельных показателей. Отличие от метода М выражается в том, что значения показателей качества определяются в количественной форме.

Метод О. В этом методе определяются весовые коэффициенты показателей качества одним экспертом, которые в дальнейшем будут приниматься для определения комплексного показателя качества.

Метод П. Сначала одним из способов (экспертным или аналитическим) определяются весовые коэффициенты показателей качества объекта. Затем их ранжируют по мере их важности и определяют значение наиболее важного показателя качества у сравниваемых объектов. Считается лучшим тот объект, у которого значение наиболее важного показателя качества выше. Если у нескольких объектов значения наиболее важных показателей качества равноценны, то определяют значения следующего по важности показателя качества и т. д. [3].

Метод Р. Лучший вариант определяется по комплексному показателю, определяемому по принципу среднего взвешенного.

Не вдаваясь в подробности недостатков и достоинств каждого из перечисленных методов, можно сказать, что в принципе все эти методы присущи для определения качества не только проектов, но и любых других объектов (продукции и услуг). В работе [3] проведен подробный анализ этих методов.

Необходимо отметить, что экспертными методами измерения определяются не только количественные различия показателей качества объектов, но и качественные различия между объектами, т.е. принадлежность их к определенному классу.

При таких измерениях не дают ответа на вопрос, какой из объектов обладает более высоким качеством, а определяют принадлежность объекта к определенному классу. К числу таких методов относятся: парный, двухпарный (дуо-трио), треугольный, а также метод двойных стандартов. Эти методы широко применяются в пищевой промышленности [115-118, 122-127, 133].

Парный метод. Из двух продуктов Л и Х, в которых должны быть исследованы качественные различия, один выбирается в качестве контрольного. Собственно, любой из них может быть контрольным. Если, например, сравниваются качественные различия у хранящегося и свежего продукта, то в качестве контрольного (эталонного) используется свежий продукт.

Приготавливают одинаковые пробы контрольного продукта К и неизвестного Х и представляют их экспертам в определенной, но не известной им последовательности. Экспертам всегда преподносят одну пару проб, за исключением первой, контрольной, пробы К. Количество проб, подвергаемых измерениям, может колебаться от 7 до 20 и даже более [74].

Основным требованием парного метода является то, что продукты различаются между собой только одной переменной, а все остальные их показатели одинаковы. Эта переменная относится к химическому составу, влиянию метода технологической обработки, влиянию продолжительности хранения и других свойств.

В задачу эксперта входит сравнить каждую пробу и определить подчеркиванием изменение показателей качества, например, более соленую, более сочную и т.д. Если задача с известным ответом, то подсчитывается количество правильных ответов, если нет, то количество предпочтений.

Двухпарный метод. Этот метод заключается в ограничении количества исследуемых проб до двух, задача - в обнаружении пробы, отличающейся от двух идентичных. Далее определяется количество правильных ответов и проверяется количественное различие, является ли оно значимым.

При обработке результатов, полученных этими тремя способами, используются методы статистического анализа[74].

Метод двух эталонов. Он был разработан для исследования запаха различных пищевых продуктов. В этом методе эксперты до проведения измерения получают две пробы (контрольную Р₁ и переменную Р₂) для определения запаха. Затем экспертам подают вторую пару проб, идентичную первой. Задача заключается в определении, которая из проб идентична первой - Р₁, а которая второй - Р₂. При этом применяют наводящую пробу, подаваемую для того, чтобы «войти во вкус», а также контрольную пробу. Наводящая проба должна быть идентична контрольной пробе. После того как была определена контрольная проба, подают еще две пробы в неизвестной последовательности. В этой паре находятся контрольная и неизвестная пробы. Задача эксперта заключается в том, чтобы определить, какая из двух, первая или вторая, является контрольной. Сравнение результатов определений позволяет определить количество правильных ответов. По процентному отношению числа правильных ответов к общему числу измерений определяют, есть ли существенное различие между пробами.

Треугольный метод. При треугольном методе также применяют контрольную наводящую пробу. Сначала экспертам подают контрольную пробу, затем - три пробы одновременно, две из которых идентичны. Задача заключается в том, чтобы из трех проб, из которых две должны быть идентичны, выбрать непарную или лучшую по качеству [74].

Получение результатов при экспертных измерениях независимо от применяемого метода завершает только экспериментальную часть. За ней следует обработка результатов измерений.

В работе более подробно рассматриваются метод ранжирования, попарного сравнения и двойного попарного сравнения, метод Кемени, метод Шульца.

1.1.2.1 Метод ранжирования

Простейшим видом измерения является экспериментальное сравнение одного размера с другим, по принципу «что больше (меньше)?» или «что лучше (хуже)?» по шкале порядка. Эти шкалы принципиально нелинейны, поэтому они не имеют единиц измерений. Более подробная информация, насколько больше или во сколько раз лучше, иногда не требуется. Например, можно визуально сравнить габариты двух изделий и вынести суждение о том, что больше и что меньше. Подобным образом решаются многие задачи выбора: кто сильнее? как проще? и т.п. [72].

При этом число сравниваемых между собой размеров может быть достаточно большим. Расположенные в порядке возрастания или убывания, они образуют шкалу порядка. Так, во многих конкурсах мастеров искусств (скульпторов, художников, поэтов, композиторов), соревнованиях спортсменов по фигурному катанию и т.п. мастерство исполнения определяется их местом, занятым в итоговой таблице. Построив людей по росту, пользуясь шкалой порядка, можно сделать вывод о том, кто выше, однако сказать, насколько выше или во сколько раз, нельзя [73].

Одним из методов измерения данных в шкале порядка является метод ранжирования (упорядочения). Этот метод состоит в расположении объектов в порядке убывания или возрастания какого-либо свойства, присущего этим объектам. Обычно степень, с которой то или иное свойство присуще объектам, не поддается количественному измерению и оценивается только качественно [73].

Пусть, например, мнения семи экспертов о пяти объектах экспертизы выражены следующим образом:



Первый эксперт: Q5 > Q4 > Q3 > Q2 > Q1;

Второй эксперт: Q4 > Q5 > Q3 > Q2 > Q1;

Третий эксперт: Q5 > Q4 > Q3 > Q1 > Q2;

Четвертый эксперт: Q5 > Q4 > Q2 > Q3 > Q1;

Пятый эксперт: Q5 > Q4 > Q1 > Q3> Q2;

Шестой эксперт: Q3 > Q4 > Q5 > Q2 > Q1;

Седьмой эксперт: Q5 > Q3 > Q4 > Q2 > Q1.

Результаты опроса экспертов можно представить в виде таблицы 1.

Таблица 1 - Результаты опроса экспертов

Показатели	Эксперты	Сумма рангов
	1	2	3	4	5	6	7
Q1	5	5	4	5	3	5	5	32
Q2	4	4	5	3	5	4	4	29
Q3	3	3	3	4	4	1	2	20
Q4	2	1	2	2	2	2	3	14
Q5	1	2	1	1	1	3	1	10

Результат многократного измерения имеет вид: Q5 > Q4 > Q3 > Q2 > Q1.

Весовые коэффициенты при ранжировании определяют по формуле (1):

, (1)

где g_j - весовой коэффициент j-го показателя качества;

n - количество экспертов;

m - количество показателей качества;

G_{i j} - ранг, проставленный i - м экспертом j- му показателю качества.

Значения весовых коэффициентов равны:

; ; ; ;

Особенность метода ранжирования показателей качества заключается в том, что показатели качества ранжируются в порядке убывания вносимого им вклада. Вклад каждого показателя оценивается по величине ранга - места, которое отведено исследователем (специалистом при опросе, экспертом) данному показателю при ранжировании всех показателей качества с учетом их предполагаемого (количественно неизвестного) влияния на качество продукции.

Математической моделью теоретического сравнения между собой двух размеров одной меры по шкале порядка служит неравенство:

Qi ? Qj или Qi ? Qj , (2)

а результат сравнения - решение о том, какой размер больше другого или они равны между собой. Если все расчеты верны, то результат вычислений - решение - является правильным [73].

В отличие от этого результат экспериментального сравнения двух размеров (результат измерения), согласно основному постулату метрологии, является случайным, т.е. решение о том, какой размер больше другого или они равны между собой, оказывается как правильным, так и неправильным.

Измерения по шкале порядка являются самыми несовершенными, наименее информативными. Они не дают ответа на вопрос о том, насколько или во сколько раз один размер больше другого [73].

Действительно, ведь ранжирование объектов содержит лишь информацию о том, какой из объектов более предпочтителен, и не содержит информацию о том, на сколько или во сколько раз один объект предпочтительнее другого. Объект, расположенный в ранжировании эксперта, скажем, на третьем месте, может превосходить объект, расположенный на четвертом месте, в 1,01 раза, а может превосходить и в 101 раз. Никакой информацией мы на этот счет не располагаем, поскольку измерения произведены в порядковых шкалах (объекты лишь проранжированы).

На шкале порядка определены (т.е. могут выполняться) лишь некоторые логические операции. Например, если первый результат больше второго, а второй больше третьего, то и первый больше третьего. Или если хоть один из размеров больше третьего, то их сумма тоже больше третьего, то их разность меньше третьего[73]..

Эти свойства шкал называются свойствами транзитивности. В то же время на шкале порядка не определены (т.е. не могут выполняться) никакие арифметические действия. Интервалы между реперными шкалами точками неизвестны (на шкале не установлен масштаб), поэтому баллы нельзя складывать, вычитать, умножать или делить [72].

Шкала порядка (рангов) имеет то преимущество перед другими шкалами, что в ряде случаев ее использование связано с меньшей трудоемкостью проведения экспертного опроса. Вместе с тем эта шкала является более «грубой» по сравнению с другими шкалами, в связи с чем ее применение в задачах оценки качества ограничено [8].

Алгоритм обработки результатов экспертиз, полученных методом ранжирования, представлен на рисунке 1.



Размещено на http://www.allbest.ru/

Рисунок 1 - Алгоритм обработки результатов экспертиз, полученных методом ранжирования

1.1.2.2 Метод попарного сопоставления

При построении шкалы порядка или так называемого ранжированного ряда эксперты используют метод попарного сопоставления. В таблице 2 приведен пример ранжирования 7 объектов путем попарного сравнения. Это результат работы одного эксперта, оценивавшего объекты определенным образом.

При этом способе эксперт получает матрицу, в которой по вертикали и горизонтали проставлены объект экспертизы (показатели качества). Порядок заполнения таблицы экспертами следующий. Объекты сравниваются попарно. В каждой клетке, относящейся к двум объектам экспертизы, проставляется знак «<» (1) или знак «^» (0) в зависимости от предпочтения. Если предпочитается объект, находящийся в горизонтальной строке, то проставляется «<» (1), если же предпочитается объект, находящийся в вертикальном столбце, то проставляется «^» (0), как это показано в таблице 2.

Таблица 2 - Мнение эксперта

Номер объекта	1	2	3	4	5	6	7	Кij
1		<	<	<	<	<	<	6
2			^	<	<	<	<	4
3				^	<	<	^	3
4					^	^	<	2
5						^	7	1
6							<	3
7								2

Ранжированный ряд (шкала порядка) для объектов, сравнительная оценка которых приведена в таблице 2, будет иметь вид: Q₅ ~ Q₇ >Q₄ > Q₆ > Q₂ ~ Q₃ > Q_1, где знаком «~» обозначена равнозначность объектов, знаком «>», «^» обозначена предпочтительность_.

Если использовать несколько экспертов, то можно получить более точный результат.

Также можно использовать более совершенные критерии, например, преимущество, определить оценкой 2, худшее качество определить оценкой 1, а равноценное качество определить оценкой 0. Механизм составления ранжированного ряда остается прежним.

В методе парных сравнений объекты предъявляются попарно одному или нескольким экспертам. Основной элементарный экспериментальный акт-сравнение двух объектов А и В одним экспертом, который в простейшей ситуации должен выбрать один из них. Мы будем говорить, что эксперт предпочитает данный объект, хотя выбор не обязательно будет выражать его предпочтение. В более общих случаях эксперт может провозгласить еще и равенство объектов или зафиксировать свои предпочтения на некоторой более тонкой шкале [35].

Сравнение А и В может выполняться всеми экспертами. Если же рассматриваются более чем два объекта, то легко сделать, чтобы каждый эксперт производил каждое возможное парное сравнение. Для t объектов и n экспертов всего возможных пар для сравнения имеется s=t*(t-l)/2.

Метод парных сравнений первоначально применялся в случаях, когда сравниваемые объекты можно было сопоставить лишь субъективно, то есть когда невозможно или невыгодно делать соответствующие измерения для того, чтобы решить, который из двух объектов предпочтительнее.

В иных случаях эксперты бывают способны сравнивать несколько объектов сразу. Если это легко сделать, простая ранжировка всех объектов может оказаться более предпочтительной. Однако, когда различия между объектами невелики, желательно сравнивать каждую пару как можно более свободно от любых посторонних влияний, вызванных присутствием других объектов. Так, метод парных сравнений имеет некоторые преимущества, когда необходима ответственная экспертиза. Ранжировка получается быстро только при вполне очевидных различиях; в противном случае процесс ранжирования практически требует многократного повторения попыток попарных сравнений «соседей», прежде чем будет достигнуто разумное упорядочение. Ранжирование становится непрактичным, если объектов много [2].