8

Введение

Современная экономика предъявляет новые, более высокие требования к управлению. Существенным фактором повышения научного уровня управления является применение при подготовке решений математических методов и моделей. Однако, полная математическая формализация технико-экономических задач часто неосуществима вследствие их качественной новизны и сложности. В связи с этим все шире используются экспертные методы, под которыми понимают комплекс логических и математико-статистических методов и процедур, направленных на получение от специалистов информации, необходимой для подготовки и выбора рациональных решений.

Экспертные методы применяют сейчас в ситуациях, когда выбор, обоснование и оценка последствий решений не могут быть выполнены на основе точных расчетов. Такие ситуации нередко возникают при разработке современных проблем управления общественным производством и, особенно, при прогнозировании и долгосрочном планировании. В последние годы экспертные оценки находят широ кое применение в социально-политическом и научно-тех ническом прогнозировании, в планировании народного хозяйства и в отраслях, в разработке крупных научно-технических, экономических и социальных про грамм, в решении отдельных проблем управления.

В ходе развития общественного производства возрастают не только сложность управления, но и требования к качеству принимаемых решений. Для того, чтобы повысить обоснованность решений и учесть многочисленные факторы, оказывающие влияние на их результаты, необходим разносторонний анализ, основанный как на расчетах, так и на аргументированных суждениях руководителей и специалистов, знакомых с состоянием дел и перспективами развития в различных областях практической деятельности. Применение экспертных методов обеспечивает активное и целенаправленное участие специалистов на всех этапах принятия решений, что позволяет существенно повысить их качество и эффективность.

Целью моей работы является изучение метода экспертных оценок - одного из важнейших этапов принятия грамотных управленческих решений.

Задачи:

изучение роли экспертизы в управлении;

рассмотрение порядка организации экспертного оценивания;

подробное рассмотрение заключительного этапа экспертного оценивания - обработки экспертных оценок.

Курсовая работа состоит из введения, трех частей, заключения и списка использованной литературы.

В первой части работы я рассматриваю суть, цели, задачи и область применения метода экспертных оценок, этапы организации экспертного оценивания.

Вторая часть посвящена методу Дельфы.

В третьей части работы рассматривается обработка экспертных оценок: задачи обработки, групповая оценка объектов, оценка согласованности мнений экспертов, обработка парных сравнений объектов и определение взаимосвязи ранжировок.

В заключении рассматривается роль метода экспертных оценок в принятии управленческих решений.

1. Метод экспертных оценок

1.1 Суть метода экспертных оценок

Сущность метода экспертных оценок заключается в проведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и формальной обработкой результатов. Получаемое в результате обработки обобщенное мнение экспертов принимается как решение проблемы. Комплексное использование интуиции, логического мышления и количественных оценок с их формальной обработкой позволяет получить эффективное решение проблемы.

При выполнении своей роли в процессе управления эксперты производят две основные функции: формируют объекты (альтернативные ситуации, цели, решения и т. п.) и производят измерение их характеристик (вероятности свершения событий, коэффициенты значимости целей, предпочтения решений и т. п.). Формирование объектов осуществляется экспертами на основе логического мышления и интуиции. При этом большую роль играют знания и опыт эксперта. Измерение характеристик объектов требует от экспертов знания теории измерений.

Характерными особенностями метода экспертных оценок являются, во-первых, научно обоснованная организация проведения всех этапов экспертизы, обеспечивающая наибольшую эффективность работы на каждом из этапов, и, во-вторых, применение количественных методов, как при организации экспертизы, так и при оценке суждений экспертов и формальной групповой обработке результатов. Эти две особенности отличают метод экспертных оценок от обычной давно известной экспертизы, широко применяемой в различных сферах человеческой деятельности.

В настоящее время в нашей стране и за рубежом метод экспертных оценок широко применяется для решения важных проблем различного характера. В различных отраслях, объединениях и на предприятиях действуют постоянные или временные экспертные комиссии, формирующие решения по различным сложным неформализуемым проблемам.

Все множество плохо формализуемых проблем условно можно разделить на два класса.

К первому классу относятся проблемы, в отношении которых имеется достаточный информационный потенциал, позволяющий успешно решать эти проблемы. Основные трудности в решении проблем первого класса при экспертной оценке заключаются в реализации существующего информационного потенциала путем подбора экспертов, построения рациональных процедур опроса и применения оптимальных методов обработки его результатов. При этом методы опроса и обработки основываются на использовании принципа «хорошего измерителя». Данный принцип означает, что выполняются следующие гипотезы:

1) эксперт является хранилищем большого объема рационально обработанной информации, и поэтому он может рассматриваться как качественный источник информации;

2) групповое мнение экспертов близко к истинному решению проблемы.

Если эти гипотезы верны, то для построения процедур опроса и алгоритмов обработки можно использовать результаты теории измерений и математической статистики.

Ко второму классу относятся проблемы, в отношении которых информационный потенциал знаний недостаточен для уверенности в справедливости указанных гипотез. При решении проблем из этого класса экспертов уже нельзя рассматривать как «хороших измерителей». Поэтому необходимо очень осторожно проводить обработку результатов экспертизы. Применение методов осреднения, справедливых для «хороших измерителей», в данном случае может привести к большим ошибкам. Например, мнение одного эксперта, сильно отличающееся от мнений остальных экспертов, может оказаться правильным. В связи с этим для проблем второго класса в основном должна применяться качественная обработка.

Область применения метода экспертных оценок весьма широка. Перечислим типовые задачи, решаемые методом экспертных оценок:

1) составление перечня возможных событий в различных областях за определенный промежуток времени;

2) определение наиболее вероятных интервалов времени свершения совокупности событий;

3) определение целей и задач управления с упорядочением их по степени важности;

4) определение альтернативных вариантов решения задачи с оценкой их предпочтения;

5) альтернативное распределение ресурсов для решения задач с оценкой их предпочтительности;

6) альтернативные варианты принятия решений в определенной ситуации с оценкой их предпочтительности.

Для решения перечисленных типовых задач в настоящее время применяются различные разновидности метода экспертных оценок.

1.2 Методы получения экспертных оценок

Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов. Эти мнения обычно выражены частично в количественной, частично в качественной форме. Экспертные оценки бывают индивидуальные и коллективные. Индивидуальные оценки - это оценки одного специалиста. Например, преподаватель единолично ставит отметку студенту, а врач - диагноз больному. Но в сложных случаях заболевания или угрозе отчисления студента за плохую учебу обращаются к коллективному мнению - симпозиуму врачей или комиссии преподавателей.

1.2.1 Индивидуальные методы

Сравнительно простым индивидуальным методом получения экспертной оценки является метод типа “интервью”. Название этого метода говорит само за себя. Свои суждения эксперт высказывает в беседе с человеком, осуществляющем опрос (прогнозистом), отвечая на поставленные перед ним вопросы. Эксперт в данном случае не имеет времени для предварительного анализа этих вопросов, поэтому прогнозист при проведении интервью должен тщательно продумывать формулировки и смысловое содержание вопросов. Вопросы нужно формулировать так, чтобы всеми экспертами они понимались однозначно [6]. Результаты интервью во многом зависят от специальной подготовленности прогнозиста и от его умения вести свободную беседу, удерживая инициативу в своих руках [2].

Аналитический метод

Вторым индивидуальным методом получения экспертной оценки является “аналитический”. Сюда относятся докладная записка и морфологический анализ. Аналитический метод предполагает длительную работу эксперта по анализу поставленных перед ним вопросов.

Термин “морфологический анализ” был впервые введен американским астрофизиком Цвики Ф., который занимался техническим прогнозированием в области реактивных двигателей. При использовании этого метода объект прогнозирования прежде всего рассматривается с точки зрения его структуры, а не с точки зрения выполняемых им функций .

Смысл его в том, что объект делится на ряд характерных составляющих, параметров. Составляется матрица вариантов реализации:

Каждый вариант представляет совокупность соединений параметров. Затем оценивается целесообразность вариантов.

1.2.2 Групповые методы

В общем случае предполагается, что мнение группы экспертов надежнее, чем мнение отдельного индивидуума, что обусловило популярность групповых методов опроса. Основное преимущество этих методов заключается в возможности разностороннего анализа количественных и качественных аспектов проблемы. Недостатком является то, что мнения даже специалистов в одной узкой области могут расходиться, а, значит, не исключено, что на один и тот же вопрос можно получить от специалистов одного профиля различный ответ.

Групповые методы экспертного опроса делятся на два класса: одни используют открытую дискуссию, другие опрос при помощи анкет. Представителями открытой дискуссии являются методы комиссии, суда, мозговой атаки (мозговой штурм, отнесенная оценка). Недостатком дискуссии является то, что для оценки обобщенного мнения всей группы экспертов не используется аппарат математической статистики. Анкетирование исключает непосредственное общение между экспертами. Свои заключения по поставленным перед ними вопросам эксперты представляют анонимно. Этот способ организации работы экспертов использует метод Дельфы.

Метод комиссии

Этот метод состоит в открытой дискуссии по обсуждаемой проблеме для выработки единого мнения экспертов. Коллективное мнение определяется в результате тайного или открытого голосования. В некоторых случаях к голосованию не прибегают, выявляя результирующее мнение в процессе дискуссии. Преимущество метода комиссии состоит в росте информативности экспертов, поскольку при обсуждении эксперты приводят обоснования своих оценок, под воздействием которых некоторые участники комиссии могут изменить первоначальную точку зрения. К недостаткам относится отсутствие анонимности. Оно может приводить к достаточно сильным проявлениям конформизма со стороны экспертов, присоединяющих свои мнения к мнению более компетентных и авторитетных экспертов даже при наличии противоположной точки зрения. Дискуссия часто сводится к полемике наиболее авторитетных экспертов, в которой часто берет не обоснованность, а количество приводимых доводов “за” и “против”. Кроме того, публичность высказываний может приводить к нежеланию некоторых экспертов отказаться от ранее высказанного мнения, даже если оно в процессе дискуссии претерпело изменения [1]. Источник [2] считает, что при использовании метода комиссии имеет место взаимное влияние мнений экспертов, которое при соблюдении ряда условий может способствовать созданию творческой атмосферы и непрерывному генерированию идей.

Метод суда

Экспертиза по методу суда использует аналогии с судебным процессом. Часть экспертов объявляется сторонниками рассматриваемого решения и выступает в качестве защиты, приводя доводы в его пользу. Часть экспертов регулирует ход экспертизы и выносит окончательное решение. В процессе экспертизы “функции” экспертов могут меняться. Метод суда обладает теми же преимуществами и недостатками, что и метод комиссии.

Метод мозговой атаки

Один из наиболее применяемых в 50-60-х гг. методов. Основная направленность мозговой атаки - выявление новых идей. Суть этого метода заключается в проведении ряда заседаний членов экспертной группы с соблюдением следующих правил:

концентрируется внимание на одной четко сформулированной проблеме;

подхватывается идея любого рода.

Последнее правило основано на гипотезе о том, что:

среди большого числа идей имеется по меньшей мере несколько хороших;

не подвергается критике ни одна идея;

не оценивается априори значение или смысл любой идее [6].

В мозговой атаке существенная роль принадлежит руководителю, знающему о конечной цели экспертизы и направляющему дискуссию в соответствующее русло. Однако если руководитель стремится выделить лишь перспективные, с его точки зрения, идеи результат экспертизы оказывается менее значительным.

Основной недостаток данного метода - то, что приходится оценивать все идеи. Многие из них оказываются глупы или совершенно не относятся к рассматриваемому вопросу .

Метод синектики

Другой метод групповой дискуссии, разработанный У. Гордоном, - это метод синектики, буквально - метод соединения разнородного. Этот метод напоминает «мозговую атаку», так как основная идея та же - выработать на первом этапе как можно больше разнообразных, а в данном случае - и прямо противоположных, взаимоисключающих предложений. Для этого в группе выделяются «синекторы» - своеобразные затравщики дискуссии. Дискуссию ведут именно они, хотя и в присутствии всей группы. Синекторы - это люди, наиболее активно заявляющие свою позицию в группе. Экспериментально установлено, что их оптимальное число - 5-7 человек. Они начинают дискуссию, впоследствии в нее включаются и другие члены группы, но задача синекторов - наиболее четко формулировать противоположные мнения: группа должна «видеть» две возникшие крайности в решении проблемы с тем, чтобы всесторонне оценить их. В ходе дискуссии отбрасываются эти крайности, принимается решение, удовлетворяющее всех. При применении метода синектики широко используется логический прием рассуждения по аналогии. В условиях, например, дискуссии по техническим вопросам допускается даже такая аналогия, когда один из синекторов отождествляет себя с каким-либо техническим процессом - током воды, вращением вала и т.д. или каким-либо физическим объектом. Широко применяются и более простые аналогии, например, предлагающие решения, ссылаясь на опыт других наук.

Метод дельфы

В отличие от традиционного подхода к достижению согласованности мнений экспертов путем открытой дискуссии метод Дельфы предполагает полный отказ от коллективных обсуждений. Это делается с целью уменьшить влияние таких психологических факторов, как присоединение к мнению наиболее авторитетного специалиста, нежелание отказаться от публично высказанного мнения, следование за мнением большинства. В методе Дельфы принимаются специальные меры, чтобы исключить влияние на конечный результат экспертов, обладающих даром убеждать других. По мнению источника данный метод, бесспорно, является самым распространенным как за рубежом, так и в нашей стране.

Прямые дебаты в данном методе заменены тщательно разработанной программой последовательных индивидуальных опросов, проводимых обычно в форме анкетирования. Ответы экспертов обобщаются и вместе с новой дополнительной информацией поступают в распоряжение экспертов, после чего они уточняют свои первоначальные ответы. Такая процедура повторяется несколько раз до достижения приемлемой сходимости совокупности высказанных мнений. Недостатками метода Дельфы являются значительное время, требуемое на повторение большого числа итераций экспертизы; необходимость неоднократного пересмотра экспертом своих ответов, вызывающая у него отрицательную реакцию.

Метод «635»

Шесть человек высказывают по три идеи по заданному вопросу за пять минут. Затем по часовой стрелке листки с их мнениями передаются, например, по часовой стрелке. За следующие пять минут каждый участник должен ознакомиться со всеми предложениями своего соседа и детализировать их. Так поступают до тех пор, пока каждый не поработал над всеми идеями группы. Через полчаса, как максимум, готово 18 разработанных предложений. Следующие полчаса даются на их обсуждение, дополнение и выбор наилучших вариантов.

Метод модераций

Участники заполняют по три карточки с кратким описанием имеющихся проблем (анонимно). Модератор тасует полученные карточки и по очереди оглашает их содержание, предлагая отнести их к определенным группам. Если мнения участников расходятся, окончательное решение принадлежит автору данной карточки. В результате все проблемы оказываются разбиты на группы (кластеры). Обсуждается каждый из кластеров. Предлагаются следующие возможности: исключение (включение) из него каких-либо проблем, разбиение на несколько более мелких групп или, наоборот, их укрупнение. Разрабатывается общее наименование кластеров. Определяется их относительная важность.

Метод «Кингисе»

Есть еще японская (кольцевая) система принятия решений -- «кингисё», суть которой состоит в том, что на рассмотрение готовится проект новшества. Он передается для обсуждения лицам по списку, составленному руководителем. Каждый должен рассмотреть предлагаемое решение и дать свои замечания в письменном виде. После этого проводится совещание. Как правило, приглашаются те специалисты, чье мнение руководителю не совсем ясно. Эксперты выбирают свое решение в соответствии с индивидуальными предпочтениями. И если они не совпадают, то возникает вектор предпочтений, который определяют с помощью одного из следующих принципов:

- принцип большинства голосов -- выбирается решение, имеющее наибольшее число сторонников;

- принцип диктатора -- за основу берется мнение одного лица.Этот принцип характерен для военных организаций, а так же для принятия решений в чрезвычайных обстоятельствах;

- принцип Курно используется в том случае, когда коалиций нет, т.е. предлагается число решений, равное числу экспертов. В этом случае необходимо найти такое решение, которое отвечало бы требованию индивидуальной рациональности без ущемления интересов каждого в отдельности;

- принцип Парето используется при принятии решений, когда все эксперты образуют единое целое, одну коалицию. В этом случае оптимальным будет такое решение, которое невыгодно менять сразу всем членам группы, поскольку оно объединяет их в достижении общей цели;

- принцип Эджворта используется в том случае, если группа состоит из нескольких коалиций, каждой из которых невыгодно отменять свое решение. 12, с. 123-136

Зная предпочтения коалиций, можно принять оптимальное решение, не нанося ущерба друг другу.

Каждый из этих видов экспертного оценивания, перечисленных выше, обладает своими преимуществами и недостатками, определяющими рациональную область применения. Во многих случаях наибольший эффект дает комплексное применение нескольких видов экспертизы.

Независимо от индивидуального или группового участия экспертов в ра боте целесообразно получать информацию от множества экспертов. Это позволяет получить на основе обработки данных более достоверные результаты, а также новую информацию о зависимости явлений, событий, фактов, суждений экспертов, не содержащуюся в явном виде в высказываниях экспертов.

При использовании метода экспертных оценок возникают свои проблемы. Основными из них являются: подбор экспертов, проведение опроса экспертов, обработка результатов опроса, организация процедур экспертизы - а это не что иное, как процесс экспертного анализа, технологию организации которого я более подробно постараюсь изложить в следующей части данной работы.

2. Метод «Дельфи» в прикладных маркетинговых исследованиях

2.1 Метод «Дельфи» в прикладных маркетинговых исследованиях

Метод Дельфи -- многоэтапный метод, предусматривающий первоначальное изолированное вынесение экспертами своих суждений и дальнейшую многократную их корректировку на базе ознакомления каждого эксперта с суждениями других экспертов до тех пор, пока величина разброса оценок не будет находиться в рамках заранее устанавливаемого желаемого интервала варьирования оценок.

Метод Дельфи назван в честь дельфийского оракула в Древней Греции. Он разработан Олафом Хельмером, видным математиком из корпорации “РЭНД”, и его коллегами и вероятно поэтому, по сравнению с другими творческими подходами, дает достаточную точность прогноза.

Надежность метода "Дельфи" считается высокой при прогнозировании на период как от 1 до 3 лет, так и на более отдаленный период времени. В зависимости от цели прогноза для получения экспертных оценок может привлекаться от 10 до 150 экспертов.

Метод Дельфи является наиболее формальным из всех методов экспертного прогнозирования и наиболее часто используется в технологическом прогнозировании, данные которого используются затем в планировании производства и сбыта продукции. Это групповой метод при котором проводится индивидуальный опрос группы экспертов относительно их предположений о будущих событиях в различных областях, где ожидаются новые открытия или усовершенствования.

Опрос проводится с помощью специальных анкет анонимно, т.е. личные контакты экспертов и коллективные обсуждения исключаются. Полученные ответы сопоставляются специальными работниками, и обобщенные результаты снова направляются членам группы. На основе такой информации члены группы, по-прежнему сохраняя анонимность, делают дальнейшие предположения о будущем, причем этот процесс может повторяться несколько раз (так называемая многотуровая процедура опроса). После того как начинает появляться совпадение мнений, результаты используются в качестве прогноза.

Метод Дельфи относится к классу количественных методов групповых экспертных оценок. Опрос экспертов проводится в 3-4 тура, состоящих из серии анкет, вопросы конкретизируются от тура к туру. Для проведения этого метода необходимо также создать аналитическую группу, которая после каждого тура производит статистическую обработку полученной информации.

Прежде всего, аналитики определяют область предпочтительных количественных значений объектов.

После такой проверки проводится очередной тур. Процедуру экспертного опроса по методу "Дельфи" можно выделить в несколько этапов.

Этап 1. Формирование рабочей группы

Задача рабочей группы заключается в организации процедуры экспертного опроса.

Этап 2. Формирование экспертной группы.

В соответствии с методом "Дельфи" группа экспертов должна включать 10-15 специалистов в данной области. Компетентность экспертов определяется путем анкетирования, анализом уровня реферирования (количества ссылок на работы данного специалиста), использованием листов самооценки.

Этап 3. Формулирование вопросов

Формулировки вопросов должны быть четкими и однозначно трактуемыми, предполагать однозначные ответы.

Этап 4. Проведение экспертизы

Метод "Дельфи" предполагает повторение нескольких шагов проведения опроса.

Этап 5. Подведение итогов опроса

Для проведения первого тура экспертам предлагаются вопросы. Ответы должны быть представлены в виде количественных оценок на поставленный вопрос. Ответ должен быть обоснован экспертом.

Аналитическая группа проводит статистическую обработку полученной от всех экспертов информации. Для этого рассчитывается среднее значение исследуемого параметра, средневзвешенное значение исследуемого параметра, определяется медиана как средний член общего ряда чисел, полученных от экспертов и область доверительности. Область доверительности целесообразнее рассчитывать через показатель квартиль. Значение квартиля равно ј разницы между максимальной и минимальной оценок ряда. Сама область доверительности будет равна как минимальная оценка минус значение квартиля, максимальная оценка плюс значение квартиля.

Эксперты должны обязательно познакомиться с результатами и выводами аналитиков, после чего проводится второй (очередной) тур. Эксперты по результатам представленных расчетов могут увидеть, как корреспондируется их мнение с мнением всей группы экспертов. Они могут изменить свои мнения или оставить прежними, но в этом случае выдвинуть контраргументы в свою пользу. При этом строго соблюдается принцип анонимности. Таким образом проводится 2-3 тура. В итоге получаем довольно точную групповую оценку.

2.1 Технология организации процесса экспертного анализа

Предпосылками использования экспертизы являются:

§ Недостаточность и недостоверность информации о состоянии тех или иных условий, в которых осуществляется создание и развитие продукции;

§ Стохастический (вероятностный) характер объекта информации;

§ Сложность и новизна проблем.

Организация экспертизы проводится в несколько этапов:

1. Определение целей и задач экспертизы.

2. Выбор процедуры проведения экспертизы.

3. Отбор и формирование группы экспертов.

4. Организация самой процедуры экспертизы;

5. Обработка информации.

6. Принятие решения по результатам экспертизы.

Первым этапом организации работ по применению экспертного оценивания является подготовка и издание руководящего документа, в котором формулируется цель работы и основные положения по ее выполнению. В этом документе должны быть отражены следующие вопросы: постановка задачи-эксперимента; цели эксперимента; обоснование необходимости эксперимента; сроки выполнения работ; задачи и состав группы управления; обязанности и права группы; финансовое и материальное обеспечение работ.

Для подготовки этого документа, а также для руководства всей работой назначается руководитель экспертизы. На него возлагается формирование группы управления и ответственность за организацию ее работы.

После формирования группа управления осуществляет работу по подбору экспертной группы примерно в та кой последовательности: уяснение решаемой проблемы; определение круга областей деятельности, связанных с проблемой; определение долевого состава экспертов по каждой области деятельности; определение количества экспертов в группе; составление предварительного списка экспертов с учетом их местонахождения; анализ качеств экспертов и уточнение списка экспертов в группе; получение согласия экспертов на участие в работе; составление окончательного списка экспертной группы.

Параллельно с процессом формирования группы экспертов группа управления проводит разработку организации и методики проведения опроса экспертов. При этом решаются следующие вопросы: место и время проведения опроса; количество и задачи туров опроса; форма проведения опроса; порядок фиксации и сбора результатов опроса; состав необходимых документов.

Следующим этапом работы группы управления является определение организации и методики обработки данных опроса. На данном этапе необходимо определить задачи и сроки обработки, процедуры и алгоритмы об работки, силы и средства для проведения обработки.

В процессе непосредственного проведения опроса экспертов и обработки его результатов группа управления осуществляет выполнение комплекса работ в соответствии с разработанным планом, корректируя его по мере необходимости по содержанию, срокам и обеспечению ресурсами.

Последним этапом работ для группы управления является оформление результатов работы. На этом этапе производится анализ результатов экспертного оценивания; составление отчета; обсуждение и одобрение результатов; представление итогов работы на утверждение; ознакомление с результатами экспертизы организаций и лиц.

Определение целей и задач экспертизы

Сначала ставится проблема - определяется предыстория, рассматриваются доводы в пользу ее решения, происходит обсуждение со всеми заинтересованными лицами. Главное здесь - распознать мнимые проблемы. Поэтому при постановке проблемы необходима гласность и обсуждение.

После того как проблема обоснована определяются границы ее существования, совокупность внутренних и внешних факторов, влияющих на проблему. Для этого выделяется центральный вопрос и расщепляется на подвопросы. При этом пытаются ограничить поле только теми вопросами, без которых нельзя получить ответ на центральный вопрос. Далее формулируются цели и задачи реализации выбранной проблемы. Таким образом, выбираются главные события, факторы, центральные и второстепенные вопросы.

Необходимо иметь в виду - с увеличением детализации - увеличивается точность экспертизы, НО снижается согласованность мнений экспертов.

Организаторы проведения экспертизы выбирают процедуру осуществления экспертизы. Известны различные подходы к этому вопросу. Можно проводить:

§ индивидуальный или групповой опрос,

§ очный или заочный;

§ открытый или закрытый.

Индивидуальный опрос заключается в интервьюировании эксперта и позволяет максимально использовать способности и знания каждого эксперта.

Групповой - при этом методе эксперты могут обмениваться мнениями, могут учесть упущенный момент каждым из них, скорректировать свою оценку. Недостаток группового мнения заключается в сильном влиянии авторитетов на мнения большинства участников экспертизы, в трудности публичного отказа от своей точки зрения, психологической несовместимости некоторых участников экспертизы.

Из методов группового опроса используют различные модификации метода Дельфи.

3. Математическая обработка экспертных оценок

Экспертный метод применяется в различных областях человеческой деятельности. В общем случае работа экспертов может оцениваться как процесс создания на основе имеющейся информации предполагаемой модели причинно-следственных связей анализируемого явления или процесса и выборке рекомендаций для принятия оптимального решения.

С точки зрения теории вероятности и математической статистики показания, выдаваемые каждым из экспертов, могут рассматриваться как варианты некоторой выработки из генеральной совокупности. Следовательно, коллективное мнение представляет собой среднее арифметическое по каждому из факторов

,

где - оценка i-го фактора j-м элементом;

m - число экспертов.

Оценки, выдаваемые экспертами, могут выражаться в виде рангов, приписываемых каждому из факторов, или в виде баллов. Под рангом принимают место фактора в ранжированном ряду. При оценке в баллах доминирующим считается фактор, получивший наибольший балл.

3.1 Оценка компетентности экспертов

Мной была выбрана проблема: Какому из ниже перечисленных жанров компьютерных игр вы отдаете наибольшее предпочтение?

1. 3D Action;

2. SPORTS;

3. RPG;

4. ADVENTURE;

5. STRATEGY;

6. RACING.

Была проведена взаимная групповая оценка компетентности экспертов, когда три эксперта оценивают каждого четвертого эксперта. Результаты оценки сведены в таблицу 1.

Таблица 1. Взаимные оценки экспертов

№ эксперта	Фамилия эксперта	№ оцениваемого эксперта
		1	2	3	4
1	Курдяев А.В.	-	3	2	1
2	Быков М.П.	3	-	1	2
3	Ахунов Р.А.	3	2	-	1
4	Шамрик Р.А.	3	1	2	-
Коллективное мнение группы, Кэi	3	2	1,666	1,333
Место эксперта в ранжированном ряду	1	2	3	4

3.2 Определение коллективного мнения группы экспертов

Оценки четырех экспертов в рангах по каждому элементу сведены в таблицу 2. При этом искусственно вводится условие, что, по крайней мере, в двух строчках должны быть одинаковые оценки двух или нескольких элементов (но не всех).

Таблица 2. Оценки экспертов в ранге

Фамилия эксперта	Элементы (факторы)	Сумма рангов
	3D Action	Sports	RPG	Adventure	Strategy	Racing
Курдяев А.В.	6	3	2	1	4	5	21
Быков М.П.	6	4	1	2	4	3	20
Ахунов Р.А.	5	3	2	1	6	4	21
Шамрик Р.А.	6	6	2	1	5	4	24

3.3 Нормировка рангов

Искусственно введенное условие привело к повторению рангов у двух экспертов. Это значит, что в оценках этих экспертов нарушено условие нормировки, когда сумма рангов по отдельным экспертам должна быть одинаковой и равной сумме членов натурального ряда, т.е.:

; (1)

Для исправления этого положения произведем нормировку рангов. Для этого: складывают места, которые занимают эксперты, имеющие одинаковые ранги, и полученную сумму делят на количество этих рангов. Полученные результаты сведены в таблицу 3.

Таблица 3. Оценки экспертов в ранге

Фамилия эксперта	Элементы (факторы)	Сумма рангов
	3D Action	Sports	RPG	Adventure	Strategy	Racing
Курдяев А.В.	6	3	2	1	4	5	21
Быков М.П.	6	4,5	1	2	4,5	3	21
Ахунов Р.А.	5	3	2	1	6	4	21
Шамрик Р.А.	4,5	4,5	2	1	5	4	21
Среднее арифметическое мнение группы экспертов (хjср), ранги	5,375	3,75	1,75	1,25	4,875	4	21
Место элемента в ранжированном ряду	6	3	2	1	5	4

3.4 Проверка согласованности показаний экспертов

Групповая экспертная оценка может считаться надежной лишь при условии достаточной согласованности экспертов.

3.4.1 Проверка согласованности показаний экспертов с помощью коэффициентов ранговой корреляции Спирмена

Порядок проверки:

А. Вычисляют отклонения между показаниями двух экспертов по каждому из сравниваемых элементов

Б. Определяют квадрат указанных отклонений и их сумму

,

В. Вычисляют опытный коэффициент ранговой корреляции по формуле:

Проверка согласованности производится по следующему соотношению:

Если , то гипотеза о согласованности показаний экспертов не отвергается;

если то гипотеза о согласованности показаний экспертов отвергается.

При этом

,

где t = 2,78.

Полученные результаты сведены в таблицы.

Таблица 4. Попарная согласованность экспертов №1 и №2

Фамилия эксперта	Элементы (факторы)	Сумма
	3D Action	Sports	RPG	Adventure	Strategy	Racing
Курдяев А.В.	6	3	2	1	4	5	8,5
Быков М.П.	6	4,5	1	2	4,5	3
	0	-1,5	1	-1	-0,5	2
	0	2,25	1	1	0,25	4

;

.

Т.к. >, то гипотеза о согласованности показаний экспертов №1 и №2 не отвергается.

Таблица 5. Попарная согласованность экспертов №1 и №3

Фамилия эксперта	Элементы (факторы)	Сумма
	3D Action	Sports	RPG	Adventure	Strategy	Racing
Курдяев А.В.	6	3	2	1	4	5	6
Ахунов Р.А.	5	3	2	1	6	4
	1	0	0	0	-2	1
	1	0	0	0	4	1

;

.

Т.к. >, то гипотеза о согласованности показаний экспертов №1 и №3 не отвергается.

Таблица 6. Попарная согласованность экспертов №1 и №4

Фамилия эксперта	Элементы (факторы)	Сумма
	3D Action	Sports	RPG	Adventure	Strategy	Racing
Курдяев А.В.	6	3	2	1	4	5	6,5
Шамрик Р.А.	4,5	4,5	2	1	5	4
	1,5	-1,5	0	0	-1	1
	2,25	2,25	0	0	1	1

;

.

Т.к. >, то гипотеза о согласованности показаний экспертов №1 и №4 не отвергается.

Таблица 7. Попарная согласованность экспертов №2 и №3

Фамилия эксперта	Элементы (факторы)	Сумма
	3D Action	Sports	RPG	Adventure	Strategy	Racing
Быков М.П.	6	4,5	1	2	4,5	3	8,5
Ахунов Р.А.	5	3	2	1	6	4
	1	1,5	-1	1	-1,5	-1
	1	2,25	1	1	2,25	1

;

.

Т.к. >, то гипотеза о согласованности показаний экспертов №2 и №3 не отвергается.

Таблица 8. Попарная согласованность экспертов №2 и №4

Фамилия эксперта	Элементы (факторы)	Сумма
	3D Action	Sports	RPG	Adventure	Strategy	Racing
Быков М.П.	6	4,5	1	2	4,5	3	5,5
Шамрик Р.А.	4,5	4,5	2	1	5	4
	1,5	0	-1	1	-0,5	-1
	2,25	0	1	1	0,25	1

;

.

Т.к. >, то гипотеза о согласованности показаний экспертов №2 и №4 не отвергается.

Таблица 9. Попарная согласованность экспертов №3 и №4

Фамилия эксперта	Элементы (факторы)	Сумма
	3D Action	Sports	RPG	Adventure	Strategy	Racing
Ахунов Р.А.	5	3	2	1	6	4	3,5
Шамрик Р.А.	4,5	4,5	2	1	5	4
	0,5	-1,5	0	0	1	0
	0,25	2,25	0	0	1	0

;

.

Т.к. >, то гипотеза о согласованности показаний экспертов №3 и №4 не отвергается.

Полученные значения ранговой корреляции занесены в таблицу 10.

Таблица 10. Коэффициенты ранговой корреляции

Фамилия эксперта	Эксперты
	1	2	3	4
Курдяев А.В.	1	0,757	0,829	0,814
Быков М.П.	0,757	1	0,757	0,843
Ахунов Р.А.	0,829	0,757	1	0,9
Шамрик Р.А.	0,814	0,843	0,9	1

Вывод: Проверка согласованности экспертов методом определения ранговой корреляции показала высокую согласованность оценок экспертов, о чем свидетельствует коэффициенты ранговой корреляции, которые стремятся к 1.

3.4.2 Проверка согласованности показаний группы экспертов с помощью коэффициента конкордации Кендела

А. Определяем сумму рангов по каждому из элементов



и общую сумму рангов по всем элементам

Б. Вычисляем среднеарифметическое значение коллективного мнения группы.

В. Вычисляем среднее значение суммы рангов:

Г. Вычисляем фактические отклонения поэлементных сумм рангов от среднего значения суммы рангов и их квадраты:

Д. Определяем сумму квадратов отклонений

Е. Вычисляем значение коэффициента конкордации Кендела

Ж. Вычисляем значение величины:

Если >, то гипотеза о согласованности показаний экспертов не отвергается;

если < то гипотеза о согласованности показаний экспертов отвергается.

Где -критическая точка распределения Пирсона;

=11,1

Результаты расчетов сводим в таблицу 11.

Таблица 11. Коэффициент конкордации Кендела

Фамилия эксперта	Элементы (факторы)	Сумма рангов, Sфакт
	3D Action	Sports	RPG	Adventure	Strategy	Racing
Курдяев А.В.	6	3	2	1	4	5	21
Быков М.П.	6	4,5	1	2	4,5	3	21
Ахунов Р.А.	5	3	2	1	6	4	21
Шамрик Р.А.	4,5	4,5	2	1	5	4	21
xj	21,5	15	7	5	19,5	16	84
xjср	5,375	3,75	1,75	1,25	4,875	4
	7,5	1	-7	-9	5,5	2
	56,25	1	49	81	30,25	4	221,5

_jср

;

.

>=11,1, следовательно, гипотеза о согласованности показаний экспертов не отвергается.

Вывод: Проверка согласованности показаний группы экспертов с помощью коэффициента конкордации Кендела показала высокую оценку согласованности экспертов. Полученный результат дает такое же значение, как и при использовании коэффициента ранговой корреляции, что говорит о взаимозаменяемости этих методов.

3.5 Определение коэффициентов относительной важности элементов

Предварительно переводим оценки, выраженные в рангах, в десятибалльную систему оценок.

Таблица 12. Перевод рангов в баллы

Ранги	1	2	3	4	4,5	5	5,5	6
Баллы	10	9	7	5	4	3	2	1

Таблица 13. Оценка экспертов в баллах

Фамилия эксперта	Вес эксперта	Элементы	Сумма рангов, Sбал
		3D Action	Sports	RPG	Adventure	Strategy	Racing
Курдяев А.В.	3	1	7	9	10	5	3	35
Быков М.П.	2	1	4	10	9	4	7	35
Ахунов Р.А.	1,666	3	7	9	10	1	5	35
Шамрик Р.А.	1,333	4	4	9	10	3	5	35

Определяем коэффициент относительной важности или значимость каждого элемента без учета компетентности экспертов по формуле:



;

Определяем коэффициент относительной важности или значимость каждого элемента с учетом компетентности экспертов по формуле:

;

Результаты расчетов сводим в таблицу 14.

Таблица 14. Относительная важность элементов

Показатель	Элементы
	3D Action	Sports	RPG	Adventure	Strategy	Racing
Место элемента в ряду	6	3	2	1	5	4
Ковj	0,064	0,157	0,264	0,279	0,093	0,143
Место элемента в ряду	6	3	2	1	5	4
Ковj	0,055	0,164	0,264	0,279	0,102	0,136
Место элемента в ряду	6	3	2	1	5	4

По результатам таблицы №14, оценки веса элементов и учета веса экспертов можно сделать вывод о том что, чем большее место в ряде занимает элемент, тем его оценка ниже. Учет веса экспертов позволяет уточнить и скорректировать оценки экспертов для получения наивысшей точности оценок. Использование коэффициента относительной важности эксперта позволяет уточнить значимость каждого элемента, и как следствие его место в ряду оценок.

Подведем итоги данной экспертизы - «Какому же из перечисленных жанров компьютерных игр вы отдаете наибольшее предпочтение?» На 1-ом месте - Adventure, на 2-ом месте - RPG, на 3-ем месте - Sports, последнее место занимают игры в стиле 3D Action.