Методы экспертных оценок

Размещено на http://www.allbest.ru

Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов. Экспертные исследования проводят с целью подготовки информации для принятия решений ЛПР (напомним, ЛПР - лицо принимающее решение). Для проведения работы по методу экспертных оценок создают Рабочую группу (сокращенно РГ), которая и организует по поручению ЛПР деятельность экспертов, объединенных (формально или по существу) в экспертную комиссию (ЭК).

Экспертные оценки бывают индивидуальные и коллективные. Индивидуальные оценки - это оценки одного специалиста. Например, преподаватель единолично ставит отметку студенту, а врач - диагноз больному. Но в сложных случаях заболевания или угрозе отчисления студента за плохую учебу обращаются к коллективному мнению - симпозиуму врачей или комиссии преподавателей.

В зависимости от поставленной задачи экспертные оценки делят на 2 уровня использования: качественный и количественный.

На качественном уровне выбирается наиболее предпочтительный или вероятный объект, будь то определение возможного развития ситуации, или выбор окончательного варианта решения и пр. Он считается более надежным, в отличии от количественного, когда тому или иному объекту ставятся оценки, например при контроле качества продукции. Эта ситуация возникает вследствие того, что те методы, используемые многими экспертными группами сегодня, не уделяют достаточно внимания обоснованию выбранной схемы интегрирования количественных оценок, полученных на основе использования нескольких критериев, по которым ведется оценка состояния исследуемого объекта. Кроме того, очень часто выбор групповых решений на основе оценок отдельных экспертов проводится без анализа правомерности получения такого решения.

Противники метода экспертных оценок утверждают, что невозможно синтезировать и даже рассматривать вместе разрозненные индивидуальные мнения каждого эксперта. Но к высказанным экспертами мнениям можно относиться аналогично показаниям приборов в физическом эксперименте, когда существует ряд погрешностей, таких как погрешность измерения или погрешность, обусловленная проведением опыта, влиянием внешних факторов и т.д. Эти погрешности снижаются путем дублирования измерений, повторения опыта, использованием различных измерительных приборов.

Таким образом, в случае экспертных оценок самих экспертов можно рассматривать как своего рода измерительные приборы, и если совокупность мнений экспертов включает правильное решение, то все множество ответов может быть приведено к обобщенному мнению, которое и является решением задачи.

Точность решения задачи можно повысить с помощью более надежных методов, в частности использующих парные сравнения и ранжирование. В этом случае на основе суждений и оценок экспертов строится статистика, которая достаточно точно приближается и оценивается.

В любом случае, оценивая поведение какого-то объекта или вероятность возникновения ситуации, эксперты могут рассматривать лишь некоторую выборку, однако каждый случай уникален и имеется элемент неопределенности. Поэтому классической статистики не может быть, даже если выборка охватывай сотни событий. Тем не менее, исследуя выборку какого-либо параметра, эксперт отмечает, что для большинства объектов значения данного параметра группируется внутри некоего расчетного диапазона вблизи некоторых наиболее ожидаемых значений факторов. Данная закономерность дает возможность эксперту делать выводы о законе распределения и позволяет подыскивать этому закону вероятностную форму и предположить значение параметра.

Аналогичные рассуждения можно провести, если эксперт наблюдает один параметр единичного объекта, но во временном интервале. Очевидно, в таком случае статистическая однородность наблюдений отсутствует, поскольку со временем непрерывно меняется окружающая среда и другие внешние и внутренние факторы. Тем не менее, эксперт, оценивая некоторое достаточно приличное количество наблюдений, может сказать, что «это состояние типично для объекта, это нет, т.е. не соответствует, а это не могу классифицировать». В данном случае эксперт высказывается о законе распределения параметра таким образом, что классифицирует все наблюдения нечетким способом, и это представляет собой факт генерации информации, немаловажной для принятия решений.

Методы экспертных оценок имеет смысл рассматривать в гораздо более широком смысле, нежели просто опрос экспертов, сбор и получение среднего из собранных точек зрения, полученных произвольным образом из недостоверных источников, что как раз и является ошибочным. Упомянутые выше способы корректного сбора информации и получения обобщенных суждений и входят в, так называемое, научное направление экспертных оценок.

Систематизация процедур опроса.

Далее рассмотрим систематизацию процедур опроса экспертов. Как сказано выше, применение экспертных комиссий при решении различных проблем состоит в применении обобщенных оценок мнений коллектива специалистов по различным вопросам поставленной проблемы. Насчитывается значительное число различных методов сбора и обработки индивидуальных мнений квалифицированных экспертов. В соответствии с научным подходом к проведению экспертных оценок и исходя из особенности поставленной задачи, метод работы экспертной группы подразделяется на:

- индивидуальный - индивидуальное мнение каждого эксперта узнают лично, что позволяет устранить влияние на личное мнение других членов экспертной группы (например влияние более опытного или старшего эксперта на младших и менее опытных, которое происходит при личном контакте специалистов);

- коллективный - получение обобщенного мнения в результате опроса сразу целой группы экспертов (с взаимодействием, когда происходит обсуждение проблемы всеми экспертами одновременно и происходит обсуждение проблемы; и без взаимодействия).

Исходя из особенности поставленной задачи, которая и определяет особенность необходимой информации, используют несколько способов опроса.

Так методы получения индивидуального мнения членов экспертной группы включают:

- интервьюирование;

- анкетирование.

А в качестве методов коллективной работы экспертной группы могут применять:

- мозговой штурм;

- метод Дельфи;

- метод суда;

- деловые игры и сценарии.

Интервьюирование представляет собой личную устную беседу с экспертом. Интервьюер перед началом беседы подготавливает ряд вопросов, необходимым условием которых является возможность эксперту дать быстрый ответ на них, что обуславливается тем, что эксперту практически не дается времени на обдумывания.

Анкетирование состоит в опросе экспертов в письменной форме. Каждому эксперту выдаются лично или присылаются анкеты, в которых содержатся вопросы, которые и позволяют выяснить его мнение по поставленному вопросу и аргументировать свои ответы.

Мозговой штурм (мозговая атака) - групповое обсуждение с взаимодействием, применяется в основном для генерации вариантов развития событий, поиска решений в поставленной ситуации. Примером такого рода мозгового штурма являются коллективные совещания. Наиболее выраженная характеристикой этого метода - это изобретение новых подходов к проблеме, креативная генерация новых решений, когда все варианты старых уже обсуждены и отброшены.

Метод «Дельфи» берет свое название от Дельфийского оракула, при храме Аполлона в Дельфах, Древняя Греция. Представляет собой один из лучших методов получения мнений экспертов и является многоуровневой процедурой анкетирования. Он предусматривает проведения опросов в несколько этапов, когда на каждом туре мнения экспертов собираются, результат тура обрабатывается и результаты сообщаются экспертам инкогнито через обратную связь для повторной работы.

Дискуссия (метод комиссий, метод суда) - применяется для поиска решений в заданной ситуации, анализа факторов и т.д. Представляет собой проведение общей дискуссии с целью получения единого обобщенного мнения по обсуждаемому вопросу, который четко формулирует рабочая группа (отвечающая за координацию экспертной группы).

Виды экспертных оценок.

При проведении опросов, основанных на суждениях о предпочтении объектов (акторов, решений, рисков) могут быть использованы следующие виды экспертных оценок:

1. классификации;

2. ранжирование;

3. парные сравнения;

4. баллы.

Обработка классификаций используется для построения иерархической структурной схемы факторов, влияющих на объект исследования. На первом уровне схемы размещают комплексные факторы, которые потом разделяются на более подробные и так далее до единичных факторов, которые затем и будут оценивать эксперты. Эта структура тоже обсуждается экспертами, исходя из результатов их опроса, проводится исследование индивидуальных схем на согласованность, и в результате обработки классификаций строится окончательная схема, получая суждения по единичным факторам которой и вычисляется в результате обработки обобщенное решение.

Ранжирование - упорядочивание объектов исследования по значимости, влиянию на поставленную проблему или в соответствии какому-либо признаку, исследуемому в данном опросе.

Метод парных сравнений состоит в том, что каждому эксперту предлагаются парами объекты, т.е. каждый объект он сравнивает со всеми остальными, и он должен из каждой пары объектов выбрать наиболее предпочтительный. В результате опроса получается матрица парных сравнений индивидуальная для каждого эксперта

Бальные оценки используются, например, при определении зависимости между значениями единичных показателей объектов, определенных эконометрическими или расчетными методами и значениями их оценок в баллах или просто выставление количественных характеристик как меры выраженности какого либо признака. Бальные оценки являются безразмерными. Экспертам предоставляется бальная шкала, диапазон которой и градация зависит от решаемой задаче и необходимой точности ответа.

Основные стадии экспертного опроса. Более подробно рассмотрим отдельные этапы экспертного исследования. Как показывает опыт, с точки зрения менеджера - организатора такого исследования целесообразно выделять следующие стадии проведения экспертного опроса.

1) Принятие решения о необходимости проведения экспертного опроса и формулировка Лицом, Принимающим Решения (ЛПР) его цели. Таким образом, инициатива должна исходить от руководства, что в дальнейшем обеспечит успешное решение организационных и финансовых проблем. Очевидно, что исходный толчок может быть дан докладной запиской одного из сотрудников или дискуссией на совещании, но реальное начало работы - решение ЛПР.

2) Подбор и назначение ЛПР основного состава Рабочей группы,сокращенно РГ (обычно - научного руководителя и секретаря). При этом научный руководитель отвечает за организацию и проведение экспертного исследования в целом, а также за анализ собранных материалов и формулировку заключения экспертной комиссии. Он участвует в формировании коллектива экспертов и выдаче задания каждому эксперту (вместе с ЛПР или его представителем). Он сам - высококвалифицированный эксперт и признаваемый другими экспертами формальный и неформальный руководитель экспертной комиссии. Дело секретаря - ведение документации экспертного опроса, решение организационных задач.

3) Разработка РГ (точнее, ее основным составом, прежде всего научным руководителем и секретарем) и утверждение у ЛПР технического задания на проведение экспертного опроса. На этой стадии решение о проведении экспертного опроса приобретает четкость во времени, финансовом, кадровом, материальном и организационном обеспечении. В частности, формируется Рабочая Группа, в РГ выделяются различные группы специалистов - аналитическая, эконометрическая (специалисты по методам), компьютерная, по работе с экспертами (например, интервьюеров), организационная. Очень важно для успеха, чтобы все эти позиции были утверждены ЛПР.

4) Разработка аналитической группой РГ подробного сценария (т.е. регламента) проведения сбора и анализа экспертных мнений (оценок).Сценарий включает в себя прежде всего конкретный вид информации, которая будет получена от экспертов (например, слова, условные градации, числа, ранжировки, разбиения или иные виды объектов нечисловой природы). Например, довольно часто экспертов просят высказаться в свободной форме, ответив при этом на некоторые количество заранее сформулированных вопросов. Кроме того, их просят заполнить формальную карту, в каждом пункте выбрав одну из нескольких градаций. Сценарий должен содержать и конкретные методы анализа собранной информации. Например, вычисление медианы Кемени, статистический анализ люсианов, применение иных методов статистики объектов нечисловой природы и других разделов прикладной статистики (о некоторых из названных методов речь пойдет ниже). Эта работа ложится на эконометрическую и компьютерную группу РГ. Традиционная ошибка - сначала собрать информацию, а потом думать, что с ней делать. В результате, как показывает печальный опыт, информация используется не более чем на 1-2%.

5) Подбор экспертов в соответствии с их компетентностью. На этой стадии РГ составляет список возможных экспертов и оценивает степень их пригодности для планируемого исследования..

6) Формирование экспертной комиссии. На этой стадии РГ проводит переговоры с экспертами, получает их согласие на работу в экспертной комиссии (сокращенно ЭК). Возможно, часть намеченных РГ экспертов не может войти в экспертную комиссию (болезнь, отпуск, командировка и др.) или отказывается по тем или иным причинам (занятость, условия контракта и др.). ЛПР утверждает состав экспертной комиссии, возможно, вычеркнув или добавив часть экспертов к предложениям РГ. Проводится заключение договоров с экспертами об условиях их работы и ее оплаты.

7) Проведение сбора экспертной информации. Часто перед этим проводится набор и обучение интервьюеров - одной из групп, входящих в РГ.

8) Компьютерный анализ экспертной информации с помощью включенных в сценарий методов. Ему обычно предшествует введение информации в компьютеры.

9) При применении согласно сценарию экспертной процедуры из нескольких туров - повторение двух предыдущих этапов.

10) Итоговый анализ экспертных мнений, интерпретация полученных результатов аналитической группой РГ и подготовка заключительного документа ЭК для ЛПР.

11) Официальное окончание деятельности РГ, в том числе утверждение ЛПР заключительного документа ЭК, подготовка и утверждение научного и финансового отчетов РГ о проведении экспертного исследования, оплата труда экспертов и сотрудников РГ, официальное прекращение деятельности (роспуск) ЭК и РГ.

Рассмотрим пример метода экспертных оценок:

1. Сравниваем самолеты Боинг, Туполев, аэробус, бомбардир, альбатрос .

2. Выбираем параметры сравнения.

Параметров желательно выбирать не менее 4 и не более 7, т.к. большее количество параметров влечет расфокусировку и отсутствие четкого понимания результата. То же самое и с количеством сравниваемых объектов - от 4 до 7.

3. Далее распределяем "Вес" между параметрами таким образом, чтобы в сумме он был равен 1. Наиболее приоритетным параметрам мы выделяем большее значение. причем каждый параметр варьируется в диапазоне от 0,015 до 0.3.

4. Задаем описательную сравнительную часть для объектов (самолетов):

Объекты сравнения по параметру "Максимальная дальность" сравниваются по 10-тибальной шкале. Максимальное значение 10 баллов присваивается, если (возможные варианты):

а) самолет пролетает без дозаправки более 5 000 км

б) самолет с дозаправкой пролетает более 10 000 км

в) если данный класс самолета имеет максимальную дальность беспосадочного перелета в своем классе.

При уменьшении расстояния перелета по данным параметрам на каждые 500 км снимается 1 балл.

Параметр "Стоимость эксплуатации" (в нашем случае это самый важный параметр, т.к. ему присвоен максимальный вес):

Самолету присваивается 10 баллов, если (возможные варианты):

а) стоимость эксплуатации самолета за квартал не более 100 000 долларов

б) стоимость эксплуатации не превышает 10 % от номинальной стоимости самолета

И так далее по всем параметрам.

В итоге наша таблица выглядит следующим образом:

Далее необходимо наши баллы умножить на вес данного параметра. В последний столбец "Е" ставится максимальное значение получившихся чисел. В строке "Сумма" складываем сумму "весов" параметров для каждого самолета.

5. Таким образом, самолет "В" оказался самым эффективным. Далее мы уже анализируем, надо ли нам покупать самолет В, оказавшийся самым эффективным, либо , например, склониться в сторону самолета Г с самыми маленькими эксплуатационными расходами, так как именно этот параметр ключевой.

Три эксперта (m=3) оценили значение двух мероприятий (n=3) по степени их влияния на решение одной из проблем (l=1). Результатами экспертизы явились нормированные оценки мероприятий

.

Вычислим групповые оценки мероприятий, приводящих к решению проблемы и коэффициенты компетентности каждого из экспертов. Для этого воспользуемся приведенным выше алгоритмом, задавшись точностью вычисления Е=0,001.

Средние оценки объектов первого приближения (при t=1) будут равны:

Вычислим нормировочный коэффициент 1 :

Значение коэффициентов компетентности первого приближения примут значения:

Вычисляя групповые оценки второго и т.д. приближения, получим:

Результат третьего шага удовлетворяет условию окончания итерационного процесса и за значение групповой оценки принимается

Предположим, что в результате опроса трех (m=3) экспертов о степени влияния на результат трех (n=3) различных факторов (объектов) получены следующие таблицы парных сравнений:

Для получения групповой оценки степени влияния каждого из объектов на результат, построим матрицу математических ожиданий оценок каждой из пар объектов, которая для рассматриваемого примера будет иметь вид:

Значения элементов этой матрицы получены из следующих выражений:

Воспользуемся вышеописанным алгоритмом для получения вектора относительной важности объектов. Для наглядности, каждый из шагов представим в виде:

Продолжая итерационный процесс до тех пор, пока норма оценки не будет меньше заданной получим

На четвертом шаге выполняется условие выхода, что позволяет за групповую оценку степени влияния на результат принять вектор коэффициентов относительной важности объектов вида:

Пусть три эксперта (m=3) провели ранжировку трех объектов (n=3) по степени их влияния на какой-либо результат и таблица ранжировок имеет вид:

На основе этой таблицы матрица парных сравнений для первого эксперта будет иметь вид:

Аналогичные матрицы парных сравнений для второго и третьего эксперта будут иметь вид:

Используя метод обработки парных сравнений получим последовательность векторов коэффициентов относительной важности объектов:

экспертный опрос интервьюирование

Итерационная процедура с заданной точностью (Е=0,001) является сходящейся на четвертом шаге к значениям:

,

что позволяет оценить количественно степень влияния каждого объекта на результат, полученный на основе исходного ранжирования экспертов.

Краткое описание моделируемой ситуации: Руководство строительной инжиниринговой компании приняло решение о привлечении группы внешних экспертов для анализа рисков нового строительного проекта и выбора проектной организации. Допустим (условно), что по результатам отбора кандидатов в эксперты качественным методом было выбрано четыре эксперта с одинаковыми или очень близкими параметрами соответствия заявленным критериям отбора. Зачетная численность экспертной группы: три -четыре человека

Итак, четырем кандидатам (n=4) было предложено проранжировать 6 критериев (к=6) выбора проектной компании:

g1 - стоимость разработки проектно-сметной документации;

g2 - минимальный срок разработки;

g3 -опыт компании при проектировании аналогичных строительных объектов;

g4 - репутация на рынке проектной организации;

g5 - объем выполненных работ за предыдущий год;

g6 - текущее финансовое состояние организации.

Наиболее важному критерию присваивается 1-й ранг, наименее важному 6-й.

Матрица - строка 1-го эксперта ;

Матрица - строка 2-го эксперта ;

Матрица - строка 3-го эксперта ;

Матрица - строка 4-го эксперта ;

При этом общая матрица ранжирования имеет следующий вид:

Средние значения рангов:

Матрица отклонений мнений экспертов от среднего мнения:

Проверим значения нескольких элементов этой матрицы:

i = 1; j = 1: 1- 6/4 = -2/4;

i = 2; j = 1: 2- 6/4 = 2/4;

i = 3; j = 1: 1- 6/4 = -2/4;

i = 4; j = 1: 2- 6/4 = 2/4;

i = 1; j = 4: 4- 16/4 = 0;

i = 2; j = 4: 3- 16/4 = -1;

i = 3; j = 4: 5- 16/4 = 1;

i = 4; j = 4: 4- 16/4 = 0;

Суммарное отклонение мнений і-го эксперта по всем критериям:

Суммарное отклонение мнений всех экспертов по всем критериям:

Среднее отклонение мнений і-того эксперта от среднего мнения группы по всем критериям:

Получаем матрицу-строку модулей частных отклонений:

Кортеж отклонений:

Отсюда следует, что эксперт, имеющий номер і=4, может быть исключен из состава экспертной группы, так как его мнения наиболее удалены от среднего мнения.

Список литературы

1. Д.С. Шмерлинг, С.А. Дубровский, Т.Д. Аржанова, А.А. Френкель. Экспертные оценки. Методы и применение (обзор) // Сб. «Статистические методы анализа экспертных оценок». М., Наука, 1977

2. Макаров И.М. «Теория выбора и принятия решений».М., Наука, 1982

3. А.И. Орлов «Экспертные оценки.Учебное пособие». Москва: 2002.

4. О.И. Ларичев. Теория и методы принятия решений. М., "Логос", 2000 г.

Размещено на Allbest.ru