24

Тема: "Использование экспертов в процессе поиска альтернатив"

СОДЕРЖАНИЕ

ВВЕДЕНИЕ

1. Цели деятельности экспертов

2. Догма одномерности

3. Основные стадии экспертного опроса и подбор экспертов

ЗАКЛЮЧЕНИЕ

ПРАКТИЧЕСКАЯ ЧАСТЬ

ЛАБОРАТОРНАЯ ЧАСТЬ

СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ

ВВЕДЕНИЕ

Процесс управления - деятельность объединенных в определенную систему субъектов управления, направленная на достижение целей фирмы путем реализации определенных функций с использованием методов управления.

Как правило, процессы управления фирмой очень многообразны, многомерны и имеют сложную структуру (состоят из большого числа стадий и фаз). В общем смысле процесс управления состоит из общих функций управления, которые объединяются в циклы управления (рис.1).

Рис. 1. Цикл управления

Решение - центральный момент всего процесса управления. В широком смысле это понятие включает и подготовку решения (планирование), а в узком смысле - это выбор альтернативы.

1. Цели деятельности экспертов

Что должна представить экспертная комиссия в результате своей работы - информацию для принятия решения лицу, принимающему решение (ЛПР) или проект самого решения? От ответа на этот методологический вопрос зависит организация работы комиссии.

Если цель - сбор информации для ЛПР. Тогда Рабочая группа должна собрать возможно больше относящейся к делу информации, аргументов "за" и "против" определенных вариантов решений. Полезен метод постепенного увеличения числа экспертов: сначала первый эксперт приводит свои соображения по рассматриваемому вопросу; составленный им материал передается второму эксперту, который добавляет свои аргументы; накопленный материал поступает к следующему - третьему - эксперту... Процедура заканчивается, когда иссякает поток новых соображений.

Отметим, что эксперты в рассматриваемом методе только поставляют информацию, аргументы "за" и "против", но не вырабатывают согласованного проекта решения. Нет никакой необходимости стремиться к тому, чтобы экспертные мнения были согласованы между собой. Более того, наибольшую пользу приносят эксперты с мышлением, отклоняющимся от массового, поскольку именно от них следует ожидать наиболее оригинальных аргументов.

Если цель - подготовка проекта решения для ЛПР. Математические методы в экспертных оценках применяются обычно именно для решения задач подготовки проекта решения. При этом зачастую некритически принимают догмы согласованности и одномерности. Эти догмы "кочуют" из одной публикации в другую, поэтому целесообразно их обсудить.

Догма согласованности. Считается, что решение может быть принято лишь на основе согласованных мнений экспертов. Поэтому исключают из экспертной группы тех, чье мнение отличается от мнения большинства. При этом отсеиваются как неквалифицированные лица, попавшие в состав экспертной комиссии по недоразумению или по соображениям, не имеющим отношения к их профессиональному уровню, так и наиболее оригинальные мыслители, глубже проникшие в проблему, чем большинство. Следовало бы выяснить их аргументы, предоставить им возможность для обоснования их точек зрения. Вместо этого их мнением пренебрегают.

Бывает и так, что эксперты делятся на две или более групп, имеющих единые групповые точки зрения.

Иногда заявляют, что в случае обнаружения двух или нескольких групп экспертов (вместо одной согласованной во мнениях) опрос не достиг цели. Это не так! Цель достигнута - установлено, что единого мнения нет. И ЛПР должен это учитывать. Стремление обеспечить согласованность мнений экспертов любой целой может приводить к сознательному одностороннему подбору экспертов, игнорированию всех точек зрения, кроме одной, наиболее полюбившейся Рабочей группе (или даже "подсказанной" ЛПР).

Поскольку число экспертов обычно не превышает 20-30, то формальная статистическая согласованность мнений экспертов (установленная с помощью тех или иных критериев проверки статистических гипотез) может сочетаться с реально имеющимся разделением на группы, что делает дальнейшие расчеты не имеющими отношения к действительности. Если же обратиться к конкретным методам расчетов, например, с помощью коэффициентов конкордации на основе коэффициентов ранговой корреляции Кендалла или Спирмена, то необходимо помнить, что на самом деле положительный результат проверки согласованности таким способом означает ни больше, ни меньше, как отклонение статистической гипотезы о независимости и равномерной распределенности мнений экспертов на множестве всех ранжировок. Другими словами, мы падаем жертвой заблуждений, вытекающих из своеобразного толкования слов: проверка согласованности в указанном статистическом смысле вовсе не является проверкой согласованности в смысле практики экспертных оценок. Именно ущербность рассматриваемых математико-статистических методов анализа ранжировок привела нас в 80-х годах к разработке нового математического аппарата для проверки согласованности - непараметрических методов, основанных на люсианах.

Мнения диссидентов. С целью искусственно добиться согласованности стараются уменьшить влияние мнений экспертов-диссидентов. Жесткий способ борьбы с диссидентами состоит в их исключении из состава экспертной комиссии. Отбраковка экспертов, как и отбраковка резко выделяющихся результатов наблюдений, приводит к процедурам, имеющим плохие или неизвестные статистические свойства.

Мягкий способ борьбы с диссидентами состоит в применении робастных (устойчивых) статистических процедур. Простейший пример: если ответ эксперта - действительное число, то резко выделяющееся мнение диссидента сильно влияет на среднее арифметическое ответов экспертов и не влияет на их медиану. Поэтому разумно в качестве согласованного мнения рассматривать медиану. Однако при этом игнорируются (не достигают ЛПР) аргументы диссидентов.

В любом из двух способов борьбы с диссидентами ЛПР лишается информации, идущей от диссидентов, а потому может принять необоснованное решение, которое приведет к отрицательным последствиям. С другой стороны, представление ЛПР всего набора мнений снимает часть ответственности и труда по подготовке окончательного решения с комиссии экспертов и рабочей группы по проведению экспертного опроса и перекладывает ее на плечи ЛПР.

2. Догма одномерности

Распространен довольно примитивный подход т. н. "квалиметрии", согласно которому объект всегда можно оценить одним числом. Оценивать человека одним числом приходило в голову лишь на невольничьих рынках. Вряд ли даже самые рьяные квалиметристы рассматривают книгу или картину как эквивалент числа - ее "рыночной стоимости".

Каждый объект можно оценивать по многим показателям качества. Например, легковой автомобиль можно оценивать по таким показателям:

- расход бензина на 100 км пути (в среднем);

- надежность (средняя стоимость ремонта за год);

- быстрота набора скорости 100 км/час после начала движения;

- максимальная достигаемая скорость;

- длительность сохранения в салоне положительной температуры при низкой наружной температуре (- 50 градусов по Цельсию) и выключенном двигателе;

- вес, и т.д.

Можно ли свести оценки по этим показателям вместе? Определяющей является конкретная ситуация, для которой выбирается автомашина. Максимально достигаемая скорость важна для гонщика, но, как нам представляется, не имеет большого практического значения для водителя рядовой частной машины. Для такого водителя важнее расход бензина и надежность. Для машин различных служб государственного управления надежность важнее, чем для частника, а расход бензина - наоборот. Для районов Крайнего Севера важна теплоизоляция салона, а для южных районов - нет.

Таким образом, важна конкретная (узкая) постановка задачи перед экспертами. Но такой постановки зачастую нет. А тогда "игры" по разработке обобщенного показателя качества - например, в виде линейной функции от перечисленных переменных - не могут дать объективных выводов. Альтернативой единственному обобщенному показателю является математический аппарат типа многокритериальной оптимизации - множества Парето и т.д.

В некоторых случаях все-таки можно глобально сравнить объекты - например, с помощью тех же экспертов получить упорядочение рассматриваемых объектов - изделий или проектов. Тогда можно ПОДОБРАТЬ коэффициенты при отдельных показателях так, чтобы упорядочение с помощью линейной функции возможно точнее соответствовало глобальному упорядочению. Наоборот, в подобных случаях НЕ СЛЕДУЕТ оценивать указанные коэффициенты с помощью экспертов. Эта простая идея до сих пор не стала очевидной для отдельных составителей методик по проведению экспертных опросов и анализу их результатов. Они упорно стараются заставить экспертов делать то, что они выполнить не в состоянии - указывать веса, с которыми отдельные показатели качества должны входить в итоговый обобщенный показатель. Эксперты обычно могут сравнить объекты или проекты в целом, но не могут вычленить вклад отдельных факторов. Раз организаторы опроса спрашивают, эксперты отвечают, но эти ответы не несут в себе надежной информации о реальности...

3. Основные стадии экспертного опроса и подбор экспертов

Как показывает опыт проведения экспертных исследований, целесообразно выделять следующие стадии экспертного опроса:

1) формулировка ЛПР цели экспертного опроса;

2) подбор ЛПР основного состава Рабочей группы (обычно - руководителя и секретаря);

3) разработка РГ и утверждение у ЛПР технического задания на проведение экспертного опроса;

4) разработка РГ подробного сценария проведения сбора и анализа экспертных мнений (оценок), включая как конкретный вид экспертной информации (слова, условные градации, числа, ранжировки, разбиения или иные виды объектов нечисловой природы) и конкретные методы анализа этой информации (вычисление медианы Кемени, статистический анализ люсианов и иные методы статистики объектов нечисловой природы и других разделов прикладной статистики);

5) подбор экспертов в соответствии с их компетентностью;

6) формирование экспертной комиссии (целесообразно заключение договоров с экспертами об условиях их работы и ее оплаты, утверждение ЛПР состава экспертной комиссии);

7) проведение сбора экспертной информации;

8) анализ экспертной информации;

9) при применении процедуры из нескольких туров - повторение двух предыдущих этапов;

10) интерпретация полученных результатов и подготовка заключения для ЛПР;

11) официальное окончание деятельности РГ (в том числе подготовка и утверждение научного и финансового отчетов о проведении экспертного исследования, оплата труда экспертов и сотрудников РГ).

Проблема подбора экспертов является одной из наиболее сложных. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы. Сейчас мы не будем возвращаться к обсуждению проблемы существования различных "партий" среди экспертов (см. выше) и обратим внимание на различные иные стороны процедур подбора экспертов.

Часто предлагают использовать методы взаимооценки и самооценки компетентности экспертов. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие "компетентность" строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии.

При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль неосведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет работающих совместно. Однако привлечение таких пар специалистов не очень-то целесообразно, поскольку они слишком похожи друг на друга.

Использование формальных показателей (должность, ученые степень и звание, стаж, число публикаций...), очевидно, может носить вспомогательный характер. Успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов.

В случае, если процедура экспертного опроса предполагает совместную работу экспертов, большое значение имеют их личностные качества. Один "говорун" может парализовать деятельность всей комиссии. В подобных случаях важно соблюдение регламента работы, разработанного РГ.

Есть полезный метод "снежного кома", при котором от каждого специалиста, привлекаемого в качестве эксперта, получают несколько фамилий тех, кто может быть экспертом по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались ранее в деятельности РГ, а некоторые - новые. Процесс расширения списка останавливается, когда новые фамилии перестают встречаться. В результате получается достаточно обширный список возможных экспертов.

ЗАКЛЮЧЕНИЕ

Кроме рассмотренных выше методов, прежде всего экспертных, при принятии решений применяют весь арсенал методов современной прикладной математики. Они используются для оценки ситуации и прогнозирования при выборе целей, для генерирования множества возможных вариантов решений и выбора из них наилучшего.

Прежде всего надо назвать методы оптимизации (математического программирования). Для борьбы с многокритериальностью используют различные методы свертки критериев, а также интерактивные компьютерные системы, позволяющие вырабатывать решение в процессе диалога человека и ЭВМ. Применяют имитационное моделирование, базирующееся на компьютерных системах, отвечающих на вопрос: "Что будет, если...?", метод статистических испытаний (Монте-Карло), модели надежности и массового обслуживания. Часто необходимы статистические (эконометрические) методы, в частности, методы выборочных обследований. При принятии решений применяют как вероятностно-статистические модели, так и методы анализа данных.

Особого внимания заслуживают проблемы неопределенности и риска, связанных как с природой, так и с поведением людей. Разработаны различные способы описания неопределенностей: вероятностные модели, теория нечеткости, интервальная математика. Для описания конфликтов (конкуренции) полезна теория игр. Для структуризации рисков используют деревья причин и последствий (диаграммы типа "рыбий скелет"). Менеджеру важно учитывать постоянные и аварийные экологические риски. Плата за риск и различные формы страхования также постоянно должны быть в его поле зрения.

ПРАКТИЧЕСКАЯ ЧАСТЬ

Задача на принятие решений в условиях риска

Компания рассматривает три альтернативы закупки оборудования: А, В, С. Условия выплаты для каждой альтернативы зависят от экономических условий в течение будущего года. Рассматриваются три возможных экономических ситуации: медленный рост, нормальный рост, быстрый рост.

Проведенный экономический прогноз оценивает следующие вероятности: медленный рост - 30%, нормальный рост - 40%, быстрый - 30%. Условия выплат по каждой альтернативе в зависимости от различных условий показаны ниже в таблице. Какое оборудование необходимо закупить?

Решение:

Наибольшая вероятность нормального роста, следовательно рассматриваем альтернативы для данного условия.

При нормальном росте наиболее целесообразной будет закупка оборудования А.

Задача на принятие решений в условиях неопределенности

Компания по производству компьютеров рассматривает три альтернативных вида компьютера для производства. Прибыль от реализации компьютеров зависит от изменения величины доходов населения в течение будущего года, Условия выплат по каждой альтернативе приведены в таблице. Требуется выбрать один из вариантов производства.

Решение:

Наиболее целесообразным представляется выбор второго варианта производства, т.е. домашний компьютер, т.к. при уменьшении доходов населения убытки будут минимальными, при неизменных доходах предприятие получит прибыль в 100 000 руб.

ЛАБОРАТОРНАЯ ЧАСТЬ

Задачи на принятие решений в условиях риска

Задача 1

У компании имеется 5 вариантов инвестирования. Финансовых ресурсов компании хватает для инвестирования только одного предприятия. На основе оценки экспертов руководству компании известно, какой будет прибыль (убыток) в зависимости от выбранного предприятия и сложившейся экономической ситуации. Кроме того, известны вероятности наступления той или иной экономической ситуации. Необходимо выбрать инвестируемое предприятие.