Размещено на http://www.allbest.ru/

Лекция

Экспертные процедуры и методы субъективных оценок при измерении риска

1. Характеристика экспертных процедур

Существуют ситуации, когда по различным причинам, в значительной мере в связи с отсутствием достоверной информации, использование статистического метода не представляется возможным.

В таких случаях широко применяются методы, использующие результаты опыта и интуицию, то есть эвристические методы или методы экспертных оценок.

Особенностью эвристических методов и моделей является отсутствие строгих математических доказательств оптимальности получаемых решений. Общей направленностью этих процедур является использование человека как "измерительного прибора" для получения количественных оценок процессов и суждений, которые из-за неполноты и недостоверности имеющейся информации не поддаются непосредственному измерению.

Примерами традиционных эвристических процедур являются различные экспертизы, консилиумы, совещания и т.п., результатом которых являются экспертные оценки состояния объекта исследования.

Метод экспертных оценок находит достаточно широкое применение в различных областях деятельности, и на его основании реализуются серьезные и дорогостоящие мероприятия. Одной из сфер его применения является качественный анализ и количественная оценка экономического риска.

В практической деятельности применяются как индивидуальные, так и групповые (коллективные) экспертные оценки (опросы).

Основными целями использования индивидуальных экспертных оценок являются:

· прогнозирование хода развития событий и явлений в будущем, а также оценка их в настоящем. Применительно к анализу и оценке риска это выявление источников и причин риска, прогнозирование действий конкурентов, установление всех возможных рисков, оценка вероятности наступления рисковых событий, назначение коэффициентов относительной важности (значимости последствия) и ранжирование рисков, выявление путей снижения риска и многое другое;

· анализ и обобщение результатов, представленных другими экспертами;

· составление сценариев действий;

· выдача заключений на работу других специалистов и организаций (рецензии, отзывы, экспертизы и т.п.).

Достоинством индивидуальной экспертизы является оперативность получения информации для принятия решений и относительно небольшие затраты.

В качестве недостатка следует выделить высокий уровень субъективности и, как следствие, отсутствие уверенности в достоверности полученных оценок.

Указанный недостаток призваны устранить или ослабить коллективные экспертные оценки.

Процессу группового обсуждения по сравнению с индивидуальными оценками присущи некоторые отличительные особенности: коллективные оценки, как правило, менее субъективны, и решения, принятые на их основе, связаны с большей вероятностью осуществления.

Используя групповые экспертные процедуры, предполагают, что при решении проблем в условиях неопределенности мнение группы экспертов надежнее, чем мнение отдельного эксперта, т.е. что две группы одинаково компетентных экспертов с большей вероятностью дадут аналогичные ответы, чем два эксперта. Предполагается также, что совокупность индивидуальных ответов экспертов должна включать "истинный" ответ.

Можно выделить следующие типы групповых экспертных процедур:

1. открытое обсуждение поставленных вопросов с последующим открытым или закрытым голосованием;

2. свободное высказывание без обсуждения и голосования;

3. закрытое обсуждение с последующим закрытым голосованием или заполнением анкет экспертного опроса.

Опыт показал, что традиционные методы обсуждения вопросов, поставленных перед группой экспертов, относящихся к первому типу экспертных опросов, не всегда обеспечивают эффективное достижение цели - достоверность полученных оценок.

Эти методы страдают рядом недостатков, таких, как влияние авторитетных и "напористых" участников на суждение остальных и нежелание участников обсуждения отказываться от точек зрения, ранее высказанных публично. групповая экспертная оценка риск

Поэтому на практике при подготовке решений по широкому кругу вопросов (в том числе по проблемам анализа и оценки риска) все большее распространение находят второй и третий типы групповых экспертных оценок.

Второй тип групповых экспертных оценок предусматривает отсутствие любого вида критики, препятствующей формулировке идей, свободную интерпретацию идей в рамках поставленной проблемы.

Такой метод обсуждения получил названия метода коллективной генерации идей (по американской терминологии - метод "мозговой атаки"). Он направлен на получение большого количества идей, в т.ч. и от лиц, которые, обладая достаточно высокой степенью эрудиции, обычно воздерживаются от высказываний.

Процесс выдвижения идей протекает в определенном смысле лавинообразно: высказываемая одним из членов группы идея порождает творческую реакцию у других.

Исследование эффективности метода коллективной генерации идей показало, что групповое мышление производит на 70 % больше ценных новых идей, чем сумма индивидуальных мышлений.

С помощью этого метода может успешно решаться ряд задач управления риском:

· выявление источников и причин риска, установление всех возможных рисков;

· выбор направлений и путей снижение риска;

· формирование полного набора и качественная оценка вариантов, использующих различные способы снижения риска или их комбинацию и др.

К числу важнейших недостатков метода коллективной генерации идей относится значительный уровень информационного шума, создаваемого тривиальными идеями, спонтанный и стихийный характер генерации идей.

При использовании результатов групповых экспертных процедур, осуществляемых посредством открытого обсуждения поставленных проблем, следует учитывать такое явление как "сдвиг риска".

Феномен сдвига риска означает, что после проведения открытой групповой дискуссии возрастает уровень рискованности принимаемых решений.

Существует ряд гипотез, объясняющих это явление - диффузия ответственности, ознакомления, лидерства, изменения полезности, риска как ценности и др.

В настоящее время наиболее распространенным объяснением явления "сдвига риска" является использование гипотезы риска как ценности. Она исходит из идеи, согласно которой люди ценят риск, и в групповой ситуации многие из них, в том числе и так называемые осторожные индивиды, стремятся повысить свой статус в группе. Поэтому в условиях групповой дискуссии они меняют свои оценки в сторону большего риска с целью создать о себе представление как о людях решительных, способных и умеющих рисковать. Таким образом, данная гипотеза исходит из того, что сотрудники стремятся рисковать не меньше, чем другие члены коллектива. Если у конкретного члена группы уровень предпочтения риска оказывается значительно ниже среднего для группы, то это может вызвать у него беспокойство и опасения по поводу того, как к этому отнесется группа.

Третий тип групповых экспертных оценок - закрытое обсуждение поставленных проблем - позволяет в значительной степени устранить указанные выше недостатки первого и второго типов экспертных процедур.

Примером экспертных процедур третьего типа может быть метод "Дельфи" - по имени греческих дельфийских оракулов. Основу метода экспертных оценок заложили Дельфийские оракулы (жрецы храма Аполлона у подножия г. Парнас в Греции), которые обнародовали предсказание после ознакомление всех членов совета с обстоятельствами дела и тщательного обсуждения на совете дельфийских мудрецов. При принятии решений они пользовались системой правил, к которым, например, относились: "Хорошо во всем соблюдать меру", "Ничего слишком", "Познай самого себя", "Все наперед обдумай" и др. В настоящее время метод коллективного обсуждения и согласования различных мнений получил названия метода "Дельфи".

В методе "Дельфи" сделана попытка усовершенствовать групповой подход к решению задач прогноза или оценки путем взаимной критики субъективных взглядов, высказываемых отдельными специалистами, без непосредственных контактов между ними и при сохранении анонимности мнений или аргументации в защиту этих мнений. Это позволяет исключить влияние авторитетных и "напористых" участников на суждение остальных, а также уменьшить или исключить явление "сдвига риска".

Метод "Дельфи" предусматривает проведение экспертного опроса в несколько туров.

Во время каждого тура эксперты сообщают свое мнение и дают оценку исследуемым явлениям. При обработке информации, полученной от экспертов, все оценки располагают в порядке N₁,..., N_m их убывания, затем определяют медиану (М) и квартили (Q₁, Q₂), которые разбивают все оценки на четыре интервала, как показано на рис. 1.

Экспертов, чьи оценки попадают в крайние интервалы (не лежат внутри диапазона Q₁ - Q₂), просят обосновать свое мнение по поводу назначения ими оценок. С их обоснованием и выводами, не указывая, от кого они получены, знакомят остальных экспертов.

Рис. 1.

Подобная процедура позволяет специалистам изменять в случае необходимости свою оценку, принимая в расчет обстоятельства, которые они могли случайно упустить или которыми пренебрегли в первом туре опроса. Благодаря этому результаты второго и последующих туров опроса дают, как правило, меньший разброс оценок.

После получения оценок второго тура снова рассчитываются медиана и квартили.

Этот процесс продолжается до тех пор, пока продвижение в направлении повышения совпадения точек зрения не становится незначительным. После этого фиксируются расходящиеся точки зрения.

Метод "Дельфи" наиболее целесообразен при количественных оценках отдельных рисков и всего проекта в целом - определении вероятности наступления рисковых событий, оценке величины потерь, вероятности попадания потерь в определенный интервал и т.п.

2. Общая схема экспертизы

Общая схема экспертных опросов включает следующие основные этапы:

1. Подбор экспертов и формирование экспертных групп;

2. Формирование вопросов и составление анкет;

3. Работа с экспертами;

4. Формирование правил определения суммарных оценок на основе оценок отдельных экспертов;

5. Анализ и обработка экспертных оценок.

Подбор экспертов и формирование экспертных групп. На этом этапе, исходя из целей экспертного опроса, решаются вопросы относительно структуры экспертной группы, количества экспертов и их индивидуальных качеств, т.е. определяются требования к специализации и квалификации экспертов, необходимое число экспертов каждой специализации и общее их количество в группе.

Оценки численности группы экспертов производятся на основе следующих соображений.

Численность группы не должна быть малой, т.к. в этом случае будет потерян смысл формирования экспертных оценок, определяемых группой специалистов. Кроме того, на групповые экспертные оценки в значительной степени влияла бы оценка каждого эксперта.

При увеличении группы экспертов, хотя и устраняются эти недостатки, но зато появляется опасность возникновения новых. Так, при очень большом количестве экспертов оценка каждого из них в отдельности почти не влияет на групповую оценку. Причем рост численности экспертной группы далеко не всегда приносит повышение достоверности оценок. Часто расширение группы экспертов возможно лишь за счет малоквалифицированных специалистов, что, в свою очередь, может привести к уменьшению достоверности групповых оценок. Одновременно с ростом числа экспертов увеличиваются трудности, связанные с координацией работы группы и обработкой результатов опроса.

Существующие методы позволяют выбрать оптимальную в каждом конкретном случае численность группы и ее структуру - численность экспертов требуемой специализации и квалификации.

При подборе экспертов должно быть учтено ограничение, касающееся соответствия целей экспертов целям экспертного опроса. То есть необходимо установить, имеется ли тенденция у отдельных экспертов необъективно оценивать рассматриваемые события. Для этого желательно выявить потенциальные возможные цели экспертов, противоречащие целям получения объективных результатов.

Анализируя предшествующую деятельность экспертов, необходимо выяснить наличие причин, которые приводят к стремлению завышать или занижать оценки так, чтобы повлиять на групповые оценки в желательном для себя, либо для других лиц, направлении.

Формирование вопросов и составление анкет. Правила опроса экспертов содержат ряд положений, обязательных к выполнению всеми. Эти правила должны обеспечивать соблюдение условий, благоприятствующих формированию экспертами объективного мнения. В число таких условий входят:

· независимость формирования экспертами собственного мнения об оцениваемых событиях;

· удобство работы с предполагаемыми анкетами (вопросы формулируются в общепринятых терминах и должны исключать всякую смысловую неоднозначность и др.);

· логическое соответствие вопросов структуре объекта опроса;

· приемлемые затраты времени на ответы по вопросам анкеты, удобное время получения вопросов и выдачи ответов;

· сохранение анонимности ответов для членов экспертной группы;

· предоставление экспертам требуемой информации.

Для обеспечения выполнения этих условий должны быть разработаны правила проведения опроса и организации работы экспертной группы.

Работа с экспертами. В зависимости от характера исследуемого объекта, от степени его формализации и возможности привлечения необходимых экспертов, порядок работы с ними может быть различным, но в основном он содержит следующие три стадии.

На первой стадии эксперты привлекаются в индивидуальном порядке с целью: уточнить модель объекта, ее параметры и показатели, подлежащие экспертной оценке; уточнить формулировки вопросов и терминологию в анкетах; согласовать целесообразность той или иной формы представления таблиц экспертных оценок; уточнить группы экспертов.

На второй стадии экспертам направляются анкеты с пояснительным письмом, в котором описываются цель работы, структура и порядок построения таблиц с примерами.

Если имеется возможность собрать экспертов вместе, то цели и задачи анкетирования, а также все вопросы, связанные с анкетированием, могут быть изложены устно. Обязательное условие такой формы экспертного опроса - последующее самостоятельное заполнение анкет, при соблюдении правил анкетирования.

Третья стадия работы с экспертами осуществляется после получения результатов опроса, в процессе обработки и анализа полученных результатов.

На этой стадии от экспертов в форме консультации обычно получают всю необходимую информацию, которая требуется для уточнения данных и их окончательного анализа.

Формирование правил определения суммарных оценок на основе оценок отдельных экспертов. Рациональное использование информации, получаемой от экспертов, возможно при условии преобразования ее в форму, удобную для дальнейшего анализа, направленного на подготовку и принятие решений.

Существует несколько способов использования группы экспертов. Один из них (метод согласования оценок) заключается в том, что каждый эксперт дает оценку независимо от других, а затем с помощью определенных приемов эти оценки объединяются в одну обобщенную (согласованную).

Например, если речь идет о вероятности наступления рискового события (р) и i-й эксперт указывает для этой вероятности число р., то простейший способ получения обобщенной оценки состоит в вычислении средней вероятности:

,

где m - число экспертов, участвующих в экспертизе.

В методе "Дельфи" в качестве обобщенного мнения принимается медиана оценок последнего тура опроса экспертов.

Можно рассчитать и средневзвешенное значение вероятности, если попытаться учесть вес (компетентность) самого эксперта, который определяется на основе предыдущей деятельности (количество верных ответов к общему количеству), либо на основе других методов - "самооценка" экспертом своих знаний в области заданных вопросов, квалификация, должность, ученое звание и т.д.

,

где р_i - вес, приписываемый i-му эксперту. Существуют различные приемы оценки компетентности эксперта, выбор которых определяется как характером решаемой задачи, так и возможностями проведения конкретного экспертного опроса.

В общем случае значения веса, приписываемого i-му эксперту, интерпретируются как вероятность задания им достоверной оценки.

В этом случае: 0 < h_i ? 1.

В зависимости от специфики экспертного опроса, объекта исследования и используемой методики обработки экспертных данных оценки, даваемые экспертами, могут иметь различную шкалу измерения: от 0 до 1, от 0 до 10, от 0 до 100. Так, известная нам экспертиза определения индекса БЕРИ для оценки странового риска использует шкалу от 0 до 100 баллов. Вместе с тем, принципиальной разницы в шкалах измерения нет, выбор той или иной из них во многом определяется вкусом исследователя, производящего экспертный опрос. Принятая шкала измерения может в некоторой степени повлиять на выбор методов анализа и обработки мнений экспертов.

Анализ и обработка экспертных оценок. При проведении анализа собранных экспертных данных в соответствии с целями исследования и принятыми моделями необходимо представить информацию, полученную от экспертов в виде, удобном для принятия решений (упорядочить объекты - варианты, показатели, факторы и т.п.), а также определить согласованность действий экспертов и достоверность экспертных оценок.

Так, например, выявленные в процессе качественного анализа риски необходимо представить в порядке их важности (степени возможного их влияния на уровень потерь), или варианты снижения риска - в порядке их предпочтительности и т.п.

Существует ряд методов упорядочения, каждый из которых имеет свои достоинства и недостатки, а также область эффективного применения. Наиболее распространенными из них являются: ранжирование, непосредственная оценка, последовательное сравнение, парное сравнение.

Важным моментом экспертных процедур является оценка согласованности действий экспертов и достоверности экспертных оценок.

Как отмечалось, существующие способы определения достоверности экспертных оценок основаны на предположении, что в случае согласованности действий экспертов достоверность оценок гарантируется.

Наиболее часто для этих целей используют коэффициент конкордации (согласия), величина которого позволяет судить о степени согласованности мнений экспертов и, как следствие, достоверности их оценок.

Коэффициент конкордации определяется из выражения:

,

- фактическая дисперсия суммарных (упорядоченных) оценок, данных экспертами;

- дисперсия суммарных (упорядоченных) оценок, в случае, когда мнения экспертов полностью совпадают.

Величина коэффициента конкордации может изменяться в пределах от 0 до 1. При W = 0 согласованности нет, т.е. связь между оценками различных экспертов отсутствует. При W = 1 - согласованность мнений экспертов полная.

Для принятия решения об использовании полученных от экспертов оценок необходимо, чтобы коэффициент конкордации был больше заданного (нормативного) значения W_н (W > W_н).

Можно принять W_н = 0,5. Считается, что при W > 0,5 действия экспертов в большей степени согласованы, чем не согласованы.

Определение коэффициента конкордации рассмотрим на следующем упрощенном примере. Пусть в процессе качественного анализа выявлены пять видов риска, которым может подвергаться проект в процессе его реализации. Перед экспертами стоит задача проранжировать эти риски (представить в порядке их важности) по степени возможного их влияния на уровень потерь.

Результаты оценок этих рисков четырьмя экспертами представлены в табл. 1.

Таблица 1. Определение рангов важности рисков

Риски Эксперты	1	2	3	4	5
1	2	1	5	3	4
2	3	2	4	1	5
3	1	2	4	3	5
4	2	1	3	3	4
Суммарный ранг важности	8	6	16	11	19

При полностью согласованном мнении экспертов каждый из них первому виду риска дал два балла, второму - один, третьему - четыре, четвертому - три, пятому - пять. В этом случае суммарный ранг важности рисков составил бы соответственно 8, 4, 16, 12 и 20 баллов.

Известно, что среднее значение суммарной оценки для m объектов, назначаемых n экспертами, составляет 1/2 * n (m+1) и в рассматриваемом примере среднее значение составляет - 12.

Тогда:

= (8-12)² +(6-12)² + (16-12)² + (11-12)² + (19-12)² = 118,

⁼ (8-12)² +(4-12)² + (16-12)² + (12-12)² + (20-12)= 160,

.

Таким образом, мнения экспертов можно считать в достаточной степени согласованным.

Используются также критерии, которые позволяют оценить вероятность того, что согласованность экспертов не явилась результатом случайных вариаций их мнений.

Если в соответствии с принятыми критериями мнения экспертов можно считать согласованными, то данные ими оценки принимаются и используются в процессе подготовки и реализации управленческих решений.

Если полученные оценки нельзя считать достоверными, следует повторить опрос заново. Если и это не дает желаемых результатов, следует уточнить исходные данные и (или) изменить состав группы экспертов.

Здесь следует отметить важную роль организаторов экспертизы, в задачи которых входят:

· постановка проблемы, определение целей и задач экспертизы, ее границ и основных этапов;

· разработка процедур экспертизы, в наибольшей степени соответствующей характеру решаемой проблемы; отбор экспертов, проверка их компетентности и формирование групп экспертов;

· проведение опроса и согласование оценок; формализация полученной информации, ее обработка, анализ и интерпретация.

От правильной организации экспертизы в значительной степени зависит эффективность результатов, полученных посредством экспертных оценок, в т.ч. и достоверность этих оценок.

Практикум по лекции

Вопросы для самопроверки:

1. К каким методам оценки риска относится экспертный метод?

2. Что отличает эвристические методы оценок от других методов оценки?

3. Какие существуют методы экспертных оценок?

4. В чем состоят достоинства и недостатки индивидуальных экспертных процедур?

5. Какие существуют типы групповых экспертных процедур?

6. В чем состоит суть метода "Дельфи"?

7. В каких случаях целесообразно применение метода "Дельфи"?

8. Каковы основные этапы экспертизы?

9. В чем недостатки метода мозговой атаки?

10. Для чего используется коэффициент конкордации?

11. В чем состоят основные цели проведения экспертных процедур?

12. Каковы основные принципы подбора экспертов для групповых оценок?

Ответьте "ДА" или "НЕТ":

1. Достоинством индивидуальной экспертизы является ее оперативность.

2. Недостатком групповых экспертных процедур является высокий уровень субъективизма.

3. Метод "Дельфи" получил свое название от имени древне-греческого философа.

4. Метод мозговой атаки и метод генерации идей - это одно и тоже.

5. Коэффициент конкордации показывает насколько действия экспертов не согласованы.

6. Метод "Дельфи" предусматривает проведение экспертного опроса в несколько туров.

7. При проведении экспертных опросов сначала формируются и составляются анкеты, а затем подбираются эксперты.

8. Экспертные процедуры относятся к статистическим методам оценки.

9. Методы экспертных оценок бывают индивидуальные и групповые.

10. Основными методами упорядочения ответов экспертов являются ранжирование, непосредственная оценка, последовательное и парное сравнение.

Ответы на практикум по лекции

1. Вопросы для самопроверки

1.1.

Экспертный метод оценки риска относится к методам, использующим результаты опыта и интуицию, то есть к эвристическим методам.

1.2

Отличием эвристических методов оценок от других является отсутствие строгих математических доказательств оптимальности получаемых решений. Общей направленностью этих процедур является использование человека как "измерительного прибора" для получения количественных оценок процессов и суждений, которые из-за неполноты и недостоверности имеющейся информации не поддаются непосредственному измерению.

1.3

В практической деятельности применяются индивидуальные и групповые (коллективные) экспертные оценки (опросы).

1.4

Достоинством индивидуальной экспертизы является оперативность получения информации для принятия решений и относительно небольшие затраты.

В качестве недостатка следует выделить высокий уровень субъективности и, как следствие, отсутствие уверенности в достоверности полученных оценок.

1.5

Можно выделить следующие типы групповых экспертных процедур:

- открытое обсуждение поставленных вопросов с последующим открытым или закрытым голосованием;

- свободное высказывание без обсуждения и голосования;

- закрытое обсуждение с последующим закрытым голосованием или заполнением анкет экспертного опроса.

1.6

Метод "Дельфи" предусматривает проведение экспертного опроса в несколько туров.

Во время каждого тура эксперты сообщают свое мнение и дают оценку исследуемым явлениям. При обработке информации, полученной от экспертов, все оценки располагают в порядке N₁,..., N_m их убывания, затем определяют медиану (М) и квартили (Q₁, Q₂), которые разбивают все оценки на четыре интервала, как показано на рис.

Рис. 1.

Экспертов, чьи оценки попадают в крайние интервалы (не лежат внутри диапазона Q₁ - Q₂), просят обосновать свое мнение по поводу назначения ими оценок. С их обоснованием и выводами, не указывая, от кого они получены, знакомят остальных экспертов.

Подобная процедура позволяет специалистам изменять в случае необходимости свою оценку, принимая в расчет обстоятельства, которые они могли случайно упустить или которыми пренебрегли в первом туре опроса. Благодаря этому результаты второго и последующих туров опроса дают, как правило, меньший разброс оценок.

После получения оценок второго тура снова рассчитываются медиана и квартили.

Этот процесс продолжается до тех пор, пока продвижение в направлении повышения совпадения точек зрения не становится незначительным. После этого фиксируются расходящиеся точки зрения.

1.7

Метод "Дельфи" наиболее целесообразен при количественных оценках отдельных рисков и всего проекта в целом - определении вероятности наступления рисковых событий, оценке величины потерь, вероятности попадания потерь в определенный интервал и т.п.

1.8

Общая схема экспертных опросов включает следующие основные этапы:

· подбор экспертов и формирование экспертных групп;

· формирование вопросов и составление анкет;

· работа с экспертами;

· формирование правил определения суммарных оценок на основе оценок отдельных экспертов;

· анализ и обработка экспертных оценок.

1.9

К числу важнейших недостатков метода коллективной генерации идей относится значительный уровень информационного шума, создаваемого тривиальными идеями, спонтанный и стихийный характер генерации идей.

1.10

Коэффициент конкордации используется для определения степени согласованности мнений экспертов и, как следствие достоверности их оценки.

1.11

Основными целями использования экспертных оценок являются:

- прогнозирование хода развития событий и явлений в будущем, а также оценка их в настоящем. Применительно к анализу и оценке риска это выявление источников и причин риска, прогнозирование действий конкурентов, установление всех возможных рисков, оценка вероятности наступления рисковых событий, назначение коэффициентов относительной важности (значимости последствия) и ранжирование рисков, выявление путей снижения риска и многое другое;

- анализ и обобщение результатов, представленных другими экспертами;

- составление сценариев действий;

- выдача заключений на работу других специалистов и организаций (рецензии, отзывы, экспертизы и т.п.).

1.12

При подборе экспертов, решаются вопросы относительно структуры экспертной группы, количества экспертов и их индивидуальных качеств, т.е. определяются требования к специализации и квалификации экспертов, необходимое число экспертов каждой специализации и общее их количество в группе. Численность группы не должна быть малой, т.к. в этом случае будет потерян смысл формирования экспертных оценок, определяемых группой специалистов, но и не должна быть слишком большой, так как при очень большом количестве экспертов оценка каждого из них в отдельности почти не влияет на групповую оценку. При подборе экспертов должно быть учтено ограничение, касающееся соответствия целей экспертов целям экспертного опроса. То есть необходимо установить, имеется ли тенденция у отдельных экспертов необъективно оценивать рассматриваемые события. Для этого желательно выявить потенциальные возможные цели экспертов, противоречащие целям получения объективных результатов.

Анализируя предшествующую деятельность экспертов, необходимо выяснить наличие причин, которые приводят к стремлению завышать или занижать оценки так, чтобы повлиять на групповые оценки в желательном для себя, либо для других лиц, направлении.

Ответьте "ДА" или "НЕТ":

№ вопроса	1	2	3	4	5	6	7	8	9	10
Правильный ответ	да	нет	нет	да	нет	да	нет	нет	да	да

Размещено на Allbest.ru