Роль экспертной оценки в финансовой деятельности предприятия

Размещено на http://allbest.ru

Курсовая работа

Роль экспертной оценки в финансовой деятельности предприятия

ВВЕДЕНИЕ

Роль экспертизы в различных областях деятельности человека трудно переоценить. Действительно, оценки экспертов -- квалифицированных специалистов являются "опорными точками" для решения сложных и спорных вопросов. Понятно, что таковыми они могут быть, только если эти оценки получены посредством единой технологии и результаты обработаны по единым алгоритмам. В необходимости этого нетрудно убедиться, на минутку представив себе, что было бы в мире, если бы объективные, т.е. приборные, измерения производились разными людьми по разным технологиям.

Стандартизация эксперта как измерительного прибора вряд ли возможна. Но вот стандартизация алгоритмов обработки индивидуальных экспертных оценок, полученных экспертами разной компетентности, вполне возможна. На первый взгляд разные задачи экспертного оценивания стоимости ювелирного изделия и стоимости урожая пшеницы "на корню" можно решить, следуя одному и тому же алгоритму. Можно привести еще массу примеров, подтверждающих этот тезис.

Показано, что разнообразные задачи экспертиз, возникающие в различных областях деятельности, можно свести к ограниченному числу задач получения экспертных оценок разных типов. Это, в свою очередь, дает возможность разработать и реализовать программные алгоритмы получения этих оценок, а также подготовить универсального специалиста - организатора экспертиз. Организатор экспертизы, владеющий этими алгоритмами и умеющий использовать комплекс программ, их реализующий, способен организовать экспертизу в предметных различных областях.

Актуальность: противники метода экспертных оценок утверждают, что таким способом невозможно получить достоверно точную информации. Но на сегодняшний день он остаётся одним из самых используемых методов. В данной области проведено немало исследований, продолжается работа по улучшению механизмов проведения экспертных оценок для получения наиболее достоверной информации.

Цель работы: изучение алгоритмов проведения экспертных опросов и выявление роли данного метода в финансовой деятельности фирм в условиях конкуренции

Объект: экспертный опрос, его проведение, обработка, роль в финансовой деятельности предприятия.

1. РОЛЬ ЭКСПЕРТНОЙ ОЦЕНКИ В ФИНАНСОВОЙ ДЕЯТЕЛЬНОСТИ ПРЕДПРИЯТИЯ

Успех корпоративной политики современного бизнеса во многом определяется степенью принятия правильных решений как внутри корпорации, так и по отношению к внешней среде, в том числе с учетом политических факторов. В свою очередь результат корпоративного планирования и прогнозирования определяется выбором метода анализа и отбора влияющих факторов, а также их качественной и количественной оценки.

Не редко возникают ситуации, когда при планировании возможности применения точных математических методов ограниченны. Кроме того, в большинстве случаев не представляется возможным оценить значительную часть воздействий одних факторов на другие, степень взаимодействия, а также численное значение показателей. В ситуации, когда эконометрическими способами невозможно получить оценки из-за отсутствия достаточно точной статистической и другой информации о факторах, событиях и сценариях, а также надежных математических моделей, описывающих реальное состояние системы, экспертные оценки, основанные на получении обобщенных мнений экспертов, являются единственным средством решения задач прогнозирования. "Проведение экспертных исследований, представляющие собой синтез математических методов и практического опыта экспертов, основано на использовании современных методов прикладной математической статистики, прежде всего статистики объектов нечисловой природы, а также современной компьютерной техники".

Существует большой ряд задач, где целесообразно и необходимо применение метода экспертных оценок:

- задачи планирования, принятия решений, оценки рисков, прогнозирования развития событий,

- задачи оценивания и выбора технических объектов, в том числе специального назначения,

- при анализе и прогнозировании ситуаций с большим числом значимых факторов - в том случае, когда имеется группа экспертов, компетентных в этой области.

Если область достаточно широкая или требуется оценить факторы, относящиеся к нескольким областям, целесообразно привлечение нескольких групп экспертов.

Применение экспертных оценок основано на том, что при решении проблем в условиях невозможности использования измерительных способов или расчетных данных, мнение группы экспертов дает более точные прогнозируемые данные или оценки, нежели суждение некоторого одного эксперта. А две группы одинаково сведущих экспертов с большей вероятностью дадут сходные ответы, чем два эксперта. Справедливо полагать, что совокупность ответов каждого эксперта содержит искомое решение поставленной задачи.

Последствия решений менеджера, экономиста, инженера проявятся в будущем. А будущее неизвестно. Мы вынуждены принимать решения в условиях неопределенности. Мы всегда рискуем, поскольку нельзя исключить возможность нежелательных событий. Но можно сократить вероятность их появления и возможный ущерб. Для этого необходимо спрогнозировать дальнейшее развитие событий, в частности, последствия принимаемых решений, выявить риски, оценить их, а затем управлять рисками.

Отметим большое практическое значение экспертиз при сравнении и выборе инвестиционных и инновационных проектов, при управлении проектами, экологических экспертиз. Роли лиц, принимающих решения (ЛПР), и специалистов (экспертов) в процедурах принятия решений, критерии принятия решений и место экспертных оценок в процедурах принятия решений рассматриваются в экспертологии - научно-практической дисциплине, посвященной методам экспертных оценок. На ее основе формируются конкретные процедуры подготовки и принятия решений с использованием методов экспертных оценок, например, процедуры распределения финансирования научно-исследовательских работ (на основе балльных оценок или парных сравнений), технико-экономического анализа, кабинетных маркетинговых исследований (противопоставляемых "полевым" выборочным исследованиям), оценки, сравнения и выбора инвестиционных проектов. В качестве примеров конкретных экспертных процедур, широко используемых при прогнозировании, укажем метод Дельфи и метод сценариев.

Из сказанного выше вытекает, что разнообразные формальные методы оценки рисков и управления ими во многих случаях (реально во всех нетривиальных ситуациях) не могут дать однозначных рекомендаций. В конце процесса принятия решения - всегда человек, менеджер, на котором лежит ответственность за принятое решение. Поэтому процедуры экспертного оценивания естественно применять на всех этапах анализа рисков рассматриваемого организацией проекта. При этом нецелесообразно полностью отказываться от использования формальных экономических методов, например, основанных на вычислении чистых текущих потерь и других характеристик. Использование соответствующих программных продуктов полезно для принятия обоснованных решений. Однако на основные вопросы типа: достаточно ли высоки доходы, чтобы оправдать риск, или: что лучше - быстро, но мало, или долго, но много - ответить могут только менеджеры с помощью экспертов. Поэтому система поддержки принятия решений в организации должна сочетать формально-экономические и экспертные процедуры.

1.1 Сущность метода экспертных оценок

Экспертные методы прогнозирования применяются, как правило, в случаях, когда отсутствуют какие-либо статистические данные, на которых мог бы базироваться количественный прогноз, как, например, в случае, когда предприятие собирается выпустить на рынок совершенно новый продукт.

Но даже когда статистическая информация имеется, при использовании ее для прогнозирования могут возникнуть трудности, которые можно разделить на четыре группы:

1. Исходная статистическая информация зачастую бывает недостоверной. Однако даже при наличии достоверных данных о прошлом, они не всегда могут служить надежной базой для принятия плановых решений, направленных в будущее;

2. Некоторая часть информации, необходимой для выбора наилучшего варианта планового решения, имеет качественный характер и не поддается количественным измерениям (например, невозможно разработать формулу для прогнозирования (оценки) поведения людей в той или иной ситуации, в производственном коллективе);

3. В момент принятия решения необходимая статистическая информация отсутствует, а ее получение требует времени или средств;

4. Существует большая группа факторов, которые будут влиять на реализацию планов, но при подготовке плановых решений их нельзя точно предсказать.

Для применения статистических методов прогнозирования необходимо проводить исследовательскую работу и пользоваться услугами квалифицированных статистиков - и то и другое может дорого стоить.

Кроме того, в условиях динамичного развития общества, когда происходят какие-то кардинальные изменения в экономике, в социальной сфере, в технике, в технологии и в других областях эффективность применения статистических методов для прогнозирования и планирования, особенно на длительный период, снижается.

Существует также опасность, что управляющие станут чрезмерно полагаться на статистические методы и на полученные, на их основе результаты и поэтому могут не заметить существенных изменений, значение которых мог бы оценить другой специалист.

В таких условиях особую роль в предвидении будущего приобретает интуиция специалистов, называемых экспертами.

Интуиция - это способность человека делать заключения об исследуемом объекте, его будущих состояниях неосознанно, т.е. без осознания пути движения мысли к этим заключениям.

Методы анализа и обобщения суждений и предположений с помощью экспертов называются экспертными или методами экспертных оценок.

Сущность метода экспертных оценок заключается в проведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и формальной обработкой результатов. Получаемое в результате обработки обобщенное мнение экспертов принимается как решение проблемы. Комплексное использование интуиции (неосознанного мышления), логического мышления и количественных оценок с их формальной обработкой позволяет получить эффективное решение проблемы.

При выполнении своей роли в процессе управления эксперты производят две основные функции: формируют объекты (альтернативные ситуации, цели, решения и т. п.) и производят измерение их характеристик (вероятности свершения событий, коэффициенты значимости целей, предпочтения решений и т. п.). Формирование объектов осуществляется экспертами на основе логического мышления и интуиции. При этом большую роль играют знания и опыт эксперта. Измерение характеристик объектов требует от экспертов знания теории измерений.

Характерными особенностями метода экспертных оценок как научного инструмента решения сложных неформализуемых проблем являются, во-первых, научно обоснованная организация проведения всех этапов экспертизы, обеспечивающая наибольшую эффективность работы на каждом из этапов, и, во-вторых, применение количественных методов как при организации экспертизы, так и при оценке суждений экспертов и формальной групповой обработке результатов. Эти две особенности отличают метод экспертных оценок от обычной давно известной экспертизы, широко применяемой в различных сферах человеческой деятельности.

Экспертные коллективные оценки широко использовались в государственном масштабе для решения сложных проблем управления народным хозяйством уже в первые годы Советской власти. В 1918 году при Высшем совете народного хозяйства был создан Совет экспертов, задачей которого являлось решение наиболее сложных проблем реорганизации народного хозяйства страны. При составлении пятилетних планов развития народного хозяйства страны систематически использовались экспертные оценки широкого круга специалистов.

В настоящее время в нашей стране и за рубежом метод экспертных оценок широко применяется для решения важных проблем различного характера. В различных отраслях, объединениях и на предприятиях действуют постоянные или временные экспертные комиссии, формирующие решения по различным сложным неформализуемым проблемам.

Все множество плохо формализуемых проблем условно можно разделить на два класса. К первому классу относятся проблемы, в отношении которых имеется достаточный информационный потенциал, позволяющий успешно решать эти проблемы. Основные трудности в решении проблем первого класса при экспертной оценке заключаются в реализации существующего информационного потенциала путем подбора экспертов, построения рациональных процедур опроса и применения оптимальных методов обработки его результатов. При этом методы опроса и обработки основываются на использовании принципа «хорошего» измерителя. Данный принцип означает, что выполняются следующие гипотезы:

1) эксперт является хранилищем большого объема рационально обработанной информации, и поэтому он может рассматриваться как качественный источник информации;

2) групповое мнение экспертов близко к истинному решению проблемы.

Если эти гипотезы верны, то для построения процедур опроса и алгоритмов обработки можно использовать результаты теории измерений и математической статистики.

Ко второму классу относятся проблемы, в отношении которых информационный потенциал знаний недостаточен для уверенности в справедливости указанных гипотез. При решении проблем из этого класса экспертов уже нельзя рассматривать как «хороших измерителей». Поэтому необходимо очень осторожно проводить обработку результатов экспертизы. Применение методов осреднения, справедливых для «хороших измерителей», в данном случае может привести к большим ошибкам. Например, мнение одного эксперта, сильно отличающееся от мнений остальных экспертов, может оказаться правильным. В связи с этим для проблем второго класса в основном должна применяться качественная обработка.

Область применения метода экспертных оценок весьма широка. Перечислим типовые задачи, решаемые методом экспертных оценок:

1) составление перечня возможных событий в различных областях за определенный промежуток времени;

2) определение наиболее вероятных интервалов времени свершения совокупности событий;

3) определение целей и задач управления с упорядочением их по степени важности;

4) определение альтернативных (вариантов решения задачи с оценкой их предпочтения;

5) альтернативное распределение ресурсов для решения задач с оценкой их предпочтительности;

6) альтернативные варианты принятия решений в определенной ситуации с оценкой их предпочтительности.

Для решения перечисленных типовых задач в настоящее время применяются различные разновидности метода экспертных оценок. К основным видам относятся: анкетирование и интервьюирование; мозговой штурм; дискуссия; совещание; оперативная игра; сценарий.

Каждый из этих видов экспертного оценивания обладает своими преимуществами и недостатками, определяющими рациональную область применения. Во многих случаях наибольший эффект дает комплексное применение нескольких видов экспертизы.

Анкетирование и сценарий предполагают индивидуальную работу эксперта. Интервьюирование может осуществляться как индивидуально, так и с группой экспертов. Остальные виды экспертизы предполагают коллективное участие экспертов, в работе. Независимо от индивидуального или группового участия экспертов в работе целесообразно получать информацию от множества экспертов. Это позволяет получить на основе обработки данных более достоверные результаты, а также новую информацию о зависимости явлений, событий, фактов, суждений экспертов, не содержащуюся в явном виде в высказываниях экспертов.

При использовании метода экспертных оценок возникают свои проблемы. Основными из них являются: подбор экспертов, проведение опроса экспертов, обработка результатов опроса, организация процедур экспертизы.

1.2 Основные стадии экспертного опроса

Как показывает опыт проведения экспертных исследований, с точки зрения менеджера - организатора такого исследования целесообразно выделять следующие стадии проведения экспертного опроса.

1. Принятие решения о необходимости проведения экспертного опроса и формулировка Лицом, Принимающим Решения (ЛПР) его цели. Таким образом, инициатива должна исходить от руководства, что в дальнейшем обеспечит успешное решение организационных и финансовых проблем.

2. Подбор и назначение ЛПР основного состава Рабочей группы, сокращенно РГ (обычно - научного руководителя и секретаря). При этом научный руководитель отвечает за организацию и проведение экспертного исследования в целом, а также за анализ собранных материалов и формулировку заключения экспертной комиссии. Он участвует в формировании коллектива экспертов и выдаче задания каждому (вместе с ЛПР или его представителем). Дело секретаря - ведение документации, решение организационных задач.

3. Разработка РГ (точнее, ее основным составом, прежде всего научным руководителем и секретарем) и утверждение у ЛПР технического задания на проведение экспертного опроса. На этой стадия решение о проведении экспертного опроса приобретает четкость во времени, финансовом, кадровом, материальном и организационном обеспечении. В частности, в РГ выделяются различные группы специалистов - аналитическая, эконометрическая (специалисты по методам анализа данных), компьютерная, по работе с экспертами (например, интервьюеров), организационная. Очень важно для успеха, чтобы все эти направления работ были утверждены ЛПР.

4. Разработка аналитической группой РГ подробного сценария (т.е. регламента) проведения сбора и анализа экспертных мнений (оценок). Сценарий включает в себя, прежде всего, конкретный вид информации, которая будет получена от экспертов (например, тексты (слова), условные градации, числа, ранжировки, разбиения или иные виды объектов нечисловой природы). Так, довольно часто экспертов просят высказаться в свободной форме, ответив при этом на некоторые количество заранее сформулированных вопросов. Кроме того, их просят заполнить формальную карту, в каждом пункте выбрав одну из нескольких градаций. Сценарий должен содержать и конкретные методы анализа собранной информации. Например, вычисление медианы Кемени, статистический анализ люсианов, применение иных методов статистики объектов нечисловой природы и других разделов современной эконометрики. Эта работа ложится на эконометрическую и компьютерную группу РГ. Традиционная ошибка - сначала собрать информацию, а потом думать, что с ней делать. "В результате, как показывает опыт, информация используется лишь на 1-2%,

5. Подбор экспертов в соответствии с их компетентностью. На этой стадии РГ составляет список возможных экспертов.

6. Формирование экспертной комиссии. На этой стадии РГ проводит переговоры с экспертами, получает их согласие на работу в экспертной комиссии (сокращенно ЭК), возможно, часть намеченных РГ экспертов отказывается по тем или иным причинам. ЛПР утверждает состав экспертной комиссии, возможно, вычеркнув или добавив часть экспертов к предложениям РГ. Проводится заключение договоров с экспертами об условиях их работы и ее оплаты.

7. Проведение сбора экспертной информации. Часто перед этим проводится набор и обучение интервьюеров - одной из групп, входящих в РГ.

8. Компьютерный анализ экспертной информации с помощью включенных в сценарий методов. Ему обычно предшествует введение информации в компьютеры.

9. При применении согласно сценарию экспертной процедуры из нескольких туров - повторение двух предыдущих этапов.

10. Итоговый анализ экспертных мнений, интерпретация полученных результатов аналитической группой РГ и подготовка заключительного документа ЭК для ЛПР.

11. Официальное окончание деятельности РГ, в том числе утверждение ЛПР заключительного документа ЭК, подготовка и утверждение научного и финансового отчетов РГ о проведении исследования, оплата труда экспертов и сотрудников РГ, официальное прекращение деятельности (роспуск) ЭК и РГ.

1.3 Подбор экспертов

Проблема подбора экспертов является одной из наиболее сложных в теории и практике экспертных исследований. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, обеспечивающих успех экспертизы.

В проблеме подбора экспертов можно выделить две составляющие - составление списка возможных экспертов и выбор из них экспертной комиссии в соответствии с компетентностью кандидатов.

Составление списка возможных экспертов облегчается тогда, когда рассматриваемый вид экспертизы проводится многократно. В таких ситуациях обычно ведется реестр возможных экспертов, например, в области государственной экологической экспертизы или судейства фигурного катания, из которого можно выбирать по различным критериям или с помощью датчика псевдослучайных чисел.

Как быть, если экспертиза проводится впервые, устоявшиеся списки возможных экспертов отсутствуют? Однако и в этом случае у каждого конкретного специалиста есть некоторое представление о том, что требуется от эксперта в подобной ситуации. "Для формирования списка есть полезный метод "снежного кома", при котором от каждого специалиста, привлекаемого в качестве эксперта, получают несколько фамилий тех, кто может быть экспертом по рассматриваемой тематике". Очевидно, некоторые из этих фамилий встречались ранее в деятельности РГ, а некоторые - новые. Каждого вновь появившегося опрашивают по той же схеме. Процесс расширения списка останавливается, когда новые фамилии практически перестают встречаться. В результате получается достаточно обширный список возможных экспертов. Метод "снежного кома" имеет и недостатки. Число туров до остановки процесса наращивания кома нельзя заранее предсказать. Кроме того, ясно, что если на первом этапе все эксперты были из одного "клана", придерживались в чем-то близких взглядов или занимались сходной деятельностью, то и метод "снежного кома" даст, прежде всего, лиц из этого "клана". Мнения и аргументы других "кланов" будут упущены.

Вопрос об оценке компетентности экспертов не менее сложен. Успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов. Использование формальных показателей экспертов (должность, ученые степень и звание, стаж, число публикаций...), очевидно, в современных условиях может носить лишь вспомогательный характер, хотя подобные показатели проще всего применять.

Часто предлагают использовать методы самооценки и взаимооценки компетентности экспертов. Обсудим их, начав с метода самооценки, при котором эксперт сам дает информацию о том, в каких областях он компетентен, а в каких - нет. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие "компетентность" строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии. Достаточно часто эксперт преувеличивает свою реальную компетентность. Например, большинство людей считают, что они хорошо разбираются в политике, экономике, проблемах образования и воспитания, семьи и медицины. На самом деле экспертов (и даже знающих людей) в этих областях весьма мало. Бывают уклонения и в другую сторону, излишне критичное отношение к своим возможностям.

При использовании метода взаимооценок, помимо возможности проявления личностных и групповых симпатий, и антипатий, играет роль малая осведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет (не менее 3-4) работающих совместно, в одной комнате, над одной темой. Именно про такие пары можно сказать, что они "вместе пуд соли съели". Однако привлечение таких пар специалистов не очень-то целесообразно, поскольку их взгляды из-за схожести жизненного пути слишком похожи друг на друга.

Если процедура экспертного опроса предполагает непосредственное общение экспертов, необходимо учитывать еще ряд обстоятельств. Большое значение имеют их личностные (социально-психологические) качества. Так, один-единственный "говорун" может парализовать деятельность всей комиссии на совместном заседании. К срыву могут привести и неприязненные отношения членов комиссии, и сильно различающийся научный и должностной статус членов комиссии. В подобных случаях важно соблюдение регламента работы, разработанного РГ.

Необходимо подчеркнуть, что подбор экспертов, в конечном счете - функция Рабочей группы, и никакие методики подбора не снимают с нее ответственности. Другими словами, именно на Рабочей группе лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу. Важным является требование к ЛПР об утверждении списка экспертов. При этом ЛПР может, как добавить в комиссию отдельных экспертов, так и вычеркнуть некоторых из них - по собственным соображениям, с которыми членам РГ и ЭК знакомиться нет необходимости.

Существует ряд нормативных документов, регулирующих деятельность экспертных комиссий в тех или иных областях. Примером является Закон Российской Федерации "Об экологической экспертизе" от 23 ноября 1995 г., в котором регламентируется процедура экспертизы "намечаемой хозяйственной или иной деятельности" с целью выявления возможного вреда, который может нанести рассматриваемая деятельность окружающей

1.4 Опрос экспертов

Эксперт - компетентное лицо, имеющее специальные знания и опыт работы в области, непосредственно связанной с объектом исследования. Эксперт может выступать в качестве генератора, источника идей, гипотез и предложений; арбитра по оценке имеющихся данных, характеристик и показателей объекта; источника не известной исследователю информации, которая служит основой для дальнейшего анализа. Экспертные оценки - суждения экспертов о различных сферах человеческой жизнедеятельности, которые предполагают процедуру сравнения объектов, их свойств по выбранным критериям.

Надежность оценок и решений, принимаемых на основе суждений экспертов достаточно высока и в значительной степени зависит от организации и направленности процедуры сбора, анализа и обработки полученных мнений.

Суждения групп экспертов существенным образом отличаются от решений, которые формируются в результате дискуссий на заседаниях комиссий, где мнение авторитетных или "напористых" участников оказывает значительное влияние на суждения остальных. Это не значит, что индивидуальными мнениями специалистов и решениями комиссий следует пренебречь. Однако информация, полученная от группы экспертов, и соответствующим образом обработанная, как правило, оказывается более достоверной и надежной.

Центральной проблемой метода является подбор экспертов. Экспертная группа, с которой работают социологи в ходе опроса, представляет собой группу компетентных лиц, имеющих специальные знания и опыт работы в области, непосредственно связанной с объектом исследования. Количество членов этой группы значительно меньше в сравнении с количеством респондентов, опрашиваемых при массовом опросе. Итак, эксперт компетентен в изучаемой проблеме, он активный участник исследования, часто осведомленный о его задачах и целях. Главная задача социолога - поиск и отбор экспертов, формирование экспертных групп.

Работа по подбору специалистов, участвующих в опросе экспертов, обычно начинается с определения научных, технических и административных проблем, решение которых влияет на осуществление данной задачи. Затем составляется список компетентных лиц (в необходимых областях), который служит основой для выбора экспертов.

Изначально группа потенциальных экспертов формируется методом снежного кома. Установив число потенциально возможных кандидатов в эксперты, необходимо решить вопрос о численности экспертной группы. Здесь вряд ли возможно рассчитать оптимум, но очевидно, что при малом числе экспертов на групповую оценку оказывает излишнее влияние оценка каждого из экспертов. В то же время при слишком большом числе экспертов трудно выявить их согласованное мнение и при этом может снизиться достоверность групповой оценки вследствие уменьшения роли нестандартных мнений, отличающихся от мнения большинства, но не всегда оказывающихся неправильными. Количество экспертов зависит от возможности обеспечения "равноправия" ученых-специалистов различных направлений и от уровня их компетентности, от специфики проблемы исследования.

Тем не менее, подбирая экспертов, необходимо руководствоваться определенными требованиями, предъявляемыми к их персонам. Прежде всего необходимо обращать внимание на компетентность потенциального эксперта в исследуемой области, его эрудированность в смежных областях, ученую степень, звание, стаж научной или практической работы в определенной сфере, должностное положение, а также принципиальность, объективность, способность творчески мыслить, интуицию. Можно представить реестр качеств, которыми должен обладать "идеальный" эксперт, т.е. тот, который может являться эталоном респондента-эксперта, с которым предпочтительно работать:

- креативность, т.е. способность творчески решать задачи, метод решения которых полностью или частично не известен;

- эвристичность, т.е. способность видеть или создавать неочевидные проблемы;

-интуиция - способность делать заключения об исследуемом объекте без осознания пути движения мысли к этому заключению;

- предикаторность, т.е. способность предсказывать, предчувствовать будущее состояние исследуемого объекта;

- независимость, т.е. способность противопоставлять предубеждениям и массовому мнению свою точку зрения;

- всесторонность, т.е. способность видеть проблему с различных точек зрения.

После того как сформирована предварительная группа экспертов, начинают формировать рабочую группу. В качестве критериев отбора используют некоторые простые статистические способы и приемы, а также их комбинацию. Так, подбор экспертов может быть:

- экспериментальным (на основе тестирования, проверки эффективности их прежней экспертной деятельности);

- документальным (на основе социально-демографических данных);

- при помощи голосования (на основе аттестации потенциальных экспертов их коллегами);

- при помощи самооценки (оценка степени компетентности изучаемой проблемы, которая дается самим потенциальным экспертом).

Кроме указанных способов возможен расчет достоверности и точности экспертных оценок, представленных каким-либо из потенциальных экспертов в прошлом. В этом случае специалистов-экспертов можно рассматривать как "прибор", дающий информацию о вероятности каких-либо предстоящих событий или гипотез, объясняющих происходящие события. Следует определить точность и достоверность этой информации, подобно тому, как это делается для измерительных приборов. Рассматривая эксперта именно в таком ключе, определяют достоверность и точность его оценок по результатам прошлой деятельности. Для этого рассчитывают степень надежности эксперта, под которой понимается относительная частота случаев, когда эксперт приписал наибольшую вероятность гипотезам, впоследствии подтвердившимся (т.е. количество прогнозов, сделанных экспертом вообще делится на количество сбывшихся прогнозов). Под степенью точности эксперта при вынесении им суждения о значении вероятности для некоторого события понимается степень соответствия его персональной оценки корректности того класса гипотез, которым он приписал эту вероятностную оценку. Понятие надежности и точности эксперта базируется на предположении о том, что существует класс задач для решения которых эксперт либо подходит, либо не подходит.

Работа социолога, организующего опрос эксперта, сводится не только к подбору экспертов и формированию экспертных групп. Она включает в себя еще и подготовку экспертов к работе (к опросу), т.е. предоставление им максимум объективных данных, имеющих отношение к анализируемой проблеме, заботиться о том, чтобы эксперты были достаточно информированы об источниках возникновения исследуемой проблемы и путях решения сходных проблем в прошлом. В работу социолога по подготовке опроса экспертов, входит составление специальных опросных листов для экспертов (специфика их при использовании данного метода состоит в том, что не используются вопросы-ловушки, т.к. эксперт является осведомленным лицом, а кроме того, есть тенденция преобладания вопросов открытого типа); разработка способа и процедуры опроса экспертов; проведение опроса; анализ полученных данных.

Особые требования предъявляются к условиям проведения опроса экспертов. Необходимо, чтобы они создавали возможность получения наиболее достоверных оценок. С целью обеспечения независимости оценок, следует по возможности устранять взаимовлияние экспертов и уменьшать воздействие посторонних факторов. Большое значение имеет правильная формулировка вопросов опросника, позволяющая выразить отношение эксперта относительно каждого вопроса в виде количественной оценки и возможность согласования оценок, полученных от разных экспертов. Если форма опроса экспертов предполагает их очное взаимодействие, необходимо заботиться о том, чтобы мнения наиболее известных и авторитетных экспертов не задавали тон всех остальных дискуссий (для этого при выступлении сначала предоставляется слово "простым" участникам, а потом наиболее известным и авторитетным).

Виды опроса экспертов также могут быть разными. Их можно представить в виде двух основных форм: 1) очного и 2) заочного опроса экспертов.

Наиболее распространенными и универсальными являются разнообразные формы очного опроса экспертов, к которым относятся:

1) Свободное интервью экспертов (имеет разведывательную цель и чаще используется, когда необходимо более точно представить проблему, уточнить некоторые нюансы, четче интерпретировать употребляемые понятия и наметить основные направления исследования. Число интервьюируемых экспертов здесь невелико (10-15), но главное - чтобы подобранные эксперты были представителями разных в профессиональном и научном отношении точек зрения. Такое интервью проводится опытным социологом.).

2) Анкетный опрос экспертов (проводится по всем правилам анкетного опроса - Опрос анкетный).

3) "Мозговая атака" во всех ее разновидностях - прямая "мозговая атака", обмен мнениями, стимулирование наблюдения. Главная цель "мозговой атаки" - найти решение или пути решения какой-либо научно или практической проблемы.

К заочным формам опроса экспертов относятся:

1) Почтовый анкетный опрос экспертов (проводится по всем правилам анкетного опроса и почтового анкетного опроса в частности).

2) Дельфийская техника - многократный почтовый анкетный опрос одной и той же группы экспертов с применением шкалированных оценок. Цель данного вида опроса экспертов - сопоставление тщательно скорректированной программы последовательных индивидуальных опросов, направленной на уменьшение группового влияния, возникающего при совместной работе экспертов. Суть метода - в интерактивных циклах, обеспечивающих обратную связь: после первого опроса экспертов и обработки его результатов, итоги сообщаются участникам экспертной группы. Они должны либо подтвердить свою точку зрения, высказанную на предыдущем этапе, и если она значительно отличается от мнения большинства, развернуто ее мотивировать, либо изменить свою оценку в соответствии с мнением большинства участников. Затем снова производят обработку информации, результаты вновь рассылаются экспертам и так до тех пор, пока не прекратится "эффект интеративных циклов", т.е. пока новые туры опроса не перестанут давать статистически значимое увеличение согласованности оценок экспертов (обычно это достигается на 4-5 туре опроса). Очевидно, что данный вид работы с экспертами весьма трудоемок и сложен, хотя использование дельфийской техники имеет и свои преимущества: обеспечивается анонимность опроса путем исключения взаимодействия экспертов; установление обратной связи в виде сообщения обработанной информации о согласованной точке зрения экспертов на предыдущих этапах опроса; исключения взаимовлияния экспертов. Метод Дельфы не имеет целью достичь полное единство мнений экспертов по существу вопроса, поэтому несмотря на сближение точек зрения, различие во мнениях экспертов все равно будет существовать. Недостатком данного вида опроса экспертов является зависимость оценок, данных экспертами от формулировок вопросов и аргументации; влияние общественного мнения на экспертов.

Выбор вариантов работы с экспертами (очная или заочная форма) определяется спецификой проблемы и ситуацией.

Очные варианты работы с экспертами позволяют собрать более качественную информацию, хотя есть сложности организационного порядка и взаимовлияния экспертов.

Заочные же формы работы с экспертами дают возможность пренебрегать географическими рамками при опросе экспертов, исключает взаимовлияние их, однако делает работу экспертных групп не оперативной.

Сама процедура опроса эксперта, предполагает анализ исследуемой ситуации; выбор группы экспертов; выбор способа замера экспертных оценок; процедуру непосредственной оценки работы экспертов с анализом полученных данных. При этом необходима проверка данных экспертных оценок; изменение состава экспертных групп; повторные замеры по тем же вопросам с последующим сопоставлением результатов с объективной информацией, полученной другими методами.

В практике социологических исследований опрос эксперта используется:

1) для прогноза развития того или иного явления;

2) для оценки степени достоверности массового опроса;

3) для сбора предварительной информации о проблеме исследования (зондаж);

4) в ситуациях, когда массовый опрос простых респондентов не возможен или не эффективен.

2. ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК

экспертный прогнозирование опрос финансовый

2.1 Задачи обработки

После проведения опроса группы экспертов осуществляется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы.

Наличие как числовых данных, так и содержательных высказываний экспертов приводит к необходимости применения качественных и количественных методов обработки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от класса проблем, решаемых экспертным оцениванием.

Все множество проблем можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется достаточный уровень знаний и опыта, т. е. имеется необходимый информационный потенциал. При решении проблем, относящихся к этому классу, эксперты рассматриваются как хорошие в среднем измерители. Под термином «хорошие в среднем» понимается возможность получения результатов измерения, близких к истинным. Для множества экспертов их суждения группируются вблизи истинного значения. Отсюда следует, что для обработки результатов группового экспертного оценивания проблем первого класса можно успешно применять методы математической статистики, основанные на осреднении данных.

Ко второму классу относятся проблемы, для решения которых еще не накоплен достаточный информационный потенциал. В связи с этим суждения экспертов могут очень сильно различаться друг от друга. Более того, суждение одного эксперта, сильно отличающееся от остальных мнений, может оказаться истинным. Очевидно, что применение методов осреднения результатов групповой экспертной оценки при решении проблем второго класса может привести к большим ошибкам. Поэтому обработка результатов опроса экспертов в этом случае должна базироваться на методах, не использующих принципы осреднения, а на методах качественного анализа.

Учитывая, что проблемы первого класса являются наиболее распространенными в практике экспертного оценивания, основное внимание в этой главе уделяется методам обработки результатов экспертизы для этого класса проблем.

В зависимости от целей экспертного оценивания и выбранного метода измерения при обработке результатов опроса возникают следующие основные задачи:

- построение обобщенной оценки объектов на основе индивидуальных оценок экспертов;

- построение обобщенной оценки на основе парного сравнения объектов каждым экспертом;

- определение относительных весов объектов;

-определение согласованности мнений экспертов;

- определение зависимостей между ранжировками;

- оценка надежности результатов обработки.

Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при групповом экспертном оценивании. Решение этой задачи зависит от использованного экспертами метода измерения.

При решении многих задач недостаточно осуществить упорядочение объектов по одному показателю или некоторой совокупности показателей. Желательно иметь численные значения для каждого объекта, определяющие относительную его важность по сравнению с другими объектами. Иными словами, для многих задач необходимо иметь оценки объектов, которые не только осуществляют их упорядочение, но и позволяют определять степень предпочтительности одного объекта перед другим. Для решения этой задачи можно непосредственно применить метод непосредственной оценки. Однако эту же задачу при определенных условиях можно решить путем обработки оценок экспертов.

Определение согласованности мнений экспертов производится путем вычисления числовой меры, характеризующей степень близости индивидуальных мнений. Анализ значения меры согласованности способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов. Качественный анализ причин группировки мнений позволяет установить существование различных взглядов, концепций, выявить научные школы, определить характер профессиональной деятельности и т. п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.

Обработкой результатов экспертного оценивания можно определять зависимости между ранжировками различных экспертов и тем самым устанавливать единство и различие в мнениях экспертов. Важную роль играет также установление зависимости между ранжировками, построенными по различным показателям сравнения объектов. Выявление таких зависимостей позволяет вскрыть связанные показатели сравнения и, может быть, осуществить их группировку по степени связи. Важность задачи определения зависимостей для практики очевидна. Например, если показателями сравнения являются различные цели, а объектами -- средства достижения целей, то установление взаимосвязи между ранжировками, упорядочивающими средства с точки зрения достижения целей, позволяет обоснованно ответить на вопрос, в какой степени достижение одной цели при данных средствах способствует достижению других целей.

Оценки, получаемые на основе обработки, представляют собой случайные объекты, поэтому одной из важных задач процедуры обработки является определение их надежности. Решению этой задачи должно уделяться соответствующее внимание.

Обработка результатов экспертизы представляет собой трудоемкий процесс. Выполнение операций вычисления оценок и показателей их надежности вручную связано с большими трудовыми затратами даже в случае решения простых задач упорядочения. В связи с этим целесообразно использовать вычислительную технику и особенно ЭВМ. Применение ЭВМ выдвигает проблему разработки машинных программ, реализующих алгоритмы обработки результатов экспертного оценивания.

2.2 Метод ранжирования

Этот метод предназначен для решения многих практических задач, когда объекты не поддаются непосредственному измерению. Кроме того, отдельные объекты, характеризующиеся различной природой, оказываются несоизмеримыми, так как у них нет общей меры сравнения.

Метод ранжирования состоит в том, что эксперту предлагается присвоить числовые ранги каждому из приведенных в анкете факторов. Ранг, равный единице, приписывается наиболее важному, по мнению эксперта, фактору, а ранг, равный двум, присваивается следующему по важности фактору и т.д.

Ранжирование удобно применять в следующих ситуациях:

1) когда необходимо упорядочить какие-либо объекты во времени или пространстве;

2) когда нужно упорядочив объекты в соответствии с каким-либо качеством, но при этом не требуется его точное измерение;

3) когда какое-либо качество в принципе измеримо, однако в настоящий momchi не может быть измерено по причинам практического или теоретического характера.

Порядковая шкала, получаемая в результате ранжирования, должна удовлетворять условию равенства числа рангов N числу ранжируемых объектов. Иногда возникает ситуация, когда эксперт затрудняется провести четкое разграничение между некоторыми факторами. В этом случае вводятся так называемые стандартизованные или связанные Ранги (rсв).

Например, эксперту предлагается проранжировать по важности атрибуты (факторы) для решения задачи отдела труда и заработной платы предприятия, представленные в табл. 1. Атрибутам 3 и 5, поделившим между собой второе и третье места, приписывается связанный ранг

rсв = (2+3) /2=2,5,

а атрибутам 2, 4 и 6, занявшим соответственно 4, 5 и 6-е места, приписывается

rсв = (4+5+6)/3=5.

В итоге получается ранжировка согласно табл. 2. Сумма рангов SN, полученная в результате ранжирования n факторов, равна сумме чисел натурального ряда:

При большом числе оцениваемых факторов их "различимость", с точки зрения эксперта, уменьшается. Поэтому число факторов не должно быть более 20, а наибольшая надежность процедуры ранжирования обеспечивается при n <10.

Известно, что одним из недостатков анкетных методов является значительная субъективность экспертной оценки, поэтому для повышения степени ее объективности обычно проводят анкетирование нескольких экспертов. В случае, если ранжирование производится несколькими экспертами, то наивысший ранг присваивается фактору, получившему наименьшую сумму рангов, и наоборот, фактор, собравший наибольшую сумму рангов, получает самый низкий ранг N. Для формализации этой процедуры удобно воспользоваться относительными весами факторов, которые можно вычислить путем следующей обработки анкет.

Таблица 1. Ранжирование по важности атрибута

Атрибут	Фактор	Наименование атрибута	Ранг
1	1	Квалификация	1
2	2	Профессия	3
3	3	Стаж	2
4	4	Возраст	3
5	5	Общее образование	2
6	6	Семейное положение	3

Таблица 2.Ранжирование по факторам

Фактор	1	2	3	4	5	6
Ранг	1	5	2.5	5	2.5	5

2.3 Метод парных сравнений

Матричный метод. Этот метод основан на сравнении объектов экспертизы попарно для установления наиболее важного в каждой паре.

Парное сравнение представляет собой процедуру установления предпочтения объектов при сравнении всех возможных пар.

В отличие от ранжирования, в котором осуществляется упорядочение всех объектов, парное сравнение объектов представляет собой более простую задачу. При сравнении пары объектов возможно либо отношение строгого порядка, либо отношение эквивалентности. Отсюда следует, что парное сравнение, так же, как и ранжирование, есть измерение в порядковой шкале.

В результате сравнения пары объектов эксперт высказывает, что первый объект больше второго, либо наоборот, либо они эквивалентны.

Подобное представление применяют для отражения результатов спортивных состязаний. За выигрыш дается два очка, за ничью -- одно, за проигрыш ноль очков (например, футбол, хоккей и т.п.). Предпочтительность одного объекта перед другим трактуется в данном случае как выигрыш одного участника турнира у другого. Таблица результатов измерения при использовании числового представления не отличается от таблиц результатов спортивных турниров, за исключением диагональных элементов (обычно в турнирных таблицах диагональные элементы заштрихованы

Пример 1

Эксперт проводит оценку 4-х целей, которые связаны с решением транспортной проблемы.

Z₁ -- построить метрополитен

Z₂ -- приобрести 2-хэтажный автобус

Z₃ -- расширить транспортную сеть

Z₄ -- ввести скоростной трамвай

1. Составим матрицу бинарных предпочтений:

Zi / Zj	Z1	Z2	Z3	Z4
Z1		1	1	1
Z2	0		0	0
Z3	0	1		1
Z4	0	1	0

2.Определим цену каждой цели (складываем по строкам)

C₁=3; C₂=0; C₃=2; C₄=1

Эти числа уже характеризуют важность объектов. Нормируем, т.к. этими числами не удобно пользоваться.

3.Исковые веса целей.

V₁=3/6=0,5; V₂=0; V₃=0,17

Проверка:

Получаем следовательно порядок предпочтения целей:

Z₁, Z₃, Z₄, Z₂

2.4 Проверка согласованности мнений экспертов

Ясно, что мнения разных экспертов различаются. Важно понять, насколько велико это различие. Если мало - усреднение мнений экспертов позволит выделить то общее, что есть у всех экспертов, отбросив случайные отклонения в ту или иную сторону. Если велико - усреднение является чисто формальной процедурой. Так, если представить себе, что ответы экспертов равномерно покрывают поверхность бублика, то формальное усреднение укажет на центр дырки от бублика, а такого мнения не придерживается ни один эксперт. Из сказанного ясна важность проблемы проверки согласованности мнений экспертов.

Разработан ряд методов такой проверки. Статистические методы проверки согласованности зависят от математической природы ответов экспертов. Соответствующие статистические теории весьма трудны, если эти ответы - ранжировки или разбиения, и достаточно просты, если ответы - результаты независимых парных сравнений. Отсюда вытекает рекомендация по организации экспертного опроса: не старайтесь сразу получить от эксперта ранжировку или разбиение, ему трудно это сделать, да и имеющиеся математические методы не позволяют далеко продвинуться в анализе подобных данных.

Например, рекомендуют проверять согласованность ранжировок с помощью коэффициента ранговой конкордации Кендалла-Смита. Но давайте вспомним, какая статистическая модель при этом используется. Проверяется нулевая гипотеза, согласно которой ранжировки независимы и равномерно распределены на множестве всех ранжировок. Если эта гипотеза принимается, то конечно, ни о какой согласованности мнений экспертов говорить нельзя. А если отклоняется? Тоже нельзя. Например, может быть два (или больше) центра, около которых группируются ответы экспертов. Нулевая гипотеза отклоняется. Но разве можно говорить о согласованности?