Методика оценки компетентности экспертов

Размещено на http://www.allbest.ru/

Методика оценки компетентности экспертов

Петриченко Григорий Семенович

Петриченко Виктория Гурьяновна

Аннотации

Статья посвящена актуальной проблеме: повышении достоверности экспертных оценок, за счет привлечения в группу наиболее компетентных экспертов для проведения экспертизы. В статье приведен анализ применения экспертного оценивания в области эксплуатации корпоративных и телекоммуникационных сетей. Предложена методика оценки компетентности экспертов. При оценке компетентности экспертов учитываются следующие факторы: специализация эксперта, стаж и опыт его работы в данной области, научная квалификация, наличие научных трудов по проблематике проведения экспертизы. Для выявления приоритета факторов при определении компетентности экспертов предлагается использовать метод анализа иерархий. Необходимое количество экспертов для проведения экспертизы объектов определяется на основе применения статистического анализа экспертиза телекоммуникационный корпоративный

The article is devoted to an actual problem: increasing of reliability of expert estimates, due to attraction in group of the most competent experts for carrying out examination. The analysis of application of expert estimation in the field of operation of corporate and telecommunication networks is provided in the article. The technique of an assessment of competence of experts is offered. When assessing the competence of experts the following factors were considered: specialization of the expert, an experience and experience of its work in the field, scientific qualification, existence of scientific works on a perspective of carrying out examination. For identification of a priority of factors at determination of competence of experts it is offered to use a method of the analysis of hierarchies. The necessary number of experts for carrying out examination of objects is defined on the basis of application of the statistical analysis

Ключевые слова: экспертная оценка, компетентность экспертов, экспертиза, метод анализа иерархий, факторы

Keywords: expert evaluation, competence of experts, expertise, analytic hierarchy process, factors

Введение

Экспертное оценивание - одно из наиболее распространенных технологий привлекающее внимание широкого круга специалистов. В настоящее время сфера применения экспертного оценивания постоянно расширяется.

Экспертное оценивание - это наиболее доступный и универсальный метод получения и анализа информации о состоянии различных объектов и субъектов, а также является единственным способом получения необходимой информации для объектов, не имеющих статистической информации функционирования и которые характеризуются своей структурно - параметрической неопределенностью.

В последнее время экспертное оценивание находит интенсивное применение в области эксплуатации корпоративных и телекоммуникационных сетей, из за простоты и оперативности получения нужных сведений о их фактически техническом состоянии. Это объясняется тем, что эксплуатация корпоративных и телекоммуникационных сетей относительно новая сфера человеческой деятельности, в которой идет процесс накопления и осмысления разноплановой информации. Применение методов экспертного оценивания особенно распространено на задачах: проектирования корпоративных сетей [4], при построении комплексных систем защиты[5], при эксплуатации корпоративных сетей[1,2], вычисление информационных рисков и прочее [3].

При формировании экспертных оценок основным источником информации является эксперт, а для повышения степени объективности и качества процедуры принятия решения целесообразно учитывать мнения нескольких экспертов. Таким образом, экспертные методы основываются исключительно на оценках экспертов, сделанных относительно проблемы или задачи, которую они знают лучше других.

Это обуславливает особые требования по выбору состава экспертов, в частности уровнем их профессиональной компетентности, ведь недостаточный уровень компетентности эксперта может привести к появлению грубых ошибок в данных экспертизы и в последствии к большим экономическим потерям.

Поэтому актуальной проблемой является повышение достоверности экспертных оценок, за счет привлечения в группу наиболее компетентных экспертов для проведения экспертизы.

Особенно актуальна эта проблема в новых сферах человеческой деятельности, таких как корпоративные и телекоммуникационные системы. В данных системах еще недостаточно развит формально-теоретический базис, не структурировано множество свойств и особенностей объектов, которые изучаются, не сформировались количество специалистов, по качеству своей подготовки, адекватных требованиям, предъявляемым уровню эксперта. Если область проведения экспертизы новая, тем сложнее подобрать группу экспертов, которые имеют высокий уровень профессиональной компетентности. Для восполнения этого пробела и была написана данная статья.

Постановка задачи

В настоящее время проблема подбора экспертов для проведения экспертизы корпоративной или телекоммуникационной сети, является одной из наиболее сложных в теории и практике экспертных исследований. В качестве экспертов необходимо использовать наиболее компетентных специалистов, чьи суждения помогут руководителю принять адекватное и наиболее приемлемое решение.

В решении проблемы подбора экспертов для проведения экспертизы можно выделить три этапа. На первом этапе составляются списки возможных N - кандидатов для проведения экспертизы R - объектов, а на втором этапе происходит выбор экспертной комиссии n с меньшей размерностью N>n. В выборку n попадают эксперты, которые набрали максимальные коэффициенты компетентности W. На третьем этапе определяется средняя ошибка выборки (p).

Решение задачи.

Если выбор экспертов для различных задач и объектов реализуется на основе их максимального коэффициента компетентности, то логичнее всего воспользоваться комбинированным методом, который бы включал в себя элементы различных методов, в том числе и метода анализа иерархий (МАИ). Суть комбинированного метода заключается в следующем.

Дано: общая цель решения задачи - это выбор экспертов с наибольшим коэффициентом компетентности; факторы (критерии) оценки экспертов; множество экспертов N.

Требуется: выбрать группу n экспертов с максимальным коэффициентом компетентности.

Для выбора n экспертов с максимальным коэффициентом компетентности необходимо выполнить следующие действия:

- провести структуризацию задачи принятия решений в виде иерархической структуры с несколькими уровнями: первый уровень - определение факторов; второй уровень - определение объективной компетентности экспертов по факторам; третий уровень - определение значений вектора приоритетов факторов; четвертый уровень - определение глобальных коэффициентов экспертов с учетом приоритета факторов; пятый уровень - отбор экспертов n с максимальным коэффициентом компетентности; шестой уровень - определение средней ошибки выборки;

- составить лицом принимающее решение (ЛПР) тестовые вопросы, по определению компетентности эксперта, на которые эксперт будет отвечать;

- рассчитать весовые оценки i - эксперта по j - м факторам;

- вычислить значения вектора приоритетов факторов;

- вычисление глобальных коэффициентов экспертов с учетом приоритета факторов;

- рассчитать какая должна быть численность n экспертов для проведения экспертизы объектов.

Технология применения комбинированного метода для выбора экспертов с максимальным коэффициентом компетентности следующая:

1. Построение иерархии осуществляется с вершины - цели анализа (в данном случае - это выбор экспертов n из совокупности N), через промежуточные уровни (факторы, по которым производится сравнение вариантов) к нижнему уровню (который является перечислением альтернатив).

2. При оценке компетентности экспертов необходимо учитывать следующие факторы: специализацию эксперта, стаж и опыт его работы в данной области, научная квалификация, наличие научных трудов по проблематике проведения экспертизы.

Для оценки компетентности экспертов, чаще всего можно использовать следующие коэффициенты: Коб - объективный коэффициент компетентности; Кс - коэффициент относительной самооценки; Кв - коэффициент взаимной оценки.

Для определения объективного коэффициента компетентности необходимо составить тестовые вопросы, на которые будет отвечать эксперт. Можно также сформировать специальную таблицу содержащую вопросы по всем факторам, влияющим на компетентность эксперта. В таблице 1 могут быть представлены также варианты ответов, каждый из которых имеет определенный балл. Сумма этих баллов и определяет объективный коэффициент компетентности. Например, если научная квалификация экспертов без ученой степени, ученая степень кандидата наук или доктора наук, то вес этого фактора (критерия) для экспертов равен 0; 0,4 и 0,6 соответственно. Рассчитав веса каждого фактора и усреднив их по количеству, получаем обобщённый вес значимости мнения эксперта. В таблице 2 приведен пример расчета весов каждого фактора для десяти экспертов.

3. Расчет весовой оценки i - эксперта по j - м факторам осуществляется по следующему алгоритму:

Выполняется построение матрицы А, которая определяет баллы набранные i - м экспертом по j - му фактору

, (1)

где - баллы, набранные i - м экспертом по j - му фактору; n - количество факторов; m - количество экспертов.

Таблица 1 - Профессиональная компетентность эксперта

Вычисляется сумма баллов набранных i - м экспертом по всем факторам, применяя следующую формулу:

.

Вычисляется сумма баллов - го фактора по всем экспертам, применяя следующую формулу:

.

Вычисляется весовой коэффициент экспертов по всем факторам, применяя следующую формулу:

, .

Результаты расчета весовых коэффициентов по десяти экспертам и пяти факторам приведены в таблице 2.

Таблица 2 - Расчет весов каждого эксперта

Для более точной оценки компетентности экспертов на основании таблицы 2 рассчитывается веса экспертов по каждому фактору и заносим их в таблицу 3 используя следующее выражение:

.

Вычисляется сумма весов экспертов по всем факторам, для расчета используется следующее выражение:

.

Вычисляется весовой коэффициент экспертов по всем факторам, применяя следующее выражение:

.

Таблица 3 - Веса экспертов по каждому фактору

На основании таблицы 2 и 3 можно про ранжировать экспертов в следующей последовательности: Экс.5, Экс.4, Экс.10, Экс.1, Экс. 6, Экс.3, Экс. 2, Экс.8, Экс.9, Экс.7.

4. Вычислить значения вектора приоритетов факторов.

В статье предлагается использовать метод анализа иерархий для определения вектора приоритетов факторов предложенный в работах[1,4,6] .

Рассмотрим МАИ на наглядном примере - вычисление значений вектора приоритетов факторов. Пусть для определения компетентности экспертов будут использоваться следующие факторы:

- уровень образования; - стаж работы; - опыт работы; - научная квалификация; - количество научных трудов.

Из таблицы 4 видно, что (научная квалификация) и (уровень образования) воспринимаются экспертной группой как наиболее важные факторы при выборе экспертов.

5. Вычисление глобальных коэффициентов экспертов с учетом приоритета факторов.

Для получения глобальных приоритетов необходимо для каждой из экспертов просуммировать нормализованные факторы (таблица 3), умноженные на свои вектора приоритетов (таблица 4).

Таблица 4 - Матрица парных сравнений факторов

Альтернативы с наибольшим значением глобального приоритета является предпочтительной для ЛПР (таблица 5).

Итак, из диаграммы 1 видно, что эксперты: Экс.5, Экс.4, Экс.6 и Экс.10 имеют наибольший глобальный приоритет. Отсюда следует, что они имеют приоритет попасть в группу для экспертизы объектов.

6. Рассчитать какая должна быть численность n экспертов для проведения экспертизы объектов, при вероятности 0,997 и ошибки выборки не более 7%.

Вычислим необходимую выборочную совокупность n экспертов по следующей формуле:

,

где t=3 при вероятности 0,997; = 0,003397 - выборочная дисперсия для данных, приведенных в таблице 7; N=10 - генеральная совокупность экспертов; - предельная ошибка выборки.

n= 3,841898.

Таблица 5 - Результаты вычисления глобальных приоритетов

На диаграмме 1 показаны глобальные приоритеты каждого эксперта.

Таким образом, необходимое количество экспертов для проведения экспертизы объектов составит 4 человека при генеральной выборки N=10. Комбинированный метод выбора компетентных экспертов может быть успешно применен для анализа решений при многих критериях. Данный метод можно сделать более гибким и учитывающим предпочтения ЛПР.

Диаграмма 1 - Глобальные приоритеты с учетам приоритета факторов

Литература

1. Петриченко Г.С. Анализ состояния вопросов эксплуатации корпоративных сетей на современном этапе. Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. № 100. С. 378-395.

2. Петриченко Г.С. Выбор способа эксплуатации корпоративных сетей на основе применения экспертных оценок. Научные ведомости Белгородского государственного университета. Серия: Информатика, прикладная математика и управление. 2014. Т. 32. № 21-1 (192). С. 162-167.

3. Петриченко Г.С., Дудник Л.Н., Срур М.Ю. Методика оценки финансового риска при проектировании и монтаже компьютерной сети предприятия. Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. Информатика. Телекоммуникации. Управление. 2011. Т. 2. № 120. С. 18-25.

4. Петриченко Г.С., Григорян Н.К., Медовщиков М.И. Методика разработки экспертной системы руководителя для принятия управленческих решений. Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. Информатика. Телекоммуникации. Управление. 2012. Т. 1. № 140. С. 60-66.

5. Петриченко Г.С., Нарыжная Н.Ю., Гоголев В.Н. Моделирование управленческих ситуаций по защите информации с применением иерархической системы неисправностей. Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. Информатика. Телекоммуникации. Управление. 2008. Т. 2. № 55. С. 103-107.

6. Саати Т. Принятие решений. Метод анализа иерархий. - М.: Радио и связь, 1993.

References

1. 1. Petrichenko G.S. Analiz sostojanija voprosov jekspluatacii korporativnyh setej na sovremennom jetape. Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta. 2014. № 100. S. 378-395.

2. 2. Petrichenko G.S. Vybor sposoba jekspluatacii korporativnyh setej na osnove primenenija jekspertnyh ocenok. Nauchnye vedomosti Belgorodskogo gosudarstvennogo universiteta. Serija: Informatika, prikladnaja matematika i upravlenie. 2014. T. 32. № 21-1 (192). S. 162-167.

3. 3. Petrichenko G.S., Dudnik L.N., Srur M. Ju. Metodika ocenki finansovogo riska pri proektirovanii i montazhe komp'juternoj seti predprijatija. Nauchno-tehnicheskie vedomosti Sankt-Peterburgskogo gosudarstvennogo politehnicheskogo universiteta. Informatika. Telekommunikacii. Upravlenie. 2011. T. 2. № 120. S. 18-25.

4. 4. Petrichenko G.S., Grigorjan N.K., Medovshhikov M.I. Metodika razrabotki jekspertnoj sistemy rukovoditelja dlja prinjatija upravlencheskih reshenij. Nauchno-tehnicheskie vedomosti Sankt-Peterburgskogo gosudarstvennogo politehnicheskogo universiteta. Informatika. Telekommunikacii. Upravlenie. 2012. T. 1. № 140. S. 60-66.

5. 5. Petrichenko G.S., Naryzhnaja N. Ju., Gogolev V.N. Modelirovanie upravlencheskih situacij po zashhite informacii s primeneniem ierarhicheskoj sistemy neispravnostej. Nauchno-tehnicheskie vedomosti Sankt-Peterburgskogo gosudarstvennogo politehnicheskogo universiteta. Informatika. Telekommunikacii. Upravlenie. 2008. T. 2. № 55. S. 103-107.

6. 6. Saati T. Prinjatie reshenij. Metod analiza ierarhij. - M.: Radio i svjaz', 1993.

Размещено на Allbest.ru