Построение прогноза с помощью экспертных методов

Размещено на http://www.allbest.ru/

Московский авиационный институт

(государственный технический университет)

Кафедра 509

Методические указания к лабораторной работе

«Построение прогноза с помощью экспертных методов»

Москва

2007

1. Цели и задачи лабораторной работы

Целью лабораторной работы является практическое знакомство студентов с приемами организации, проведения, обработки и анализа результатов анкетного опроса экспертов.

Основными задачами являются:

· выявление и анализ наиболее важных характеристик объекта прогноза, формирование цели прогнозного исследования;

· проведение организационной и методической подготовки прогнозного исследования;

· подбор экспертов и методов работы с ними;

· проведение опроса экспертов;

· обработка и анализ результатов прогнозных исследований и выработка рекомендаций по ним.

В настоящей лабораторной работе студентам предлагается провести комплексную оценку качества получаемого ими образования.

2. Теоретическая часть

Общая процедура работы всех экспертных методов прогнозирования, независимо от их специфических особенностей, представляется следующими основными этапами.

Этап 1. Уточнение и анализ задания на прогноз. На этом этапе рассматриваются характеристика объекта прогноза, требуемая степень его детализации, возможности использования экспертами уже имеющейся, так называемой «опорной» информации, уточняются время упреждения, условия прогнозных исследований (ограничения по срокам разработки прогноза, организационным и финансовым возможностям). На основании всего этого выбирается тот или иной конкретный экспертный метод.

Этап 2. Организационная и методическая подготовка прогнозных исследований. На этом этапе в соответствии с заданием и условиями разработки прогноза с учетом выбранного метода устанавливается форма работы с экспертами, решаются все организационные вопросы, разрабатывается всё методическое обеспечение исследований (составляются программа проведения опросов и опросные документы, выбираются способы подбора экспертов, формируется методика обработки результатов опроса).

Этап 3. Подбор экспертов. На этом этапе на основе выбранной методики с учетом особенностей задания на прогноз и всех дополнительных условий проведения исследований подбирается один эксперт или группа экспертов, с использованием или без использования формальных процедур оценки их компетентности и численности.

Этап 4. Проведение экспертных прогнозных исследований. На этом этапе осуществляется непосредственная работа с экспертами по установленным ранее процедурам и на основе разработанных программ и опросных документов. Работа может проводиться в один тур (как в большинстве интуитивных методов) или несколько последовательных туров, связанных единой логикой исследований (как в методе "Дельфи" и в аналитических методах). В аналитических методах на этом же этапе в дополнение к общей характеристике объекта прогноза (этап I) осуществляется в требуемом объеме его анализ, результаты которого являются основой построения соответствующей модели развития этого объекта.

Этап 5. Обработка и анализ результатов прогнозных исследований и выработка рекомендаций по ним. На этом этапе на основе сформированной на этапе 2 методики, предусматривающей формальные (количественные) и неформальные процедуры, обрабатываются результаты экспертизы. Цель данного этапа - получить обобщенное мнение группы экспертов, а также аргументированное обоснование и оценку оригинальных индивидуальных суждений экспертов. На основе этого анализа даются рекомендации по прогнозу.

Перечисленные этапы характерны для всех экспертных методов, но в каждом конкретном методе в зависимости от его специфических особенностей процедуры отдельных этапов осуществляются в большем или меньшем объеме, с большей или меньшей степенью формализации.

Рассмотрим конкретные особенности этапов.

2.1 Этап 1. Уточнение и анализ задания на прогноз

прогноз эксперт анкетный опрос

Качество экспертного прогноза в значительной степени определяется уровнем компетентности привлекаемых к опросу экспертов. Поэтому высокая компетентность эксперта является основным условием привлечения его к участию в разработке прогноза. Кроме того, требуется осведомленность эксперта в исследуемой области, его объективность, а также обеспечение репрезентативности экспертной группы.

Очевидно, что наиболее подходящим контингентом на роль экспертов являются студенты, которые располагают наиболее подробными и неочевидными сведениями об особенностях, достоинствах и недостатках организации процесса обучения. Кроме того, у них нет явных оснований для необъективного подхода в оценках. К потенциальным недостаткам этой группы следует отнести недостаточную зрелость суждений, связанную с тем, что фактически процесс обучения еще не закончен, а вместе с ним не завершен профессиональный, нравственный и социальный рост студентов.

2.4 Этап 4. Проведение экспертных прогнозных исследований

Непосредственная работа с экспертами заключается в организации обсуждения поставленной проблемы, формы и содержания предлагаемой опросной документацией, заполнении анкеты. Работа проводится в один тур. Анкеты заполняются анонимно.

2.5 Этап 5. Обработка и анализ результатов прогнозных исследований и выработка рекомендаций по ним

Цель данного этапа - получить обобщенное мнение группы экспертов и аргументированное обоснование. Результаты этого анализа используются для разработки рекомендаций по прогнозу.

1. Расчет обобщенной оценки качества образования по осредненным оценкам экспертов:

1.1. Средняя значимость i-го критерия

, (1)

где - среднее значение значимости i-го критерия;

- значение значимости i-го критерия, данное j-ым экспертом;

- число экспертов.

1.2. Средний вес i-го критерия

, (2)

где - средний вес i-го критерия;

- число критериев.

1.3. Осредненная оценка качества образования

1.4.

, (3)

Расчеты удобно вести в электронной таблице Excel, сопровождая их необходимыми графиками и диаграммами.

1.5. Предварительный анализ полученной экспертной оценки сводится к следующему:

· с помощью шкалы оценки качества образования можно перевести полученную оценку в один из квалификационных диапазонов: «Крайне низкое» … «Отличное»;

· рассматривая распределение значимости критериев можно составить представление о системе приоритетов студентов, отражающее их ожидания от результатов обучения;

· важным обстоятельством является также сопряженность между весами критериев и оценкой качества образования , так как исключительно важно, чтобы вклад наиболее важных сторон процесса был большим, в то время как по малозначительным критериям вклад может быть и невысоким;

· высокой содержательностью может обладать также анализ укрупненной оценки вклада отдельных аспектов в качество образования.

Указанные соображения не исчерпывают всё многообразие возможных ситуаций, которые требуют творческого подхода для их рассмотрения и анализа.

2. Расчет индивидуальных оценок экспертов:

Важность решаемой проблемы заставляет изучать ее не только в среднем, но и индивидуально для каждого студента.

2.1. Средний вес i-го критерия j-го эксперта

(4)

2.2. Оценка качества образования j-ым экспертом

, (5)

С помощью шкалы оценки качества образования можно перевести полученную оценку в один из квалификационных диапазонов: «Крайне низкое» … «Отличное».

2.3. Дальнейший анализ полученной информации позволяет получить более детальную характеристику группы экспертов, которые одновременно являются одним из субъектов исследуемого процесса. Отметим наиболее важные моменты анализа:

· Рассматривая упорядоченное распределение оценок качества образования можно найти его медиану, которая наряду с также является оценкой среднего качества образования. Значительное расхождение этих двух оценок, как правило, связано со значительным отклонением функции распределения рассматриваемой выборки от нормального закона. Косвенно это является свидетельством наличия существенных особенностей в распределении мнений экспертов, требующим специального изучения. В частности, это может быть связано с существованием отдельных группировок (кластеров) в студенческой среде.

· Диаграмма распределения упорядоченных индивидуальных оценок качества образования позволяет визуально получить диапазон оценок, распределение оценок по карманам от «крайне низкое» до «отличное».

Форма диаграммы является весьма тонким инструментом исследования. Она чувствительна к любым неоднородностям в мнениях экспертов, они проявляются в резком изменении наклона кривой. В частности, можно отметить следующие случаи:

v «экстремизм» в позиции экспертов (по-видимому, эти мнения не являются объективными и обоснованными);

v наличие группировок (кластеров) экспертов (обычно этот случай требует проведения дополнительных исследований).

Рекомендации по проведенному экспертному прогнозу должны содержать не только полученное значение оценки качества образования, но и результаты детальных исследований, раскрывающие выявленные характерные особенности организации учебного процесса, а также, возможно, их причины. Указанные сведения должны подготовить почву для принятия обоснованных и сбалансированных решений по повышению качества предоставляемой образовательной услуги.

Размещено на Allbest.ru