Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

КУРСОВАЯ РАБОТА

по дисциплине: «Государственное и муниципальное управление»

на тему: «Мониторинг и оценка государственных и муниципальных программ»

Казань - 2012

План

Введение

1. Сущность мониторинга и оценки государственных и муниципальных программ. Основные методологические стратегии

2. Технический инструментарий проведения оценки

2.1 Планирование оценки

2.2 Основные методы сбора и анализа данных

2.3 Основные методы обработки и анализа данных

3. Этапы процесса мониторинга и оценки программ

3.1 Оценка ситуации

3.2 Оценка процесса и мониторинг

3.3 Оценка влияния программы

Заключение

Список использованной литературы

Введение

Актуальность исследования. В последние десятилетия мониторинг и оценка получили широкое признание и сегодня является традиционным инструментом управленческой деятельности во многих странах мира. Методики мониторинга впервые стали применять в практике естественных наук (почвоведение, биология, зоология, экология, метеорология, медицина и т.п.). Позже сфера использования технологий мониторинга чрезвычайно расширилась и наработанные подходы перешли к другим наук: социологии, экономики, политологии, теории управления. В зависимости от сферы применения мониторинг приобретает различных толкований и в разной степени применяется. В частности, например, считается, что в сфере экологии мониторинг в развитых странах достиг уровня зрелости. Экологический мониторинг четко определен, его воспринимают большинство ученых и практиков, глубоко проработан методологический аппарат, созданы средства отслеживания, измерения, сбора, хранения и обработки данных, способы распространения информации, законодательно закреплен статус подобное.

Сегодня мониторинг и оценка используется для определения результативности и эффективности стратегий, госпрограмм и проектов, официальным разработчиками и исполнителями которых являются органы государственной власти и местного самоуправления разных уровней. Как следствие, в странах Запада обнародуют отчеты о результатах выполнения стратегий, программ и проектов, основанных на анализе значительного перечня количественных и качественных данных, и имеют целью продемонстрировать уровень их эффективности и соответствия потребностям общины. Это дает возможность руководителям соответствующих организаций своевременно и адекватно реагировать для корректировки как самих стратегий, программ и проектов, так и соответствующей государственной или местной политики. Вместе обнародование данных мониторинга и особенно оценки стратегий, программ и проектов способствует формированию «обратной реакции» бизнеса и общественности, которые имеют возможность высказать собственную позицию по результативности программной деятельности правительственных структур разных уровней.

В России внедрение современных подходов к оценке правительственных программ пока еще новая и не распространенная управленческая практика.

Целью курсовой работы стало обобщение теоретических основ мониторинга и оценки государственных и муниципальных программ.

Поставленная цель обусловила решение ряда задач:

- раскрыть сущность мониторинга и оценки государственных и муниципальных программ;

- обобщить технический инструментарий проведения оценки программ;

- охарактеризовать такие основные этапы процесса мониторинга и оценки программ, как оценка ситуации, оценка процесса и мониторинг и оценка влияния программы.

Объектом исследования стали мониторинг и оценка государственных и муниципальных программ.

Предметом работы выбраны теоретические и организационные аспекты мониторинга и оценки государственных и муниципальных программ.

Структурно курсовая состоит из введения, трех разделов с параграфами, заключения и списка литературы.

1. Сущность мониторинга и оценки государственных и муниципальных программ. Основные методологические стратегии

Термины «мониторинг» и «оценка» иногда употребляются как синонимы или взаимозаменяемые понятия, то приводит к замешательству. Все же эти понятия отличаются.

Мониторинг -- это процесс, который включает регулярный сбор и фиксацию данных для отслеживания ключевых элементов реализации проекта на протяжении его деятельности. Цель мониторинга -- корректировка, обеспечение эффективного использования ресурсов, достижение запланированных задач, минимизация отрицательных последствий, определение возможностей развития и/или повторения проекта. Для мониторинга характерны простые вопросы: имело место какое-либо мероприятие или нет, скольким клиентам была предоставлена услуга, сколько предметов было роздано и т.д. Как правило, эту информацию получить достаточно просто, и нужно лишь аккуратно ее зафиксировать после оказания услуги Пособие по мониторингу и оцениванию программ регионального развития / Лендьел М., Винницкий Б., Ратейчак Ю., Санжаровский И. Под ред. Санжаровского И., Полянского Ю. - К. : К.І.С., 2007. - 80 с. - C. 14.

Мониторинг социальных государственных и муниципальных программ и проектов базируется на комплексности, системности и регулярности использования одних и тех же принципов и одного и того же инструментария. Это дает возможность осуществлять текущий контроль динамики изменений в отношении к проблеме на протяжении времени реализации проекта и своевременно корректировать направления деятельности, используя соответствующие методы и средства.

Оценка -- это систематизированное исследование ситуации, процесса реализации программы или ее результатов с целью разработки проекта деятельности, создания рекомендаций по улучшению работы, оценки ее эффективности и результативности. Существует несколько типов оценки. Среди них можно выделить три основных: оценка ситуации, оценка процесса и оценка влияния. Оценка ситуации, как правило, проводится перед началом вмешательства. Ее цель -- разработка проекта, адекватного потребностям целевой группы. Оценку процесса проводят в ходе реализации программы. Она призвана откорректировать программу во время реализации для повышения эффективности ее воздействия. Оценка влияния проводится после окончания программы (или ее компонента) или некоторое время спустя. Она показывает, насколько программа вмешательства достигла поставленных целей.

Оценка - это управленческая функция, которую применяют периодически и селективно при необходимости осуществить независимую, системную и объективную проверку состояния прогресса в достижении или отклонение от достижения ожидаемых результатов Пособие по мониторингу и оцениванию программ регионального развития / Лендьел М., Винницкий Б., Ратейчак Ю., Санжаровский И. Под ред. Санжаровского И., Полянского Ю. - К. : К.І.С., 2007. - 80 с. - C. 16. Оценка не одноразовое мероприятие, однако осуществляется по мере необходимости в ответ на потребность глубокого и масштабного анализа взаимосвязи между проблемами и запросами целевой группы (или групп), на удовлетворение которой (которых) направлена деятельность организации, и дизайном и состоянием внедрения программы (цель, ожидаемые результаты, план мероприятий, результативность и эффективность использования имеющихся ресурсов и т.д.) Patton, M. Q. Utilization-focused evaluation (4th ed.). - Thousand Oaks: Sage Publications, 2008..

Теоретическая основа оценки государственных и муниципальных программ выходит за рамки анализа только затрат, необходимых для их реализации Значение государственного управления : Научно-исследовательская работа №2196 / Д.Кауфманн, А. Краай, П. Зойдо-Лобатон. - Вашингтон : Всемирный банк, 1999. - 65 с.. На сегодня, кроме проверки результативности, эффективности и устойчивости государственных и муниципальных программ и их оценки используется и для определения ее соответствия приоритетам государственной политики. Такой подход является краеугольным камнем публичного управления и также способствует лучшей подотчетности правительственных структур перед общественностью.

При проведении оценки рассматриваются более глубокие вопросы, например: почему какое-либо мероприятие имело или не имело желаемого эффекта, какие факторы были благоприятными, а какие мешали, какие изменения могут быть внесены для улучшения дальнейшей работы. Обычно это требует более углубленного анализа и интерпретации большего объема различных видов информации. В зависимости от планируемого использования результатов оценки можно также различать формирующую (оценка, проводимая с целью сформировать или откорректировать проектную деятельность; к формирующим относятся оценка процесса и оценка ситуации) и суммирующую (оценка-итог проведенной деятельности с целью определения эффективности и результативности этой деятельности, таковой является оценка влияния) оценку Значение государственного управления : Научно-исследовательская работа №2196 / Д.Кауфманн, А. Краай, П. Зойдо-Лобатон. - Вашингтон : Всемирный банк, 1999. - 65 с.$ Бородин А.И. Оценка эффективности региональных экологических программ [Электронный ресурс] / А.И. Бородин, Н.Н. Киселева, Н.Н. Шаш. - Режим доступа: www.nifi-abik.ru/nifi/info/ocenka_effect.pdf - C. 5.

Достаточно часто мониторинг и оценка выступают взаимодополняющими компонентами при реализации проектов. Проведение оценки требует меньше средств и времени, если используются данные постоянного мониторинга и оценка основывается на данных, которые собираются во время мониторинга. Мониторинг и оценка могут проходить как параллельные процессы, а могут быть разнесены во времени. Очень часто, когда люди говорят «оценка», они подразумевают и мониторинг, и оценку, которые проводятся для одной цели.

Существует целый ряд различных подходов к проведению мониторинга и оценки Мониторинг и оценка. Методические рекомендации / Международный альянс ВИЧ/СПИД. - К., 2004. - 112 с. - C. 25. Выбор стратегии и методик мониторинга определяется особенностями проекта и видами деятельности, а характер и содержание оценки -- ее целью. Масштабные экспериментальные оценки, проведенные в нескольких местах, могут показать, какие социальные программы более эффективны, но не подскажут, как улучшить работу органа власти. Небольшие практические оценки не укажут, насколько эффективна работа по сравнению с другими программами, но подскажут, как можно ее улучшить.

Мониторинг и оценка проекта могут быть внутренними и внешними. Внутренний мониторинг и внутренняя оценка предполагают, что они планируются и реализуются силами самого проекта или силами организации, которая является основным исполнителем. Внешний мониторинг и внешняя оценка могут осуществляться со стороны вышестоящей организации, финансирующей стороны, или независимой структурой, которая специально приглашается для их проведения.

Мониторинг выполнения программы способствует «местному» обучению, как правило, на уровне руководства органа власти, что способствует совершенствованию госпрограммы в краткосрочной перспективе Пособие по мониторингу и оцениванию программ регионального развития / Лендьел М., Винницкий Б., Ратейчак Ю., Санжаровский И. Под ред. Санжаровского И., Полянского Ю. - К. : К.І.С., 2007. - 80 с. - C. 30. Оценка госпрограммы способствует не только улучшению реализации программы, но может привести изменение ее дизайна в целом. Оценка способствует обучению через исследование как процесса, так и результатов - кратко-, средне- и долгосрочных. Процесс оценки в современных условиях обеспечивает широкое привлечение, диалог, развивает доверие и пр.

Мониторинг и оценка способствуют открытости и отчетности. Мониторинг внедрения государственной или местной программы - это есть процесс налаживания достаточного уровня отчетности для обеспечения реализации программы. Оценка, в свою очередь, обеспечивает надлежащий уровень открытости и отчетности, необходимых для достижения ожидаемых результатов Там же..

В практическом плане основными задачами оценки программ является содействие:

1) обеспечению стабильности предоставления органами власти в центре и на местах и органами самоуправления услуг в соответствии с требованиями законодательства и приоритетов государственной политики;

2) постоянному совершенствованию качества услуг и повышению удовлетворенности ими потребителей;

3) ограничению расходов и достижению эффективности в оказании услуг;

4) оптимизации информационного обеспечения процесса принятия решений по государственной политики и программ, эффективному управлению рисками;

5) решению вопросов о выделении бюджетных ресурсов.

Мониторинг и оценка важны, но они - не единственные элементы современной управленческой практики. Теория и практика разработки и внедрения программ предполагает выполнение ряда последовательных взаимосвязанных шагов, известных под общим названием этапов «проектного цикла». И хотя в разных странах в зависимости от сферы внедрения программы иногда используют несколько отличающиеся подходы и сроки, как правило, проектный цикл предусматривает следующие основные этапы: идентификация, разработка, утверждение и финансирование, внедрение, мониторинг и оценка и отчетность.

Этап «Идентификация» предусматривает определение концепции программы, выявление целевой группы (бенефициаров) программы и возможных заинтересованных сторон и участников, детальное исследование проблем и потребностей целевой группы и определение потенциальных путей их решения.

На этапе «Разработка проекта» осуществляется точная формулировка элементов программы и выработки четкого плана его реализации с учетом интересов целевой группы и заинтересованных лиц, четкого распределения ролей и полномочий между исполнителями, графика выполнения и мониторинга программы, определение необходимых ресурсов и процедур отчетности и т.п. Кузьмин А. Мониторинг программы / А. Кузьмин / Оценка программ: методология и практика. / Под ред. А.И. Кузьмина, Р. О'Салливан, Н.А. Кошелевой. - М.: Издательство «Престо-РК», 2009. - 396 с. - С. 88-98..

Этап «Одобрение и финансирование» выполняет то учреждение, которое выделяет финансирует. После того, как организация-заявитель подала программу, это учреждение рассматривает ее и принимает соответствующее решение. На основе принятого решения готовят соответствующие документы.

«Реализация проекта» означает обеспечение четкого выполнения задач проекта в сотрудничестве с партнерами. Формирование взаимного доверия между партнерами по реализации программы и ее бенефициар, через активное привлечение последних к всех этапов выполнения проекта, является залогом эффективности и результативности программы.

Этап под названием «Мониторинг и оценка» предполагает сбор и анализ информации, необходимой для обеспечения достижения ожидаемых результатов и совершенствования процесса реализации программы. Другими задачами мониторинга и оценки является обеспечение открытости и отчетности, а также содействие распространению накопленного опыта - как положительного, так и негативного.

Этап «Отчет» предполагает предоставление руководителям соответствующей организации, финансирующему учреждению и бенефициарам программы информации о достижении ожидаемых (или недостижения) и неожиданных результатов и о расходе ресурсов.

Основные методологические стратегии. Существуют две основные методологические стратегии, используемые при оценке: качественная и количественная. Данные стратегии могут быть использованы как совместно, так и по отдельности.

Качественная оценка направлена на выявление основных типов мотиваций, мнений, отношений, поведения, ситуаций, причинно-следственных связей между процессами и явлениями. Иногда качественную оценку называют понимающей, то есть такой, которая позволяет лучше понять ситуацию или явление.

Данные для качественной оценки собирают при помощи неформализованного (неколичественного) анализа текстов, неструктурированных наблюдений, неструктурированных и полуструктурированных интервью, фокус-групп. Эти данные можно представить в различной форме: в виде отдельных высказываний, записей наблюдателей, фрагментов текстов и т.п. Мониторинг и оценка. Методические рекомендации / Международный альянс ВИЧ/СПИД. - К., 2004. - 112 с. - Сю 70-71.

Анализ данных, собранных при помощи качественных методов, проводится в основном при помощи традиционных умственных операций: путем систематизации, типологизации, сравнения, обобщения собранных фактов, мнений, отношений.

Результатом качественной оценки может быть словесное описание определенного процесса, исследуемой ситуации, поведения человека, перечень выявленных типов поведения и отношения представителей исследуемых групп, содержательные выводы о выявленных причинах определенных явлений и процессов.

Однако качественная оценка не позволяет нам определить, какое количество людей придерживается выявленных типов поведения, какие факторы воздействия на них являются наиболее эффективными, а какие нет. Оценить количественно (математически -- в числах, например в %) распространенность выявленных в ходе качественной оценки типов мнений, отношений, поведения и ситуаций позволяют количественные методы сбора и анализа данных. Эти методы также дают возможность при помощи коэффициентов оценивать связи между различными характеристиками, процессами и явлениями.

Количественная оценка явлений и процессов проводится в случае, когда структура (основные компоненты) оцениваемой ситуации является достаточно известной Мониторинг и оценка. Методические рекомендации / Международный альянс ВИЧ/СПИД. - К., 2004. - 112 с. - С. 71.. Исследователи составляют перечень характеристик явления или процесса, которые они хотят оценить, и разрабатывают числовые шкалы, по которым оценивают выбранные для оценки характеристики.

Оценивание ряда характеристик осуществляется при помощи процедур измерения. В задачах исследования мы перечисляем характеристики, которые хотели бы измерить, например: уровень информированности целевой группы, уровень удовлетворенности людей различными аспектами жизни, активность, количество определенных действий (например, обращений в организацию).

В результате измерения мы получаем числовую модель явления, в которой каждый объект (например, человек) описывается рядом цифр по определенным показателям. Измерив важные для оценки характеристики при помощи чисел, мы можем затем применить различные математико-статистические методы и процедуры для анализа изучаемого процесса или явления. Результаты измерения подаются исследователем чаще всего в виде таблиц, графиков, различных коэффициентов связи.

При проведении оценки важно понять, какие характеристики явлений и процессов возможно отразить при помощи цифр, а какие нет, поскольку некоторые характеристики отразить в виде цифр достаточно просто, некоторые измерить достаточно тяжело, а некоторые -- просто невозможно.

Таким образом, если оценка проводится относительно явлений и процессов, слабо изученных исследователями, сначала проводится сбор качественных данных с целью получить наиболее подробное описание ситуации. Затем на основе качественных данных разрабатывается инструментарий количественных методов и проводится оценка распространенности выявленных типов, а также связей между различными характеристиками. Мониторинг, как правило, проводится при помощи количественных методов, однако для объяснения появления новых тенденций после количественного измерения, для понимания могут быть использованы качественные методы. Достаточно часто комплексный и всесторонний анализ требует применения и качественных, и количественных методов. Главное при проведении оценки -- понимать возможности, особенности и ограничения каждого из рассмотренных подходов.

2. Технический инструментарий проведения оценки

2.1 Планирование оценки

мониторинг оценка государственный программа

Алгоритм выполнения любой оценки государственной программы будет приблизительно одинаков Кенел Ж. Оценка и аудит программ: сходства и различия / Ж. Кенел / Оценка программ: методология и практика. / Под ред. А.И. Кузьмина, Р. О'Салливан, Н.А. Кошелевой. - М.: Издательство «Престо-РК», 2009. - 396 с. - С. 28-34.:

1) подготовительный этап, заключающийся в определении темы оценки, разработке цели и задач оценки, подборе команды, определении информации, которую нужно собрать в ходе оценки, выборе соответствующих методов, составлении выборки, создании плана оценки;

2) проведение оценки, состоящее из применения различных методов сбора информации и ее анализа, встреч команды оценки для обсуждения промежуточных результатов оценки и возможной коррекции дальнейших действий;

3) заключительный этап, в ходе которого проводится общий анализ результатов оценки, экспертное обсуждение предварительных результатов, составление окончательного отчета. В зависимости от типа оценки, ее результаты будут использоваться по-разному: для разработки программы воздействия или отдельного ее компонента, для корректировки деятельности организации или конкретного проекта, адвокации некоторых мероприятий и т.д. В любом случае можно провести ознакомление с результатами оценки не только сотрудников проекта, представителей целевой группы, но и основных заинтересованных лиц Мониторинг и оценка. Методические рекомендации / Международный альянс ВИЧ/СПИД. - К., 2004. - 112 с. - С. 14..

План (программа) оценки. Еще до начала оценки необходимо составить план ее проведения. Если серьезно отнестись к составлению такого плана, он в дальнейшем может стать основой отчета о проведении оценки.

В него входят шесть основных элементов:

· Краткое описание предпосылок оценки: по какой причине и для кого проводится оценка, каков ее фокус и что она должна осветить, как оценка вписывается в планы и график организации и т.д.

· Фокус оценки: цели и задачи исследования.

· Краткое описание инструментов и методов сбора необходимых данных.

· Распределение обязанностей в ходе оценки.

· График действий и мероприятий.

· Описание ожидаемых продуктов оценки и план использования ее результатов.

Ниже представлено более подробное описание каждого из элементов.

1) Кратко описать обоснование оценки, а именно: для кого и для чего проводится оценка; какие организационные ресурсы выделены (бюджет, рабочее время сотрудников, рабочее время волонтеров, нефинансовые ресурсы, помощь экспертов, время членов руководящей группы и т.д.), а также, какие ресурсы других организаций задействованы (если задействованы); как оценка вписывается в рабочие планы организации .

2) Обозначить фокус оценки: ключевые вопросы, на которые хотите получить ответы и которые хотите решить в ходе исследования. Например:

- Изучить социально-демографическую структуру уязвимых групп.

- Оценить необходимость запланированных акций и мероприятий.

- Определить уровень информированности представителей определенной социальной или демографической группы о местной проблеме, которая должна решаться государственной или местной программой.

- Определить изменение уровня информированности в результате проведения информационной кампании Мониторинг и оценка. Методические рекомендации / Международный альянс ВИЧ/СПИД. - К., 2004. - 112 с. - С. 15-16..

Список методов и инструментов, необходимых для сбора данных. При проведении оценки программ может быть использован широкий арсенал качественных и количественных методов, методик, техник и инструментов. Для сбора информации могут быть использованы такие методы, как анализ существующей информации, опрос и наблюдение. Выбор методов сбора и анализа данных определяется:

· особенностями исследуемого объекта (например, легко ли достижимы представители исследуемой группы);

· уровнем знаний об исследуемой проблеме (насколько хорошо мы понимаем особенности протекания процессов в исследуемом объекте -- если мы имеем недостаточно информации, как правило, мы не можем использовать формализованные (количественные) методы сбора данных);

· целями и задачами оценки -- различные методы дают различные типы и виды информации;

· доступными материально-техническими, кадровыми и временными ресурсами -- например, для анализа существующей информации обычно требуется немного времени и ресурсов, в то время как организация количественного опроса требует значительных ресурсов и может потребовать значительного количества времени.

На этом этапе важным есть перечисление полного списка видов деятельности и для каждого указать ответственного (кто будет формулировать вопросы, кто договариваться о доступе к данным, кто отчитываться, кто собирать данные, кто их анализировать и т.п.).

Далее, нужно поставить задачи в списке в логическом порядке, приблизительно оцените время, необходимое на выполнение каждой задачи, а также, какие из них могут выполняться одновременно, и составьте первый приблизительный график работ.

Следующим шагом, нужно написать, какие продукты получатся в результате оценки программы (промежуточные отчеты, презентации, финальные отчеты и пр.), а также о том, как планируется использовать результаты оценки и как улучшится работа местной администрации в результате проведения оценки Мониторинг и оценка. Методические рекомендации / Международный альянс ВИЧ/СПИД. - К., 2004. - 112 с. - С. 16..

2.2 Основные методы сбора и анализа данных

Данные по интересующим вопросам оценки собираются при помощи различных методов, которые можно разбить на два типа:

1) Сбор существующих (вторичных) данных (анализ документов), в ходе которого изучаются: отчеты по результатам ранее проведенных исследований; данные статистики; другие документы (документы планирования организаций, включая финансовую документацию и годовые отчеты; данные из форм оценки услуг, рабочих заметок и листков учета контактов с клиентами; публикации в прессе; письма, заявления, автобиографии, фотографии, видео-, аудиозаписи и т.д.).

2) Сбор новых данных при помощи методов:

2.1) Опрос: анкетирование (каждому лицу из группы, выбранной для анкетирования, предлагается ответить письменно на вопросы, представленные в форме опросного листа-анкеты); интервью (метод сбора данных посредством индивидуальной беседы или разговора по телефону, где интервьюер задает вопросы, выслушивает и фиксирует или записывает ответы).

2.2) Фокус-группа (групповая дискуссия под руководством специалиста, в ходе которой внимание участников фокусируется на исследуемой проблеме, с целью собрать спектр мнений, отношений к поставленной проблеме, выяснить мотивации совершения тех или иных действий).

2.3) Наблюдение (непосредственная регистрация фактов, событий, действий, условий, видов поведения, спонтанно высказанных суждений, которая может осуществляться открытым или скрытым образом).

Анализ несуществующей информации. Любая оценка должна начинаться со сбора и анализа существующей информации. Он позволяет:

· уточнить представления об исследуемом объекте;

· определить «белые пятна», «пробелы» в существующей информации, недостающие данные;

· уточнить план оценки, гипотезы исследования;

· разработать инструментарий других методов сбора информации - анкет, планов интервью, протоколов наблюдения;

· получить информацию, которую иначе исследователи не могли собрать из-за нехватки времени, денег или физических ресурсов;

· перепроверить информацию, полученную при помощи других методов.

Интерпретация существующей информации. Существующая информация часто используется при проведении оценки. Однако следует обратить внимание на то, что иногда она может содержать неточности, предубеждения или быть результатом некомпетентности. Нередко причины проблем кроются в типе источника, который содержит эту информацию. Основными из них являются отчеты по исследованиям.

Очень часто по темам, близким к теме исследования, уже проводились оценки. При изучении существующих исследований нужно обратить внимание на следующее:

· Есть ли тут информация, которая может быть полезной для вашего исследования?

· Когда было проведено исследование? Не устарели ли его результаты?

· Где проводилось исследование? Применимы ли его выводы к географическому региону вашего исследования?

· Не упущены ли в этом исследовании аспекты, важные для вашего проекта? Можно ли использовать для вашего исследования какие-то вопросы из уже проведенного?

· Есть ли в исследовании рекомендации относительно дальнейшего изучения данной темы?

· Данные статистики. Статистика представляет собой информацию в концентрированной форме, которой часто пользуются государственные учреждения, экономисты Мониторинг и оценка. Методические рекомендации / Международный альянс ВИЧ/СПИД. - К., 2004. - 112 с.; Кузьмин А. Мониторинг программы / А. Кузьмин / Оценка программ: методология и практика. / Под ред. А.И. Кузьмина, Р. О'Салливан, Н.А. Кошелевой. - М.: Издательство «Престо-РК», 2009. - 396 с. - С. 88-98..

Статистика часто используется для иллюстрации конкретных утверждений или решений, поэтому всегда нужно осуществлять перекрестную проверку данных статистики.

Другие документы. Это могут быть, к примеру, годовые отчеты организаций, статьи в газетах, записи парламентских дебатов, протоколы встреч. При использовании таких материалов имейте в виду, что они разрабатываются определенными людьми или организациями с определенной целью и поэтому не всегда отражают реальное положение вещей.

В табл. 1. обобщаются основные преимущества и недостатки разных методов сбора данных Мониторинг и оценка. Методические рекомендации / Международный альянс ВИЧ/СПИД. - К., 2004. - 112 с..

Таблица 1.

Основные преимущества и недостатки разных методов сбора данных

Методы	Преимущества и сфера применения	Ограничения сферы применения
1	2	3
Изучение материалов (статистики, исследований, других документов)	Дешево. Хорошо для выяснения того, что уже известно; дает сравнительные стандарты и общее представление о работе	Качество литературы может быть очень разным. Необходимо время, чтобы разобраться, какие отчеты методологически сильны или слабы. Приходится усваивать столько данных, что это отвлекает от основного исследования
Фокус-группы и групповые интервью	Подходят для изучения общих мнений конкретной группы людей. Помогают составить вопросы или темы для исследования. Экономичны по времени. Дают возможность раскрыть мнения людей в процессе их непосредственного взаимодействия. Позволяют получить наиболее полный спектр мнений респондентов об изучаемой проблеме, используя их язык	Может быть сложным получить откровенные ответы на некоторые вопросы. Сложности, связанные с необходимостью анализа неструктурированных неформализованных данных. Отсутствие возможности оценки степени распространенности высказываемых мнений. Аналитики могут легко исказить или неправильно понять полученные данные
Анкетирование	Хорошо для прямой оценки того, что люди думают. Легко собрать большие выборки количественных данных. Дает возможность экстраполировать полученные данные на генеральную совокупность. Минимизирует влияние субъективных факторов в процессе сбора информации. Хорошо для получения данных, которые можно сравнить и классифицировать по степени относительной важности	Не годится для получения точной информации у не очень грамотных людей. Существует возможность непоследовательного незапланированного заполнения анкеты, пропуска в ответах, отказа от заполнения. Часто не все те, кому раздается анкета, отвечают на ее вопросы и возвращают ее исследователю. Респондент может интерпретировать смысл вопросов отлично от смысла, заложенного исследователем. Практически исключается возможность открытия новых аспектов изучаемой проблемы и сбора новой информации. * Неправильное составление или реализация выборки может привести к искажению полученной информации (например, намеренный отбор наиболее мотивированных респондентов, которые будут заполнять анкеты)
Структурированное интервью	Хорошо для понимания того, какие вопросы люди не понимают. Существует возможность экстраполяции данных на генеральную совокупность. Позволяет собрать формализированную унифицированную информацию о мнениях, мотивах, представлениях респондентов. Устраняет проблему непоследовательного, неправильного восприятия вопросов	Занимает много времени. Интервьюеров необходимо специально обучать. Возможен «эффект интервьюера» (влияние вербального и невербального поведения интервьюера на качество ответов респондента)
Полуструктури-рованное интервью	Хорошо для сбора неожиданной информации. Непосредственный контакт интервьюера и респондента, благодаря чему ситуация интервьюирования воспринимается респондентом как наиболее близкая к обыденному разговору. Хорошо для выяснения тенденций. Хорошо для сбора глубинных данных. Хорошо для определения вопросов для составления анкеты	Не очень хорошо для сбора сравнительных количественных данных, которые можно сравнить и классифицировать по степени важности. Анализ данных более трудоемкий и требует опыта. Отнимает много времени и затрудняет работу с большими репрезентативными выборками.
Наблюдение	Хорошо для подсчета и проверки. Хорошо для определения исключений, проблем и аномалий в процессах, деятельности. Хорошо для выявления потенциальных участников опросов. Единственный метод, который позволяет проследить реальные практики	Ограниченное понимание того, почему люди совершают какие- либо поступки. Уходит много времени на сбор обобщенных данных. Сложность экстраполяции выводов на более широкий класс ситуаций. Сложно (невозможно) провести повторное наблюдение. Есть возможность субъективной трактовки наблюдаемых явлений (наблюдатель сообщает информацию со своей личной точки зрения)

Методы сбора данных будут составлять основу деятельности в ходе оценки. Когда исследователь определится с тем, какие методы использовать во время оценки, нужно составить график работы в рамках оценки. При этом нужно учесть, что анализ информации, полученной при помощи методов сбора данных, занимает гораздо больше времени, чем применение самих методов, поэтому нужно зарезервировать на эту деятельность достаточно времени.

2.3 Основные методы обработки и анализа данных

Анализ качественной информации. Анализ информации, полученной при помощи качественных методов -- неструктурированных наблюдений, фокус- групп и интервью, должен происходить на протяжении всей оценки, а не откладываться на ее завершающие этапы. Таким образом, можно достаточно оперативно реагировать на новую информацию и проводить перекрестную проверку данных (триангуляцию). Процесс анализа качественных данных можно разбить на два этапа Измерение эффективности и оценивание в государственном управлении: международный опыт :препринт WP8/2005/01 / А.Н. Беляев, Е.С. Кузнецова, М. В. Смирнова и др. - М. : ГУ Высшая школа экономики, 2005. - 54 с..

4) Анализ предварительных результатов. Должен проходить непосредственно после начала оценки (например, после проведения первых наблюдений, первой фокус-группы, нескольких неструктурированных интервью). Анализ на этом этапе состоит в: резюмировании ключевых идей; выяснении, были ли какие-то слабые места в программе проведения качественной оценки, и было ли что-то пропущено; выяснении, появились ли какие-то вопросы или темы, которые ранее не поднимались; соотнесении первых полученных результатов с задачами оценки.

В результате реализации первого этапа анализа могут быть внесены изменения в план проведения оценки.

2) Анализ основных результатов. Анализируются отчеты наблюдателей, расшифровки фокус-групп, неструктурированных интервью, различные документы.

Вначале исследователь должен систематизировать полученную информацию по основным вопросам исследования, поскольку ответы на один вопрос могут находиться в различных частях интервью и наблюдений. Затем исследователь проводит типологизацию полученных высказываний. Высказывания подобной направленности и содержания объединяются в типы, которые интерпретируются исследователем. Результатом типологизации и интерпретации является перечень выявленных типов мнений, отношений, поведения и ситуаций. Затем исследователь может провести сравнение между различными исследованными группами людей.

Важным есть то, что в отчете по анализу качественных данных все выделенные типы, сравнения и содержательные выводы иллюстрируются эмпирическим материалом -- цитатами, отрывками из отчетов наблюдателей и т.п.

Количественный анализ информации. Количественный анализ информации проводится, как правило, с привлечением компьютерной техники и специализированных компьютерных программ. Существуют различные программы обработки и анализа данных. Среди них следует выделить:

5) неспециализированные программы обработки числовых данных -- Excel, Access и т.п.;

6) специализированные, многофункциональные пакеты, в которых реализованы основные способы обработки данных и математико-статистические методы анализа, которые повсеместно используются для анализа данных исследований, -- SPSS, Statistics, ОСА и т.п.

7) специализированные программы обработки и анализа данных, создаваемые отдельными организациями для внутренних нужд.

Первым шагом после сбора количественной информации (проведения анкетирования или структурированных интервью) является ввод данных в компьютер.

Рассмотрим детальнее логику анализа числовых данных и основные методы, используемые для получения результатов.

Следующим шагом после ввода данных обычно является расчет одномерных распределений ответов опрошенных. Распределения ответов анализируются в виде таблиц следующей структуры,

Результаты статистических процедур, распечатки кросс- табуляций, результаты факторного анализа, диаграммы, графики и таблицы должны пройти через процесс интерпретации исследователем, прежде чем они обретут всю свою прикладную значимость и убедительность и прежде чем практики смогут судить о достоверности и прикладной ценности результатов Мониторинг и оценка. Методические рекомендации / Международный альянс ВИЧ/СПИД. - К., 2004. - 112 с. - С. 70..

3. Этапы процесса мониторинга и оценки программ

3.1 Оценка ситуации

Оценка ситуации (situation assessment), как правило, проводится до начала государственной или муниципальной целевой программы или на ранних этапах ее реализации Пособие по мониторингу и оцениванию программ регионального развития / Лендьел М., Винницкий Б., Ратейчак Ю., Санжаровский И. Под ред. Санжаровского И., Полянского Ю. - К. : К.І.С., 2007. - 80 с.. Цель оценки ситуации -- разработать проект вмешательства, если такого еще нет, или протестировать его дизайн и решить, реалистичны ли поставленные перед ним цели и задачи, если проект уже разработан Кузьмин А. Оценка как функция управления программой / А. Кузьмин, Н. Кошелева / Оценка программ: методология и практика. / Под ред. А.И. Кузьмина, Р. О'Салливан, Н.А. Кошелевой. - М.: Издательство «Престо-РК», 2009. - 396 с. - С. 20.. Оценка ситуации может проводиться как для всей программы в целом, так и для отдельного ее компонента или вида деятельности. Эта оценка является формирующей оценкой, поскольку в результате ее проведения создаются программы или отдельные виды деятельности.

Оценка ситуации описывает условия, в которых планируется проводить вмешательство, описывает целевую группу и предоставляет базовую информацию, на которой формируются стратегии вмешательства.

Часто при проведении оценки ситуации в сфере социальных проблем жителей прибегают к методологии экспресс-оценки. Ключевыми характеристиками экспресс-оценки являются:

· Скорость. В среднем экспресс-оценки проводятся за 4-6 недель.

· Индукция. Оценка разворачивается и изменяется в ответ на новые практические находки, а не базируется на изначальных гипотезах. Это позволяет процессу оценки оставаться достаточно гибким и оперативно реагировать на появление новых результатов.

· Триангуляция. В ходе оценки осуществляется перекрестная проверка результатов, полученных при помощи различных методов и из различных источников.

· Действие. Экспресс-оценка не должна быть оторванной от вмешательства. Участие в ней заинтересованных лиц, представителей целевой группы привлечет их внимание к проекту и может положить начало эффективному партнерству. Оценку ситуации стоит рассматривать как начальный этап реализации проекта Мониторинг и оценка. Методические рекомендации / Международный альянс ВИЧ/СПИД. - К., 2004. - 112 с..

3.2 Оценка процесса и мониторинг

Этапы организации процесса оценки процесса регуляторного влияния той или иной государственной или региональной программы развития:

1) подготовительная работа,

2) проведение оценки,

3) составление отчета и

4) использование результатов оценки. Рассмотрим их подробнее.

Подготовительная работа. Цель оценки ситуации -- разработать эффективную программу вмешательства или отдельный ее компонент. Задачи оценки могут быть более конкретно определены в каждом отдельном случае, но среди общих задач оценки ситуации можно выделить: 1) сбор и анализ информации относительно той или иной проблемы, на которые направлена госпрограмма, с целью разработки эффективных программ; 2) привлечение членов целевой группы будущей программы вмешательства и других заинтересованных лиц к оценке ситуации по интересующему вопросу и разработке оптимальных программ воздействия; 3) мобилизация поддержки программы со стороны местных властей, государственных структур и частных заинтересованных лиц; 4) сбор базовой информации, которая может быть использована для мониторинга и оценки этой программы в дальнейшем.

Формирование команды по оценке программы. Работа по оценке осуществляется командой из 3-10 человек. При подборе команды желательно отдавать предпочтение авторитетным людям с различными навыками [8].

На этапе №2 «проведения оценки» очень важно применять основные принципы управления этим процессом, среди которых принципы этики оценки и текущего отчета.

Этика оценки. Этические вопросы возникают на всех этапах оценки, поскольку результаты влияют на судьбу программ, а следовательно, конкретных людей, которые связаны с ними. Именно поэтому все профессиональные ассоциации по оценке разработали перечень этических принципов, которых придерживаются их члены. В частности, Американская ассоциация по оценке использует следующие:

* системность в проведении оценки, который означает, что оценщики исследуют данные по всем релевантным и доступных источников, чтобы обеспечить объективность, беспристрастность и всесторонность оценки;

* проведение оценки на основе профессиональных знаний, то есть оценщики должны владеть теорией и практическими навыками оценки;

* честность и беспристрастность, что требует равного отношения ко всем участникам процесса оценки - представителей заинтересованных групп оцениваемой программы;

* уважение к лицам, участвующим в процессе оценки, т.е. соблюдение тона вежливости, уважения к людям, которые являются источником информации для оценщиков.

Текущая отчетность о ходе работы. Общими элементами отчетов о ходе работы являются:

* уведомление об отклонении от графика проведения оценки и утвержденного бюджета;

* информирование о связи с заинтересованными группами, реагирования на их предложения по поводу мер оценки;

* определение новых аспектов оценки, политических проблем, которые возникают Пособие по мониторингу и оцениванию программ регионального развития / Лендьел М., Винницкий Б., Ратейчак Ю., Санжаровский И. Под ред. Санжаровского И., Полянского Ю. - К. : К.І.С., 2007. - 80 с. - С. 52..

Факторы, которые необходимо учитывать при проведении оценки:

* отслеживание выполнения плана оценки необходимо не только для соблюдения определенного графика работ, но также базовых принципов оценки;

* для управления внешними консультантами необходимо требовать от них каждые две недели информацию о ходе оценки и проблемы, возникающие в этой деятельности;

* необходимо обеспечить постоянную коммуникацию между органом координации оценки и всеми заинтересованными сторонами. Реакцию заинтересованных сторон на предварительные результаты оценки можно использовать как ориентир относительно ее достоверности.

Составление отчета по результатам оценки. Отчет по результатам оценки - это обобщающий документ, в котором предоставляют такую информацию: характеристику программы; методологию проведения оценки, данные, полученные в ходе оценки (содержащие их описание и конкретные показатели) выводы (синтез и анализ полученных данных) рекомендации относительно будущего оцененной программы, выводы, которые могут быть обобщены и использованы вне конкретной программы и касаться вопросов жизнедеятельности конкретной местности, региона, страны и т.п..

Отчет должен быть достаточно детализирован для того, чтобы можно было определить уровень качества и тщательности оценки. Также должностные лица органов власти, принимающих решения по программе, должны получить достаточно обоснованные данные для принятия решений о ее будущем.

Полученные в ходе оценки данные - это основа для выработки рекомендаций и, соответственно, дальнейших решений относительно того, нужно ли оставить программу без изменений, внести изменения в ее приоритетные направления, механизмы реализации или прекратить ее.

Обычно, структура отчета по содержанию такая: содержание, резюме, введение и предварительная информация о программе, управление процессом оценки, методология оценки, полученные данные и их анализ, выводы относительно текущего состояния программы, рекомендованные меры, приложенияv Пособие по мониторингу и оцениванию программ регионального развития / Лендьел М., Винницкий Б., Ратейчак Ю., Санжаровский И. Под ред. Санжаровского И., Полянского Ю. - К. : К.І.С., 2007. - 80 с. - С. 53-54..

Резюме отчета. В резюме отчета содержится краткий обзор основных его элементов, в частности: краткое описание программы; конспект основных данных, полученных в результате оценки, основные рекомендации относительно мер, которые необходимо принять.

Описание программы должен содержать основную информацию о программе, в частности: название программы, государственный приоритет, которому соответствует программа, основные задачи программы, финансовое обеспечение программы, основные бенефициары программы; ключевые заинтересованные стороны.

Поскольку объем резюме небольшой, то в его тексте необходимо привести лишь основные (3-5) результаты оценки, а также предоставить только ключевые рекомендации относительно будущего программы.

Введение и предварительная информация. В этом разделе нужно предоставить всю необходимую информацию о оцениваемую программу, а также другие данные, необходимые для понимания цели оценки, а именно:

- анализ государственных приоритетов, на удовлетворение которых направлена программа;

- общественное мнение (или ожидания) по программе;

- подробное описание финансового обеспечения программы;

- описание бенефициаров программы.

Управление процессом оценивания. В этой структурной части отчета необходимо описать определенную структуру управления процессом оценки, любые изменения, внесенные в этот механизм в ходе оценки. В частности, необходимо предоставить следующую информацию:

- масштаб, сроки и финансовое обеспечение процесса оценки;

- организационные единицы, участвующие в процессе оценки;

- внешние ресурсы (данные о внешних консультантов, их функции, документы, которые они должны предоставить, оплата труда);

- участие заинтересованных сторон.

Методология оценки. В этом разделе необходимо дать описание таких элементов, как инструменты сбора данных, методы анализа и источники данных, характер применяемой выборки.

Полученные данные и их анализ. В этом разделе необходимо дать описание основных данных (результатов), полученных в ходе оценки, а также их анализ с толкованием результатов оценки и последствий для программы.

Материал должен быть представлен в четкий и краткий способ с использованием таблиц, графиков и диаграмм.

Анализ данных необходимо изложить в следующей последовательности:

Соответствие основной деятельности органа власти, то есть проанализировать:

- насколько программа согласовывается с государственными приоритетами, функциями и планом деятельности органа власти, который является ее исполнителем;

- определить средства, благодаря которым программа соответствует государственным интересам.

Результативность программы, т.е. представление данных о том:

- насколько достигаются ожидаемые кратко-, средне- и долгосрочные результаты программы;

- насколько достигаются плановые показатели выполнения программы;

- насколько бенефициары удовлетворены результатами программы;

- насколько существующая система отчетности о реализации программы способствует обмену информацией внутри органов власти и с бенефициарами и общественностью.

Эффективность программы, то есть представление и анализ данных, демонстрирует: 1) динамику изменения себестоимости единицы продукции программы за прошлый, текущий и согласно плану на предстоящий бюджетный год и определения причин этой динамики, 2) насколько программа достигает определенных показателей в установленные сроки и в соответствии утвержденному бюджету, 3) насколько программе присуще дублирования организационных и человеческих ресурсов и средств, принимаются меры для снижения уровня дублирования, 4) или используются меры для увеличения степени интеграции между целевой программой и другими связанными программами, какие существуют возможности для того, чтобы увеличить степень такой интеграции.

Экономичность и постоянство, то есть представление и анализ данных, демонстрирующих:

- способность органа власти продолжать выполнять эту программу, несмотря на текущий и прогнозный состояния бюджетного обеспечения и (или) учитывая другие факторы (экономические, демографические, социальные, технологические);

- существование или отсутствие фактов политического давления на ход реализации программы, в частности дефицит необходимых ресурсов, что сказывается на постоянной работе программы.

Общие выводы относительно текущего состояния программы. Выводы является общей оценкой текущего состояния программы, опирающиеся на полученные данные и их анализ. В заключении необходимо отметить степень соответствия программы государственным интересам, ее результативности и устойчивости. Так, содержание выводов должно быть связанным с содержанием раздела «Полученные данные и их анализ».

Рекомендуемые мероприятия. В этом разделе описывают мероприятия, которые, по мнению участников оценки, необходимо принять относительно будущего программы. Рекомендации должны полностью опираться на полученные данные и их анализ; быть структурированы по задачам (приоритетными направлениями) программы.

Все рекомендации можно разделить на четыре основные категории:

А) Статус-кво. Рекомендация, которая подпадает под эту категорию, должен содержать неоспоримое обоснование необходимости сохранять существующее положение программы, в отличие от перераспределения ресурсов на другие приоритеты.

Б) Совершенствование процесса. Рекомендация по совершенствованию процесса обычно предусматривает внесение таких изменений, как совершенствование отдельных процедур реализации программы, в частности ее сметы.