Разработка методики оценки социальных проектов некоммерческих общественных организаций

Размещено на http://www.allbest.ru/

Разработка методики оценки социальных проектов некоммерческих общественных организаций

Субсидирование некоммерческих социально ориентированных (СО) организаций является в данный момент чрезвычайно актуальной задачей государства, в том числе с точки зрения справедливой и транспарентной методики оценки социальных проектов на конкурсной основе. Отсутствие унифицированной рекомендованной для всех субъектов Федерации модели оценки существенно затрудняет дело.

Для обобщения регионального опыта разработки и внедрения критериальной системы оценок социальных проектов некоммерческих общественных организаций (НКО) и выявления специфики оценивания в каждом регионе нами в 2014 году был проведен контент-анализ региональных нормативных документов десяти регионов: Волгоградской области, Красноярского края, Новгородской области, Новосибирской области, Псковской области, Ростовской области, Свердловской области, Томской области, Республики Татарстан, Ханты-Мансийского автономного округа. Результаты анализа свидетельствуют, что большинство рассмотренных регионов имеют модельный закон, определяющий порядок предоставления субсидий некоммерческим организациям и включающий типовой перечень показателей оценки по двум группам критериев: критерии оценки самих некоммерческих организаций и критерии оценки социальных проектов, представляемых на конкурс некоммерческими организациями. Организационные критерии связаны с формальными, юридическими параметрами: соответствие всех уставных документов законодательству РФ, срок осуществления уставной деятельности, наличие филиалов, представительств и т.д.

При общем наличии двух групп критериев можно отметить неполноту каждой группы. Как правило, отсутствует единая система шкалирования показателей, не обозначена весовая значимость двух групп критериев. Существенными недостатками актуальных моделей оценки являются также отсутствие полисубъектной модели оценки проектов; критериев собственно проекта; возможности мониторинга на всех этапах реализации проекта; специфических критериев проектов по разным направлениям региональных программ поддержки СО НКО; учета ожиданий стейкхолдеров проекта. Отмеченные недочеты существенно осложняют процесс конкурсного отбора при представлении и оценки проектов НКО. Это подтверждают результаты экспертного опроса, проведенного авторами в Свердловской области в 2014 году. Были опрошены 13 представителей грантодателей и 31 представитель НКО, представлявших проекты для конкурсного отбора.

Конечная цель опроса этих двух групп экспертов - выявление наиболее значимых критериев оценки социальных проектов и определение их весовой значимости. Ответы экспертов на вопрос о мерах по улучшению системы оценки представлены в табл. 1.

85% респондентов в качестве необходимой меры отметили включение в критериальную систему качественных параметров оценки. Почти каждый четвертый эксперт связал эти показатели с проектными критериями оценки. По мнению почти половины экспертов, улучшению системы оценки проектов должны способствовать методические рекомендации по социальному проектированию для разработчиков проектов - представителей НКО. Методические рекомендации нужны и грантодателям - непосредственным оценщикам социальных проектов. На этом настаивает каждый третий опрошенный.

Обобщая, следует отметить, что весь пакет экспертных рекомендаций связан с усилением в системе оценки роли проектных технологий.

В опросе представителей НКО принял участие 31 сотрудник СО НКО Свердловской области. Большинство экспертов представляют некоммерческие организации, осуществляющие свою деятельность более 15 лет (74%). Обобщающим вопросом в анкете для сотрудников НКО был вопрос, позволяющий выявить степень их удовлетворенности существующей системой оценки социальных проектов. Ответы двух групп экспертов представлены в табл. 2.

Первое, что обращает на себя внимание, - большой удельный вес представителей НКО, которые оказались не в состоянии дать какой-либо определенный ответ - 42%. Степень удовлетворенности экспертов от НКО в четыре раза слабее, чем экспертов-грантодателей - количество положительных ответов составляет только 22%.

Применение группировочного и сравнительного методов позволяет установить предпочитаемые экспертами весовые коэффициенты двух классов критериев: эффективности деятельности НКО и качества социальных проектов (табл. 3).

Для проектантов из некоммерческих организаций значимость критериев оценки по направлениям неодинаковая - предпочтительнее оценка качества проекта. При общем весе 1 удельный вес этого показателя - 0,52; оценка деятельности НКО - 0,48. Полученные результаты исследования мнения экспертного сообщества с необходимостью актуализируют потребность в совершенствовании системы конкурсной поддержки социально ориентированных НКО.

Оценка социальных проектов - многоаспектный и сложный процесс, предполагающий наличие совокупности качественных и количественных показателей, требующий учета различных факторов, уровней и видов оценки, интересов различных участников проекта¹. Изучение теоретических и прикладных источников по рассматриваемой проблеме позволяет обнаружить ее недостаточную проработанность. Можно говорить о существенной методологической неполноте тех разделов, которые посвящены теории и практике оценки социальных проектов, в том числе связанных с деятельностью некоммерческих организаций.

Тем не менее, опубликованные работы некоторых отечественных и зарубежных ученых могут быть рассмотрены в качестве теоретико-методологической базы для дальнейших изысканий в этой области². Теоретической основой разработки концепции и комплексной модели оценки социальных проектов явилась общенаучная теория оценки. Оценка как процесс всегда предполагает наличие определенного алгоритма, которому необходимо следовать. Концептуальная база оценивания представляет собой совокупность методологических подходов, которые являются необходимым условием построения критериальной системы оценивания социальных проектов, что отмечается в некоторых работах³.

Системный поход в нашем исследовании позволяет рассмотреть объект оценивания как сложную, целостную систему с позиций взаимодействия ее компонентов в многообразных связях и отношениях, представленных в виде структур и моделей и связанных с процессами формализации.

Организационно-управленческий подход обусловлен необходимостью осуществления контроля как управленческой функции и учета средовых характеристик проектной деятельности, то есть специфики организационной базы проекта.

Проектный подход предполагает оценку структурных позиций собственно проекта, сравнительную оценку соответствия текста методологии и технологии проектной деятельности, соответствия стандартам проекта⁴.

Процессный подход является основанием для реализации мониторингового принципа оценки эффективности социальных проектов на этапе предпроектного оценивания, срединного и итогового этапов реализации.

Создание трехмодульной структуры оценивания позволяет провести мониторинг проекта на предварительной, срединной и заключительной фазах его реализации. Это становится возможным в рамках ситуационного подхода.

Второй возможный модуль - это учет достижений в проекте некоторых контрольных цифр региональных программ поддержки НКО, что позволяет в процессе оценки представленных проектов опираться на локальные нормативные акты.

В третьем модуле выделяется ряд объектов и их переменных на разных уровнях взаимодействия с субъектом оценивания (оценщиками). Для каждого стейкхолдера определена своя группа критериев. Формирование этого модуля, отражением которого является субъектно-ориентированная модель, основано на методологическом подходе «подход с точки зрения держателей акций».

«Квалиметрический подход базируется на концептуальных положениях и методах теорий моделирования, измерения и математической статистики. Применение квалиметрического подхода обеспечивает отбор критериев и показателей измерения, шкалирование, сбор данных измерения, обработку полученных данных и их интерпретацию»⁵. Квалиметрический подход позволяет создать систему сравнения социальных проектов на основе применения дифференцированных показателей качества проектов на базе абсолютной сравнимости, соответствия уровня формализации оценки уровню формализации объекта оценивания, группового принципа системности оценки, состоящего из принципов многоуровневости системы оценок, учета коэффициентов весомости.

Содержание оценки представляет собой систему критериев оценки социальных проектов, представленную в комплексной модели оценки эффективности социальных проектов.

Разработка комплексной модели оценки социальных проектов и инициатив включает в себя несколько этапов моделирования. Моделирование особенно значимо в практической деятельности, когда речь идет, как правило, о некоторой части сложного объекта. Еще один фактор, обусловливающий необходимость применения методов моделирования, - необходимость прогнозирования. Важное достоинство моделей состоит в том, что они позволяют определить возможности и последствия принимаемых решений. В меньшей степени методы моделирования используются в оценочной деятельности, хотя имеют здесь эвристический и прикладной потенциал.

С учетом фактора времени выделяются статические и динамические модели. Статическая модель фиксирует состояние объекта в конкретный момент времени. Динамическая модель позволяет увидеть изменение сложного объекта с течением времени. По уровням можно выделить структурную и функциональную модели. Несложно увидеть, что структурная модель, отражающая совокупность элементов и связи между ними, является статистической моделью. Функциональная модель, будучи моделью динамической, отражает функциональную сторону системы. В зависимости от субъекта и объекта оценивания, а также предметной области, включающей в себя свойства и отношения системы, разрабатываются субъектно-ориентированная и объектно-ориентированная модели.

Необходимое объединение моделей разного уровня и вида с учетом статуса комплексной модели оценки проектов осуществлялось с помощью синергетической методики моделирования. Синергетическая методика, позволяющая преодолеть методологическую ограниченность и неполноту каждой модели и соответствующего метода моделирования, обеспечивает возможность обмена результатами моделирования на различных этапах.

Первый этап моделирования представляет собой построение структурной модели оценки, отражающей и обосновывающей исследовательскую логику. Ориентируясь на системный подход, под первым направлением оценки социальных проектов можно рассматривать оценку эффективности деятельности НКО, включая и ее предпринимательскую (коммерческую) деятельность для получения дополнительных средств существования, под вторым - оценку качества собственно проекта. Эта взаимозависимость двух направлений в оценке отражается в структурной модели оценки социальных проектов, представленной на рис. 1.

На рис. 2 представлен второй этап моделирования, связанный с проектированием субъектно-ориентированной модели. Построение данной модели возможно на основе парадигмы оценивания «с точки зрения держателей акций» - стейкхолдеров проекта, введенной в оборот Р. Фриманом⁶.

В модели идентифицированы возможные субъекты оценивания и их различные интересы в проекте. Максимальный учет всех интересов стейкхолдеров проекта является важным показателем эффективности проекта, что отражено в субъектно-ориентированной модели.

Третий этап разработки комплексной модели предполагает проектирование функциональной модели. В рамках процессного подхода функциональная модель отражает систему функций по трансформации объектов оценивания в реализации жизненного цикла оценки. В логике жизненного цикла мониторинга проекта модель заключает в себе три вида оценки: предварительная экспертиза проекта, срединная оценка, итоговая оценка (рис. 3).

Функциональная модель, описанная с точки зрения действий оценщиков, дополняется и конкретизируется объектно-ориентированной моделью, разработанной на четвертом этапе моделирования. Специфика объектно-ориентированной модели состоит в том, что она синтезирует структурную и функциональную модели. В объектно-ориентированной модели выделяется два уровня: нижний (структурный) и верхний (поведенческий, или функциональный). Эти уровни предполагают моделирование состояния системы оценивания и моделирование процессов. На каждом уровне моделирования применяются сценарии - как пошаговое описание классов объектов оценивания, представленное в формате «функция (направление оценки) - критерий - показатели». Фрагмент объектно-ориентированной модели представлен в табл. 4.

Последний этап моделирования - разработка параметрической модели. Данная параметрическая модель отражает количественную связь между функциональными и объектными критериями. Она представляет собой достаточно удобную матрицу балльной оценки, являющуюся рабочим инструментом эксперта, поскольку предполагает выставление балльной оценки по каждому показателю в соответствии с выделенными критериями. Фрагмент матрицы представлен в виде табл. 5.

Логика построения параметрической модели проекта позволяет перейти к количественной оценке проектов, представить модель в удобном для практической работы экспертов виде, что дает возможность сравнить между собой различные проекты на основе количественной оценки, выстроив рейтинг проектов.

Предлагаемая методика оценки проектов построена по принципу получения средневзвешенной оценки по каждому модулю - постоянному и вариативному. При этом в первом модуле параметрической модели даются средневзвешенные оценки по двум направлениям оценки: 1.1. Оценка деятельности НКО - удельный вес 0,4; 1.2. Оценка качества социального проекта - удельный вес 0,6.

Математическая модель оценки является основой для разработки электронного вида параметрической модели, удобной для работы экспертов.

На самом нижнем уровне оценки - оценивания показателя - применяется, для удобства экспертов, обычная пятибалльная шкала оценки.

Общая оценка проекта в процентах складывается из суммы оценок по всем направлениям оценки И_i :

Оценка по данному направлению И_i (%) рассчитывается исходя из суммы оценок по каждому показателю и их количества ni в данном направлении, а также веса данного направления оценки с(И_i):

где X_j - оценка эксперта в баллах по данному показателю, X_j ? [1,5];

с_Иi - вес направления оценки. Это безразмерная величина, назначенная разработчиками таким образом, чтобы сумма весов составляла единицу, обозначающая важность направления оценки. То есть У_iс_Иi == 1;

n_i - количество показателей в данном направлении оценки.

Все оценки показателей равнозначны, в сумме оценок автоматически заложено количество показателей в данном направлении.

Таким образом, конечная формула выглядит так:

Общая оценка проекта представляет собой среднее арифметическое значение оценок всех экспертов. Тем самым достигается возможность сравнения результата по средневзвешенной интегративной оценке проекта. Что, в свою очередь, дает возможность создать рейтинг представленных проектов в процентах соответствия нормативной модели, максимальное количество процентов выполнения в которой равно 100. Для вариативного модуля расчет оценки производится по той же схеме.

На основе приведенной математической модели разработан программный продукт - матрица балльной оценки для экспертов в программном пакете Excel. Продукт позволяет максимально упростить и облегчить процедуру оценивания, выставления оценок, подсчета оценок проектов для каждого эксперта и для администратора конкурсной комиссии при интеграции всех подсчетов и подведении итогов по рейтингу проектов. Скриншот названной матрицы представлен на рис. 4.

Представленная авторская методика опирается на общепринятые методологические основания, признанные стандарты проектной деятельности, требования к социальным проектам НКО, позволяет учитывать индикаторы региональных программ социального развития, обеспечивает транспарентность реализации социальных проектов на всех этапах их жизненного цикла.

Литература

некоммерческий оценка государственный поддержка

1. Ленков Р.В. Социальное прогнозирование и проектирование: учеб. пособие для бакалавров по направлениям подготовки 040100 Социология, 080200 Менеджмент. М.: ЦСПиМ, 2013

2. Carman J. Nonprofi ts, Funders and Evaluation Accountability in Action // The American Review of Public Administration. 2009. № 4. Р. 374-390.

3. Miccoli S., Finucci F., Murro R. Social Evaluation Approaches in Landscape Projects // Sustainability. 2014. № 11. С. 7906-7920.

4. Боронина Л.Н., Сенук З.В. Основы проектного управления. Екатеринбург: Изд-во УрФУ, 2009. С. 102.

5. Боронина Л.Н., Лайковская Е.Э., Сенук З.В. Моделирование технологии оценки социальных проектов: подходы и методы [Электронный ресурс]. URL: http://elar.urfu.ru/bitstream/10995/29927/1/apsmkoy_2014_04_12.pdf (дата обращения: 16.11.2016).

6. Freeman R.E., Mcvea J.F. A Stakeholder Approach to Strategic Management [Электронный ресурс]. URL: https://www.researchgate.net/publication/228320877_A_Stakeholder_Approach_to_Strategic_Management (дата обращения: 16.11.2016)

Размещено на Allbest.ru