Совершенствование индикативных оценок качества государственного управления

Размещено на http://www.allbest.ru/

О совершенствовании индикативных оценок качества государственного управления

Барабашев А.Г., Макаров А.А., Макаров И.А.

Постановка проблемы: о статусе объективности и теоретическом статусе индикативных оценок качества государственного управления

В настоящее время индикативные оценки качества государственного управления получают все большее распространение. Применение индексов, индикаторов, показателей как инструмента оценки качества стало возможным вследствие нескольких фундаментальных причин содержательного (мотивирующего) и технического характера.

К содержательным причинам, побуждающим внедрять индикативные оценки государственного управления, можно отнести: заинтересованность гражданского общества в объективной оценке качества государственного управления; потребность аналитических и экспертных структур в инструментах оценки, которые обладали бы доказательной силой (то, что называется «доказательная политика»); востребованность бизнесом (инвесторами) информации о реальной ситуации в управлении на уровне стран и регионов; стремление самой власти, равно как и ее зарубежных и международных партнеров, понять реальные проблемы управления в «своей» стране, ее регионах, в отдельных агентствах/государственных органах, оценить имеющиеся достижения, провалы, риски.

Технические причины внедрения индикативных оценок связаны с новыми возможностями сбора, хранения и обработки данных. Объемы управленческих данных стремительно возрастают; начинают собираться данные по новым направлениям, отражающим различные области управления (от управления в социальной сфере управления в сфере науки и инноваций); возникают значительные массивы данных и способы их обработки (технологии big data, цифровизиции и т.п.); появляется история данных, что позволяет проследить их динамику, проводить лонгитюдные исследования и т.д.

Использование индикативных оценок при принятии решений наряду с другими методами управления с помощью анализа данных способствует принципиальным изменениям государственного управления, превращая его в верифицируемый процесс. В перспективе ошибки в управлении могут быть просчитаны с помощью анализа динамики данных показателей, цена ошибок названа. Этот процесс идет «полным ходом»: на наших глазах происходит своеобразная «управленческая революция», возникает механизм обратной связи: «выявление управленческих ошибок посредством анализа данных - проблемы для лиц и органов, принимающих неудачные решения». Лица, ответственные за принятие решений, при наличии такой обратной связи неизбежно начинают принимать решения на основе анализа данных, поскольку попытки «закрыть глаза» на негативные показатели, игнорирование аналитики данных, подделка данных чреваты осложнениями. Варианты управленческих решений, которые не были реализованы, из гипотетических (бесполезных для изучения) превращаются в обоснованные альтернативы, стоящие на фундаменте данных. К альтернативным моделям управленческих действий, основанным на анализе данных, в принципе доверия больше, чем к голословным утверждениям «лучше было бы поступить иначе» или же, наоборот, «неясно, к чему бы альтернативные решения привели, ведь историю не перепишешь».

Тем не менее, несмотря на огромный поток практики использования данных при оценке качества государственного управления (например, только в ЕС вложения из Европейского социального фонда и Европейского регионального фонда развития в соответствующие мероприятия по совершенствованию качества государственного управления для 19 стран ЕС с 2007 по 2013 г. составили 2 млрд. евро, а до 2020 г. предстоит потратить на эти цели еще 4,2 млрд, евро (см.: EUPAC, 2018, р. 7)), разработка увязанных в целое по подходам, принципам, методам теорий оценивания (единой парадигмы) запаздывает и не соответствует объему практики. Без комплексного анализа данных координация управленческих систем затруднительна. В свою очередь, фрагментарность государственного управления - как на горизонтальном уровне (недостаточная координация страновых систем управления), так и в вертикальном разрезе (отсутствие стыковки данных по уровням) - «влияет на неспособность государств осуществлять мониторинг и эффективно регулировать экономику» (Peters et al., 2011, р. 14). В особенности это проявилось во время кризиса 2008 г., когда традиционные (path-dependent) подходы, «аварийно» и бессистемно применяемые в условиях потребности в быстрых решениях, не позволили многим странам перестроить управление финансами, сформировать новые, визионистские механизмы управления (ibid., р. 16, 20).

В частности, если говорить о «верхнем уровне» оценок (индикативное оценивание страновых систем управления), то следует отметить, что наборы страновых индексов многообразны, разноплановы и даже противоречат друг другу, комбинации индексов отражают пристрастия разработчиков и страновые приоритеты, аргументы в пользу той или иной селекции индексов варьируются, опираются на разные подходы.

Например, укажем на историю разработки индекса GDP и его применения как основополагающего инструмента оценки экономического развития (сложности и проблемы с используемыми в нем данными представлены в научно-популярной книге: Lepenius, 2016). Одновременно, использование индекса GDP для комплексной оценки экономического и социального развития критикуется, исходя из необходимости поддерживать устойчивое развитие. Взамен предлагается использовать индекс Green GDP, в котором обеспечен баланс оценки экономического, социального и экологического развития (см.: Alfsen et al., 2006; Stiglitz et al., 2009; Бобылев и др., 2015).

Специалисты, работающие в области оценивания на основе данных, не осознают себя представителями единого движения (они «не институционализированы»), основанного на применении взаимоувязанных инструментов оценки качества государственного управления. Они «не чувствуют» своей принадлежности к традиции (которая еще только зарождается) оценивания на основе анализа данных, к тому, что можно условно назвать «оценочной парадигмой государственного управления», или же «инструментальной парадигмой», поскольку в ее основе должны находиться методы так называемой «объективной оценки» (ВагаЬаэЬеу, 2016), или же к государственному управлению по результатам как «новой модели государственного управления, синтезирующей и усиливающей преимущества действующих и развивающихся моделей государственного управления» (Южаков, 2016, с. 167). В результате, главенствуют другие подходы к государственному управлению, оставляющие «зазор» для «усмотренческих» решений (веберовская иерархическая централизация, закрепляющая принятие решений за политическими элитами; ограниченное включение потребителя качества государственных услуг в их оценку; выборочное делегирование полномочий некоторым активным структурам гражданского общества, лоббирующим отдельные интересы).

Что же препятствует формированию новой, инструментальной парадигмы государственного управления как «датазависимого» (ёа1а-ёерепёеп1) процесса принятия решений, принимаемых с учетом анализа данных? По каким причинам эта парадигма представлена фрагментарно, в виде отдельных, зачастую противоречащих друг другу подходов (так, для «верхнего уровня» страновых оценок значительно отличаются способы выбора индексов, индикаторов, показателей, их использование разнородно, в оценку включаются иного рода критерии, не имеющие отношения к индексам; для «среднего уровня» оценок - направлений реализации политик и программ, оценок работы государственных органов - используются локальные показатели, не увязываемые ни друг с другом, ни с показателями близких программ и публичных политик; для «нижнего уровня» оценки эффективности и результативности служебной деятельности государственных служащих смешиваются процессные и результирующие показатели)? Почему уров- невые оценки разрабатываются и применяются без увязки друг с другом? Или, обобщая, почему до сих пор на уровне теории инструментальная парадигма объективного оценивания на основе анализа данных не существует как признанное, единое целое?

Можно назвать несколько наиболее обсуждаемых факторов отторжения оценок качества государственного управления на основе данных, в особенности - индикативных страновых оценок. Во-первых, следует указать на политические факторы, проявляющиеся во многих странах в разных сочетаниях. Не в последнюю очередь препятствием для принятия решений на основе данных выступает желание элит реализовать свои интересы. Особенно это относится к индикативным оценкам. Во многих странах наблюдается стремление власти «переключить» внимание общества с индикативных оценок существующей ситуации на другие сюжеты: пропаганду отдельных достижений, локальных успехов; генерирование обещаний, стратегий, планов решительных преобразований; списание неудач и объяснение трудностей кризисами, внешними обстоятельствами, наличием внутренних и внешних противников (партийных, политических, военных, террористических и др.). Чтобы такое «переключение» работало не ослабевая, приходится постоянно находить или создавать новые поводы, как бы нагнетать обстановку. Представление об «исключительной прозорливости властвующих элит» может быть серьезно поколеблено анализом данных (если ими не манипулировать).

Административные (организационные) факторы отторжения «управления на основе данных» связаны с качеством управленческого аппарата, зачастую неспособного собрать и понять данные, использовать их корректно. Недостаток образования работников, повсеместное, характерное для многих стран отсутствие специализированных аналитических подразделений в муниципальных и государственных органах, нежелание многих правительств сотрудничать с экспертными структурами, почти полное отсутствие таковых структур в некоторых странах или же отсутствие выхода на экспертные структуры обесценивают данные, которые зачастую хранятся в качестве «мертвого груза». Индикативные оценки используются ограниченно и некорректно, поэтому предлагаются способы повышения их качества, включая, например, такие процедуры, как Randomized Control Trial, Systematic Reviews, Evidence & Gap Maps (Campbell Collaboration, 2018).

Наконец, внутренние факторы, способствующие распространению скептического отношения к принятию решений на основе данных, к их использованию для оценки и последующего принятия управленческих решений, в том числе с помощью индексов, индикаторов, показателей и т.д., связаны с такими четырьмя разнородными обстоятельствами, как:

недостаточный учет в индексах объективных обстоятельств функционирования страновых систем государственного управления (например, недостаток средств на сбор и обработку данных, общественное недоверие к данным и вытекающее отсюда пренебрежение к точности ответов на вопросы и т.д.);

некачественные способы сбора данных (Ford et al., 2018), подбор индикаторов в отрыве от измеримых непосредственных (outputs) и окончательных (outcomes) результатов (Bleyen et al., 2017), манипулирование при сборе данных, осуществляемое национальными статистическими органами и другими организациями (Pollitt & Bouckaert, 2017). К этому иногда прибавляются производимые национальными статистическими органами и организациями подмена состава отдельных индексов, изменение методик их расчетов, ухудшающее возможности анализа динамики индексов по годам (Nemec, 2016);

часто встречающееся ущербное агрегирование этих данных, произвольный отбор индексов, индикаторов и показателей для оценки. Распространена недобросовестная, тенденциозная селекция показателей, которая выставляет определенные страны, регионы, государственные органы, социальные политики, программы в лучшем виде и тем самым фактически принижает государственное управление других стран, другие политики, программы, имеющиеся практики управления (пример улучшения места в страновых рейтингах управления за счет удачной конфигурации используемых индексов применительно к Венгрии - см.: Good Governance, 2015);

введение показателей зачастую подталкивает государственные органы к «работе на показатели» вместо «работы на результат». Подразумевается, что на практике распространен сбор отчетности по таким показателям, которые можно улучшить, «накрутив отчетность», и ущерб от использования таких показателей превышает гипотетическую выгоду от индикативной оценки.

Таким образом, сбор и аналитика данных для нужд государственного управления обладают в настоящее время внутренними недостатками, позволяющими противодействовать становлению инструментальной парадигмы как единого, институционализированного движения (подхода) к управлению, усомниться в объективности оценок на основе данных. Появляется почва для отторжения управления на основе анализа данных, невнимания к качеству административного обеспечения сбора и анализа данных для формирования индексов, показателей, индикаторов.

Предлагаются подходы, потенциально ослабляющие складывающуюся инструментальную парадигму, например: уйти от использования данных в составе индикативных оценок конечных результатов, ограничиться использованием данных в составе процедур управления («алгоритмическое управление»).

Обратимся к современному российскому опыту. Например, практикуется «перевод в цифру» документации, регулирующей процессы и процедуры служебной деятельности. Наблюдается катастрофическое увеличение объема собираемых «впрок» процессных данных безотносительно понимания того, зачем они нужны, для каких целей и конечных результатов их собирать. Наш опыт работы в региональных проектах показывает, что сбор процессных данных намного объемнее по затратам времени и трудоемкости не только разработчиков, но и огромного количества участвующих респондентов, чем сбор данных для расчета индексов, характеризующих конечные результаты. В сборе данных задействованы десятки тысяч сотрудников, которые должны регулярно заполнять отчетные формы (карты рабочего времени). Кроме того, при сборе процессных данных, в особенности больших массивов процессных данных, увеличивается влияние системных администраторов, разработчиков интеллектуальных платформ и сопутствующих инструментов, продуцирующих решения «автоматически», без понимания целей и результатов, на основе цифры и произвольно вводимых коэффициентов, которые воспринимаются как суть управления (принятия решений), поскольку содержание процессов управления, его миссию и требования к конечным результатам системные администраторы не знают и не могут знать в силу профессиональной управленческой некомпетентности. В частности, производятся сокращения штатной численности на основе формального анализа затрат рабочего времени на обработку одного документа без понимания различий в сложности и значимости документов (простая градуировка на уровни сложности здесь ничего не дает). Мы полагаем, что ослабление (сужение) формирующейся инструментальной парадигмы к пределам «алгоритмического управления» привело бы к восприятию «процессных данных как безусловной данности», безотносительно их осмысления, увязки с конечными показателями результатов.

Следует констатировать, что управление на основе анализа данных, с использованием оценок результативности государственного управления хотя и развивается, но обладает уязвимыми местами, недостатками. Инструментальная парадигма только зарождается, но уже появляются предложения по ослаблению ее принципов, которые скорее заведут в тупик, нежели «расчистят дорогу» для использования данных. Мы уверены, что препятствия на пути создания надежной объективной оценки качества государственного управления могут быть разрешены только при условии «наведения порядка в этой области», не впадая в крайность, без отказа от индикативных оценок конечных результатов (outcomes) в угоду процессным оценкам. В первую очередь необходимо установить ясные требования к индикативным страновым оценкам, составляющим «верхний уровень» оценивания с помощью данных, к отбору индексов качества государственного управления, следует активно привлекать инструменты статистического анализа страновых индексов, их соотношения.

Исследовательские вопросы и гипотезы

Мы исходим из утверждения, что инструментальная оценочная парадигма государственного управления не сформировалась как ведущий подход к государственному управлению, несмотря на попытки обозначить ее контуры, поставить в один ряд с существующими парадигмами государственного управления, главным образом не по политическим и организационным причинам, а потому, что слабым является ее центральное звено, индикативная оценка стран. «Верхний уровень» оценок, страновые индикативные оценки, основанные на страновых индексах качества государственного управления, составляются на основании регулярно оспариваемых предпосылок отбора индексов, индексы агрегируются с дублированиями

или тенденциозно, и, наконец, результаты оценки подвергаются неоправданным интерпретациям. При значительном количестве (более 230 глобальных индексов упоминаются только в связи с целями устойчивого развития) и разноплановости страновых индексов, отбор конфигураций индексов, для оценки качества государственного управления является отдельной задачей, которая до сих пор убедительно не решена (в лучшем случае проводятся опросы экспертов, как это было сделано при подборе индексов в проекте EUPAC, что не избавляет от произвола).

Основные вопросы нашего исследования таковы: можно ли предложить методику объективного подбора индексов оценки качества странового государственного управления, не опирающуюся на противоречащие друг другу предпочтения существующих управленческих (административных) парадигм? Возможно ли преодолеть «релятивизм» в подборе индексов, в том числе практикуемый подбор индексов под постоянно изменяемые и пополняющиеся перечни целевых показателей, устанавливаемые международными и страновыми органами управления? Можно ли уйти от обвинения в том, что любая индексная оценка качества странового государственного управления - это инструмент, за которым стоят интересы международных структур, отдельных стран, их элит?

Вопросы, которые конкретизируют основной вопрос и возникают в связи с селекцией индексов, сформулированы следующим образом:

Как усовершенствовать принципы отбора индексов и их интерпретации для оценки качества государственного управления?

Возможно ли отбирать индексы однозначно, не допуская волюнтаризма оценки качества государственного управления?

Как упростить систему индикативных оценок, одновременно улучшив качество оценок, уменьшить расходы на сбор данных для построения индикативных оценок?

Указанные вопросы могут породить серию исследований, далеко выходящую за пределы отдельной статьи. Здесь же мы ограничимся изучением одного важного примера, показывающего, как можно отбирать индексы, обеспечивая большую степень объективности отбора. Нами будет предложен перспективный способ селекции (в рамках модели WGI - World Governance Indicators) индексов качества государственного управления. Мы предполагаем, что подбор (выбор) индексов для оценки качества странового государственного управления следует проводить не под целевые показатели, аккумулирующие в себе различные интересы, не на основе выборочных мнений отдельных экспертов, а на базе сопоставления существующих на настоящий момент индексов при помощи математической модели агрегации этих индексов, выделения в них черт общности, учитывающих сходства в рейтингах стран. Оценку надо проводить на «нейтральной земле» корреляционного анализа. Мы обсудим отличие этого «инструментального» подхода к индикативной оценке от подходов, предполагающих, в слу-

чае сходства рейтингов стран, наличие неких существенных, латентных факторов, обуславливающих совпадение разных индексов как говорящих «об одном и том же» в скрытой форме.

Гипотезы, выдвигаемые в статье, основываются на примере предлагаемого нами механизма устранения дублирующих индексов из оценки качества государственного управления. Это механизм устранения дублирующих индексов из системы международной оценки WGI.

Будут проверены гипотезы:

О возможности однозначного отбора (селекции) индексов с помощью выявления корреляционных связей рейтингов по разным индексам, однозначного установления корреляционных связей, исключающих неправильный подбор индексов.

Об упрощении систем индикативных оценок посредством исключения дублирующих (по рейтингам) индексов, которые выявляются с помощью статистического анализа.

Метод исследования: корреляционный анализ индексов на примере WGI

Мы предполагаем использовать метод исследования, связанный с применением корреляционного анализа рейтингов, факторным анализом и другими методами снижения размерности по разным индексам одной области (группы) и устранением дублирующих индексов, показывающих высокую степень совпадения рейтингов. Этот метод будет продемонстрирован на примере страновых рейтингов WGI.

Обзор теорий и источников по проблеме

Исследования эффективности государственного управления на основании обработки электронных баз данных, с использованием индексов, индикаторов и показателей проводятся начиная с 1980-х гг. Значительным вкладом в развитие таких исследований стало изучение качества странового государственного управления с помощью агрегированной группы индексов WGI (WGI, 2018).

Состав разделов этой группы индексов был определен в 1996 г. Всемирным банком совместно с институтом Брукингса (Kaufmann & Kraay, 2017) и институтом управления природными ресурсами (Two Decades On, Worldwide Governance Indicators Point to Gains, Challenges in 200 Countries, 2017). Методология подбора индексов WGI описана в работе Д. Кауфмана и др. (см.: Kaufmann et al., 2011).

Группа индексов WGI ориентирована на главенствующие в 1990 - начале 2000-х гг. парадигмы государственного управления, поскольку ассоциированные с ней административные реформы прямо связаны с этими парадигмами. Представим эту связь разделов WGI с парадигмами государственного управления в виде таблицы (табл. 1).

Связь разделов WGI с парадигмами государственного управления

Таблица 1

Источник: Составлена авторами.

Видно, что WGI, если рассматривать административные механизмы и процедуры, а также обеспечивающие их институты (то, что составляет сущность государственного управления), ориентируется главным образом на две парадигмы государственного управления: парадигму общественно-государственного управления, NPG (два раздела), и парадигму NPM (четыре раздела), сводящую функции государства к предоставлению государственных услуг. Выбор индексов для WGI следует признать некорректным, если исходить из других парадигм государственного управления. В частности, веберовская парадигма «идеального государства» главными показателями качества государственного управления полагает высокую оценку со стороны руководства и уровень заслуг и достоинств (меритократия) государственных служащих. Индексы VA в таком случае должны быть заменены на показатели KPI, а индексы PS - на показатели структурной стабильности государства (частота изменений в структуре государственных органов). Аналогично, для неовеберианизма (NW), примыкающего к парадигме общественно-государственного управления (NPG) и делающего акцент на этическое управление, должны приниматься во внимание только индексы, относящиеся к коррупции в части ее восприятия гражданским обществом и к уровню развития этической инфраструктуры государственного управления.

Обратимся теперь от анализа связанных с индексами WGI теорий к анализу источников, посвященных исследованию качества индикативных оценок государственного управления (по названиям групп индексов WGI). Таких источников необычайно много. Так, например, в Google Scholar Citations по тезаурусным словам, характеризующим этот индекс в целом, а также составляющим его группы индексов, количество обнаруженных источников таково (названия русскоязычных терминов приводятся по: HSE, 2018): «индексы государственного управления» = 37 200 источников,

«индекс контроля над коррупцией» = 11 900,

«индекс качества государственного управления» = 81 600,

«индекс стабильности политической системы» = 21 000,

«индекс качества государственного регулирования» = 38 400,

«индекс верховенства закона» = 12 700,

«индекс права голоса» = 21 800.

Аналогичная картина, но с превышением количества источников по некоторым индексам на порядки, наблюдается по англоязычным аналогам те- заурусных слов:

“WGI” = 37 300 источников,

“control of corruption index” = 1 480 000,

“government effectiveness index” = 3 310 000,

“political stability index” = 2 070 000,

“regulatory quality index” = 2 540 000,

“rule of law index” = 2 940 000,

“voice and accountability index” = 38 6 0 00.

В связи со столь большим объемом источников целесообразно сосредоточиться на описании принципов подбора индексов в некоторых наиболее «продвинутых» современных практиках составления рейтингов стран и регионов, а также на анализе тех источников, которые наиболее близки к содержанию выдвинутой гипотезы.

Среди европейских практик можно отметить исследование EUPAC (EUPAC, 2018), проведенное по заказу Европейской комиссии в 20162018 гг. группой экспертов, аффилированной со Школой Херти (Берлин), и представленное в марте 2018 г. В отличие от рейтинговой идеологии WGI, авторы исследования отказываются от идеи составления рейтинга 25 анализируемых европейских стран, «имея в виду то обстоятельство, что индикаторы ограничены», и довольствуются указанием, что сравнение стран по избранным индикаторам «может дать лучшее представление о том, как в действительности страны ЕС управляются» (ibid., p. 9). В то же время сам выбор индикаторов для сравнения был произведен на основе установленных Европейской комиссией целей (через показатели из директивных документов Европейской комиссии, Евростата, ООН, ОЭСР и некоторых других имеющихся в наличии частных индексов) и отфильтрован с помощью учета мнения экспертов (ibid., p. 42), что не является корректным способом заведомого исключения субъективизма индикативных оценок.

Пример другой европейской практики представляет исследование, проведенное Университетом государственного сервиса Будапешта, основной экспертно-образовательной площадкой Правительства Венгрии (Good State and Governance Report, 2015). Особенностью этой практики является откровенный подбор индексов на основе выгодных для этой страны коррекций, в частности: 1) включение в индексы доверия правительству индексов уровня безопасности, что нивелирует доверие к уровню безопасности; 2) выделение индексов well being в отдельную группу, что означает прямое включение социальных индексов в зависимые от государственного управления; 3) включение индексов финансовой стабильности, выгодно характеризующих Венгрию на фоне «провала» ряда стран ЕС, в состав индексов качества государственного управления; 4) обеспечение устойчивости развития в широком понимании (в том числе как экономической и социальной устойчивости), рассчитываемый на основе анализа индексов, принято в качестве области ответственности государства; 5) в перечень индексов эффективности государственного управления включен индекс профессионального уровня государственных служащих, который для Венгрии очень высок.

Среди современных проектов индикативной оценки странового развития, реализуемых в Азии, следует выделить проект, осуществляемый в Сеульском национальном университете (Center for Government Competitiveness, 2018). Цель этого проекта заключается в том, чтобы рассмотреть страновые реформы государственного управления, исходя из их ориентированности на результаты (Ho & Im, 2015), затем провести сравнительный анализ некоторых систем индикативной оценки и с учетом этого анализа далее составлять рейтинги соотношения страновой конкурентоспособности (последние опубликованные доклады Центра, составленные на основе данных за 2017 и 2018 гг., см.: Government Competitiveness, 2017; Government Competitiveness, 2018). В том числе, было проведено изучение конкурентоспособности стран через индексы WCR (World Competitiveness Rankings, индекс рассчитываемый International Institute for Management and Development), GCI (Global Competitiveness Indicators, составляемый World Economic Forum), WGI и QGI's QoG (Quality of Government Institute's “Quality of Government” Indicators). Общая идея, разрабатываемая Центром, состоит в том, что возможно ввести понятие “Government Competitiveness” (Im & Hartley, 2017), опосредованно связывающее конкурентоспособность стран (National Competitiveness) с эффективностью правительств (Im & Choi, 2018, p. 516). Можно отметить, что в данном проекте при анализе систем индикативной оценки учитывается более широкий набор индексов, нежели представленные в WGI, в том числе процессные показатели (Im & Choi, 2018, p. 522-524). Однако предположение об «опосредованной связи результативности государства и значений любых страновых индексов» не только усложняет связь страновых индексов с результативностью государства, которая, по нашему мнению, может быть выражена проще, но и само по себе требует дополнительного обоснования.

Из современных российских исследований в области использования данных для цифровизации управления, применения индексов, индикаторов и показателей можно обратить внимание на проект, реализуемый в Центре технологий государственного управления РАНХиГС (Центр технологий государственного управления, 2019). Серия публикаций, изданных в рамках проекта, включает в себя описание истории развития управления по результатам в современной России, особенностей «волнообразного» характера внедрения управления по результатам (Южаков и др., 2014), оценки административных услуг (Мау и др., 2016), оценки результативности контрольно-надзорной деятельности (Добролюбова и Южаков, 2017) и др. Для целей нашего исследования особенно интересно выявление связи индексов WGI странового государственного управления с тремя индексами, характеризующими уровень цифровизации государственного управления: (1) индекс электронного правительства, (2) индекс электронного участия, (3) индекс доли граждан, использующих интернет для отправки форм через сайты государственных органов (Добролюбова и др., 2019, с. 41-45). Установлено, что имеется высокий уровень корреляции этих индексов и индексов WGI, однако остается открытым вопрос о независимости и дублировании указанных индексов. Его мы рассмотрим в предлагаемом исследовании. индикативный качество государственный управление

Наиболее близкими к гипотезе нашего исследования являются две работы, в которых обсуждаются вопросы репрезентативности и независимости индексов WGI. В статье (Thomas, 2010) утверждается, что предлагаемые в системе WGI индексы не обладают валидностью, т.е. меряют не то, что обещают измерить, а отсюда измерение качества государственного управления в системе WGI опирается по преимуществу не на «плохие данные», а на «неправильные данные». Во второй статье (Langbein & Knak, 2010) к утверждению о содержательной близости того, что измеряется индексами WGI (ibid., p. 356-357), добавлено утверждение о корреляции в измерениях шести индексов WGI (ibid., p. 357-360) и говорится о том, что наличие высокого уровня корреляции свидетельствует об измерении в системе WGI не разных показателей, а одного «более широкого» индекса, описывающего «одно и то же явление» под разными углами зрения (ibid., p. 365). В ответных статьях (Kaufmann et al., 2010a; 2010b) разработчики WGI приводят аргументы в пользу того, что по-настоящему измеряются разные феномены, а статистическая и каузальная (по содержанию) связь не свидетельствует о том, что это один более широкий феномен; напротив, эти индексы эквивалентны только в наблюдениях, но не по сути (Kaufmann et al., 2010b, p. 2).

Исследование: статистический анализ соотношения групп индексов WGI, устранение дублирования групп

С целью ответа на исследовательские вопросы, и, соответственно, проверки гипотез (об объективности отбора индексов и об устранении дублирующих индексов применительно к «верхнему уровню» индикативных оценок, к страновым индексам) проведем статистический анализ соотношения индексов Worldwide Governance Indicators. Все данные взяты из источников Мирового банка, использовался интерактивный онлайн-сервис Databank (Databank, 2019).

Группа индексов Worldwide Governance Indicators (WGI) включает в себя шесть индексов: Control of Corruption (CC), Government Effectiveness (GEf), Political Stability and Lack of Violence (PS), Regulatory Quality (RQ), Rule of Law (RL), Voice and Accountability (VA).

Информация по индексам доступна за 19 разных лет: за 1996, 1998, 2000, и за все последующие годы с 2002 по 2017 г. Были рассмотрены все страны мира, на которые составляются индексы WGI. Соответственно, в базе данных, созданной в IBM SPSS, наличествуют 214 стран, хотя не по всем из них есть полные данные по выбранным показателям. В частности, для 2014-2017 гг. значения индексов СС, GEf, RQ и RL есть только для 209 стран, PS - для 211, а VA - для 204 стран (табл. 2).

Таблица 2

Источник: Составлена авторами.

Индексы WGI были взяты в одной из своих специфических форм - как значения, показывающие отклонение отдельных стран от некоторого глобального среднего по каждому из индексов. Именно на основании этих значении в дальнейшем определяется место страны в рейтинге по показателю. Значения индексов приведены в так называемых безразмерных z-шкалах, что позволяет сравнивать между собой различные показатели, исходно имеющие разные единицы измерения. Суть этого преобразования сводится к тому, что из каждого первоначального показателя страны вычитается глобальное среднее значение по рассматриваемому показателю, а затем эта разность нормируется на выборочное стандартное отклонение. После подобного преобразования среднее значение каждого показателя становится равным нулю, а его стандартное отклонение равняется единице. Например, для 2017 г. описательные статистики преобразованных индексов выглядят так:

Таблица 3

Источник: Составлена авторами.

В рамках каждого отдельного года для всех возможных пар индексов были рассчитаны коэффициенты корреляции Пирсона и Спирмена. Ниже приведены таблицы с коэффициентами корреляции за последние три года (табл. 4, 5, 6, 7, 8, 9).

Таблица 4

Корреляция значима на уровне 0,01 (двухсторонняя). Источник: Составлена авторами.

Таблица 5

Корреляция значима на уровне 0,01 (двухсторонняя). Источник: Составлена авторами.

Таблица 6

Таблица 7

Корреляция значима на уровне 0,01 (двухсторонняя). Источник: Составлена авторами.

Таблица 8 Корреляции, 2015 г.

Корреляция значима на уровне 0,01 (двухсторонняя). Источник: Составлена авторами.

Таблица 9

Корреляция значима на уровне 0,01 (двухсторонняя). Источник: Составлена авторами.

Все полученные коэффициенты корреляции положительны и значимы. Надо заметить, что индексы СС, GEf, RQ и сильно коррелируют друг с другом. В большинстве случаев корреляция между ними (как Пирсона, так и Спирмена) достигает 0,9. При этом индексы РБ и VA коррелируют как друг с другом, так и с этими четырьмя слабее - только на 0,7-0,8 (хотя и это является достаточно сильной корреляцией).

Кроме этого, были построены диаграммы рассеяния, показывающие для конкретных стран значения их индексов на общем графике.

Ниже приведены матрицы диаграмм рассеяния, демонстрирующие соотношения всех индексов со всеми. К сожалению, такие объединенные графики занимают много места и потому будут приведены в малом масштабе, позволяющем лишь прикинуть общую ситуацию. На каждом из таких графиков по вертикали и по горизонтали расположены различные переменные, для которых строятся рассеяния, в порядке (сверху вниз и слева направо): СС, GEf, РБ, ИД И1, VA. В каждой клетке находится график, построенный для соответствующих переменных. На таком графике на горизонтальной оси - значения переменной под клеткой, возрастающие слева направо, а на вертикальной оси - значения переменной слева от клетки, возрастающие снизу вверх. Каждая точка внутри такого графика отражает одну страну. В доступном масштабе отдельные точки сложно различимы, но они все же могут показать определенные закономерности.

Особенности индексов WGI, выявленные с помощью корреляций, тут подтверждаются. Если присмотреться, то можно увидеть, что в рассеяниях по переменным СС, СЕЈ ЯР и ЯЬ все точки вытянуты вдоль диагональной линии, идущей снизу вверх и слева направо. Однако в случае, если одна или обе переменных - РБ или УА, точки разбросаны по графику более хаотично. Они всё еще вытянуты вдоль диагонали (что отражает наличие у них положительных и довольно сильных коэффициентов корреляции друг с другом и с другими индексами), но отклоняются от нее в большей степени (что соответствует тому, что эти коэффициенты у них явно меньше).

Вот несколько отдельных диаграмм рассеяния для 2017 г.:

Тут можно более детально видеть, что на диаграмме для CC и GEf точки вытянуты в диагональную линию, а на других двух диаграммах, включающих VA, точки сильнее разбросаны по графику.

На основе этих данных можно утверждать, что комплекс WGI состоит из трех основных различных компонентов - отдельно PS, отдельно VA, и отдельно четыре другие сильно связанные между собой индексы. Интересно, что в этой связи статистически отражена принадлежность индексов к парадигмам, указанная в Таблице 1. Четыре индекса (GEf - «качество государственного управления»; RQ - «качество регулирования»; RL - «верховенство закона»; CC - «контроль над коррупцией») связаны с парадигмой NPM (Нового государственного управления), причем последний из них связан также и с парадигмой WP (веберовского «идеального государства»). Индексы PS («политическая стабильность») и VA («гласность и отчетность») связаны с парадигмой NPG (общественно-государственное управление).

Означает ли это, что характеристики государственного управления, которые отражают четыре «близких» индекса, являются разными взглядами на фактически одну и ту же вещь? Мы предлагаем иное, инструментальное объяснение, не вступая на зыбкую почву метафизического спора о совпадении (Langbein et al.) или различии (Kaufmann et al.) содержательных сущностей.

Полученные результаты позволяют утверждать, что индексы WGI являются неэффективным методом оценки качества государственного управления просто потому, что четыре из шести индексов очень близки по значениям. Достаточно знать значение только одного из них, чтобы можно было прикинуть с хорошей точностью примерные значения других трех индексов. В таком случае расчет всех четырех является тратой ресурсов и времени.

Более того, возможно, что такое устройство индексов может вводить в заблуждение пользующихся ими. Пользователь может думать, что эти индексы потенциально могут выводить на разные рейтинги и что , например, высокие значения сразу в четырех разных индексах свидетельствуют об особо высоком качестве управления в отдельной стране. Однако на практике эти индексы являются примерно одной и той же переменной, под разными именами и лишь с немного различающимися значениями, и восприятие этой переменной как четырех разных увеличивает ее значимость в глазах пользователя.

Заключение и дискуссия о результатах:

потенциал объективного подхода к селекции страновых

индексов оценки качества государственного управления

Мы провели уточненное статистическое корреляционное исследование страновых индексов WGI, руководствуясь представлениями о значимости формирования объективной индикативной оценки верхнего уровня для создания инструментальной парадигмы оценки качества государственного управления на основе анализа данных. Результаты проведенного исследования показывают, что рейтинги, составленные на основе применения шести индексов WGI, идентичны для четырех индексов и близки для двух индексов. Показана связь с ориентацией указанных индексов на три разные парадигмы государственного управления (административные парадигмы). Далее можно было бы применить более продвинутые методы статистического анализа, например метод главных компонент в задаче факторного анализа. Он позволит заменить четыре тесно взаимосвязанных индекса одним агрегированным индексом (смысл этого индекса, его значимость для оценки стран будут исследованы в следующих публикациях), а из двух остальных индексов выделить их независимые части и таким образом понять, что творится в этих областях без учета других областей.

Отсюда, чтобы яснее выделить влияние парадигм на конфигурацию индексов, возможно руководствоваться тремя индексами, а не шестью, причем исходить в трактовке индексов не из традиционного представления, что они отражают разные (или же одинаковые) феномены, о чем дискутировали разработчики индексов WGI и их оппоненты, а из представления, что индексы важны исключительно как порожденные разными парадигмами инструменты составления рейтингов стран, как технический инструмент выявления рейтингов стран, не более того. Страновые индексы можно назвать дублирующими, если представленные ими рейтинги стран из года в год имеют высокую степень корреляции.

В настоящем исследовании предложен способ, заключающийся в разбиении индексов на группы, порождающие близкие страновые рейтинги в течение ряда лет. Этот способ выявления групп страновых индексов ясен, ин- струментален, объективен. Он выгодно отличается от субъективного отбора групп индексов (зачастую дублирующих друг друга) для составления рейтингов стран на основе опроса экспертов, или же отбора индексов на основе интересов политических и административных элит, желающих показать «свои страны» в выгодном свете, а «страны-конкуренты» представить как плохо управляемые, или же отбора индексов под назначаемые целевые показатели и принципы (например, принятые ООН принципы устойчивого развития).

Переходя к дискуссии о результатах, можно сформулировать несколько предположений и утверждений:

Создание инструментальной парадигмы оценки качества государственного управления на основе анализа данных или же парадигмы оценки государственного управления с помощью объективных инструментов (governance assessment by objective tools) возможно, поскольку самый сложный, верхний уровень этой оценки (индикативная оценка качества странового государственного управления) можно избавить от основного недостатка, устранить волюнтаризм подбора индексов, их дублирование и пересечение.

Конечно, это только один из необходимых шагов: следует найти дополнительные инструменты агрегирования страновых индексов по направлениям и секторам управления, подобрать инструменты формирования кластеров сопоставимых стран по их размерам и населению, сформировать инструменты декомпозиции, способные представить вклад отдельных государственных органов, программ и социальных политик в измеряемые страновые результаты, наконец, должны быть созданы инструменты соотнесения процессных и результативных оценок служебной деятельности государственных служащих. Инструментальная парадигма, как представляется, будет отличаться от других административных парадигм тем, что в ней оценка управления не основывается ни на похвале или неодобрении руководства, ни на голосовании потребителей услуг, ни на лоббизме отдельных активных групп населения, ни на усредненных мнениях опрашиваемых экспертов, ни на способности системы управления генерировать обещания (проекты, планы, стратегии), ни на ведущих «в никуда» алгоритмах улучшения процессов без учета их целей.

Отбор страновых индексов для оценки качества государственного управления следует проводить, выходя за пределы массива индексов, непосредственно отражающих характеристики собственно государственного управления (WGI), но при этом не используя опосредующие государственное управление конструкции «национальной конкурентоспособности» (National competitiveness, как в проекте Сеульского университета). Оценка качества государственного (общественного) управления на верхнем уровне страновых индикативных оценок должна опираться на все возможные международные индексы. Эти индексы следует каталогизировать, сортировать с помощью надежных математических инструментов, устранять повторы, убирать пересечения, обнаруживать лакуны в имеющемся спектре индексов.

Использование для оценки качества странового государственного управления широкого спектра всех существующих (и потенциально возможных) страновых индексов ведет к пониманию государственного управления как «пронизывающего» общество. Такой подход к оценке качества странового государственного управления можно принять только в том случае, если согласиться, что государственное управление не является «обособленной» деятельностью, характеризующейся отдельным (специфическим) предметом, функциями и способами взаимоотношений с гражданами. Отсюда с неизбежностью следует понимание предмета государственного управления, исходящее из утверждения, что государственное управление - атрибут любой социальной деятельности (всех социальных предметов, всех социальных функций и практик, всех отношений в обществе).