"Неизмеримая наука", тирания показателей и цифровизация: есть ли повод для наукометрического оптимизма

Размещено на http://www.allbest.ru/

Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации

«Неизмеримая наука», тирания показателей и цифровизация: есть ли повод для наукометрического оптимизма

ОКСАНА ОЛЕГОВНА МЕДВЕДЕВА,

кандидат исторических наук, председатель совета

Ассоциации научных редакторов и издателей,

начальник отдела научно-информационного развития

Москва

Аннотация

наукометрия цифровизация ученый наука

Обзор подготовлен на основе материалов экспертной секции «Наукометрия 2.0: Цифровая перезагрузка», прошедшей в рамках Гайдаровского форума 2020 года. Он посвящен обсуждению роли прикладной наукометрии в оценке эффективности деятельности ученых, а также перспектив и возможностей цифровизации науки. «Тирания показателей» и кризис доверия в среде академического сообщества к любым формальным оценкам своей деятельности - одна из важнейших тенденций в области научного администрирования последних лет. Объектом для общественной критики выступает прикладная наукометрия как инструмент для данной оценки. В ходе дискуссии экспертами был высказан ряд существенных замечаний в отношении повсеместного применения прикладной наукометрии. Во-первых, необходимо формировать наукометрическую осознанность. Наукометрия может быть полезной и для исследователей, и для организаций. Наукометрическую грамотность нужно воспитывать. Именно такой подход на перспективу может стать важным шагом на пути к преодолению системного кризиса в оценке научной деятельности. Во-вторых, наукометрическая оценка должна быть подкреплена экспертной. Если первая формализует процесс оценивания и делает систему управления более прозрачной, то вторая наполняет ее содержательным смыслом. В-третьих, цифровая трансформация в управлении научной деятельностью на данный момент не способна снять возникшее противоречие. Более того, как следует из выступления экспертов, научное сообщество, как и сама система управления научной деятельностью, еще не готово к цифровой трансформации.

Ключевые слова: наукометрия, показатели эффективности, цифровизация, академическое сообщество, библиометрия, базы данных

Annotation

IMMEASURABLE SCIENCE', THE TYRANNY OF INDICATORS AND DIGITALIZATION: IS THERE ANY REASON FOR SCIENTOMETRIC OPTIMISM?

OKSANA O. MEDVEDEVA, Cand. Sci. (History), Chairman of the board of the Association of Scientific Editors and Publishers, Head of the department of scientific and informational development Russian Presidential Academy of National Economy and Public Administration Moscow, Russian Federation

The review was prepared on the basis of the materials of the expert section `Scientometry 2.0: Digital Restart', which took place as part of the Gaidar Forum 2020. It is devoted to a discussion of the role of applied scientometrics in assessing the effectiveness of scientists, as well as the prospects and possibilities of digitalization of science. The `tyranny of indicators' and the crisis of confidence among the academic community in any formal assessment of their activities is one of the most important trends in the field of scientific administration in recent years. The object of public criticism is applied scientometrics as a tool for this assessment. During the discussion, experts made a number of significant comments regarding the widespread use of applied scientometrics. First, scientometric awareness needs to be formed. Scientometrics can be useful for both researchers and organizations. Scientometric literacy needs to be educated. It is such an approach for the future that can be an important step towards overcoming the systemic crisis in assessing scientific activity. Secondly, the scientometric assessment should be supported by expert assessment. If the first formalizes the assessment process and makes the management system more transparent, the second fills it with meaningful meaning. Thirdly, the digital transformation in the management of scientific activity at the moment is not able to remove the contradiction that has arisen. Moreover, as follows from the expert's speech, neither the scientific community, nor the scientific management system itself, is yet ready for digital transformation.

Keywords: scientometrics, performance indicators, digitalization, academic community, bibliometry, databases

Введение

А для низкой жизни были числа,

Как домашний, подъяремный скот.

Потому что все оттенки смысла Умное число передает.

Н. Гумилев

В последние годы «тирания показателей» стала чуть ли не нарицательным понятием при характеристике системы научного администрирования. Ее принципы подвергаются острой критике со стороны академического сообщества См., например: От вала к баллу: ученым велено сопрячь количество и качество. https://www.poisknews.ru 7.02.2020. «Мужики-то правильно думают»: когда установятся новые правила оценки публикационной результативности. https://indicator.ru 12.02.2020; Рубцов А. Журнальная имитация: чем опасна новая методика Минобрнауки. https://www.rbc.ru 1.02.2020; Десниц- кий А. Не учи ученого: государство против науки. https://www. gazeta.ru 18.09.2019.. В первом приближении причиной общественной полемики стал вопрос о целесообразности повсеместного применения количественных метрик в оценке эффективности деятельности ученых.

Корни такого подхода даже не в логике развития самой науки как процесса познания, а скорее, в становлении принципов современного менеджмента и их постепенной экспансии в социальную сферу. Одним из последствий данного процесса явилась интеграция в систему управления моделей и методов, характерных для бизнеса (так называемый new public management) [Shore, 2008. P. 278-298]. И хотя сами «отцы-основатели» неоднократно предостерегали о возможности тотальной тирании показателей и пагубном последствии данного явления, особенно для социально значимых областей [Мюллер, 2019], так называемые key performance indicators стали распространенным явлением в управленческих стратегиях разных сфер жизни.

В управлении наукой, как обозначено выше, это привело к внедрению простых, единообразных и, главное, измеримых показателей деятельности ученых и организаций, индикативному планированию научной деятельности, распространению краткосрочных трудовых договоров и «эффективного контракта» для научно-педагогических работников. Инструментом для реализации такого подхода стала прикладная наукометрия.

«Тирания показателей»: причины и следствия

В итоге в погоне за прозрачностью и эффективностью «показатель результативности» ученого стал самодовлеющим принципом и из инструмента превратился в самоцель. Произошло то, о чем предостерегал Чарльз Гудхарт: «Когда какой-либо социальный или экономический показатель начинает использоваться как цель, он теряет свою ценность как инструмент» [Evans, 1985. P. 1-8]. В управлении научными данными это вылилось в превращение наукометрии из объективного средства оценки в объект манипуляции и фальсификации отдельными представителями научного сообщества, появились «картельные» сговоры по накрутке цитирований (и, что еще хуже, появились представители, их разоблачающие). В итоге научной репутации как институту был нанесен серьезный урон, а само академическое сообщество отреагировало ростом скепсиса и снижением доверия к каким-либо количественным показателям своей деятельности. Наметилось несколько явных противоречий: между культурой цитирования как традиционным каналом научной коммуникации и повсеместными злоупотреблениями вокруг самого факта цитирования, между учеными и администраторами - управленцами, опирающимися в своих решениях именно на эти же показатели научной результативности, а также между поставщиками научной информации - представителями крупнейших библиометрических баз данных, заинтересованных в повсеместном применении наукометрии, и академическим сообществом [Тульчинский, 2017. С. 121-136]. Эти противоречия усугубились отсутствием системного диалога между учеными и администраторами, а также «образовательным» вакуумом в подготовке экспертов-специалистов, умеющих работать с «прикладной наукометрией».

Таким образом, в основе полемики лежит более глубокое и системное противоречие, диалектически снять которое могла бы цифровизация на основе уже накопленного позитивного опыта цифровой трансформации из других сфер управления.

Именно этому сюжету и была посвящена экспертная дискуссия «Наукометрия 2.0: цифровая перезагрузка», прошедшая на Гайдаровском форуме 15 января 2020 года. Модераторами выступили начальник отдела научно-информационного развития Президентской академии, председатель совета АНРИ Оксана Медведева и главный редактор информационно-сервисного портала Indicator.Ru Николай По- дорванюк. Среди приглашенных гостей были представители Министерства науки и высшего образования Российской Федерации: директор Департамента стратегического развития, мониторинга и оценки Тимур Броницкий и Михаил Романовский, директор Департамента государственной научной и научно-технической политики; Андрей Блинов, заместитель генерального директора, начальник Управления программ и проектов Российского научного фонда; представители наукометрических баз данных: Валентин Богоров, руководитель отдела образовательных программ Clarivate Analytics, Виктор Глухов, заместитель генерального директора Е-library, Марат Фатхуллин, вице-президент Elsevier S&T в России; а также исследователи - представители академического сообщества Артем Космарский, заместитель руководителя Лаборатории исследований блокчейна для образования и науки Государственного академического университета гуманитарных наук (ГАУГН), Владимир Картавцев, руководитель исследовательских проектов Synopsis Group и Роман Кончаков, заведующий кафедрой истории экономики РАНХиГС.

В центре внимания экспертов оказались следующие вопросы: есть ли на сегодняшний день альтернатива традиционной наукометрии? И возможна ли ее цифровая перезагрузка?

Научная работа как элемент игры по достижению показателей

Артем Космарский сравнил традиционную наукометрию с неидеальной оптикой, которая серьезно искажает результаты деятельности ученых. Он подчеркнул, что из всего многообразия деятельности ученого учитывается только научная статья и факт ее цитирования [Кулешова, Подвойский, 2018. С. 169210]. Настоящая научная коммуникация уходит в блоги, социальные сети, туда, где происходит профессиональное живое общение. Статья же в итоге становится «холодным» жанром, написанным в большей степени для отчета.

Таким образом, для академического сообщества научная работа превращается в элемент игры по достижению формальных показателей, иногда даже не самым честным способом [Михайлов, 2016. С. 155167]. Цифровизация может разорвать этот порочный круг, но для этого нужна предварительная серьезная работа по изучению уже существующих цифровых практик самих ученых, а также гибкая система, которая в режиме реального времени будет отслеживать, что делают ученые. В этом смысле цифровой оптимизм может быть связан, например, с внедрением блокчейн-технологий в систему рецензирования или в процесс создания научного продукта.

В контексте последнего замечания интересно выступление Владимира Картавцева. Группа исследователей под его руководством на протяжении семи месяцев занималась изучением отношения ученых к возможным цифровым изменениям. Анализ более шести тысяч анкет продемонстрировал доминирование далеко неоднозначного и даже скептического отношения ученых к цифровизации. Более половины ученых - цифровые пессимисты. В основе пессимизма - страх тотальной открытости и прозрачности своей деятельности. В повседневной научной деятельности принципы прикладной наукометрии и управленческие решения вызывают либо саботаж в среде академического сообщества, либо используются учеными как «щит» из формализованных показателей. Альтернатива прикладной наукометрии не в цифровизации как таковой, а в той собственной системе метрик, которая и так органически существует в среде академического сообщества. Таким образом, считает спикер, «наука будет прекрасно себя чувствовать, если все метрики исчезнут».

Наукометрическая осознанность и роль экспертизы

Несколько иначе рассматривают проблемы прикладной наукометрии и цифровизации представители баз данных. Валентин Богоров в своем выступлении призвал всех к наукометрической осознанности и использованию наукометрии в качестве инструмента для изучения науки как информационного процесса. Назревающий сегодня конфликт не связан с наукометрией как таковой, это проблема в существующих административных практиках (переменные влияют на состояние измеряемого объекта) и технологиях государственного управления. Для их совершенствования необходима многомерная оценка, учитывающая разнообразные практики ученых. Например, в прошлом году в состав WoS включена база Publons, которая содержит данные о нескольких сотнях тысяч рецензентов. Учет деятельности ученого как рецензента мог бы обогатить скудный наукометрический портрет исследователя. И в этом смысле любые управленческие решения должны быть основаны на объективной информации, и чем больше слагаемых для ее формирования, тем лучше.

Марат Фатхуллин обратил внимание на два ключевых параметра использования наукометрии: первый - это управление научной политикой с точки зрения дизайна мотивационной модели поведения ученого и изменения культуры проведения исследований; второй - проведение собственных научных исследований с большими данными. В качестве примера первого варианта он привел кейс научного сотрудничества между молодыми учеными-медиками России и Великобритании, которое стало возможным именно в силу предварительно проведенного полноценного наукометрического анализа существующих научно-исследовательских групп. «К сожалению, сейчас наукометрия - это цифры, а к ним нужен интеллект», - емко сформулировал эксперт. Кроме того, в основе управленческих решений должна быть комбинация наукометрии и научной экспертизы. Наукометрия должна быть «research centric».

Эту идею в своем выступлении развил Виктор Глухов. По его мнению, любые наукометрические оценки должны не заменять, а дополнять экспертизу. Помимо учета результатов экспертизы необходима разработка сложных интегральных показателей, манипулировать которыми станет довольно сложно. Именно цифровизация и внедрение новых технологий по работе с текстами могут стать важным шагом на этом пути.

Роли экспертной оценки было посвящено выступление Андрея Блинова. Заместитель генерального директора РНФ рассказал об опыте организации экспертизы в Фонде и возможности ее бесконфликтного сосуществования с наукометрией. Фонд одним из первых стал использовать наукометрические показатели в своей работе в 2014 году. Впоследствии был совершен переход к качественным показателям, но и они оказались исключительно барьерными. «В дальнейшем заявки на конкурс подлежат качественной экспертной оценке. Большой соблазн - привязаться к цифрам. Выставили баллы, по ним - рейтинг проектов. Но без экспертной оценки ничего не получится. Надеюсь, что через десять лет в РНФ не будет наукометрии», - заключил спикер.

«И наукометрия, и цифровизация полезны в ограниченном сегменте. Оцифровывать надо те вещи, которые понятны и которые легко считаются», - в качестве примера А. Блинов привел кейс по разработке «цифрового портрета» эксперта². На основе полученной информации система автоматически подбирает экспертов на заявки. В такой технологии есть существенный плюс: система работает беспристрастно и быстро. Автоматические результаты на протяжении года сравнивались с результатами, полученными с помощью ручного отбора. В итоге «мнение, что человек обладает какими-то дополнительными тайными знаниями, было опровергнуто. Оказалось, что на больших массивах эти мнения малозначимы».

Подход Министерства науки и высшего образования Российской Федерации

Тимур Бронницкий и Михаил Романовский рассказали о видении Министерства науки и высшего образования Российской Федерации в отношении перспектив применения наукометрии в отечественной научной политике [Орлов, 2013. C. 538-568] и особенностях цифровизации данной сферы. Руководитель Департамента стратегического развития, мониторинга и оценки Тимур Броницкий сделал на тот момент сенсационное заявление о внедрении новой методики расчета «Комплексного балла публикационной результативности» для оценки эффективности расходования средств, получаемых научными организациями в рамках государственного задания. Он обозначил ключевой вектор, заданный министерством - уход от объемных показателей и переход к качественным, а также увязка численных показателей с экспертной оценкой. Далее он коротко остановился на ключевых особенностях новой системы, а именно на отказе от валового принципа (только количество статей) и дублирования (отчет одной и той же публикацией несколькими организациями), внедрении системы баллов и фракционного счета (организации присваивается доля в статье) и отслеживании международных коллабораций. Цифровизация данного процесса станет возможной тогда, когда будут накоплены объемы данных. Все это в перспективе даст возможность работать в режиме сквозного рейтингования всей научной деятельности.

Михаил Романовский, в свою очередь, сделал акцент на двух моментах: первый - наукометрией должны заниматься, прежде всего, специалисты, а второй - оцифровать можно только то, что стоит «на базе законов»: «Наукометрией надо заниматься всерьез, стараться превратить ее в максимально точную науку, и только тогда ее можно оцифровать». 2 «Сейчас российской науке не хватает простых цифровых сервисов». https://www.rfbr.ru 23.01.2020.

https://gaidarforum.ru/about/mediamaterials/photo/15-january-2020/

https://gaidarforum.ru/about/mediamaterials/photo/16-january-2020/

Дискуссию завершило выступление Романа Кон- чакова, директора по цифровой трансформации РАНХиГС. Он обратил внимание на существование терминологической путаницы. Цифровизация - не о технологиях и инструментах, а о фундаментальных изменениях в научной практике ученых, она должна способствовать формированию новых форм ответственности перед экспертным сообществом. Итогом этого процесса должно стать постепенное угасание «тирании показателей» и приход на смену ей органически присущих самому экспертному сообществу правил и принципов саморегулирования и контроля.

Выводы

Таким образом, по итогам дискуссии, на наш взгляд, можно сделать ряд существенных выводов.

Во-первых, наукометрия - это серьезно. Использованию ее инструментов необходимо обучать и формировать так называемую наукометрическую осознанность. Наукометрия может быть полезной и для исследователей, и для организаций. Она нужна не только чиновникам, но и ученым, чтобы ориентироваться в потоке научной информации [Чеботарев, 2013. С. 14-31]. Но бездумное использование ее инструментов в процессе научного администрирования может нанести большой вред. Наукометрическую культуру нужно создавать. Это не должно быть уделом узкой группы экспертов. Именно такой подход и может стать основой для поиска консенсуса академического сообщества с научным менеджментом.

Во-вторых, наукометрия прекрасно сосуществует с экспертной оценкой. Наукометрия формализует процесс, а экспертиза наполняет его содержательным смыслом.

В-третьих, цифровизация в системе научного администрирования на данный момент, скорее, «хайп». Научное сообщество, как и сама система управления научной деятельностью, еще не готово к цифровой трансформации. Многие процессы еще предстоит осознать, в некоторых случаях даже заново отстроить.

Таким образом, достижение консенсуса между академическим сообществом и современной системой научного менеджмента возможно при формировании наукометрической культуры и осознанности как в среде научных администраторов, так и в среде ученых. Ответ лежит не в новых технологиях, а в возможности профессиональной наукометрической коммуникации и этики. Цифра оказалась ни при чем.

Литература

1. Кулешова А.В., Подвойский Д.Г. Парадоксы публикационной активности в поле современной российской науки: генезис, диагноз, тренды. Мониторинг общественного мнения: Экономические и социальные перемены. 2018. № 4. С. 169-210.

2. Михайлов О.В. Библиометрические индексы и российская наука. Науковедческие исследования. 2016. С. 155167.

3. Мюллер Дж. Тирания показателей: Как одержимость цифрами угрожает образованию, здравоохранению, бизнесу и власти. М.: Альпина Паблишер, 2019. 210 с.

4. Орлов А.И. Наукометрия и управление научной деятельностью. Управление большими системами: сборник трудов. 2013. № 44. C. 538-568.

5. Тульчинский Г.Л. Цифровая трансформация образования: вызовы высшей школе. Философские науки. 2017. № 6. С. 121-136. Чеботарев П.Ю. Наукометрия: как с ее помощью лечить, а не калечить? Управление большими системами: сборник трудов. 2013. № 44. С. 14-31.

6. Evans P Money, Output and Goodhart's Law: the U.S. Experience.

7. Review of Economics and Statistics. 1985. Vol. LXVII. № 1. P 1-8. Shore C. Audit culture and Illiberal Governance: Universities and the Politics of Accountability. Anthropological Theory. 2008. Vol. 8. № 3. P 278-298.

References

1. Chebotarev P.J. Scientometrics: how to use it to treat, not to cripple? In: Upravlenie bolshimi sistemami: sbornik trudov. 2013. № 44. P 14-31. In Russian

2. Evans P Money, Output and Goodhart's Law: the U.S. Experience. In: Review of Economics and Statistics. 1985. Vol. LXVII. № 1. P 1-8. In English

3. Kuleshova A.V., Podvojskij D.G. Paradoxes of publication activity in the field of modern Russian science: genesis, diagnosis, trends. In: Monitoring obshchestvennogo mnenija: Ekonomicheskie i socialnye peremeny. 2018. № 4. P 169-210. In Russian Mihajlov O.V. Bibliometric indexes and Russian science. In: Nauk- ovedcheskie issledovanija. 2016. P 155-167. In Russian

4. Muller J.Z. The tyranny of indicators: how obsession with numbers threatens education, health, business, and government. M.: Alpi- na pablisher, 2019. 210 p. In Russian OrlovA.I. Scientometrics and management of scientific activities. In: Upravlenie bolshimi sistemami: sbornik trudov. 2013. № 44. P 538-568. In Russian

5. Shore C. Audit culture and Illiberal Governance: Universities and the Politics of Accountability. In: Anthropological Theory. 2008. Vol. 8. № 3. P 278-298. In English Tulchinskij G.L. Digital transformation of education: challenges to higher education. In: Filosofskie nauki. 2017. № 6. P 121-136. In Russian

Размещено на Allbest.ru