Оценка результатов научной деятельности в России: необходимо, но недостаточно

Размещено на http://www.allbest.ru/

ОЦЕНКА РЕЗУЛЬТАТОВ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ В РОССИИ: НЕОБХОДИМО, НО НЕДОСТАТОЧНО

Положихина М.А.

к.геогр.н., в.н.с. ИНИОН РАН

Ключевые слова: Россия; оценка результатов научной деятельности; публикационная активность; рынок научной периодики; репутация.

Keywords: Russia; evaluation the results of scientific activities; publication activity; market of scientific periodicals; reputation.

Увеличение объемов ресурсов (прежде всего, финансовых), расходуемых государствами, бизнесом и обществом в целом на науку, обусловили необходимость оценки результатов научной деятельности. Прикладные исследования и разработки можно оценивать на основе объектов интеллектуальной собственности. Оценка результатов фундаментальных научных работ и вузовского научного сектора, которые часто не имеют материально-вещественной формы, остается проблематичной. Для решения этой задачи применяют различные качественные и количественные методы, к наиболее значимым из которых относится научная экспертиза и наукометрия.

В настоящее время оценке подлежит как деятельность академических научных организаций, так и отдельных ученых. Однако вводимые в последние годы в России способы оценки результатов научной деятельности вызывают много споров и недовольства со стороны научного сообщества.

Способы оценки. В 2006-2007 гг. в стране была предпринята попытка разработать и внедрить общий количественный показатель результативности научной деятельности (ПРНД) для работников РАН в целях распределения стимулирующих выплат между научными сотрудниками [Приказ Минобрнауки РФ № 273.., 2007]. Предлагаемый показатель рассчитывался по следующей формуле:

ПРНД = kG + pM + rU + hD + sK + bP + gR, где:

G -- количество публикаций в журналах; M -- количество монографий; U -- количество учебников; D -- число докладов на конференциях; K -- число научно-образовательных курсов; P -- количество патентов; R -- научное руководство; k, p, r, h, s, b, g -- весовые коэффициенты (значение которых приводилось в приложении к документу).

Однако введение ПРНД не оказало какого-либо значимого эффекта - в первую очередь, из-за малого объема финансирования науки.

С 2008 г. были введены квалификационные требования к должностям научных сотрудников РАН, содержащие количественные показатели. Для должности главного научного сотрудника (доктора наук) требовалось не менее 10 научных трудов за последние 5 лет; для ведущего научного сотрудника (доктора или кандидата наук) - не менее 7-ти; старшего научного сотрудника (доктора или кандидата наук) - не менее 5-ти; научного сотрудника (кандидата наук) - не менее 3-х [Постановление Президиума РАН от 25.03.2008 № 196]. Следует отметить, что контролировать выполнение предлагаемых показателей можно было только на аттестации научных сотрудников (которая проходит раз в пять лет), что не подходит для целей ежегодного мониторинга. Кроме того, установлена достаточно низкая «планка» результатов с точки зрения современной науки.

Указанные подходы к оценке научной деятельности стремились отразить разные ее стороны. При этом очевидно повышение внимания к публикационной активности, прежде всего, количеству научных публикаций.

К 2016 г. разработана и с 2017 г. начала применяться методика распределения дополнительных бюджетных средств на повышение заработной платы научных сотрудников учреждений сферы науки, подведомственных ФАНО РФ. Согласно этой методике, к показателям результативности деятельности научных учреждений относится: 1) количество публикаций в рецензируемых российских и международных периодических изданиях (в расчете на 1 научного сотрудника), в т.ч. 2) индексируемых в международных базах данных Scopus и Web of Science (WoS); 3) удельный вес исследователей в возрасте до 39 лет в общей численности исследователей учреждения; 4) масштаб внебюджетного финансирования (отношение внебюджетных средств к бюджетным в структуре заработной платы научных сотрудников учреждения) [Ивлев Г.А., 2019]. Разработчики методики старались увязать разные цели управления научной сферой: омоложение кадров, увеличение объема внебюджетного (конкурсного) финансирования, рост количества и качества научных публикаций. научный оценка ученый результативность

Еще один подход к оценке результатов научной деятельности заключался в выработке соответствующих нормативов, исходя из затрат рабочего времени. Попытка прямого введения показателя нормо-часов предпринималась ФАНО в 2017/2018 гг., но была столь неуклюжей (без какого-либо внятного разъяснения научному сообществу), что провалилась. Теперь чиновники пробуют установить это «экспериментальным» путем (т.е. сколько можно «выжать» статей из научного сотрудника).

В последние годы происходит ужесточение требований, предъявляемых к государственным научным организациям, а, следовательно, и к результатам деятельности научных сотрудников. Акцент делается на увеличение числа публикаций в журналах, входящих в зарубежные базы данных Scopus и WoS, а также учет категории журнала (через импакт-фактор и квартили Импакт-фактор показывает среднее количество цитирований одной статьи в журнале. Квартиль -- это категория научных журналов, определяемая библиометрическими показателями, которые отражают уровень цитируемости, т.е. востребованность журнала научным сообществом. В результате ранжирования каждый журнал попадает в один из четырех квартилей (категорий): от Q1 (самого высокого) до Q4 (самого низкого). Наиболее авторитетные журналы принадлежат, как правило, к первым двум квартилям [по материалам Википедии].).

Публикационная активность. В указе Президента РФ 2012 г. была поставлена цель увеличения числа научных публикаций к 2015 г. до 2,44% от их общемирового количества [Указ Президента РФ от 07.05.2012 № 599]. Несмотря на существовавший пессимизм, это задание удалось выполнить.

В 2018 г. число публикаций российских ученых в журналах, индексируемых в базах данных Scopus и Web of Science Core Collection (WoS СС), превысило соответственно 99 и 75 тыс. По удельному весу публикаций в общем числе статей, российские ученые находились в 2018 г. на 11 месте (из 223 стран по статистке Scopus) и на 15 месте (по статистике WoS) [Публикационная активность.., 2019; Scimago journal.., 2018]. По сравнению с 2017 г. публикационная активность возросла в 1,7-1,4 раз соответственно (с 59,0 и 51,6 тыс. публикаций). По данным WoS, в 2018 г. 2,9% от общего числа статей в мире было написано российскими учеными (в 2017 г. - 2,85%), по данным Scopus - 2,6% (в 2017 г. - 2,9%). [Дайджест показателей публикационной активности.., 2018, с. 7]. В базе WoS в 2018 г. количество российских авторов составило 91,0 тыс. [Лепешев В.А., 2019].

В Национальном проекте «Наука» сформулирована следующая цель на перспективу. К 2024 г. РФ должна подняться на 5 место по удельному весу в общем числе статей в областях, определяемых приоритетами научно-технологического развития, в изданиях, индексируемых в международных базах данных [Паспорт Национального проекта «Наука», 2019]. Соответственно, доля публикаций российских ученых в общем числе индексируемых в Scopus и WoS статей должна превысить 4%. Это означает необходимость почти двукратного роста числа индексируемых публикаций.

В настоящее время разрыв России с пятеркой лидеров в данном направлении составляет 6,9-1,7 раз. В 2018 г. в указанных международных базах было проиндексировано (учтено) 683 тыс. публикаций из США; 599,4 тыс. - из Китая; 211,7 тыс. - из Великобритании; 180,6 тыс. - из Германии; 171,4 тыс. - из Индии [Scimago journal.., 2018]. Причем отставание России по этому показателю от США по сравнению с 1988 г. увеличилось. По числу публикаций, индексируемых в международных базах данных, Россия-2018 уступает СССР-1988 почти в 3 раза. Хотя, конечно, на это соотношение влияет образование на месте СССР 15 независимых государств, учет научных публикаций которых теперь ведется отдельно.

Подсчитано, что ежегодный прирост публикаций на 10% позволит России к 2024 г. выйти на уровень в 180 тыс. публикаций в год. Этого может оказаться достаточно, чтобы занять заветное пятое место в рейтинге. В 2018 г. фиксируется снижение темпов роста числа публикаций российских авторов в базе Scopus. Отмечается, что прирост публикаций в международных базах данных в последние годы обеспечивался за счет активизации публикационной деятельности преподавателей вузов (раньше к ним не предъявлялось требований публиковаться за рубежом) и авторов из регионов (прежде всего, Сибирского и Дальневосточного ФО). Возникает вопрос, если ли резервы для дальнейшего повышения публикационной активности в России? [Количество российских публикаций.., 2019].

Отечественный потенциал публикационной активности можно попробовать определить следующим образом.

- сколько можно написать научных статей в год: экспертная оценка составляет от 1 до 4 (в среднем 2,5) статьи - большее их количество сопровождается резким падением качества материала;

- кто пишет научные статьи: не исследователи, а научные сотрудники (численность 72 тыс. на I полугодие 2019 г.) и преподаватели вузов (191 тыс. соответственно), на которых в основном и распространяются требования публиковаться.

Таким образом, если все специалисты указанных категорий напишут в среднем по 2,5 научной статьи за год, то их общее количество составит порядка 657 тыс.

Следует отметить, что точное количество научных журналов в России неизвестно. Это удивительно, учитывая существующий механизм их регистрации и правило «обязательного экземпляра». Однако имеющаяся информация весьма противоречива. По данным eLibrary Российская научная электронная библиотека. Была создана в 1999 г. по инициативе Российского фонда фундаментальных исследований для обеспечения российским ученым электронного доступа к ведущим иностранным научным изданиям. С 2005 г. начала работу с русскоязычными публикациями, и в настоящее время является ведущей электронной библиотекой научной периодики на русском языке в мире. Интегрирована с Российским индексом научного цитирования (РИНЦ) - национальным инструментом измерения и анализа публикационной активности отечественных ученых и организаций. eLibrary и РИНЦ разработаны и поддерживаются компанией «Научная электронная библиотека» [по материалам Википедии]., всего научных журналов в России в настоящее время выходит 14,3 тыс., из них 5,9 тыс. индексируется, а общее количество научных статей оценивается более чем 450 тыс. [Российский индекс научного цитирования, 2019]. Можно подсчитать, что зарубежные публикации составляют примерно 20% от годового объема научных публикаций отечественных авторов. И в этом процессе задействовано почти 40% от общей численности научных сотрудников и преподавателей вузов страны. Увеличение данных показателей вдвое (для выполнения цели нацпроекта «Наука») представляется нереальным.

Можно ожидать, что с 2019 г. и далее темпы роста количества российских публикаций в международных базах данных WoS и Scopus будут снижаться. Хотя улучшение общей позиции возможно, догнать пятерку лидеров России вряд ли удастся. И дело тут не в творческом потенциале отечественных научных кадров или качестве проводимых ими исследований - а в особенностях рынка научной периодики. Количество статей, которое могут опубликовать российские авторы, зависит не только от уровня их работ, но и от политики издателей, в т.ч. зарубежных.

Рынок научной периодики. К сожалению, авторы официальных документов игнорируют тот факт, что публикации в журналах, индексируемых в международных базах данных WoS и Scopus, все чаще становятся для авторов платными в связи с распространением практики «Open access».

Помимо этого, из-за технических трудностей при публикации научных статей в журналах определенного уровня (необходимости следования стандарта текстового формата статьи IMRAD), появился спроса на услуги по содействию в их организации. «На новый сегмент рынка услуг вышли сотни посредников, предлагающих весь спектр работ по решению проблемы публикационной активности для конкретного научного сотрудника или преподавателя вуза. Цена на полный «пакет» услуг по организации публикации научной статьи в журналах, индексируемых в системах WoS и Scopus, колеблется от 45 до 120 тыс. руб.» [Алавердов А.Р., 2019, с. 29].

Если сопоставить расходы на публикацию научных статей в журналах, индексируемых в WoS и Scopus, то их величина уже сравнима с размером среднемесячной заработной платы научных сотрудников и преподавателей вузов. А по многим регионам - превосходят ее. Таким образом, возникает финансовый барьер для увеличения количества зарубежных публикаций российскими авторами. Одновременно указанные расходы выступают в качестве косвенного налога на занятие научной деятельности в стране. Фактическое введение нового налога в России никак не сочетается с действующим законодательством и не отвечает декларируемым целям по восстановлению престижа научной деятельности и улучшению оплаты труда научных сотрудников.

Представляется, что выйти из создавшегося положения можно, предусмотрев целевые расходы на публикации российских авторов в журналах, индексируемых в международных базах, в рамках выделяемых государственных средств. Кроме того, необходимы решительные меры по поддержке и повышению качества отечественных научных журналов.

Не известно, сколько всего нужно научных журналов. Но очевидно, что они должны быть разного уровня. Ведь надо публиковаться начинающим исследователям, обнародовать отрицательные или промежуточные и спорные результаты. Разумеется, не должно быть недобросовестных изданий - «мусорных», «хищнических» или «диссеродельных» Термин «хищнические журналы» ввел американский библиотекарь Дж. Билл для изданий, которые за деньги публикуют любые тексты в любых количествах (и поэтому разрастаются до гигантских размеров - до несколько тысяч статей в год). В России создана более подробная классификация недобросовестных изданий. Выделены «мусорные» -- то есть слабые в научном плане журналы, часто вестники вуза (университета), публикующие преимущественно его сотрудников, - а также «диссеродельные» журналы, обслуживающие конкретные диссертационные советы, которые массово штампуют «липовые» диссертации [по материалам Википедии]..

Пока же неправильные стимулы и попытки применения валовых критериев в науке затрудняют творческую работу и стимулируют очковтирательство. К чему приводит административное давление, не обеспеченное соответствующими ресурсами, наглядно видно на примере отечественных вузов, которые сейчас вынуждены отчитываться количеством статей. Как показал анализ данных Scopus за период 2010-2018 гг., российские вузы опубликовали в журналах и издательствах из списка Дж. Билла 15 тыс. статей, причем активно публиковать их вузы начали с 2013 г. Изучение госзакупок вузов за последние пять лет свидетельствует, что российские поставщики услуг по изданию статей в «хищных» журналах получили 89 млн. руб. из бюджета, иностранные -- 70 млн. руб. При этом почти всю сумму денег на закупки, которые удалось найти, потратил Казанский федеральный университет (КФУ). Закупки других вузов крайне незначительны на фоне этих трат. Тем не менее, РЭУ им. Плеханова опубликовал 448, РУДН - 258, а Горный университет Санкт-Петербурга - 270 «мусорных» статей [Заякин А., Смагин А., 2019].

Другие специалисты обращают внимание на то, что в российской наукометрии возобладал подход «культурного колониализма»: наивысшие рейтинги и оценки получают публикации, которые отечественные ученые размещают в зарубежных изданиях. Управленцы «рассматривают зарубежные публикации как более надежный критерий оценки успеха ученого, чем его локальные достижения. Подобная ситуация не только не продвигает научную продукцию российских исследователей в международном контексте, но и, напротив, приводит к деградации отечественной общественной науки, которая должна в этих условиях согласиться с навязываемыми тематическими приоритетами» [Горшков М.К., Черныш М.Ф., 2018, с. 666, 668].

Представляется, что количество публикаций в международных базах данных может оставаться индикатором развития национальной научной сферы, но не должно становиться плановым показателем результативности деятельности научных работников и научных учреждений. Требовать, чтобы научные сотрудники писали и публиковали свои работы, безусловно, следует. Но учитывать нужно разные издания (а также монографии).

Качественные оценки. Большинство ученых разных специальностей придерживаются мнения, что на сегодняшний день наиболее приемлемым способом оценки результатов научных исследований «остается метод содержательной компетентной оценки, осуществляемой единоличным или коллективным представителем (экспертом, рецензентом, экспертной комиссией, ученым советом и т. п.). В то же время имеются серьезные проблемы, связанные с тем, что и выбор самих экспертов, и проведение экспертной процедуры всегда связаны с множеством субъективных моментов» [Татаринов Ю.Б., 1989, с. 32,35].

Кроме того, неурегулированным остается вопрос достойной оплаты за научное рецензирование и экспертизу.

Большое значение имеет восстановление в стране репутационных механизмов оценки достижений отдельных ученых и научных организаций, особенно в области присуждения ученых степеней и званий. Необходимо также изменить статус научной работы, которая сейчас относится к сфере услуг, и способствовать повышению престижа научной деятельности в обществе. В России требуется создать атмосферу общественного неприятия искажений этических норм научной деятельности, в первую очередь, путем последовательной борьбы с плагиатом, недобросовестными изданиями и фиктивными диссертациями. Например, всячески поддерживать деятельность Вольного сетевого сообщества «Диссернет» Организованное на добровольных началах сетевое сообщество «экспертов, исследователей и репортеров, посвящающих свой труд разоблачениям мошенников, фальсификаторов и лжецов» [Диссертнет, 2019]. и повсеместное использование системы «антиплагиат».

Качественные оценки результатов научной деятельности могут опираться на данные о статусе, рейтинге и репутации как отдельного ученого, так и научной организации в целом. На основе современных информационных ресурсов и с помощью новых цифровых технологий (в т.ч. искусственного интеллекта, «больших данных» и т.д.) можно составлять «белые» или «черные» списки научных сотрудников и научных изданий, выстраивать соответствующие рейтинги научных учреждений и специалистов. Но для реализации этого подхода нужна соответствующая информационная база.

Попытка создания такой информационной системы в России предпринималась - в виде проекта «Карта российской науки». В 2012-2016 гг. Минобрнауки потратило на него почти 450 млн. руб. бюджетных средств. Но в 2017 г. Совет по науке при Минобрнауки заявил, что в течение 4 лет своего существования система работала неудовлетворительно, и попросил пользователей больше ею не пользоваться. Были выявлены многочисленные нарушения в процессе разработки «Карты российской науки» - как финансовые, так и организационно-правовые [Шмыров В., 2018].

Провалившаяся попытка реализации, конечно, дискредитировало идею - но не следует отвергать ее совсем. Повышение уровня открытости результатов отечественных научных исследований, проведенных за государственные средства всеми субъектами научной сферы (за исключением секретных разработок), включая ведомственные заказы и работы некоммерческого сектора, а также улучшение функционирования сайтов российских научных учреждений создает громадные информационные ресурсы, которые имеет смысл структурировать и анализировать.

На фоне дискуссии по вопросам оценки результатов фундаментальных исследований оценке эффективности и результативности прикладных исследований (и разработок) в России уделяется совершенно недостаточно внимания. В результате процессы, происходящие в этих научных секторах, мало анализируются и слабо осознаются. Вместе с тем, даже значительные успехи фундаментальных наук без соответствующего развития отечественного сектора прикладных исследований и разработок не приводят к ускорению инновационного процесса. Более того, их результаты не превращаются в продукты и технологии реального сектора. Но именно такая ситуация фиксируется в настоящее время в России - в том числе, из-за падения уровня прикладных исследований и разработок.

Заключение. В настоящее время действия органов управления отечественной наукой направлены на достижение целей национального проекта «Наука». Но увеличить в требуемом масштабе показатели публикационной активности российских ученых только за счет административного давления невозможно (если, конечно, в очередной раз не прибегать к манипуляциям с цифрами). Для этого необходимо обеспечить научные учреждения достаточными финансовыми ресурсами, принять меры по повышению качества отечественных научных журналов и развитию национальных информационных систем, включая РИНЦ.

Причем одних только количественных целей и показателей для нормального функционирования и развития научной сферы недостаточно. Примеры многих стран мира и многочисленные исследования свидетельствуют - использование наукометрического подхода для оценки продуктивности и эффективности научной деятельности оправдано в определенных рамках. Количественные показатели не могут служить основным критерием, на основе которого принимаются административные решения. Их целесообразно применять как дополнение к экспертным выводам (качественной оценке) при комплексной (системной) оценке результатов научной деятельности.

В России требуется восстановить действие репутационных механизмов в научном сообществе и поднять престиж научной деятельности в обществе. Кроме того, необходима разработка более адекватной национальной методики оценки результатов фундаментальных исследований.

Следует также повысить внимание к оценке эффективности и результативности прикладных исследований и разработок. Акцент на развитие начальных звеньев инновационного процесса, без полного его охвата и отставания других компонентов, не даст ожидаемого эффекта - прилагаемые усилия по стимулированию и повышению результатов деятельности отечественных ученых не приведут к ускорению темпов социально-экономического развития страны.

Список литературы

1. Алавердов А.Р. Публикационная активность преподавателей отечественной высшей школы и резервы ее повышения // Высшее образование в России. М., 2019. Т. 28, № 2. С. 23-36.

2. Горшков М.К., Черныш М.Ф. О критериях оценки результативности деятельности научных организаций и ученых в области общественных наук / Образование и наука в России: состояние и потенциал развития. Сб. науч. ст. М.: Центр социального прогнозирования и маркетинга, 2018. Вып. 3. С. 663-677.

3. Дайджест показателей публикационной активности российских исследователей по данным Web of Science, Scopus / РИЭПП. М.: Буки Веди, 2018. Вып. 4. 56 с.

4. Диссернет. О проекте // Диссертнет. https://www.dissernet.org/about/

5. Заякин А., Смагин А. Пиши, Емеля. Государство требует от ученых больше научных статей. А получает горы макулатуры за солидные деньги // Новая газета. Общество. М., 2019. № 45, 20 апреля. https://www.novayagazeta.ru/articles/2019/04/20/80297-pishi-emelya

6. Ивлев Г.А. О последствиях применения Методики распределения дополнительных бюджетных средств на повышение заработной платы научных сотрудников учреждений сферы науки, ранее подведомственных ФАНО России, применительно к 2019 году / Итоги Пленума Нижегородской региональной организации Профсоюза работников РАН. М., 2019. 26 января. www.nnro-pran.ru/news/img/plenym_2019/Ivlev.pdf

7. Количество российских публикаций в Scopus за год превысило 100 тыс. Что дальше? // Индикатор. Гуманитарные науки. 2019. 24 мая. https://indicator.ru/humanitarian-science/publikatsii-scopus.htm

8. Лепешев В.А. Место российских журналов в системе научных публикаций как инструмента оценки публикационной активности / Доклад на 8-й Международной науч.-практич. конференции «Научное издание международного уровня - 2019: Стратегия и тактика управления» (23-26 апреля 2019 г., Москва). 2019.https://conf.rasep.ru/files/conferences/1/materials/2019.04.23_Lepeshev.pdf

9. Паспорт Национального проекта «Наука» (утвержден 24.12.2018) // Правительство России. 2019. 11 февраля. static.government.ru/media/files/vCAoi8zEXRVSuy2Yk7D8hvQbpbUSwO8y.pdf

10. Постановление Президиума РАН от 10.04.2019 № 56 «О принципах распределения бюджетных средств и установления нормативов публикационной активности для научных организаций» // Консультант-плюс. 2019. www.consultant.ru/cons/cgi/online.cgi?req=doc&base=EXP&n=626741#07452236804901422

11. Приказ Минобрнауки РФ № 273, Минздравсоцразвития № 745, РАН № 68 от 03.11.2006 «Об утверждении видов, порядка и условий применения стимулирующих выплат, обеспечивающих повышение результативности деятельности научных работников и руководителей научных учреждений и научных работников научных центров Российской академии наук» // Бюллетень нормативных актов федеральных органов исполнительной власти. М., 2007. № 2.

12. Публикационная активность России: что говорят Scopus и Web of Science? // Министерство науки и высшего образования России. Проект 5-100. Новости. М., 2019. 05 апреля. https://www.5top100.ru/news/100908/

13. Российский индекс научного цитирования // eLibrary. М. https://elibrary.ru/project_risc.asp

14. Указ Президента РФ от 07.05.2012 № 599 «О мерах по реализации государственной политики в области образования и науки» // Официальный сайт Президента России. М., 2012. http://graph.document.kremlin.ru/page.aspx?1;1610850

15. Татаринов Ю.Б. Количественная и качественная оценка результатов фундаментальных исследований // Вестник РАН. М., 1989. № 10. С. 28-41.

16. Шмыров В. Загублена информационная система «Карта российской науки» стоимостью 450 млн. // CNEWS. Новости. 2018. 29 июня. www.cnews.ru/news/top/2018-06-29_minobrnauki_zagubilo_informatsionnuyu_sistemu_za

17. Scimago journal and country rank. 2018. https://www.scimagojr.com/countryrank.php?year=2018.

Размещено на Allbest.ru