Число цитирований - ключевой показатель результативности в фундаментальной науке

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

МГТУ им. Н.Э. Баумана

Институт высоких статистических технологий и эконометрики

Число цитирований - ключевой показатель результативности в фундаментальной науке

д.э.н., д.т.н., к.ф.-м.н., профессор Орлов А.И.

Аннотация

Основной научный результат вынесен в заголовок статьи. Для его обоснования рассмотрим методы оценки эффективности и качества работы ученого, научной деятельности подразделения, организации, журнала. Показатели эффективности научной деятельности используются как важная составная часть при оценке вузов, инновационного потенциала предприятий и т.п. Подробно разработаны и широко применяются два типа инструментов оценки эффективности научной деятельности - наукометрические показатели и экспертные оценки. Их критическому анализу и посвящена настоящая статья.

Ключевые слова: наука, управление, принятие решений, наукометрические показатели, экспертные оценки, библиометрические базы данных, индексы цитирования, Российская академия наук.

Современное состояние наукометрии. В нашей стране основные идеи наукометрии разработаны проф. В.В. Налимовым около полувека назад Налимов В.В., Мульченко З.М. Наукометрия. Изучение развития науки как информационного процесса. - М.: Наука, 1969. - 192 с.. В ней были рассмотрены основные проблемы изучения развития науки как информационного процесса. За прошедшие полвека (без малого) принципиально новые идеи не возникли. Заметным, но сомнительным новшеством является появление в 2005 г. т.н. "индекса Хирша".

Однако в последние годы вопросы наукометрии широко обсуждаются в научно-образовательном сообществе. Это вызвано двумя причинами.

Во-первых, развитие информационных технологий, прежде всего создание библиометрических баз данных, сделало общедоступным знакомство с наукометрическими показателями исследователей и их объединений (подразделений, институтов).

Во-вторых, наукометрические показатели стали использоваться администраторами различного уровня при управлении научной деятельностью.

Осмысление наукометрической деятельности находится в нашей стране на начальном уровне. Распространены разнообразные догмы, приводящие к необоснованным управленческим решениям, наносящим вред отечественной науке. Например, многие лица:

- считают публикации в научных журналах основным видом научных публикаций;

- верят в реальное существование "мировой науки";

- отдают приоритет публикациям в зарубежных журналах, индексируемым в базах библиометрических данных WoS и Scopus;

- основным наукометрическим показателем без каких-либо обоснований считают индекс Хирша;

- отрицательно относятся к самоцитированию;

- игнорируют публикации старше 5 лет, в частности, при расчете импакт-факторов журналов, и т.д.

Наукометрия - это применение статистических методов для анализа данных о научной деятельности. Поэтому весь арсенал прикладной статистики может быть применен в этой конкретной предметной области - в науковедении. Как и в других областях для решения актуальных задач оказывается необходимой разработка новых методов анализа данных.

Полученные нашим научным коллективом результаты в области наукометрии сведены вместе в монографии 2017 г. Лойко В.И., Луценко Е.В., Орлов А.И. Современные подходы в наукометрии: монография / Под науч. ред. проф. С. Г. Фалько. - Краснодар: КубГАУ, 2017. - 532 с. В отношении применяемых авторами математических и инструментальных методов эта монография продолжает ранее выпущенные тем же издательством книги 2014, 2015 и 2016 гг. Орлов А.И., Луценко Е.В. Системная нечеткая интервальная математика.- Краснодар: КубГАУ, 2014. - 600 с.; Орлов А.И., Луценко Е.В., Лойко В.И. Перспективные математические и инструментальные методы контроллинга. - Краснодар: КубГАУ, 2015. - 600 с.; Орлов А.И., Луценко Е.В., Лойко В.И. Организационно-экономическое, математическое и программное обеспечение контроллинга, инноваций и менеджмента. - Краснодар: КубГАУ, 2016. - 600 с.

Приведем некоторые результаты наших исследований в области наукометрии. Начнем с обсуждения общих вопросов развития отечественной науки. научный специальность реформирование российский

Всеобщее невежество научных работников. Основная проблема современной науки - всеобщее невежество научных работников. Это шокирующее утверждение легко обосновать, сопоставив количество актуальных публикаций по практически любой научной специальности (сотни тысяч и миллионы) с возможностями восприятия человека (сотни и тысячи статей и книг).

Как следствие, исследователи разбиваются на кланы (кластеры), состоящие обычно из нескольких сотен лиц. Научный работник в какой-то мере знает работы членов своего кластера и практически не интересуется исследованиями тех, кто не входит в кластер.

Кластеры взаимодействуют между собой обычно по административным вопросам, например, в борьбе за ресурсы. Иногда эта борьба происходит в обстановке нездоровой монополии. Например, отделение математики РАН формируется тремя небольшими институтами математики (в Москве, Санкт-Петербурге и Новосибирске), т.е. фактически тройкой директоров этих институтов. Научные результаты более чем 12 тысяч математиков России, работающих в других организациях, при этом игнорируются.

Иногда говорят, что каждый специалист знает свою область, знаком с работами коллег и хорошо видит, "кто чего стоит". Из сказанного выше ясно, что это заблуждение. Следовательно, для управления наукой необходимо использовать те или иные управленческие технологии, в частности, показатели научной активности, не сводящиеся к непосредственному впечатлению. Управленческие технологии основаны на измерении тех или иных показателей. Есть две группы показателей успешности научной деятельности - наукометрические (число цитирований работ определенного автора, число его публикаций, импакт-фактор журнала и др.) и экспертные (ученые степени, членство в научных обществах, в том числе в академиях, занимаемые должности). Рассмотрим эти группы показателей, а также ряд более общих вопросов управления наукой Орлов А.И. Наука как объект управления // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. - № 101. - С. 1243-1273.. Основное утверждение настоящей статьи таково: число цитирований - ключевой показатель результативности научной деятельности. Именно по числу цитирований следует оценивать вклад в науку исследователя или организации Орлов А.И. Число цитирований - ключевой показатель эффективности научной деятельности исследователя и организации // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2016. - № 124. - С. 984-1009..

О реформировании и перспективах развития российской науки. Официальная статистика не относит профессорско-преподавательский состав вузов к научным работникам. К таковым Росстат причисляет лишь лиц, занимающих "научные должности", а не преподавательские или инженерные. Однако ясно (в частности, из данных Российского индекса научного цитирования (РИНЦ)), что именно работники вузов составляют основную массу наиболее результативных исследователей.

Для работников вузов на нынешнем этапе проведения реформы науки наиболее заметным является введение частичного использования наукометрических показателей при оценке результативности работы профессорско-преподавательского состава (например, такое требование: за 5 лет профессор должен опубликовать не менее 10 статей в журналах списка ВАК, доцент - не менее 8, и т.д.).

Недостатками современного этапа являются попытки рекомендовать публикации в журналах из библиометрических баз WoS и Scopus (т.е. в основном в зарубежных журналах), отсутствие анализа цитируемости, необоснованные ссылки на индексы Хирша и значения импакт-факторов научных журналов.

Возможный механизм решения имеющихся проблем - разработка (в конкретном вузе и в РФ в целом) научно обоснованных рекомендаций по оценке результативности научных исследований (с опорой на базовый показатель для фундаментальных исследований, которым, как показано выше, является число цитирований). Эти рекомендации должны позволять принимать обоснованные управленческие решения по финансированию научных исследований.

Наряду с расширением фронта научных исследований, в частности с увеличением суммарного числа защищенных диссертаций, наблюдаем заметное падение авторитета РАН (как совокупности действительных членов и членов-корреспондентов, так и институтов бывшей РАН). С некоторым удивлением мы убедились, что результаты деятельности действительных членов и членов-корреспондентов РАН, как правило, не нужны отечественной науке, что подтверждается сравнительно малым числом цитирований этой группы лиц по сравнению с другими авторами. Следовательно, эта совокупность лиц должна быть уравнена в правах с другими общественными организациями научной направленности, например, такими, как Российская академия естественных наук (РАЕН), Международная академия исследований будущего (МАИБ), Российская академия статистических методов (РАСМ). Основная часть институтов бывшей РАН должна быть передана в состав вузов или профильных ведомств (Роскосмос, Росатом и др.).

Сильная сторона современной отечественной фундаментальной науки - ее самодостаточность. Для получения нужных стране научных результатов мировая наука российским исследователям практически не нужна. Более того, возвеличивание "мировой науки" - это вредный миф, поддерживаемый врагами России с целью выкачивания ресурсов из нашей страны Гринченко С.Н. Является ли мировая наука «организмом»? // Biocosmology - neo-Aristotelism. Bilingual Electronic Journal of Universalizing Scientific and Philosophical Research based upon the Original Aristotelian Cosmological Organicism. 2014. - Vol. 4, N 1-2 (Winter/Spring). - P. 115-122.. Русский путь в мировой науке Хруцкий К.С. Русский путь в мировой науке // Философские науки. - М., 2007. - № 9. - С. 141-151. - вот что должно быть приоритетом. Строительство науки в отдельно взятой стране Орлов А.И. О строительстве науки в отдельно взятой стране // Электронный журнал «Biocosmology - neo-Aristotelism». 2014, - Vol. 4, N 3 (Summer). - P. 203-223. не только возможно, но и целесообразно.

Слабая сторона современной отечественной фундаментальной науки - миф о том, что совокупность действительных членов и членов-корреспондентов РАН - это "штаб" российской науки. Пополнение РАН путем кооптации привело к её засорению субъектами, выбранными не за научные заслуги, а по другим причинам. Как нетрудно убедиться, по каждой из тематик РИНЦ из первых 100 наиболее результативных ученых (по числу цитирований) действительных членов и членов-корреспондентов РАН соответствующих отделений не более 10%.

Выборы осени 2016 года продемонстрировали крайнюю степень деградации РАН:

а) избрали чиновников, очевидно, в надежде на лоббистские услуги, проще говоря, в коррупционных целях, на что и обратил внимание Президент РФ;

б) в отделении медицинских наук избрали большое число жен и детей действующих "академиков";

в) в отделении математики избрали лиц, чьи работы никому не нужны (единичные цитирования, впрочем, и публикации единичны); при публичном обсуждении в газете "Троицкий вариант - наука" установлено, что сговор директоров трех небольших академических НИИ (институтов математики в Москве, Санкт-Петербурге и Новосибирске) предопределяет итоги выборов в РАН;

г) в иностранные члены РАН избрали матерого врага России Киссинджера.

Нынешняя РАН паразитирует на авторитете, заработанном предыдущими поколениями исследователей.

Несколько конкретных вопросов. Наука находится в рукотворном кризисе, и основное сейчас - вывести ее из этого кризиса, изменив организационные формы, в частности, ликвидировать изжившую себя РАН. Однако ясно, что и направления исследований следует менять. Несколько слов о том, каким направлениям и научным российским школам необходимо уделить особое внимание в ближайшие годы.

В области математических методов исследования выделим следующим направлениям: новая парадигма математических методов исследования, статистика нечисловых данных и прикладная статистика в целом, теория принятия решений, организационно-экономическое моделирование и особенно теория экспертных оценок, автоматизированный системно-когнитивный анализ и программная система "Эйдос".

В области экономики и управления необходимо признать перспективными следующие направления: контроллинг, экономика предприятия и организация производства, эконометрика и математические и инструментальные методы экономики в целом, солидарная информационная экономика. Необходимо освободить экономическую теорию и практику от рыночных извращений, взять за основу определение Аристотеля: экономика - это наука о том, как вести хозяйство.

Обоснованный перечень направлений и российских научных школ, которым необходимо уделить особое внимание в ближайшие 2-3 года и на дальнейшую перспективу, может попытаться составить лишь все российское научное сообщество в целом. Однако из-за всеобщего невежества научных работников успех сомнителен - каждый научный клан будет продвигать нужное ему. А потенциальные потребители результатов научных исследований находятся в плену сложившихся представлений.

Например, специальная теория относительности дает результаты, отличные от результатов классической механики, лишь для скоростей, сравнимых со скоростью света. Такие скорости практически не встречаются в том реальном мире, в котором живет и работает современное человечество. Следовательно, специальная теория относительности является маргинальным научным результатом, не оказывающим влияния на реально принимаемые управленческие решения. Тем не менее, с помощью хорошо организованной маркетинговой компании удалось выдвинуть специальную теорию относительности на первое место в современной физике, и успешная реклама привела к тому, что портрет Эйнштейна стал символом ученого ХХ века.

Требуются существенные изменения в правовом обеспечении научно-технологического развития. Прежде всего, как уже отмечалось, необходимо совокупности действительных членов и членов-корреспондентов РАН придать статус обычной общественной организации, такой, как РАЕН, МАИБ, РАСМ и другие общественные академии.

Большинство НИИ, подведомственных ФАНО, целесообразно включить в состав вузов или профильных ведомств (Институт космических проблем РАН и Институт медико-биологических проблем РАН - в Роскосмос, Институт проблем безопасного развития атомной энергетики РАН - в Росатом, и т.п.). Остальные организации, ныне входящие в ФАНО, подлежат передаче вновь созданному Государственному комитету по науке и технике, обладающему более широкими возможностями по сравнению с ФАНО.

Экспертизы по поручению руководства страны должны осуществляться не РАН, а творческими коллективами, созданными Государственным комитетом по науке и технике из наиболее результативных научных работников (из первых 100 наиболее признанных ученых (по числу цитирований) по каждой из тематик РИНЦ).

Какие критерии должны использоваться для оценки результативности работы научных организаций и деятельности научных сотрудников? Основной показатель результативности - это число цитирований. Очевидно, если работа процитирована - значит, она нужна. А если на публикацию никто не ссылается - значит, она никому не нужна и не оказывает никакого влияния на развитие науки.

Из трех основных показателей РИНЦ число публикаций дает оценку продуктивности, индекс Хирша не имеет рациональной интерпретации и не должен использоваться для оценки эффективности работы научных организаций и деятельности научных сотрудников, а вот число цитирований - это тот показатель, который является наиболее адекватной оценкой научного вклада исследователя в области фундаментальной науки.

В прикладной науке основное - не публикации, а оценка заказчика работы. Возможности публикаций ограничиваются требованиями соблюдения государственной и коммерческой тайны.

Как уже отмечалось, в рассматриваемой области есть ряд вредных заблуждений. Так, применение наукометрических показателей, полученных по зарубежным базам данных (WoS, Scopus и др.), вредно, поскольку основная масса российских изданий в них не представлена. Активное самоцитирование научных организаций и научных сотрудников - показатель их передового положения в науке, наличия научных школ, перспективных научных направлений. С самоцитированием не следует бороться, его надо поощрять. Понятие "мусорных журналов", т.н. "мурзилок", пропагандируется загнившей частью научного сообщества, имеет целью принижение новых научных направлений и журналов, особенно действующих вне Москвы. Цель такого принижения - переключение потока направляемых в печать статей и соответствующих финансовых потоков на столичные центры, теряющие свои творческие потенции.

Итак, число цитирований по РИНЦ - ключевой показатель результативности (эффективности) научной деятельности. Следует принять положение (нормативный документ), согласно которому показатели по WoS, Scopus и др. не используются в отечественной практике, по грантам принимаются только публикации на русском языке, при выборах на те или иные позиции, при защитах диссертаций учитываются только публикации на русском. Это позволит, в частности, исключить нарушение прав отечественных налогоплательщиков, когда первая публикация, выполненная на их деньги, появляется в иностранном журнале.

Впрочем, и наиболее привлекательная с нашей точки зрения отечественная база библиометрических данных РИНЦ имеет ряд недостатков. В списке публикаций автора настоящей статьи в Научной электронной библиотеке и тем более в ее подмножестве - в РИНЦ - продолжают отсутствовать многие статьи 1970-1980 гг., выпущенные в сборниках академических организаций, содержащие ключевые научные результаты, хотя эти публикации многократно включены в списки литературных источников недавно изданных статей и книг. Описания литературных источников при цитировании зачастую имеют ошибки, в результате одна и та же публикация приводится в РИНЦ с различными библиографическими описаниями. В результате число публикаций неоправданно увеличивается, а индекс Хирша - уменьшается. Разработаны процедуры автоматического исправления подобных ошибок. Глава 3.3 нашей монографии Лойко В.И., Луценко Е.В., Орлов А.И. Современные подходы в наукометрии. - Краснодар: КубГАУ, 2017. - 532 с. посвящена применению АСК-анализа и интеллектуальной системы "Эйдос" для решения в общем виде задачи идентификации литературных источников и авторов по стандартным, нестандартным и некорректным библиографическим описаниям.

Более серьезные нарушения - приписывания работ одних авторов другим. Недавно РИНЦ исправил такого рода ошибку Орлов А.И. Современные проблемы науковедения и наукометрии // Biocosmology - neo-Aristotelism (Биокосмология - нео-Аристотелизм). Bilingual Electronic Journal of Universalizing Scientific and Philosophical Research based upon the Original Aristotelian Cosmological Organicism. 2017. - Vol. 7, N 3-4 (Summer/Autumn). - С. 389-410..

Необходимо добиться понимания обществом необходимости фундаментальных научных исследований. Руководители различных рангов должны постоянно подчеркивать пользу науки, опираться на результаты научных исследований при принятии управленческих решений, а средства массовой информации - популяризировать научные результаты. Например, следует восстановить издание журнала "Квант" с обязательной рассылкой по всем средним школам страны.

В свою очередь, научные работники не должны "удовлетворять свое любопытство за государственный счет". Им следует постоянно ориентироваться на интересы общества. Необходимо избавиться от загнившей части научных деятелей, ликвидировать необоснованные привилегии действительных членов и членов-корреспондентов РАН, отправить на почетную пенсию престарелых лиц, числящихся научными работниками. Академические НИИ не должны быть привилегированными домами престарелых.

Пока в зданиях НИИ, подведомственных ФАНО, царит запустение, сотрудники в рабочее время отсутствуют, каждый налогоплательщик будет вправе сказать: "Зачем мне кормить этих паразитов?" Когда в НИИ будет кипеть жизнь, как в 60-е годы ХХ в., статус и уровень социальной защищенности научных работников вернутся к высоким показателям.

Необходимо пресечь деструктивную деятельность сообщества Диссернет, которое своими акциями зачастую дискредитирует науку, выдвигая обвинения, которые не подтверждаются при проверке. Обратите внимание, как пресечение антиармейской пропаганды привело к повышению статуса военнослужащих в глазах общества.

Впрочем, в настоящее время актуально не столько развитие новых исследований, сколько сбережение накопленных знаний, умений, навыков.

Необходимо постоянно заниматься распространением и популяризацией научных знаний и повышением престижа науки. Это касается прежде всего руководства страны, регионов, ведомств, организаций.

Кардинальное решение возможно лишь при изменении психологии масс, отказа от псевдорыночного лозунга максимизации прибыли (прибыли) и переходе при управлении экономикой на иные базовые принципы, прежде всего патриотические. Речь идет об отказе от рыночной экономики и переходе на солидарную информационную экономику Орлов А.И. Вперед к Аристотелю: освободить экономическую теорию от извращений // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2017. - № 127. - С. 478-500..

Во всех НИИ и вузах должны быть созданы подразделения, занимающиеся распространением и популяризацией научных результатов, полученных в этой организации, как внутри страны, так и за рубежом. В частности, для зарубежных читателей должны выпускаться издания, отражающие научные результатов, полученных в этой организации. Российская научно-техническая разведка должна обеспечить научных работников информацией о зарубежных исследованиях по их тематике. Должна получить дальнейшее развитие деятельность ИНИОН.

Передача большинства организаций бывшей РАН в состав соответствующих вузов позволит обеспечить участие ведущих ученых в преподавании, а преподавателей вузов - в современных научных исследованиях. Стихийный процесс слияния научной и преподавательской деятельности, как известно, давно идет. Сотрудники академических НИИ преподают (по совместительству), а преподаватели обязаны вести научные исследования.

Развитие науки идет волнами. Появилась новая идея или методика проведения опытов - и наблюдается резкий рост числа исследований и, соответственно, публикаций. Затем, после выработки "золотоносной жилы" - спад научной активности, продолжающийся до рождения новой идеи. В период подобного спада научные работники могут и должны активно участвовать в преподавании, передавать наработанные результаты следующему поколению. Наоборот, в период всплеска исследований преподаватели и студенты могут и должны активно в них участвовать, усиливая собой кадровый состав научных работников.

Приходим к выводу о вреде разрыва между вузами и НИИ. Сложившийся в СССР подобный разрыв был порожден, видимо, взрывным ростом послевоенной науки. В настоящее время рост сменился упадком, а в перспективе, надеемся, должна наступить стабилизация.

Текущее состояние экспертного научного обеспечения деятельности органов государственной власти и управления не является удовлетворительным. С одной стороны, привлекаемые к экспертизе лица и организации иногда работают неадекватно. С другой стороны, органы государственной власти и управления часто игнорируют выводы экспертов.

Целесообразно создание Межведомственного экспертного совета по проблемам научно-технологического развития России, который взял бы на себя организацию экспертного научного обеспечения деятельности органов государственной власти и управления. Экспертизы по поручению руководства страны должны осуществляться не РАН, а творческими коллективами, созданными из наиболее результативных научных работников (из первых 100 наиболее результативных ученых (по числу цитирований) по каждой из тематик РИНЦ). Кроме того, Межведомственный экспертный совет по проблемам научно-технологического развития России взял бы на себя временное руководство теми организациями бывшей РАН, которые нецелесообразно передавать в вузы и профильные ведомства (например, ИНИОН, ВИНИТИ, РИНКЦЭ, музеи). Как уже отмечалось, целесообразно создание органа управления, аналогичного по ряду функций Государственному комитету по науке и технике СССР, в подчинение которому и поступят в итоге указанные организации бывшей РАН.

Критика наукометрических показателей. С нее мы начали Орлов А.И. О некоторых методологически ошибочных методах анализа и оценки результатов научной деятельности // Россия: тенденции и перспективы развития. Ежегодник. Вып. 8. / РАН. ИНИОН. Отд. науч. сотрудничества и междунар. связей; Отв. ред. Ю.С. Пивоваров. - М., 2013. - Ч. 2. - С.528 - 533. в 2013 г. цикл работ по наукометрии. Выявлен ряд вредных мифов, получивших широкое распространение.

Выводы

Оценка научной деятельности должна проводиться на основе числа цитирований. Если работа цитируется - значит, она нужна! А если не цитируется - то не оказывает влияния на развитие науки.

Как быть с другими наукометрическими показателями? Число публикаций оценивает продуктивность, а число цитирований - результативность. Индекс Хирша нелеп и должен быть выведен из употребления. Импакт-факторы журналов, в которых опубликованы работы, не имеют отношения к оценке публикаций. В современных условиях важна лишь возможность получить Интернет-версию работы.

Взамен действительных членов и членов-корреспондентов РАН к выполнению работ по заданию руководства страны следует привлекать наиболее цитируемых исследователей.

Большинство институтов бывшей РАН (ныне подчиняющихся ФАНО) следует передать вузам или профильным ведомствам.

Российская академия наук должна быть уравнена в правах с общественными академиями, такими как Российская академия естественных наук и Международная академия исследований будущего, Королевское научное общество и Американская статистическая ассоциация.

Необходимо совершенствовать систему научных специальностей. В частности, на основе накопленного опыта Орлов А.И. Математические методы в социологии за сорок пять лет // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2016. - № 117. - С. 91-119. целесообразно в рамках социологической науки создать специальность «Математические и инструментальные методы в социологии», аналогичную экономической специальности «Математические и инструментальные методы в экономике».

Размещено на Allbest.ru