Оценка потенциала научной деятельности коллектива исполнителей при подаче заявок на участие в конкурсном отборе

Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

На сегодняшний день используются различные способы оценки потенциала научной деятельности коллективов исполнителей, выполняющих научно-исследовательские, опытноконструкторские и технологические работы. Одним из способов является наукометрическая оценка основных результатов научной деятельности. Данный вид оценки проводится на основе анализа и сопоставления, определенных наукометрических показателей (далее НМП). В состав сведений о результатах деятельности научных организаций и университетов входят такие НМП, как: число публикаций организации индексируемых в базе «Российского индекса научного цитирования» (РИНЦ) и международных информационно-аналитических системах научного цитирования «Сеть науки» (Web of Science), Scopus, количество созданных и оформленных результатов интеллектуальной деятельности (РИД), число статей, подготовленных совместно с зарубежными организациями, число научных конференций с международным участием и т.д. Использование НМП позволяет автоматизировать процесс оценивания результативности научной деятельности. Одним из НМП в наибольшей степени отражающим потенциал научной деятельности является общее количество публикаций в научных журналах. В данной статье не рассматриваются методы оценки цитирования статей, так называемые библиометрические показатели, так как данная оценка не всегда учитывается на этапе подаче заявок [1-5].

Существующие методы оценки авторской активности.

Для оценки потенциала научной деятельности используется критерий «публикационная активность». Данный критерий учитывается при аттестации научных и научно-педагогических кадров, при лицензировании, аккредитации и оценке деятельности научных и образовательных учреждений, также этот критерий введен в качестве требований к экспертам различных государственных программ или иных форм государственной поддержки деятельности университетов, научных организаций. Он может быть использован для расчета индивидуального показателя результативности как для профессорско-преподавательского состава (ППС), так и для научных сотрудников. Например, в Институте физики Земли им. О.Ю. Шмидта РАН используется в оценки значимости отдельных видов научной деятельности, где для вида деятельности «Публикация статей» подвидами являются публикация статей в российских журналах и публикация статей в зарубежных журналах. Для расчета данного вида деятельности учитываются число статей, опубликованных в зарубежных научных журналах с высоким импакт-фактором, число авторских листов в монографии [6].

В настоящее время существуют различные методы оценки данного критерия, где идет деление на публикации, индексируемые в международных информационно-аналитических системах научного цитирования Web of Science и Scopus, а также в библиографической базе данных РИНЦ. Все эти базы дают представление о наукометрических показателях какой-либо публикации конкретного автора либо профиля организации, но не позволяют оценить коллективов авторов. Но это необходимо при оценки научного потенциала коллектива для проведения ранжирования коллективов при подаче проектов на гранты.

Эти показатели напрямую влияют на квалификацию коллектива исполнителей при подаче заявки на различные конкурсы. Различные организации для повышения количества и качества публикаций используют различные меры по стимулированию публикационной активности (доплаты, разовые премии, компенсации за публикации статей в зарубежных изданиях и т.д.). Например, главной задачей в Университете ИТМО является увеличение публикаций сотрудников вуза в высокорейтинговых журналах. Поэтому в Университете ИТМО применяется технология «портфолио» для стимулирования ППС и научных сотрудников, когда на основе анализа информации, представленной в электронных «портфолио» в ИСУ вуза проводятся выплаты за публикационную активность, размер которых зависит от того, в каком журнале опубликована статья. В Национальном исследовательском университете ВШЭ существует три уровня надбавок: 1 - надбавка за академическую работу, куда входят монографии, учебники и учебные пособия, статьи в сборниках научных трудов, а также научные статьи и обзоры в научных журналах (российских и зарубежных), включая рецензируемые электронные научные журналы, 2 - надбавка за академические успехи и вклад в научную репутацию, 3 - надбавка за публикацию в зарубежном рецензируемом научном издании. А также в Российском химико-технологическом университете имени Д.И. Менделеева была разработана наукометрическую база данных публикационной активности ученых. Данная система позволяет преподавателям и научным сотрудникам просматривать свои научные публикации (Scopus, Web of Science и РИНЦ), их цитируемость, индекс Хирша, фильтровать информацию по дате публикации, а также просматривать профили своих коллег. Разработанная наукометрическая база используется руководителями университета с целью общего рейтинга исследователей и поощрение их издательской деятельности [7].

Оценка публикационной активности коллектива.

Для оценки публикационной активности коллектива авторами предложена методика оценки количества научных публикаций коллектива исполнителей.

В данном случае также используется оператор объединения множеств, поскольку может быть ситуация, что два или более участника коллектива являются соавторами в одной публикации. Из этого следует, что:

.

В ходе анализа документаций различных конкурсов и указанных требований к исполнителям в частности публикационной активности, были предложены следующие весовые коэффициенты для публикаций, с целью их ранжирования. Данные коэффициенты зависят от индексирования публикации в базах данных. Публикации входящей в базу данных Scopus или Web of Science соответствует вес равный 10 и т.д.

Определим оценку публикационной активности рассматриваемого коллектива следующим образом:

.

Данная оценка характеризует публикационную активность коллектива в целом, и зависит от того насколько у каждого участника много публикаций индексируемых в базах данных. В оценке также учитывается наличие дублирующихся публикаций у коллектива.

Рассмотрим пример использования данной оценки (рис. 1). Пусть в коллективе заявки участвует 3 сотрудника. У первого сотрудника 3 публикации в базе данных Scopus, у второго участника 2 публикации РИНЦ, у третьего участника одна публикация, написанная в соавторстве с первым участником.

Рисунок 1. Схема пользователей и их публикаций

Так статья третьего участника написана в соавторстве с первым, то в результате объединения двух множеств публикаций она будет учитываться один раз.

Общее множество публикаций в данном случае определяется как:

Определим оценку публикационной активности рассматриваемого коллектива:

.

Данная оценка показывает то, что в среднем на каждого участника рассматриваемого коллектива из трех человек приходится по одной статье, индексируемой в БД Scopus, и одной в РИНЦ, несмотря на то, что если считать по количеству авторов, то получается четыре статьи, одна из которых совместная.

На диаграммах (рис. 2, рис. 3) представлены зависимости публикационной активности от количества участников научного коллектива и от количества статей. Оценка публикационной активности научного коллектива зависит от того, в каких журналах представлены результаты научных исследований. Результаты, представленные в журналах, индексируемые в международных базах данных оцениваются выше. Например, если проанализировать два коллектива, в которых разное количество участников 10 и 4, и небольшая разница по общему количеству статей 272 и 247, то можно увидеть, что оценки публикационной активности отличаются друг от друга весьма значительно 183,5 и 574 соответственно (рис. 2). Четверо участников второго коллектива опубликовали меньше статей вместе, чем десять участников первого коллектива, но количество статей, опубликованных ими в международных базах данных Web of Science и Scopus - 223 больше, чем у участников первого коллектива - 156 (рис. 3).

публикационный активность коллектив

Рисунок 2. Зависимость оценки публикационной активности от количества участников коллектива

Рисунок 3. Зависимость оценки публикационной активности от количества статей

На основе предложенной методики были определены оценки публикационной активности коллективов исполнителей, которые подавали заявки от Университета ИТМО за 2015-2016 г. На рисунке 4 представлен график распределения оценок.

Из графика видно, что основная часть оценок попала в диапазон от 20 до 220.

Средняя оценка публикационной активности заявок равна 120.

Данная статистика говорит о том, что, как правило, у сформированного коллектива, подающего заявку на проект, имеется несколько публикации входящих в перечень ВАК или включенных в базы данных Scopus или Web of Science в среднем на человека.

Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

Рисунок 4. График распределения оценок публикационной активности коллективов исполнителей

Таким образом, оценка публикационной активности коллектива исполнителей на этапе подачи заявки для участия в конкурсном отборе является простым и естественным подходом для определения потенциала научной деятельности коллектива исполнителей. Это один из рациональных и наглядных показателей результативности как отдельного ученого и научного коллектива, так и научной организации в целом. Предложенная методика была успешно внедрена в Университете ИТМО и используется в информационной системе управления (ИСУ) для оценки публикационной активности научных коллективов вуза участвующих в конкурсах, проектах, научных исследованиях [8]. Ранее в ИСУ вуза были внедрены инструменты, позволяющие проводить статистический анализ поданных заявок в различные фонды [9, 10].

Так как в состав НМП входят не только количество публикаций, но и другие показатели, то в дальнейшем планируется дополнить разработанную методику еще рядом критериев. Например, осуществлять оценку РИД коллектива исполнителей, оценивать репутацию и квалификацию коллектива исполнителей, используя информацию, вносимую членами научного коллектива в ИСУ [11, 12]. Также планируется разработка программных алгоритмов для автоматизации процесса оценки подаваемых от вуза заявок и составления рейтинга коллектива исполнителей на этапе подготовки научных проектов.

Дальнейшее развитие средств автоматизации процесса оценки качества подаваемых заявок, систем анализа и визуализации потока научной деятельности, введение комплексных показателей будет способствовать объективизации оценки результативности научной деятельности.

Литература

1. Li, Zhi; Peng, Qinke; Liu, Che «Two citation-based indicators to measure latent referential value of papers» / SCIENTOMETRICS - Том: 108, Выпуск: 3 - 2016 - Стр.: 1299-1313.

2. Cheang, B (Cheang, Brenda); Chu, SKW (Chu, Samuel Kai Wah); Li, CS (Li, Chongshou); Lim, A (Lim, Andrew) A Multidimensional Approach to Evaluating Management Journals: Refining PageRank via the Differentiation of Citation Types and Identifying the Roles That Management Journals Play / Journal of the association for information science and technology - Том: 65, Выпуск: 12, - 2014 - Стр.: 2581-2591.

3. Yan, E. (Yan, Erjia); Ding, Y (Ding, Ying); Sugimoto, C.R. (Sugimoto, Cassidy R.) PRank: An Indicator Measuring Prestige in Heterogeneous Scholarly Networks / Journal of the american society for information science and technology - Том: 62, Выпуск: 3 - 2011 - Стр.: 467-477.

4. Josй M. Merigу, Alicia Nъсez Influential journals in health research: a bibliometric study / Global Health - 12(1) - 2016 - стр. 46.

5. Wolfgang Glдnzel Bibliometrics-aided retrieval: where information retrieval meets scientometrics / SCIENTOMETRICS - Том: 102, Выпуск: 3 - 2015 - Стр.: 2215-2222.

6. Котляров И.Д. Управление продуктивностью научной работы профессорско-преподавательского состава / Вестник ИГЭУ. - Вып. 1. - 2010 г. - С. 1-6.

7. E.A. Vasilenko, V.I. Panfilov, D.Yu. Zhukov, D.V. Sivukha The development of a scientometric database for monitoring the publication activities of Russian scientists at the Mendeleyev University of Chemical Technology of Russia / Scientific and Technical Information Processing - Том: 40, Выпуск: 4 - 2013 - Стр.: 240-244.

8. И.А. Попова, Г.Ю. Громов Подходы к созданию эффективной информационной системы управления университетом // Труды XXI Всероссийской научнометодической конференция Телематика 2013 -2013. - Спб. - С. 155-156

9. Маркина Г.Л., Шлей М.Д. Организация принятия решений в научно - образовательной сфере на примере системы управления проектами // Компьютерные инструменты в образовании, 2016. №4. С. 19-32.

10. Шлей М.Д., Маркина Г.Л. Информационная система подготовки заявок в научные фонды // Фундаментальные исследования - 2016. - №5-2. - С. 289-293.

11. Вареников Д.А., Шлей М.Д., Муромцев Д.И. Построение научных профилей участников научно - образовательного процесса в информационной системе университета // Современные проблемы науки и образования - 2015. - №2-2. - С. 178.

12. Ефимов М.Н., Шлей М.Д., Вареников Д.А. Разработка системы формирования рекомендаций для пользователей корпоративного портала университета // Фундаментальные исследования - 2015. - №12-4. - С. 688-692.

Размещено на Allbest.ru