Современные методы оценки продуктивности исследовательской деятельности

Размещено на http://www.allbest.ru/

ФГБОУ ВПО "Кубанский государственный технологический университет"

Кафедра информационных систем и программирования

СОВРЕМЕННЫЕ МЕТОДЫ ОЦЕНКИ ПРОДУКТИВНОСТИ ИССЛЕДОВАТЕЛЬСКОЙ ДЕЯТЕЛЬНОСТИ

Романов Дмитрий Александрович, к.п.н., доцент

Попова Ольга Борисовна, к.т.н., доцент

Носова Юлия Сергеевна, старший преподаватель

г. Краснодар, Россия

Аннотация

Цель исследования - разработка новых методов диагностики продуктивности исследовательской деятельности. Известно, что для оценки продуктивности учёного используют общепризнанный индекс Хирша, введение которого в 2005 году было существенным шагом вперёд по сравнению с применением такого показателя, как соотношение количества ссылок на труды научного работника и самих публикаций. Вместе с тем, и сам индекс Хирша как показатель не лишён недостатков, главный из которых - слабая дифференцирующая способность: количество ссылок на наиболее цитируемые публикации научного работника не имеет значения после достижения определённого порогового уровня. Необходима разработка метода оценки продуктивности научного работника, сохраняющая достоинства индекса Хирша и нивелирующая его недостатки. Это позволит более объективно оценивать продуктивность исследовательской деятельности. Методологические основы исследования: системный подход (рассматривает науку как социальный институт в неразрывной связи с обществом в целом), метасистемный подход (рассматривает результаты научной деятельности как метасистему, т.е. систему с относительно независимыми компонентами), вероятностно-статистический подход (рассматривает исследовательскую деятельность как вероятностный процесс), синергетический подход (рассматривает науку как самоорганизующуюся систему), квалиметрический подход (рассматривает продуктивность научной деятельности как латентную переменную, отражаемую множеством критериев)

Ключевые слова: исследовательская деятельность, параметр, продуктивность, объективность, оценка, диагностика, индекс Хирша

The purpose of the research is development of the new methods of diagnostic the research activities productivity. It is known, that for the evaluation the productivity of a scientist we usually use a well-known index of Hirsch, the introduction of which in 2005 was a significant step forward compared with application of this index as the ratio of the number of references to works of scientist and publications themselves. At the same time even h-index as an indicator is not flawless, the main flaw is weak differential ability: a number of links to the most cited publications of the scientific worker does not matter after reaching a certain threshold. It is necessary to develop a method of estimating the productivity of scientific worker, which preserves dignities of h-index and removes its shortcomings. This will allow evaluating the productivity of research activities more objectively. Methodological bases of the research: a systematic approach (considering the science as a social institution in close connection with the society as a whole), a metasystem approach (considering the results of the scientific activities as a metasystem, i.e. the system with relatively independent components), probabilistic and statistical approach (considering the research activities as the random process), a synergistic approach (considering science like a self-organized system) qualimetric approach (considering the productivity of scientific activity as latent variables that reflect a variety of criteria)

Keywords: research activity, parameter, productivity, objectivity, evaluation, diagnostics, H-index

Постановка и анализ состояния проблемы

Диагностика научной деятельности в целом и оценка продуктивности научного работника в частности - актуальные задачи [1 - 11]. В настоящее время бурно развивается наукометрия как одно из важнейших направлений науковедения ("науки о науке"). Важнейшая задача внедрения наукометрических показателей - стимулирование, как конкретных научных работников, так и научных коллективов к систематической и продуктивной деятельности. Напомним, что важнейшие функции науки как социокультурного феномена и социального института - производство (генерация) нового знания и его трансляция (распространение и внедрение), создание условий для инновационного развития общества в целом и конкретных сфер человеческой деятельности. По мнению Чеботарева П.Ю., важнейшая задача применения наукометрических показателей - "лечить, а не калечить науку". Современные исследователи [2, 3] не без оснований считают, что в настоящее время научные работники не всегда мотивированы к добросовестной исследовательской деятельности. Так, например, нередко "в погоне за показателями" научные труды или изобретения стремятся дробить на более мелкие, что приводит к формальному увеличению показателей деятельности, но не приносит эффекта, ни науке, ни технологиям, ни экономике. В то же время, очевидно, что без объективной количественной оценки деятельности научного работника или коллектива отсутствуют целевые ориентиры исследовательской деятельности, движущие силы развития науки, образования и иных социальных институтов, ответственных за становление информационного общества. Авторы данной статьи стоят на позиции, что науке (как и другим сферам человеческой деятельности!) наносит вред не столько "гонка за показателями", сколь неадекватные системы оценки и диагностики исследовательской деятельности, дающие неверные целевые ориентиры для деятельности (авторы, как специалисты в области социально-экономического мониторинга, могут привести великое множество тому примеров, но это выходит за рамки данной статьи). "Верно поставленная задача - половина её решения" (А. Эйнштейн). Поэтому во всём мире в ушедшем и текущем столетии не прекращались попытки объективизации диагностики исследовательской деятельности, поиск адекватных критериев её количественной оценки.

В настоящее время во всём мире общепризнанным показателем продуктивности научного работника является индекс Хирша (h-индекс), в соответствии с которым, продуктивность его (работника) равна h, если не менее чем на каждую из h его публикаций имеется не менее чем h ссылок (количество менее продуктивных публикаций и ссылок на них не имеет значения). До 2005 года использовали такой показатель, как отношение числа ссылок (на труды научного работника) к числу публикаций. Неадекватность данного показателя в том, что увеличение числа публикаций "снижает" продуктивность научного работника. В противоположность ему, важнейшее достоинство индекса Хирша в том, что его применение разрешает противоречие между объёмом и продуктивностью исследовательской деятельности (количеством и качеством научных публикаций). Благодаря ориентации на индекс Хирша научный работник ориентирован не на "дробление" публикаций в целях увеличения их количества (что, несомненно, приводит к росту вала "околонаучного мусора"), а к появлению доброкачественных публикаций, имеющих значимость; с другой стороны, индекс Хирша не "запрещает" исследователю издавать новые научные труды (исследователь не "боится", что на новые публикации будет небольшое число ссылок, что "уменьшит" его продуктивность, как это было до появления индекса Хирша). Индекс Хирша стимулирует к появлению высококачественных публикаций (а не искусственному дроблению и увеличению недоброкачественных публикаций), которые будут иметь значение для науки.

Индекс Хирша вычисляют и для научных организаций: научная организация имеет индекс i, если не менее i учёных из неё имеют h-индекс не менее i. С точки зрения авторов, подобный показатель имеет важнейшее гуманистическое значение. Во-первых, он ориентирует на принцип "сильные работники - сильная организация". Во-вторых, данный показатель не "стимулирует" руководство к увольнению более слабых работников (напомним, что в цивилизованном обществе Человек - высшая ценность, и социум должен содействовать индивиду в устранении недостатков, а не "наказывать" за них), но, в то же время, указывает дальнейшие направления по повышению уровня зрелости организации.

Вместе с тем, индекс Хирша не лишён недостатков. С точки зрения автора, главный из них - отсутствие дифференцирующей способности: у двух разных научных работников, имеющих одинаковый h-индекс, может быть различное число ссылок на наиболее продуктивные публикации. Кроме того, при любом числе цитирований h-индекс не может быть выше числа публикаций учёного. В определённой мере недостатки h-индекса нивелирует g-индекс: для данного множества статей, отсортированного в порядке убывания количества цитирований, которые получили эти статьи, g-индекс - наибольшее число, такое, что g самых цитируемых статей получили (суммарно) не менее g2 цитирований. Вместе с тем, и g-индекс не всегда дифференцирует научных работников по продуктивности; кроме того, также принципиально ограничен числом публикаций исследовательского работника. Современными исследователями [3] проведён достаточно обстоятельный обзор существующих показателей продуктивности научного работника, в основе вычисления которых - обработка первичной информации о цитируемости статей работника.

Для научных изданий также определяют наукометрические показатели, прежде всего - общеизвестный импакт-фактор и индекс оперативности. Последний отражает, насколько быстро реагирует научное сообщество на публикации в издании: это - отношение числа полученных журналом в некотором году ссылок на статьи, вышедшие в том же самом году, к суммарному числу статей, вышедших за этот же год в этом же журнале. С точки зрения авторов, несовершенство данного показателя в том, что оперативность реакции на публикации зависит, помимо качества статей и респектабельности журнала, от многих других факторов. Для изданий, индексируемых в Scopus, используют параметры SJR и SNIP.

Современные информационные (особенно сетевые) технологии создают благоприятные условия для решения наукометрических задач. Достаточно сказать о Российской электронной библиотеке (сайт elibrary.ru), в которой ведётся учёт научных работников и их публикаций в различных изданиях (и даже трудах конференций), подсчёт числа (точнее, выявление множества) ссылок на публикации каждого научного работника, расчёт некоторых показателей их (работников) научной деятельности, в том числе общепризнанного h-индекса. Благодаря применению современных информационных систем и технологий возможно получение полной первичной мониторинговой информации о "материализованных" результатах деятельности научных работников, однако по-прежнему диагностика продуктивности научной деятельности осуществляется по весьма ограниченному набору параметров (а ведь оценка результатов исследовательской деятельности должна быть многопараметрической, только тогда она будет объективной).

Проблема исследования - вопрос: "Какими должны быть методы оценки продуктивности научных работников, обладающие должной дифференцирующей способностью?"

Цель исследования - разработка новых методов диагностики продуктивности исследовательской деятельности.

Объект исследования - исследовательская (научная) деятельность научного работника, предмет исследования - качество (продуктивность) исследовательской деятельности.

Методология исследования

Методологические основы исследования: системный подход (рассматривает науку как социальный институт в неразрывной связи с обществом в целом), метасистемный подход (рассматривает результаты научной деятельности как метасистему, т.е. систему с относительно независимыми компонентами), вероятностно-статистический подход (рассматривает исследовательскую деятельность как вероятностный процесс), синергетический подход (рассматривает науку как самоорганизующуюся систему), квалиметрический подход (рассматривает продуктивность научной деятельности как латентную переменную, отражаемую множеством критериев). Методы исследования: анализ научной литературы по наукометрии и практики оценки наукометрических показателей (в российских условиях), когнитивное и математическое моделирование, методы квалиметрии.

Результаты исследования

С точки зрения авторов статьи, индекс Хирша и g-индекс необходимо сочетать с иными показателями: только тогда будет получена полная достоверная картина о том, насколько продуктивна деятельность научного работника. Авторы статьи согласны с позицией Чеботарева П.Ю., утверждающего о необходимости введения и такого показателя, как максимальное число ссылок на статьи работника [2]. Действительно, это позволит выявлять наиболее доброкачественные научные работы конкретного индивида.

Вместе с тем, необходимы высокотехнологичные методы (алгоритмы) оценки наукометрических показателей. С точки зрения авторов, оценку продуктивности научного работника необходимо осуществлять следующим образом. Первый этап - сортировка публикаций в порядке убывания цитируемости и вычисление общеизвестного h-индекса. В наличии второго этапа - отличие авторского метода от общеизвестного. Пусть N - общее число публикаций научного работника, h - число наиболее цитируемых (на каждую из которых имеется не менее h ссылок), fi - число цитат на i-ю публикацию, тогда общее число ссылок на наиболее продуктивные и на все публикации соответственно

и ,

а авторский индекс продуктивности учёного (r-индекс)

.

Приведём пример. Пусть количество ссылок на публикации (всего - 24 публикации) первого научного работника соответственно 56, 45, 31, 29, 26, 19, 15, 11, 7, 7, 5, 4, 3, 3, 3, 3, 2, 2, 2, 2, 2, 1, 1 и 1 (всего - 280 ссылок). Для первого работника h-индекс, g-индекс и r-индекс соответственно 8, 16 и 29. Пусть количество ссылок на публикации (всего - 24 публикации) второго научного работника соответственно 36, 34, 29, 24, 22, 20, 16, 9, 7, 7, 7, 7, 7, 6, 6, 6, 6, 5, 5, 5, 5, 5, 3 и 3 (всего - 280 ссылок). Для работника h-индекс, g-индекс и r-индекс соответственно 8, 15 и 23,75. Данных научных работников h-индекс не дифференцирует, g-индекс - слабо, но r-индекс - в значительной мере. Действительно, у первого научного работника имеются в наличии публикации с очень высокой степенью значимости (вероятно, они отражают результаты высоко актуальных исследований и изданы в журналах с высоким импакт-фактором).

С точки зрения авторов, методика оценки научного потенциала организации также нуждается в уточнении (хотя бы из соображений роли личности в истории). Согласно авторской методике, научный потенциал организации (m-индекс)

,

где i - индекс Хирша организации (число наиболее продуктивных учёных), h_j - индекс Хирша для j-го учёного,

.

Ещё более точная модель расчёта:

,

где r - число наиболее продуктивных учёных (с индексом продуктивности не менее r каждый),

,

где r_j - индекс продуктивности j-го учёного.

Важнейшее достоинство авторского метода оценки продуктивности учёного - отсутствие принципиальных ограничений, связанных с количеством публикаций. Применение предложенного метода позволит обеспечить более тесную взаимосвязь между цитируемостью и продуктивностью научного работника.

В настоящее время научное сообщество (в том числе авторы работ [2, 3]) озабочены растущим валом научных публикаций, считая, что далеко не все являются доброкачественными; даже утверждается, что "погоня за показателями" приводит к имитации научной деятельности. С точки зрения авторов настоящей статьи, именно по совокупности обширного (а не ограниченного) числа наукометрических показателей возможно определить, является ли деятельность конкретного работника научной (или имитацией). С точки зрения авторов, важнейший интегративный признак научной деятельности конкретного работника (а не её имитации) - перерастание "количества в качество". Например, если после пяти лет издания своих трудов в сборниках конференций и журналах, не рекомендованных ВАК Российской Федерации, появляются статьи в ведущих рецензируемых изданиях или монографии, то это свидетельствует о подлинном (а не мнимом) росте научного работника. Или, например, о росте научного работника свидетельствует факт, если он выиграл грант после нескольких лет исследовательской деятельности. Предложим показатели результативности научной деятельности, которые можно вычислить на основе анализа первичной информации (получаемой, например, в Российской электронной библиотеке).

Пусть Q - множество изданий, в которых опубликовался научный работник, W - множество соавторов его публикаций, тогда - число изданий, - число соавторов (Р - мощность множества). Число соавторов w назовём социальной валентностью научного работника (в химии валентность - число химических связей атома с остальными). Продуктивностью социальной валентности научного работника назовём число щ такое, что не менее чем с щ соавторами индивид имеет не менее чем щ публикаций с каждым. Данный показатель отражает прочность (устойчивость) социальных связей научного работника с соавторами. Другой важный показатель - продуктивность социальной трансляции результатов своих исследований, равная т, если не менее чем в т изданиях опубликованы не менее чем т научных трудов в каждом. Актуальность последнего показателя - не только в реализации научным работником такой функции, как распространение (трансляция) результатов собственных исследований. Очень важно, что при высоких значениях указанного показателя мала вероятность того, что все публикации научного работника представляют собой "околонаучный мусор" (говоря терминами Чеботарёва П.Ю.).

Напомним, что о продуктивности научного работника судят по количеству цитат на его публикации. Но в современных информационных системах выделяют самоцитирования, цитирования соавторами и "сторонние" цитирования. Безусловно, об истинной значимости публикаций научного работника (для научного сообщества) имеют последние. Поэтому авторы предлагают, помимо абсолютного количества ссылок на работы конкретного научного работника, "взвешенный" показатель:

.

Здесь: N₁, N₂, N₃ - соответственно число "сторонних" ссылок, цитирований соавторами и самоцитирований.

Вместе с тем, в самоцитированиях не только нет ничего "предосудительного"; более того, наличие самоцитирований свидетельствует о преемственности исследовательской деятельности научного работника (т.е. более ранние работы имеют значение для более поздних). Для трудов конкретного научного работника целесообразно формировать ориентированный граф, в котором вершины - труды работника, стрелки - связи между цитируемой работой и цитирующей. Коэффициентом системности (преемственности) исследовательской деятельности научного работника назовём величину

,

где М - общее число публикаций, м - число неизолированных вершин в графе.

Целесообразно также вычислять индексы цитируемости конкретных публикаций и оперативности отклика научного сообщества. Для этого целесообразно формировать ориентированный граф, в котором вершины первого типа - публикации конкретного научного работника, второго типа - публикации иных работников (очевидно, что связи - это связи цитирования). Необходимо также включать в граф публикации, в которых отсутствуют цитаты на труды конкретного (диагностируемого) научного работника, но имеются цитаты на труды тех авторов, которые, в свою очередь, имеют ссылки на труды конкретного работника. Тогда индекс цитируемости конкретной публикации работника

.

Здесь: F - число вершин подграфа, в основе которого - анализируемая публикация (сама публикация не считается), f_i - значимость ссылки (1, 0,5 или 0,25, в зависимости от категории ссылки - самоцитирование, цитирование соавторами или стороннее цитирование, по отношению к диагностируемому научному работнику), e_i - уровень иерархии в дереве ссылок. Например, научный работник имеет публикацию Х, на которую ссылаются публикации Y₀ - самоцитирование, Y₁ и Y₂ сторонних авторов, а на них, в свою очередь, ссылаются публикации Z₁, Z₂, Z₃, Z₄, Z₅ и Z₆. Тогда уровень иерархии публикаций Y₁ и Y₂ в дереве ссылок равен 1, публикаций Z₁, Z₂, Z₃, Z₄, Z₅ и Z₆ - уровень 2, а индекс цитируемости публикации Х составит .

Более точная модель расчёта должны учитывать рейтинг (импакт-фактор) издания:

,

где d_i - рейтинг издания, в котором издана i-я ссылающаяся публикация.

Индекс оперативности отклика на конкретную публикацию вычисляют следующим образом (при этом учитывают только непосредственные ссылки на публикацию):

.

Здесь: N - число ссылок на публикацию, f_i - значимость ссылки (1, 0,5 или 0,25, в зависимости от категории ссылки - самоцитирование, цитирование соавторами или стороннее цитирование), Т_i - разница (в календарных годах) для i-ссылки между появлением анализируемой публикации и ссылки на неё (если разница в днях между появлением публикации и ссылки на неё не превышает 365 дней, то она равна нулю).

Известно, что цель мониторинга в любой сфере - не "критиканство", а содействие работнику в коррекции ситуации, путём указания на слабые места в его деятельности и предложения способов их устранения. Введём показатель

,

где h - известный индекс Хирша, N - общее число ссылок на труды научного работника. Чем ближе данный показатель к нулю (особенно, если он меньше 0,1), тем с большим основанием следует задуматься научному работнику о повышении качества своих публикаций, о недопущении так называемого "околонаучного мусора". Альтернативный показатель:

,

где g - известный g-индекс.

Чтобы диагностика качества научной деятельности была объективной, она должна быть, прежде всего, мультипараметрической. Интегральную диагностику общего состояния исследовательской деятельности конкретного работника (и научной организации в целом) следует производить на основе решающих правил (термин относительного молодого направления - так называемого "искусственного интеллекта"), связывающих общее состояние исследовательской деятельности (например, "процветающее", "благополучное", "нормальное", "удовлетворительное" и "неудовлетворительное") с состояниями отдельных параметров (например, "очень хорошо", "хорошо", "удовлетворительно", "плохо" и "очень плохо"); при этом следует учитывать значимость самих показателей.

Авторы настоящей статьи стоят на позиции, что любую сферу деятельности губит не сама идея применения количественных показателей, а неадекватные методы диагностики и системы показателей. Историческая заслуга американо-аргентинского физика Хирша в том, что он впервые предпринял успешную попытку разрешения противоречия между "количеством и качеством"; однако наукометрия не должна "стоять на месте". Наличие объективных количественных показателей даёт возможность научным работникам доказывать свою квалификацию. Кроме того, благодаря наличию арсенала наукометрических показателей, стало возможно диагностировать личностно-профессиональное развитие научных работников, а также выявлять "имитацию научной деятельности" (говоря терминами Чеботарева П.Ю.) У авторов настоящей статьи, например, вызвали бы настороженность "диссертации", результаты которых опубликованы в течение одного календарного года (возможно ли такое?!). Или, например, чтобы заслужить грант того или иного фонда, необходимо в течение нескольких лет издавать статьи и прочие публикации. И спорить с логикой научного процесса невозможно: к публикациям высокого качества, получающим заслуженное социальное одобрение и признание, необходимо идти через множество этапов, каждый из которых должен быть "материализован" в публикациях. Трудно вообразить, что научный работник с низкими (или вообще нулевыми) наукометрическими показателями (в течение нескольких лет) в "один момент" "одарил" мир достижениями своей исследовательской деятельности. Мониторинг научной деятельности немыслим без наукометрических показателей, но они должны быть операциональны (по отдельности), а система показателей - функционально полной (это - важнейшее требование к системе критериев).

Заключение

продуктивность наукометрический хирш

Объективная оценка результатов исследовательской деятельности - чрезвычайно трудная задача. Не случайно во всём мире её пытаются решить уже в течение нескольких десятилетий. Тем не менее, в условиях информационного общества (информатизации всех сфер человеческой деятельности) возможно решение сколь угодно сложных задач. У авторов не вызывает сомнений, что для объективизации мониторинга (в частности, диагностики) научной деятельности необходимо развитие высокотехнологичных методов обработки первичной информации о ней, а в основу такой диагностики должен быть положен квалиметрический подход. Тем более, что современные информационные технологии позволяют получать достоверную первичную информацию о результатах деятельности научного работника. Ответ на вопрос, поставленный в работе [2] П.Ю. Чеботарёвым "Как с помощью наукометрии лечить, а не калечить?", однозначен: применять многопараметрическую диагностику деятельности научного работника, в основе которой - функционально полная система адекватных параметров. Анализ и обобщение результатов исследования позволили сделать следующие выводы:

1. Объективная диагностика продуктивности исследовательской деятельности - одна из важнейших задач современности. В соответствии с принципами системного анализа и требованиями квалиметрии, продуктивность исследовательской деятельности следует рассматривать как интегральный показатель (латентную переменную), который можно отразить с помощью набора критериев (индикаторных переменных).

2. Набор наукометрических показателей, отражающих качество и продуктивность исследовательской деятельности научного работника - важнейшая составляющая критериально-диагностического аппарата мониторинга научной деятельности.

3. Современные информационные технологии позволяют получать первичную информацию о результатах исследовательской деятельности научных работников и организаций, которую можно использовать для вычисления (оценки) всех наукометрических показателей (как традиционных, так и авторских). Вычисление (оценка) авторских показателей формализуемо и реализуемо на ЭВМ.

Благодарности. Работа выполнена при финансовой поддержке Российского гуманитарного научного фонда № 13-06-00350 от 13.06.2013 в рамках темы "Мониторинг качества непрерывного образования".

Список литературы

1. Корсаков, С.В. Личностное портфолио руководителя как отражение его профессионализма / С.В. Корсаков // Среднее профессиональное образование. - № 8, 2013. - С. 26-30.

2. Чеботарев, П.Ю. Наукометрия: как с её помощью лечить, а не калечить? / П.Ю. Чеботарев // Управление большими системами. Специальный выпуск 44: "Наукометрия и экспертиза в управлении наукой", 2013. - С. 14-31.

3. Штовба, С.Д. Обзор наукометрических показателей для оценки публикационной деятельности ученого / С.Д. Штовба, Е.В. Штовба // Управление большими системами. Специальный выпуск 44: "Наукометрия и экспертиза в управлении наукой", 2013. - С. 262-278.

4. Eck N.V., Waltman L. Generalizing the h- and g-indices // Journal of Informetrics. - 2008. - Vol. 2, No 4, pp. 263-267.

5. Egghe L. Theory and practice of the g-index // Scientometrics. - 2006. - Vol. 69, No 1, P. 131-152.

6. Egghe L. Mathematical theory of the h- and g-indices // Journal of Informetrics. - 2008. - Vol. 2, No 4. - P. 263-271.

7. Eichorn P., Yankauer A. Do authors check their references? A survey of accuracy of references in three public health journals // American Journal of Public Health. - 1987. - Vol. 77, No 8, pp. 1011-1012.

8. Franceschini F., Maisano D., Perotti A., Proto A. Analysis of the ch-index: an indicator to evaluate the diffusion of scientific research output by citers // Scientometrics. - 2010. - Vol. 85. - P. 203-217.

9. Guns R., Rousseau R. Real and rational variants of the h-index and the g-index // Journal of Informetrics. - 2009. - Vol. 3, No 11, pp. 64-71.

10. Hirsch J.E. An index to quantity an individual's scientific research output // Proc. Natl. Acad. Sci. USA. - 2005. - Vol. 102, No 46. - P. 16569-16572.

Размещено на Allbest.ru