Хиршамания при оценке результатов научной деятельности, ее негативные последствия и попытка их преодоления с применением многокритериального подхода и теории информации

Размещено на http://www.allbest.ru/

Кубанский государственный аграрный университет

ХИРШАМАНИЯ ПРИ ОЦЕНКЕ РЕЗУЛЬТАТОВ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ, ЕЕ НЕГАТИВНЫЕ ПОСЛЕДСТВИЯ И ПОПЫТКА ИХ ПРЕОДОЛЕНИЯ С ПРИМЕНЕНИЕМ МНОГОКРИТЕРИАЛЬНОГО ПОДХОДА И ТЕОРИИ ИНФОРМАЦИИ

Луценко Евгений Вениаминович

Недавно научное сообщество лишилось надбавок за ученые степени и звания. Был начат процесс монетизации оценки результатов научной деятельности. Возникла потребность в соответствующих методиках количественной и сопоставимой оценки эффективности и качества работы ученого. Появились многочисленные методики материального поощрения за эти результаты. Эти методики отличаются в разных вузах. Но общим для всех этих методик является большая роль, которая отводится в них так называемому индексу Хирша. Сам по себе этот индекс вполне обоснован.

Однако в связи с практикой применения индекса Хирша в наших условиях в сознании научного сообщества возникла своеобразная мания, которую автор предлагает называть «Хиршамания».

Эта мания характеризуется повышенным нездоровым интересом к самому значению индекса Хирша, особенно к искусственному неадекватному преувеличению этого значения, а также рядом негативных последствий этого интереса. В данной работе мы попытаемся кратко описать некоторые негативные последствия этой новой психической инфекции, поразившей общественное сознание научного сообщества.

А также наметить пути преодоления хотя бы некоторых причин их возникновения. В этом и состоит проблема, решаемая в данной работе. Чтобы наметить удачный план лечения, прежде всего надо поставить правильный диагноз. Мы квалифицируем Хиршаманию как психический вирус, о которых блестяще писал Ричард Броди.

Этот психический вирус может рассматриваться как инструмент манипуляции общественным сознанием научного сообщества, что очень хорошо описал в своем бестселлере С.Г. Кара-Мурза.

Подобного рода манипуляции, которые особенно облегчились в связи с появлением глобальной информационной среды распространения и адресной доставки агента действия, могут использоваться также для нанесения урона противнику и, по сути, являются информационным оружием. Так что Хиршамания в принципе может быть не таким уж и безобидным явлением.

Так что же собственно произошло? Ученым стали платить надбавки (материальные поощрения) за те или иные значения индекса Хирша. Ученые народ неглупый и быстро сообразил, что имеет прямой смысл эти значения увеличивать. А для этого надо писать научные статьи, монографии, научно-методические работы и т. д., и т. п., размешать их в Российском индексе научного цитирования (РИНЦ), и ссылаться на них. Это ясно из самой природы индекса Хирша. Причем не просто писать и ссылаться, а писать как можно больше и ссылаться тоже как можно больше.

Тривиальным является утверждение о том, что статья должна отражать основные результаты какого-то научного исследования, решение той или иной научной или прагматической задачи. Но откуда взять столько научных результатов? Ведь научные исследования требуют инвестиций и имеют длительный цикл проведения. Так возникает 1-я проблема, состоящая в том, что писать то, в общем-то, и не о чем, по крайней мере, в желаемом количестве, а писать очень надо. В век интернета решение этой проблемы элементарно. Проводим поиск по ключевым словам, находим источники, в которых об этом уже кем-то написано, и вставляем тексты из этих источников в свои статьи. Если мы корректно ссылаемся на эти заимствования, то они называются «цитированиями», а если нет, то «плагиат». Если ссылаться на все эти заимствования, то может оказаться, что автор не внес никого личного вклада в работу, поэтому часто на них не ссылаются. Таким образом, материально простимулированное применением индекса Хирша для оценки результативности научной деятельности неоправданное стремление много писать, но не для того, чтобы отразить результаты реальных исследований, которых или вообще нет, или недостаточно для удовлетворения амбиций, приводит к распространению плагиата. Что же такое плагиат с правовой точки зрения? Наверное, это просто воровство, в частности воровство авторских текстов и идей, нарушение авторских прав на результаты научной деятельности. Если есть спрос, то есть и предложение, и вот появляется система «Антиплагиат» и много других подобных систем. Подобные системы представляют свои услуги on-line, есть и бесплатные с ограниченными возможностями, и профессиональные, которые, естественно, платные. Практически все вузы уже купили профессиональные системы проверки на антиплагиат, и эта проверка стала нормой. Таким образом, первым отрицательным последствием Хиршамании является небывалое распространение плагиата в научной среде и как реакция на это - борьба с плагиатом (а не с его причинами, т. е., как обычно), причем за деньги самих научных организаций, т. е., косвенно - самих ученых и с большими затратами труда и времени самих ученых. Началась борьба с плагиатом, началась и борьба с этой борьбой. Как грибы после дождя в информационном пространстве вдруг появились многочисленные ухищрения и «научные рекомендации» для того, чтобы обойти эти системы, т. е., добиться высокого уровня оригинальности некорректно заимствованного текста.

Прежде всего это различные синонимайзеры. Однако системы антиплагиата работают просто с текстами, поэтому можно их обойти, если заимствовать не текст, а идеи, т. е., несколько перефразировать текст, чтобы сам текст стал другим, а его смысл сохранился.

Эта процедура называется «Рерайтинг (rewriting)», т. е., переписывание и изложение чужих мыслей своими словами. Еще для подобных целей могут быть использованы программы машинного перевода, т. к., они тоже подбирают синонимы и перефразируют. Конечно, разработчики систем антиплагиата также принимают меры для обнаружения признаков борьбы с ними, т. е., признаков искусственного завышения оригинальности текста (это уже борьба систем антиплагиата с борьбой против них), и т. д., и т. д. почти до бесконечности. Автор тоже столкнулся с этим явлением (как поставщик текстов и идей для плагиаторов, как высокопоставленных, так и не очень). Лучше всего об этом написано в статье «Групповой плагиат: от студента до министра». Чтобы найти многочисленные «труды» плагиаторов, включая диссертации, достаточно в Internet в любой поисковой системе сделать запрос, например: «Коэффициенты эмерджентности Хартли, Харкевича, Шеннона», которые автор системной теории информации (СТИ) проф. Е.В. Луценко назвал так в честь этих выдающихся ученых в области теории информации. При этом автор следовал сложившейся научной традиции называть единицы измерения и математические выражения в честь известных ученых. Причем часто плагиаторы даже не понимают, что сами основоположники и классики теории информации не предлагали этих коэффициентов, а предложены они были в работах автора. Наверное, поэтому они и не считают нужным делать ссылки и пишут, например:

1. «По Харкевичу коэффициент эмерджентности определяет степень детерменированности ситемы…» (подчеркнуто нами, авт., в цитате сохранены орфографические ошибки плагиатора, авт.);

2. «Отсюда строится системная численная мера количества информации в ИС на основе оценки эмерджентности системы (по Хартли и Харкевичу)» (выделено плагиатором, а на самом деле «по Луценко», - авт.).

Эти фразы легко найти в Internet. Так что плагиаторская активность не только продолжается, но и набирает обороты.

Однако индекс Хирша отражает не только число статей, но и число их цитирований. Поэтому самих статей для повышения значения индекса Хирша недостаточно, т. е., еще надо, чтобы на них были ссылки.

А откуда их взять, если на твои статьи сам, т. е., по собственной инициативе, никто или почти никто не ссылается? Так возникает 2-я проблема, т. е., проблема увеличения количества ссылок на свои статьи.

Но и эту проблему можно решить. Во-первых, можно самому ссылаться на собственные статьи, т. е., заниматься самоцитированием. С правовой точки зрения это, конечно, не плагиат, т. к., нет потерпевшей стороны, т. е., в принципе автор имеет все авторские права на свой текст и свои идеи и может распоряжаться ими по своему усмотрению. Но с этической точки зрения чтобы ссылаться на себя, надо иметь на это моральное право и необходимо, чтобы эта ссылка была оправдана и обоснованна, а не являлась искусственной, т. е., ссылки ради ссылки, часто даже без сноски на нее из текста. По мнению автора, такое обоснование может состоять в том, что ряд статей образует цикл или систему, т. к., они посвящены описанию различных этапов решения одной проблемы или развитию определенного научного направления, т. е., по сути, являются продолжением друг друга и взаимосвязаны по своему содержанию.

Однако часто у авторов нет возможности для таких обоснованных самоцитирований, то тогда они занимаются неоправданными (некорректными) самоцитированиями. Иногда авторов с высоким уровнем самоцитирования обвиняют в том, что они засоряют информационное пространство дублирующей информацией и как бы продают многократно один и тот же информационный продукт. Автор не согласен с этой точкой зрения потому, что если бы она была правильной, то во всем интернет должно бы быть одно место для харания каждого информационного объекта, а все остальные просто должны были бы на него ссылаться.

Но что мы видим на практике? Мы видим огромное количество размещений одного и того информационного объекта на различных сайтах. Кстати, этим занимаются и различные интеграторы - библиографические базы данных, например НЭИКОН, КиберЛенинка, Agris, Ulrich's Periodicals Directory, DOAJ, OALIB (Open Access Library), Scopus, Web of Science, и даже сам РИНЦ. Смысл таких размещений в новых возможностях в появлении для читателей новых дополнительных возможностей прочтения публикаций, а также возможность их статистической обработки и углубленного анализа в базах интегратора. Но все же как-то неудобно ссылаться только на самого себя, как будто у тебя и не было предшественников или соавторов. Понятно, что цитирование соавторами это «почти самоцитирование» и также уязвимо для критики. Поэтому авторы, не являющиеся соавторами, часто договариваются о взаимных цитированиях, т. е., я тебя цитирую тебя, а за это - ты меня, что неблаговидно и с правовой точки зрения является сговором для извлечения дополнительной необоснованной созданием продукта или услуг прибыли, а этической точки зрения достойно морального порицания. В век глобальных коммуникаций и эти вопросы легко решаемы. И, как всегда, раз наблюдаются искусственные и необоснованные цитирования, то появляются и средства борьбы с этим неблаговидным явлением (естественно, как всегда только с самим явлением, а не с его причинами). В частности появляется идея использовать для количественного измерения самоцитирований и цитирований соавторами индекс, взятый из экономики, который в ней используется для количественной оценки степени монополизации отрасли, - это индекс Херфиндаля и различные его модификации.

Как же научное сообщество среагировало на установленные Минобрнауки РФ «правила игры». Да очень просто: все, даже те, кто уже давно ничего не писал, с готовностью принялись писать научные работы и цитировать их, можно сказать с энтузиазмом принялись повышать свои индексы цитирования и индексы Хирша. Правда это не сопровождалось сколь-нибудь заметным или значительным повышением активности самих научных исследований и инновационных разработок. А это означает, что народ вполне понял, что от него требуется: не сама работа, а лишь показатели отчетности о работе. По сути, речь идет о фальсификации деятельности: вместо самой деятельности и ее результатов учитываются и идут в зачет отчеты с растущими показателями о якобы имевшей место деятельности и результатах, и эти отчеты и показатели фактически и принимаются за результаты, а было ли все это на самом деле о что на сомом деле они отражают, фактически никого особенно не интересует.

Налицо явление, которое, в работе, названо «виртуализация общества». Фактическая деятельность в реальной области заменяется, замещается информацией о ней, а потом выясняется, что информация начинает жить собственной жизнью и замещает реальную область, при этом она в принципе может и не отражать процессы в реальной области. В результате масштабной, может быть даже глобальной фальсификации и виртуализации сама деятельность заменяется отчетностью о ней, содержащей различные показатели. И народ быстро сообразил, что нет необходимости в самой деятельности и нет никакого смысла достигать самого результата деятельности в реальной области: вполне достаточно обеспечить достижение не самого результата деятельности, а нужных показателей отчетности. Повышения этих показателей все и добиваются.

Но наука в этом плане не оригинальна. В экономике подобная подмена давно стала нормой: практически все осознают как цель своей экономической деятельности не создание благ и услуг для потребления их другими людьми, во что крайне наивно верил Адам Смит и что было беспощадно развенчано Карлом Марксом, а всего лишь личное обогащение (получение прибыли). В экономике давно считается нормой, вполне допустимой и не осуждаемой с морально-этической точки зрения, обогащение без создания реальных благ, например за счет осуществления спекулятивных операций на фондовом и валютном рынке.

В результате подобных операций создается ничем реально не обеспеченный чисто инфляционный капитал. И в этом никто не видит ничего аморального или неэтичного. А между тем это прямой и ничем неприкрытый откровенный грабеж огромных масс людей во всем мире, покупательная способность которых падает за счет инфляции. Деньги вообще все замещают и все опошляют и не только в экономике, а вообще везде.

Так, например, любовь они превращают в проституцию. А науку, которая является общественным институтом и общественной и индивидуальной деятельностью по познанию человека, общества и природы с целью познания истины (фундаментальная наука) и повышения эффективности деятельности человека (прикладная наука), - в искусственное увеличение индекса Хирша путем увеличения потока бессодержательных, переписанных друг у друга, но при этом широко цитируемых публикаций. В традициях Хиршамании цель достижения высоких результатов научной деятельности подменяется целью достижения высоких значений наукометрических показателей, отражающих эти результаты. При этом в информационном обществе отражение может быть создано и существовать и без достижения каких-либо реальных результатов и достижений.

Таким образом, фальсификация и виртуализация науки, обусловленная Хиршаманией, по сути, приводят к ее профанации. Это настолько очевидно, что можно было бы об этом и не говорить, если бы практически все научное сообщество снизу до верху дружно бы не занималось именно этим, безропотно приняв правила игры, предложенные Минобрнауки, причем не просто занималось, но и делало при этом вид, что процесс идет нормально, т. е., делая хорошую мину при плохой игре.

Однако, в отличие от экономики, в науке в соответствии этикой научных публикаций подобные действия считаются аморальными, и журналам, допускающим подобные статьи к публикации практически закрыт путь в такие престижные международные библиографические базы данных, как Scopus и Web of Science. Из-за действия подобных этических норм воровать в науке стало так сложно, что иногда начинает казаться, что ты работаешь. Это звучит как юмор, но им не является, т. е., было бы смешно, если бы не было грустно. Так, например, рерайтинг - это действительно сложная и трудоемкая работа, требующая не только профессиональной компетенции в той предметной области, в которой осуществляется плагиат идей, но и определенной филологической подготовки: умения быстро и много писать на правильном русском языке. В работе рерайтера есть почти все, что есть в научной работе, кроме одного: у рерайтера нет своих новых идей и ему негде их брать, кроме как заимствовать их у того, у кого они есть. Но у рерайтера не просто нет своих новых идей, но он и не имеет ни малейшего представления о том, откуда они вообще берутся. Здесь я не могу отказать себе в удовольствии еще раз сослаться на статью В.Б.Вяткина, хотя плагиаторы-персонажи этой статьи не удосужились даже переписать мой текст своими словами, т. е., не дотянули до рерайтеров, а просто привели весь текст целиком, включая «авторскую пунктуацию», т. е., изложив все от первого лица, «как было», включая даже мои орфографические и грамматические ошибки.

Рисунок 1. - Негативные последствия решения о монетизации оценки результатов научной деятельности (Хиршамании):

Таким образом, можно обоснованно констатировать факт, состоящий в том, что решение Минобрнауки РФ о монетизации оценки результатов научной деятельности, в частности придание неоправданно высокой роли в этом процессе индексам публикационной активности (само по себе это вчерашний и даже позавчерашний день), а также индексам цитирования и Хирша, явилось причиной, породившей целый каскад или снежный ком различных негативных последствий, многие из которых имеют криминальный характер, а некоторые «всего лишь» аморальны (рисунок 1). Подобное в новейшей Российской истории было уже не раз, и, по-видимому, уже есть основания говорить об определенной наметившейся тенденции или закономерности. Достаточно упомянуть про позорную эпопею с ЕГЭ, которая начиналась за здравие, а закончилась за упокой и подобную же историю с оценкой эффективности вузов. Очень бы не хотелось, чтобы тоже самое, что случилось с ЕГЭ и с методикой оценки эффективности вузов случилось бы и с РИНЦ.

Однако, к большому сожалению и объективно говоря пока все идет к тому, что так и получится, т. е., идея количественной сопоставимой оценки результатов (качества и эффективности) научной деятельности в наших условиях не реализуема. Может быть, это не дело только РИНЦ, а дело всего российского научного сообщества, включая Минобрнауки?

Итак, мы сталкиваемся с ситуацией, когда хорошая идея плохо реализуется, т. к., мы опять впадаем в крайности, относимся к новой (для нас) идее, как панацее от всех проблем. Но такого, к сожалению, не бывает. А, как известно, нет лучшего способа дискредитировать хорошую идею, чем довести ее до абсурда, до крайности, т. к., тогда она становится своей противоположностью. Получается уже в который раз, что за что боролись, на то и напоролись. В этой ситуации перефразируя, похоже, что бессмертные слова В.С.Черномырдина, Минобрнауки может только сказать, что «мы хотели как лучше», а мы уже имеем все фактические основания констатировать, что опять «получилось как всегда».

Выше уже упоминалось, что в этой новой истории с индексом Хирша, ключевая роль принадлежит Российскому индексу научного цитирования (РИНЦ). Что такое РИНЦ сегодня? На сегодня это безусловно самая большая в России электронная научная библиотека общего доступа. На момент написания данной статьи в базах РИНЦ содержалось: журналов: 32991, выпусков журналов: 1193672, полнотекстовых статей: 20325344, издательств: 14976. Данные РИНЦ используются сегодня для оценки рейтингов научных журналов и результатов научной деятельности, как отдельных ученых, так и вузов и научных институтов. Безусловно, у РИНЦ много достоинств и в настоящее время ему в России нет альтернативы. Но и у РИНЦ есть свои недостатки, которые вызывают совершенно обоснованный и все более громкий ропот в среде научного сообщества. Перечислим наиболее важные них в контексте проблематики данной статьи.

РИНЦ чрезвычайно инерционная система. Обновление его баз данных происходит раз в неделю, а некоторые базы данных, например системы SCIENCE INDEX, обновляются раз в 2 месяца.

Это означает, что в РИНЦ не выполняется одно из важнейших требований к базам данных: их актуальность.

Проще говоря, если Вы обращаетесь в РИНЦ для получения тех или иных показателей по отдельным ученым или по вузам научным организациям, то нужно иметь в виду, что эта информация может быть сильно устаревшей. В РИНЦ отсутствует целостность баз данных, т. е., данные в одних графах не подтверждаются данными в других графах. Как профессор по кафедре компьютерных технологий и систем с 2005 года и программист с почти 40-летним стажем автор может предположить, что эта особенность РИНЦ обусловлена тем, что разработчики даталогической и инфологической моделей его баз данных не везде нормализовали его базы данных. Это означает, что информация РИНЦ нет очень достоверна или, проще говоря, просто недостоверна.

Программное обеспечение РИНЦ не может идентифицировать авторов и публикации по их некорректным, неполным и нестандартным описаниям в списках литературы. Между тем эта задача решена в общем виде. В результате число работ авторов, число цитирований этих работ и индекс Хирша авторов в системе РИНЦ оказываются систематически заниженными. В качестве выхода из этой проблемной ситуации РИНЦ предлагает нам регистрироваться в системе SCIENCE INDEX и самим привязывать к себе свои работы и ссылки на свои работы из списка, предложенного системой РИНЦ. Иначе говоря, авторам предлагается самим вручную делать работу, которая должна выполняться полностью автоматически или с участием модератора, т. е., автоматизировано, самим РИНЦ.

Но и это еще не все. Дело в том, что список работ и ссылок на них, которые могут принадлежать данному автору, предлагаемый системой РИНЦ неполон, т. е., иначе говоря, некоторые работы, имея права пользователя системы SCIENCE INDEX, привязать вообще невозможно. Но это возможно имея права доступа администратора этой системы. И тут начинается самое интересное. Права администратора системы SCIENCE INDEX продаются РИНЦ вузам и научным организациям, причем продаются не дешево. Понятно, что практически все вузы и научные организации фактически были вынуждены купить эту систему, как, кстати, немного ранее и доступ к профессиональной версии системы Антиплагиат (которая, кстати, сейчас интегрируется с системой РИНЦ).

Ученые должны провести научные исследования и разработки, написать об этом монографии и статьи, получить авторские свидетельства, разместить их в РИНЦ, привязать их к себе, как авторам, привязать к себе ссылки на них, причем должны сделать это все это сами и еще заплатив журналам, Роспатенту и РИНЦ, за право самим это все сделать.

Получается к примеру 5% бюджета времени ученого уходит на проведение самих научных исследований и разработок, еще 5% - на их оформление в виде монографий, статей и патентов, и еще 90% на их размещение в РИНЦ, а также привязку публикаций и ссылок на них к себе, как автору. Разве так мы представляли себе, на что должен тратить свое творческое время ученый? Причем, как правило, после ненормированного рабочего дня, потраченного на голосовую нагрузку - преподавание? Ну то, что журналам за публикацию статей нужно платить, это еще понять можно. Но почему надо платить еще и РИНЦ за работу, которую мы выполняем сами за его программную систему, это уже не очень понятно.

Понятно, что покупая (и не дешево) права доступа администратора системы SCIENCE INDEX, вузы и научные организации справедливо надеются, что имея эти права, они смогут в комфортной и дружественной информационной среде полностью решить проблемы с привязкой статей и ссылок на них, описанные выше. Однако оказывается, что и это не так.

Прежде всего, надо сказать, что среда далека от комфортной, переходы из режима в режим плохо продуманы и сделаны неудобно. Постоянно надо переходить из одного окна в другое, удобнее бывает открыть два или более окон на большом мониторе, но они мало у кого есть. Реакция системы на клик является чрезвычайно замедленной: иногда несколько минут.

При большом объеме работ это резко увеличивает общее время работы. Когда администратор системы SCIENCE INDEX видит список ссылок на работы автора, то те, над которыми ему надо работать, не отмечены двумя красными треугольниками, и таких довольно много, но приходится их искать вручную среды отмеченных. При этом ссылки на непривязанные работы и на привязанные работы, находящиеся на проверке модератора, на экране выглядят одинаково. Это крайне неудобно. О том, что работа находится на проверке, можно догадаться потому, что нет ссылки на возможность корректировки ее описания. Но чтобы узнать есть эта ссылка или нет, надо кликнуть по ссылке на саму ссылающуюся работу, а потом, если ее нет, вернуться назад в список ссылок, возможность чего разработчиками не предусмотрена и приходится возвращаться через авторский указатель.

Все это занимает время и раздражает своей непродуманностью, т. к., решение ведь простое. Надо просто отмечать все ссылки в специальной отведенной для этого колонке иконками тер типов, отличающимися по цвету, как сделано с инками, отражающим возможность доступа простого посетителя РИНЦ к полным текстам публикаций.

Есть всего три состояния ссылки на публикацию автора:

1) привязанная (неважно кем);

2) привязанная администратором SCIENCE INDEX от организации и находящаяся на проверке у модератора РИНЦ;

3) непривязанная.

Я предложил бы непривязанные ссылки отметить красным цветом, находящиеся на проверке - желтым, а привязанные - зеленым. Это интуитивно естественно. Желательно было бы иметь возможность сортировки и фильтрации ссылок по стадии обработки, чтобы было видно только те, над которыми надо работать, или только те, которые уже привязаны или находящиеся на проверке. После привязки ссылки на работу автора в списке литературы эта корректировка посылается на проверку модератору. Мне так и не удалось узнать в РИНЦ, установлены ли в РИНЦ какие-либо нормативы на максимальную длительность его проверки. Не исключено, что ждать придется годами. Поэтому предлагается ссылки, привязанные администратором SCIENCE INDEX от организации, не посылать на проверку модератору РИНЦ, а сразу включать в базы данных РИНЦ, или накапливать а включать в базы даны раз в неделю. Если РИНЦ заботится о качестве привязки ссылок администратором SCIENCE INDEX от организации, то пусть сам по своему регламенту проверяет качество этих привязок, и если они не соответствуют установленным критериям качества, которые должны быть опубликованы на сайте РИНЦ, то применять к данному администратору и к его организации санкции (меры воздействия), прописанные в договоре.

Например, можно лишать данного администратора прав доступа на определенное время или требовать от организации его замены и т. п. Но реакция системы РИНЦ на корректировки администратора SCIENCE INDEX от организации обязательно должна быть резко ускорена.

Но главное все же не это, хотя это и важно. Главное в том, что при привязке ссылок в списках литературы возникают безвыходные ситуации. Даже имея права доступа администратора системы SCIENCE INDEX от организации, далеко не всегда удается привязать ссылку на работу автора из списка литературы ссылающейся работы. Мы можем скорректировать эту ссылку на правильную, но система не привязывает ее, пока не найдет в базах РИНЦ. Это вообще неприемлемо. Во-первых, потому, что есть работа в базах РИНЦ или ее там нет, не должно влиять на число ссылок на нее, т. к., это работа автора, на которую ссылается другой автор, и он эту работу видел, когда ссылался. Во-вторых, сам поиск не всегда дает положительный результат, т. е., не всегда способен найти работу, даже если она есть в базах РИНЦ и ссылка на нее правильная, в т. ч., сформирована самой системой РИНЦ. В этом случае, который наблюдается примерно в 70% случаев поиска, у администратора SCIENCE INDEX от организации вообще нет способа привязать эту ссылку. Автор предлагал администраторам РИНЦ два решения этой проблемы. Первое подробнейшим образом описано в статье. Работать это решение будет быстро, т. к., у авторов в РИНЦ не более 300 работ, а чаще всего гораздо меньше. Это решение обеспечивает ранжирование работ автора в порядке убывания релевантности ссылке. Проведенные автором численные эксперименты убедительно продемонстрировали, что искомая работа практически всегда будет на первой позиции, т. е., будет иметь наивысшую релевантность. Второе решение вообще примитивное и состоит в том, что если поиск системы РИНЦ не может найти в работах автора, размещенных в РИНЦ ту, на которую сделана ссылка из списка литературы, то надо просто вывести весь список его работ и дать возможность администратору SCIENCE INDEX от организации просто указать в нем нужную работу.

Иначе при работе с РИНЦ слишком часто возникают безвыходные ситуации и заслуженные ученые, имеющие сотни работ, размещенных в РИНЦ и индекс Хирша 5 или 6 и видящие, что невозможно его увеличить не только авторам, но даже имея права администратора SCIENCE INDEX от организации, делают вполне определенные и легко прогнозируемые выводы и о системе РИНЦ, и о Хирше, и о всех, кто все это придумал. Все это дискредитирует и систему РИНЦ и основанную на данных РИНЦ систему оценки результатов научной деятельности. Автор данной статьи представляет политематический (мультидисциплинарный) журнал, издаваемый Кубанским агроуниверситетом. В университете в настоящее время работает 26 факультетов, 85 кафедр, 8 докторских диссертационных советов по 21 специальностям, около 300 докторов наук, профессоров и 700 кандидатов наук, доцентов, 1500 преподавателей (а в 2003 году, когда создавался журнал, кафедр было около 100 и действовало 12 диссертационных советов). Поэтому естественно, что журнал изначально создавался как мультидисциплинарный (политематический), т. к., именно такой журнал был нужен университету. Еще отмечу, что наш вуз входит в тройку крупнейших патентообладателей России и имеет в 4 раза больше патентов, что все аграрные вузы России ВМЕСТЕ ВЗЯТЫЕ (включая и Темирязевку). За время существования журнала с 2003 года по февраль 2015 года в свет вышло 106 номеров, в которых опубликовано 4578 статей. Среди 7735 авторов журнала из России и более 10 стран ближнего и дальнего зарубежья 2333 докторов наук, 2126 профессоров, 2445 кандидатов наук, 1871 доцентов. В среднем ежемесячно в журнале издается 43 статьи общим объемом 608 страниц 73 авторов из которых 22 доктора наук, 23 кандидата наук, 20 профессоров, 18 доцентов. Но в последние годы объем публикаций резко возрос и работу. Например, в 101-м номере Научного журнала КубГАУ опубликовано столько статей, сколько в «некоторых других журналах» публикуется примерно за 2-2.5 года. Как Вы думаете, где будут публиковаться наши ученые - сотрудники университета: в «других журналах» или в «нашем журнале»? Да у них просто ФИЗИЧЕСКИ практически нет никакой возможности публиковаться где-то еще. Тем более, что публикация в нашем журнале БЕСПЛАТНА для сотрудников университета и аспирантов из любых организаций СНГ. Ну и как это скажется на индексе Херфиндаля? Понятно, что плохо, точнее очень плохо. По этой причине я ПРОТИВ модификации методики расчета рейтинга SCIENCE INDEX с учетом индекса Херфиндаля, т. к., это эквивалентно наказанию крупнейших и наиболее успешных изданий в своей области (и не только в своей области) и крупнейших издателей. При этом я согласен, что для мелких и средних по объему изданий его применение может быть вполне оправдано. Поэтому я предлагаю придавать тем меньший вес индекса Херфиндаля в определении рейтинга SCIENCE INDEX, чем больше объем номеров издания в станицах за соответствующий период, за который определяется рейтинг. Для нашего Научного журнала КубГАУ индекс Херфиндаля практически вообще не должен играть никакой роли.

Недавно все Российское профессиональное научно-педагогическое сообщество стало свидетелем того, как Министерство образования и науки России начало работу по монетизации оценки результатов научной деятельности (ее качества и эффективности).

В этой связи возникает ряд вопросов, аргументированные ответы на которые представляют большой интерес.

Прежде всего, возникает вопрос о том, что понимается под результатами (качеством и эффективностью) научной деятельности (далее: «результаты»)? Ведь ясно, что прежде чем оценивать результаты научной деятельности было бы неплохо, а на самом деле совершенно необходимо, разобраться с тем, что же это такое. Ясно, что по этому поводу существует много различных мнений, которые в различной степени аргументированы или не аргументированы и отражают позиции руководителей образования и науки, профессионального научно-педагогического сообщества и различных слоев населения. По мнению автора, с научной точки зрения некорректно и неуместно говорить о каких-то критериях оценки результатов научной деятельности, если не определено само это понятие, т. е., отсутствует консенсус в профессиональной среде по поводу того, что же это такое. Очевидно, для достижения такого консенсуса в наше время необходимо широкое обсуждение этого вопроса в научной печати, Internet и СМИ. Когда консенсус профессионального научно-педагогического сообщества по вопросу о том, что такое «результаты научной деятельности» будет достигнут, на первый план выступает вопрос о том, с помощью какого метода оценивать эти результаты?

Для автора вполне очевидно, что этот метод должен представлять собой какой-то вариант метода многокритериальной оценки. Это обусловлено просто тем, что такие сложные и многофакторные системы как наука в принципе невозможно оценивать по одному показателю или критерию. Хиршамания возникла имена благодаря вольному или невольному, сознательному или несознательному игнорированию этого принципа. Чтобы обоснованно выбрать метод оценки результатов научной деятельности необходимо сначала научно обосновать требования к нему, а затем составить рейтинг методов по степени соответствия обоснованным требованиям и выбрать метод, наиболее удовлетворяющий обоснованным требованиям. Когда метод оценки результатов научной деятельности выбран, необходимо ответить на вопрос о том, на основе каких частных критериев оценивать эти результаты и какой исходной информацией для этого необходимо располагать? Ясно, что эти критерии в общем случае могут иметь как количественную, так и качественную (нечисловую) природу и могут измеряться в различных единицах измерения. Кроме того эти критерии могут иметь различную силу и направление влияния на оценку результатов научной деятельности. Поэтому предварительно надо бы обосновать требования к частным критериям оценки результатов научной деятельности. Это специальная наукоемкая работа, но для автора и сейчас очевидно, что эти критерии должны быть:

- измеримы, т. е., по ним должна быть исходная информация;

- информативны, т. е., обеспечивать разделение измеряемого объекта по категориям (классам) качества и эффективности научной деятельности;

- не управляемы самим объектом, параметры которого измеряются, т. к., иначе он может влиять на результаты измерения в нужном ему направлении.

Индекс Хирша соответствует первым двум требованиям, но не удовлетворяет третьему, т. е., он вполне управляем потому, что вполне понятно, как он формируется, и авторы в состоянии писать статьи и ссылаться на такие свои работы, чтобы индекс Хирша повышался максимально быстро. Поэтому величина индекса Хирша отражает не только результаты научной деятельности, но и степень понимания автором того, что такое индекс Хирша и как он формируется (см. юмористический эпиграф к данной статье). В психологии считается, что нельзя пользоваться тестом, ключи интерпретации которого рассекречены (опубликованы), т. к., при желании тестируемый может использовать знание этих ключей для того, чтобы так отвечать на тест, чтобы получить нужные ему результаты тестирования. Это ведь элементарно. Непонятно почему такие простые вещи игнорируются системами, вроде РИНЦ.

Представьте себе мальчишку, который не хочет идти в школу и говорит маме, что у него болит голова. Мама сразу достает термометр, чтобы померить ему температуру, сбивает его, ставит своему отпрыску под мышку и бежит на кухню выключать картошку, которую варит. А мальчишка в это время на одно мгновение окунает термометр в чай и сразу кладет его обратно себе под мышку и тихо сидит с грустным видом. Мама прибегает, смотрит термометр и сразу начинает принимать меры для лечения своего мелкого симулянта, а о школе теперь не может быть и речи. Спрашивается, является ли неисправным измерительный инструмент, т. е., термометр? Нет, конечно, он исправен и совершенно правильно измеряет температуру.

Но объект измерения (симулянт) заинтересован в тех или иных показаниях и не только в принципе может влиять на показания измерительного инструмента, но и фактически делает это.

Примерно тоже самое мы наблюдаем в ситуации с индексом Хирша. Сам по себе это нормальный измерительный инструмент. Но измерительный инструмент, легко управляемый заинтересованной стороной. Поэтому он не пригоден для тех целей, для которых предназначен.

Конечно, возникают вопросы как о способе определения системы критериев оценки результатов научной деятельности, так и о способе определения силы и направления влияния этих критериев на оценку результатов научной деятельности, т. е., по сути, о модели. Но еще более существенным является вопрос: «О способе сопоставимого сведения разнородных по своей природе и измеряемых в различных единицах измерения частных критериев эффективности в один количественный интегральный критерий эффективности вуза».

Автоматизированный системно-когнитивный анализ является одним из современных методов, который предоставляет научно обоснованные ответы на все эти вопросы, но самое существенное, что он оснащен широко и успешно апробированным универсальным программным инструментарием, позволяющим решить эти вопросы не только на теоретическом концептуальном уровне, но и практически.

Очень важно, что этот инструментарий и методики его использования для решения сформулированных задач могут быть доступны всем заинтересованным сторонам не только на федеральном уровне, но в самих вузах и НИИ, а также конкретным ученым, т. к., он находится в полном открытом бесплатном доступе. Естественно, никто технологию не продает, а если и продает, то так дорого, что купить ее практически невозможно. Поэтому возникает вопрос о разработке или поиске подобной технологии в России. Таким образом, востребованы теоретическое обоснование, математическая модель, методика численных расчетов (т. е., структуры данных и алгоритмы их обработки) а также реализующие их инструментальные (программные) средства, обеспечивающие создание, поддержку, развитие и применение подобных рейтингов.

Данная статья как раз и посвящена рассмотрению отечественной лицензионной инновационной интеллектуальной технологии, обеспечивающей решение поставленной проблемы. А именно предлагается применить для этой цели автоматизированный системно-когнитивный анализ (АСК-анализ) и его программный инструментарий - интеллектуальную систему «Эйдос».

АСК-анализ представляет собой один из современных инновационных методов искусственно интеллекта, который предоставляет научно обоснованные ответы на все эти вопросы, но самое существенное, что он оснащен широко и успешно апробированным универсальным программным инструментарием, позволяющим решить эти вопросы не только как обычно на теоретическом концептуальном уровне, но и на практике.

Модели знаний АСК-анализа основаны на нечеткой декларативной модели представления знаний, предложенной автором в 1983 году и являющейся гибридной моделью, сочетающей в себе преимущества фреймовой, нейросетевой и четкой продукционной моделей и обеспечивающей создание моделей очень больших размерностей до 10 млн. раз превышающих максимальные размерности моделей знаний экспертных систем с четкими продукциями:

- от фреймовой модели модель представления знания системы «Эйдос» отличается существенно упрощенной программной реализацией и более высоким быстродействием без потери функциональности;

- от нейросетевой тем, что обеспечивает хорошо обоснованную теоретически содержательную интерпретацию весовых коэффициентов на рецепторах и обучение методом прямого счета;

- от четкой продукционной модели - нечеткими продукциями, представленными в декларативной форме, что обеспечивает эффективное использование знаний без их многократной генерации для решения задач идентификации, прогнозирования, принятия решений и исследования моделируемого объекта.

АСК-анализ является непараметрическим методом, устойчивым к шуму в исходных данных, позволяющий корректно обрабатывать неполные (фрагментированные) исходные данные, описывающие воздействие взаимозависимых факторов на нелинейный объект моделирования.

Суть метода АСК-анализа в том, что он позволяет рассчитать на основе исходных данных какое количество информации содержится в значениях факторов, обуславливающих переходы объекта моделирования в различные будущие состояния, причем как в желательные, так и в нежелательные.

Он состоит в целенаправленном последовательном повышении степени формализации исходных данных до уровня, который позволяет ввести исходные данные в компьютерную систему, а затем преобразовать исходные данные в информацию, информацию преобразовать в знания, использовать знания для решения задач прогнозирования, принятия решений и исследования предметной области.

Рассмотрим подробнее вопросы выявления, представления и использования знаний в АСК-анализе и системе «Эйдос».

Данные - это информация, записанная на каком-либо носителе или находящаяся в каналах связи и представленная на каком-то языке или в системе кодирования и рассматриваемая безотносительно к ее смысловому содержанию. Исходные данные об объекте управления обычно представлены в форме баз данных, чаще всего временных рядов, то есть, данных, привязанных ко времени.

В соответствии с методологией и технологией автоматизированного системно-когнитивного анализа (АСК-анализ), развиваемой проф. Е.В. Луценко, для управления и принятия решений использовать непосредственно исходные данные не представляется возможным.

Точнее сделать это можно, но результат управления при таком подходе оказывается мало чем отличающимся от случайного.

Для реального же решения задачи управления необходимо предварительно преобразовать данные в информацию, а ее в знания о том, какие воздействия на корпорацию к каким ее изменениям обычно, как показывает опыт, приводят.

Информация есть осмысленные данные. Смысл данных, в соответствии с концепцией смысла Шенка-Абельсона, состоит в том, что известны причинно-следственные зависимости между событиями, которые описываются этими данными. Таким образом, данные преобразуются в информацию в результате операции, которая называется «Анализ данных», которая состоит из двух этапов:

1. Выявление событий в данных (разработка классификационных и описательных шкал и градаций и преобразование с их использованием исходных данных в обучающую выборку, т. е., в базу событий - эвентологическую базу);

2. Выявление причинно-следственных зависимостей между событиями.

В случае систем управления событиями в данных являются совпадения определенных значений входных факторов и выходных параметров объекта управления, т. е., по сути, случаи перехода объекта управления в определенные будущие состояния под действием определенных сочетаний значений управляющих факторов.

Качественные значения входных факторов и выходных параметров естественно формализовать в форме лингвистических переменных.

Если же входные факторы и выходные параметры являются числовыми, то их значения измеряются с некоторой погрешностью и фактически представляют собой интервальные числовые значения, которые также могут быть представлены или формализованы в форме лингвистических переменных (типа: «малые», «средние», «большие» значения экономических показателей).

Какие же математические меры могут быть использованы для количественного измерения силы и направления причинно-следственных зависимостей? Наиболее очевидным ответом на этот вопрос, который обычно первым всем приходит на ум, является: «Корреляция». Однако, в статистике это хорошо известно, что это совершенно не так. Для преобразования исходных данных в информацию необходимо не только выявить события в этих данных, но и найти причинно-следственные связи между этими событиями. В АСК-анализе предлагается 7 количественных мер причинно-следственных связей, основной из которых является семантическая мера целесообразности информации по А. Харкевичу.

Знания - это информация, полезная для достижения целей.

Значит для преобразования информации в знания необходимо:

1. Поставить цель (классифицировать будущие состояния моделируемого объекта на целевые и нежелательные);

2. Оценить полезность информации для достижения этой цели (знак и силу влияния).

Второй пункт, по сути, выполнен при преобразовании данных в информацию. Поэтому остается выполнить только первый пункт, т. к., классифицировать будущие состояния объекта управления как желательные (целевые) и нежелательные.

Знания могут быть представлены в различных формах, характеризующихся различной степенью формализации:

- вообще неформализованные знания, т. е., знания в своей собственной форме, ноу-хау (мышление без вербализации есть медитация);

- знания, формализованные в естественном вербальном языке;

- знания, формализованные в виде различных методик, схем, алгоритмов, планов, таблиц и отношений между ними (базы данных);

- знания в форме технологий, организационных, производственных, социально-экономических и политических структур;

- знания, формализованные в виде математических моделей и методов представления знаний в автоматизированных интеллектуальных системах (логическая, фреймовая, сетевая, продукционная, нейросетевая, нечеткая и другие).

Таким образом, для решения сформулированной проблемы необходимо осознанно и целенаправленно последовательно повышать степень формализации исходных данных до уровня, который позволяет ввести исходные данные в интеллектуальную систему, а затем:

- преобразовать исходные данные в информацию;

- преобразовать информацию в знания;

- использовать знания для решения задач управления, принятия решений и исследования предметной области (рисунки 2 и 3):

Рисунок 2. - Соотношение содержания понятий: «Данные», «Информация», «Знания»:

АСК-анализ имеет следующие этапы:

- когнитивно-целевая структуризация предметной области;

- формализация предметной области (формирование классификационных и описательных шкал и градаций и обучающей выборки);

- синтез и верификация статистических и системно-когнитивных моделей;

- решение задач идентификации, прогнозирования, принятия решений и исследования предметной области в наиболее достоверных из созданных моделей.

Рисунок 3. - Этапы последовательного повышения степени формализации модели от данных к информации, а от нее к знаниям:

Единственный неавтоматизированный в системе «Эйдос» этап - это первый, а остальные приведены выше. АСК-анализ имеет ряд особенностей, которые обусловили его выбор в качестве метода решения проблемы:

1. Имеет теоретическое обоснование, основой которого является семантическая мера целесообразности информации А. Харкевича;

2. Обеспечивает корректную сопоставимую количественную обработку разнородных по своей природе факторов, измеряемых в различных единицах измерения, высокую точность и независимость результатов расчетов от единиц измерения исходных данных;

3. Обеспечивает построение многомерных моделей объекта моделирования непосредственно на основе эмпирических данных о нем;

4. Имеет развитую и доступную программную реализацию в виде универсальной когнитивной аналитической системы «Эйдос».

Для любой из моделей системой «Эйдос» рассчитывается ценность градации описательной шкалы, т. е., признака, для идентификации или прогнозирования. Количественной мерой ценности признака в той или иной модели является вариабельность по классам частного критерия для этого признака. Мер вариабельности может быть много, но наиболее известными является среднее модулей отклонения от среднего, дисперсия и среднеквадратичное отклонение.

Последняя мера и используется в АСК-анализе и системе «Эйдос». В системе «Эйдос» ценность признаков нарастающим итогов выводится в графической форме. При большом объеме обучающей выборки можно без ущерба для достоверности модели удалить из нее малозначимые признаки (Парето-оптимизация). Для этого в системе «Эйдос» также есть соответствующие инструменты.

монетизация поощрение наукометрический

Выводы

Недавно был начат процесс монетизации оценки результатов научной деятельности и возникла потребность в методиках количественной и сопоставимой оценки эффективности и качества работы ученого.

Появились многочисленные методики материального поощрения за эти результаты. Общим для всех этих методик является завешенная роль индекса Хирша. Сам по себе этот индекс вполне обоснован. Однако в связи с практикой применения индекса Хирша в наших условиях в сознании научного сообщества возникла своеобразная мания, которую автор предлагает называть «Хиршамания». Эта мания характеризуется повышенным нездоровым интересом к самому значению индекса Хирша, особенно к искусственному неадекватному преувеличению этого значения, а также рядом негативных последствий этого интереса.

В данной работе делается попытка кратко описать некоторые негативные последствия этой новой психической инфекции, поразившей общественное сознание научного сообщества. А также наметить пути преодоления хотя бы некоторых причин их возникновения. В этом и состоит проблема, решаемая в данной работе. Для решения сформулированной проблемы предлагается применить многокритериальный подход, основанный на теории информации, а именно тот его вариант, который реализован в автоматизированном системно-когнитивном анализе (АСК-анализ) и его программном инструментарии - интеллектуальной системе «Эйдос».

Литература

1. Ричард Броди. Психические вирусы. Методическое пособие для слушателей курса. «Современные психотехнологии». Москва, 2002, 192 стр.

2. Луценко Е.В. Тотальная ложь как стратегическое информационное оружие общества периода глобализации и дополненной реальности (применим ли в современном обществе принцип наблюдаемости как критерий реальности) / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) (Электронный ресурс). - Краснодар: КубГАУ, 2014. - №07(101). С. 1411 - 1429. - IDA (article ID): 12445,188 у. п. л.

3. Луценко Е.В. Синтез и верификация многокритериальной системно-когнитивной модели университетского рейтинга Гардиан и ее применение для сопоставимой оценки эффективности российских вузов с учетом направления подготовки / Луценко Е.В. // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) (Электронный ресурс). - Краснодар: КубГАУ, 2015. - №03(107). - IDA (article ID): 1071503875 у. п. л.