Методика оценки результатов научной деятельности НИИ в рамках цифровой платформы научно-образовательных ресурсов

Размещено на http://www.allbest.ru/

19

МЕТОДИКА ОЦЕНКИ РЕЗУЛЬТАТОВ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ НИИ В РАМКАХ ЦИФРОВОЙ ПЛАТФОРМЫ НАУЧНО-ОБРАЗОВАТЕЛЬНЫХ РЕСУРСОВ

Меденников В.И.

д.т.н., с.н.с., в.н.с., Вычислительный центр ФИЦ «Информатика и управление» РАН

Как следует из [1] цифровая экономика должна увеличить к 2025 году ВВП России на 8,9 трлн. руб. В исследовании же аналитической компании McKinsey [2] говорится, что к 2025 году ВВП России может увеличиться за счет дальнейшей цифровизации экономики на 4,1-8,9 трлн. руб. Цифровизация обеспечит от 19 до 34% роста ВВП России, а сама доля цифровой экономики может составить 8-10% в ВВП, оценили в McKinsey. «Сейчас доля цифровой экономики в ВВП России составляет 3,9%, что в 2-3 раза ниже, чем у стран-лидеров -- США, Сингапура и Израиля».

Таким образом, видно, что Программа по цифровой экономике по масштабам сравнима с космической программой, что подразумевает необходимость утверждения единого генерального конструктора (архитектора) программы ЦЭ с соответствующим научным и технологическим сопровождением, подобно Королеву С.П. в космической отрасли. Однако мы этого не наблюдаем, мероприятия по выполнению программы по цифровой экономике размыты по множеству организаций без разработки соответствующей согласованной архитекторы, в частности, единых онтологических моделей деятельности различных отраслей. Хотя попытки в этом направлении предпринимались. Например, В АСИ 18.02.2018 г. по инициативе администрации Президента была проведена даже специальная стратсессия по онтологическому моделированию различных отраслей, увенчавшаяся полной неудачей [3].

Анализ цифровых платформ (ЦП), анонсированных в Программе цифровой экономики, указывает на отсутствие, пожалуй, одной из основных - ЦП информационных научно-образовательных ресурсов (ИНОР), в частности научных. При этом руководство страны никаких требований к науке в этом направлении не предъявляет. Хотя, очевидно, что научно-обоснованное формирование информационного пространства этих ресурсов выполняет триединую роль.

1. Информатизация самой науки. Здесь формирование информационного Интернет-пространства научных ресурсов необходимо в связи с экспоненциальным ростом объемов информации в науке, появившейся возможностью создания новых информационных технологий, обеспечивающих эффективность извлечения необходимых знаний. Информационные технологии, прежде всего, на основе Интернет, дали науке качественно новые возможности для широкого обмена идеями между учеными и информационными научными ресурсами и их цифрового взаимодействия.

2. Информационные технологии способны выполнить функции стимулирования научно-технического прогресса лишь при условии определенного уровня интеллектуального потенциала общества, в формировании которого ключевую роль играет система образования. В процессе трансформации научных знаний в образовательные опять же большую роль играют ИКТ. Например, в [4] на основе теории комплементарности было показано, что вложения в ИКТ более эффективны, когда высок уровень двух других комплементарных активов - организационного и человеческого капиталов. То есть инвестиции в ИКТ связаны со значительными затратами на изменение организационного и человеческого капиталов, связанного с образованием.

3. Информационное Интернет-пространство научных ресурсов обеспечивает эффективную систему трансфера научных знаний в экономику, способствует разработке научных концепций ЦЭ, ее цифровых платформ, научное сопровождение, мониторинг процесса цифровизации страны, отраслей, предприятий, территориальных образований, общества. Так, производство в неявном виде высказывает свои требования к необходимости формирования информационного Интернет-пространства научных ресурсов. При обследовании сельскохозяйственных организаций по эффективности деятельности информационно-консультационной службы один фермер высказался так: «Я бы хотел такую систему, в которой мог быстро найти, например, разработку в виде средства борьбы с какой-либо болезнью растений, животного, потом получить тут же все публикации, всех консультантов, нормативно-правовую информацию, дистанционное обучение на эту тему. Потом в соответствующей БД найти нужного поставщика препарата с минимизацией затрат на приобретение и доставку».

Вследствие отстранения государством РАН от научного обеспечения процесса цифровизации экономики и общества и в результате проведенных реформ в экономике в настоящее время товаропроизводителю трудно найти разработки, публикации, прочую информацию по проблемам экономики, поскольку старая система распространения инноваций на бумажных носителях была разрушена, а новая на электронных - не создана. В то же время технологическое обновление экономики, идущее с Запада, показывает, что товаропроизводителю необходим значительно больший «ассортимент» научной продукции, чем государство может предоставить на основе создаваемых БД: «Единая государственная информационная система учета результатов научно-исследовательских, опытно-конструкторских и технологических работ гражданского назначения (ЕГИСУ НИОКТР)», БД Федерального института промышленной собственности (патентные документы, товарные знаки, промышленные образцы, программы для ЭВМ, БД и топологии интегральных микросхем), E-library.ru, а также ряд других имеют довольно узкое целевое назначение, соответственно, специфическую аудиторию. Думается, что ни один фермер ни разу не зашел в эти БД.

В этой ситуации почти единственным источником, из которого могут черпать проверенные наукой знания - это сайты НИИ и вузов. Поэтому в настоящее время научные исследования, направленные на формирование научно-образовательной цифровой платформы, на анализ состояния, форм представления информационных научных ресурсов в Интернет-пространстве, изучение взаимодействия информационных научных ресурсов с прочими факторами с точки зрения экономического роста и определение оптимальной политики правительства в области цифровой экономики (ЦЭ), особенно в области эффективности использования их с оценкой результатов научной деятельности НИИ, являются актуальными.

Анализ сайтов НИИ, вузов, информационно-консультационных служб АПК позволил выделить семь видов научных информационных ресурсов, присутствующих в том или ином виде на этих сайтах: разработки, публикации, консультационная деятельность, нормативно-правовая информация, дистанционное обучение, пакеты прикладных программ (ППП), БД. Именно данные виды представления научных знаний наиболее востребованы в экономике АПК [5].

В [6] на основе оригинального определения ЦП путем моделирования цифровых платформ выделены две базовые платформы: производственная, отражающая экономические отношения, и научно-образовательная, отражающая интеграцию информационных научных и научно-образовательных ресурсов в Интернет-пространстве в виде единого информационного Интернет-пространства научно-образовательных ресурсов (ЕИИПНОР), представляющее интеграцию в единой базе данных (БД) в некотором облаке у провайдера информации как раз о разработках, публикациях, консультационной деятельности, нормативно-правовой информации, дистанционном обучении, пакетах прикладных программ, базах данных, разработанных НИИ РАН, вузами, предприятиями и другими организациями, имеющими эти семь видов представлений научных знаний. ЕИИПНОР должно стать главным фактором ускорения приобретения и практического использования полученных наукой знаний [7, 8].

Идея ЕИИПНОР много лет витает в воздухе. С одной стороны, уровень ИКТ, достигнутый к настоящему времени, позволяет перейти к технологиям ЕИИПНОР, с другой стороны, требования, предъявляемые к сайтам вузов Минобрнауки, Рособрнадзором России, отраслевыми министерствами для оценки деятельности образовательных учреждений, вынуждают эти сайты становиться все более похожими друг на друга. Недалек тот день, когда вузы должны перейти на типовые сайты. А это уже первый шаг к созданию ЕИИПНОР. При внедрении типовых сайтов в вузах и НИИ и их интеграции с данным пространством ИНОР автоматически попадали бы туда.

Правда, если требования федеральных органов власти подталкивают, хотя и бессистемно, вузы к переходу на типовые сайты, ничего подобного для НИИ не наблюдается в принципе. Более того, исследования показали, что проходящая в настоящее время реструктуризация научно-исследовательских организаций в некоторых случаях оказывает отрицательное воздействие на состояние их сайтов. Объединяющие под своим научным руководством ФИЦ и ФНЦ, в лучшем случае, поддерживают свои прежние сайты, на которых лишь располагают краткую информацию о присоединившихся НИИ (руководство, структура, контакты). Сайты присоединившихся НИИ чаще всего не поддерживаются или вообще ликвидируются, а находящаяся на них информация о публикациях, научных разработках и т.д. не переносится на сайты головных организаций. В результате ценная информация о научно-исследовательской деятельности НИУ не доходит до потребителя.

В качестве примера интеграции научных ресурсов в виде публикаций можно привести проект RePec (Research Papers in Economics), характеризующийся системным подходом, дающим возможность свободного доступа в мировой сети к информационным ресурсам научных работ по экономике, публикуемых в мире [9].

RePec (научные публикации по экономике) - проект, основанный на совместной работе сотен волонтеров из 93 стран для расширения распространения исследований в области экономики и смежных наук. Центром проекта является децентрализованная библиографическая база данных научных трудов, отчетов, документов, журнальных статей, книг, глав книг и программных продуктов, выходящих по всему миру. RePec можно назвать единым информационным пространством по экономическим исследованиям в мировом масштабе.

В настоящее время RePec является самой большой в мире онлайновой коллекцией рабочих документов, журнальных статей и программных продуктов по экономике. Здесь же собраны базы данных по организациям и авторам в области экономики. О востребованности такого проекта говорит тот факт, что только в сентябре 2017 года пользователями было загружено 441 497 файлов документов и просмотрено 1 657 039 аннотаций, а всего с января 1998 года загружено 97 933 110 файлов и просмотрено 393 736 069 аннотаций.

В случае оценки всей совокупности информационных ресурсов желательно иметь возможность сравнивать различные виды информации, получать если не единую меру, то хотя бы сопоставимые оценки полезности различных информационных ресурсов для производственной или иной системы, с тем чтобы распределять средства на информационное обеспечение более рационально. Поэтому хранение информационных ресурсов в базах данных ЕИИПНОР в некотором однородном виде за счет онтологического моделирования их, использования единого словаря параметров, форматов записи и представления данных и стандартизованной системы классификаторов позволит разработать типовую методику оценки эффективности использования информационных ресурсов, позволяющую использовать ее в автоматическом режиме.

Такой подход позволяет разработать и методику оценки результатов научной деятельности НИИ. Полученные таким образом оценки позволят рассчитать рейтинги их, влияние НИИ на экономику регионов.

Кроме семи видов представления научных знаний на сайтах все чаще появляется информация об электронной торговой площадке и электронной бирже труда, представленных также в гетерогенной форме, от простейших досок объявлений до полноценных площадок и бирж.

Методика оценки результатов научной деятельности НИИ была разработана на основе анализа состояния и объемов информационных ресурсов на сайтах аграрных вузов.

Для разработки методики был проведен мониторинг и анализ всех информационных ресурсов на соответствующих сайтах, влияющих на результат научной деятельности, с использованием разработанной оригинальной системы показателей. В соответствующей анкете отражены 79 показателей деятельности НИИ [10].

При разработке методики учитывались современные тенденции развития Интернет-технологий, когда провайдеры начинают предоставлять услуги по хранению контента сайтов в мощных системах управления базами данных (СУБД). Информационные ресурсы при этом могут храниться, с одной стороны, в виде каталогов, либо в виде полноформатного электронного представления, с другой стороны, в виде неупорядоченного списка, либо в виде упорядоченного электронного представления (с возможностью навигации, например, на основе СУБД по тематической рубрикации ГРНТИ, авторам, организациям, ключевым словам и т.д.).

Кроме того, в методику были включены пять показателей публикационной активности НИИ за пять лет по данным ELIBRARY, учитывая рост популярности оценки деятельности НИИ на базе публикационной активности, а также девять показателей оценки сайтов методами сайтометрии (webometrics), поскольку сайт НИИ, отчасти, предназначен для формирования целостного имиджа и привлекательной репутации его. В современной жизни, в условиях жесткой конкуренции во всех сферах деятельности общества имидж и престиж играют важную роль, в том числе и на инновационном рынке.

Общий критерий оценки результатов научной деятельности конкретного НИИ определен как сумма взвешенных групп, общая сумма весов которых равна 1, следующих частных критериев: оценки видов представления информационных научных ресурсов, оценки методами сайтометрии, оценки по состоянию электронной торговой площадки, оценки по состоянию электронной биржи труда, оценки по показателям публикационной активности НИИ.

Значения весов показателей критериев оценки определены на основе экспертных оценок, анкетирования преподавателей РГАУ-МСХА им. К.А. Тимирязева, значений этих весов, полученных в предыдущих исследованиях [11, 12].

Математическое описание методики

i - код уровня интеграции научных ИР, (таблица 1);

- код формы хранения научных ИР, (таблица 2);

n - код вида представления научных ИР, (таблица 3);

m - номер НИИ, ;

h - код показателя публикационной активности НИИ, (таблица 8);

- частный критерий оценки результатов научной деятельности m-го НИИ по j- му показателю, (таблица 4);

- общий критерий оценки результатов научной деятельности m-го НИИ;

- вес значения показателя i-го уровня интеграции научных ИР;

- вес значения показателя -й формы хранения научных ИР;

- вес значения показателя n-го вида представления научных информационных ресурсов;

- вес значения критерия оценки результатов научной деятельности по j- му показателю (таблица 4);

- объем ИР i-го уровня интеграции, - ой формы хранения, n-го вида представления m-го НИИ;

- значение критерия оценки ИР i-го уровня интеграции, - ой формы хранения, n-го вида представления m-го НИИ;

=;

- объем r-го показателя оценки сайта методами сайтометрии m-го НИУ, (таблица 5);

- значение r-го показателя критерия оценки сайта методами сайтометрии m-го НИУ;

- вес значения r-го показателя критерия оценки сайта методами сайтометрии (таблица 5);

=;

- значение s-го показателя критерия оценки сайта по состоянию электронной торговой площадки m-го НИУ (таблица 6);

- вес значения s-го показателя критерия оценки сайта по состоянию электронной торговой площадки (таблица 6);

- значение g-го показателя критерия оценки сайта по состоянию электронной биржи труда m-го НИУ (таблица 7);

- вес значения g-го показателя критерия оценки сайта по состоянию электронной биржи труда (таблица 7);

- объем h-го показателя публикационной активности m-го НИУ (таблица 8);

- значение h-го показателя публикационной активности m-го НИУ;

- вес значения h-го показателя публикационной активности m-го НИУ (таблица 8);

=;

Тогда: = , где , , , , .

Ниже определены следующие значения параметров методики.

Таблица 1 Показатели уровня интеграции ИР

Таблица 2 Показатели форм хранения ИР

Таблица 3 Показатели видов представления научных ИР

Таблица 4 Показатели видов представления групп ИР

Таблица 5 Показатели критерия оценки методами сайтометрии

Таблица 6 Показатели критерия оценки по состоянию электронной торговой площадки

Таблица 7 Показатели критерия оценки по состоянию электронной биржи труда

Таблица 8 Показатели критерия оценки по публикационной активности НИИ

Анализ результатов расчетов

По данным, размещенным еще на сайте ФАНО, к началу 2018 г. в сфере сельского хозяйства функционировало 191 научно-исследовательское учреждение. Согласно проведенному исследованию из них 185 НИИ имели и поддерживали сайты. Был проведен мониторинг содержимого этих сайтов в соответствии с анкетой (79 показателей)

По результатам проведённого общего анализа можно сделать следующие выводы. В целом полнота сайтов очень низкая и очень далека от оптимальной, в среднем на сайтах присутствует чуть более пятой части (21,4%) всей необходимой информации. У четырех сайтов, составляющих группу лидеров, полнота чуть больше 30%.

Таблица 9 Полнота показателей обследования по группам показателей

Для оценки результатов научной деятельности и их рейтингов методами сайтометрии был проведен анализ сайтов программой Site Auditor (https://www.site-auditor.ru/).

Расчеты показали, что первое место со значительным отрывом занял Всероссийский институт аграрных проблем и информатики имени А.А. Никонова. На втором месте - Почвенный институт имени В.В. Докучаева. На третьем - Всероссийский институт генетических ресурсов растений имени Н.И. Вавилова. В таблица 10 приведены данные первых 10 НИИ.

Таблица 10 Оценки и рейтинги сайтов НИИ

При этом 13 сайтов оказались невидимы для программы Site Auditor. Например, сайт Белгородского научно-исследовательского института сельского хозяйства, что очень удивительно, учитывая уровень развития сельского хозяйства в Белгородской области.

Для оценки результатов научной деятельности и их рейтингов методами публикационной активности был проведен анализ наличия информации о НИИ в Российском индексе научного цитирования (https://elibrary.ru/). Расчеты показали: первые места со значительным отрывом, заняли ВНИИ экономики сельского хозяйства (оценка - 1,0), Всероссийский институт аграрных проблем и информатики имени А.А. Никонова (оценка - 0,97) и ВНИИОПТУСХ (оценка - 0,78). Три последних места: Сахалинский НИИСХ (оценка - 0,07), Дальневосточный НИИ механизации и электрификации сельского хозяйства (оценка - 0,05), Дальневосточный зональный научно-исследовательский ветеринарный институт (оценка - 0,04). По Ингушскому НИИСХ вообще нулевая оценка. Окончательные результаты расчётов первых 10 НИУ представлены в таблице 11.

Таблица 11 Рейтинги и оценки методами публикационной активности

Результаты расчетов оценки результатов научной деятельности показывают следующее. Первые места со значительным отрывом заняли ВНИИ экономики сельского хозяйства (оценка - 1,0), ВНИТИ птицеводства (оценка - 0,73) и НИИ садоводства Сибири имени М.А. Лисавенко (оценка - 0,71). При этом 40 НИИ получили нулевую оценку. Подробней можно посмотреть в [10].

Результаты расчётов первых 10 НИИ представлены в таблица 12, где под номерами столбцов понимаются следующие показатели: 1 - разработки, 2 - публикации, 3- базы данных, 4 - ППП, 5 - дистанционное обучение, 6 - консультации, 7 - нормативно-правовая информация, 8 - общая частная оценка/рейтинги.

Таблица 12 Частные оценки результатов научной деятельности

Анализ состояния электронной торговой площадки показал: у 94 НИИ были обнаружены таковые в виде неструктурированной доски объявлений и лишь у шести в виде структурированной доски объявлений. Более продвинутых электронных торговых площадок не нашлось. Соответственно, пять лучших НИИ: ВНИИ кукурузы (оценка - 1,0, место - 1), ВНИТИ птицеводства (оценка - 0,67, место - 4), НИИ садоводства Сибири имени М.А. Лисавенко (оценка - 0,67, место - 4), Сибирский физико-технический институт аграрных проблем (оценка - 0,67, место - 4), ФНЦ имени И.В. Мичурина (оценка - 0,67, место - 4).

Анализ состояния электронной биржи показал следующие данные: у 29 НИИ были обнаружены таковые в виде неструктурированной доски объявлений и лишь у трех в виде структурированной доски объявлений. Более продвинутых электронных бирж труда не нашлось. Соответственно, три лучших НИИ: ВНИТИ птицеводства (оценка - 1,0, место - 2), Тульский НИИСХ (оценка - 1,0, место - 2), Донской ЗНИИСХ (оценка - 1,0, место - 2).

В результате расчетов частных оценок результатов научной деятельности и частных рейтингов НИИ были получены общие оценки и рейтинги (таблица 13).

Таблица 13 Частные и общие оценки результатов научной деятельности и рейтинги сельскохозяйственных НИИ

Для стимулирования совершенствования трансфера научных знаний в экономику в дальнейшем необходимо включить в методику оценки результатов научной деятельности показатель, отражающий взаимосвязь полученного выше рейтинга НИИ и ряда региональных рейтингов, характеризующих их экономическое положение. В качестве таких региональных рейтингов можно использовать следующие: рейтинг регионов по уровню зарплаты в сельском хозяйстве (торгово-информационная система "Agro2b"), рейтинг регионов по уровню жизни (деловой еженедельник "Профиль"), рейтинг регионов по социально-экономическому уровню (агентство "Credinform"), рейтинг по устойчивому развитию регионов (рейтинговое агентство "Интерфакс"), рейтинг социально-экономического положения регионов (рейтинговое агентство "РИА Рейтинг"), рейтинг регионов по производству сельскохозяйственных продуктов (издание "Ежедневные новости Владивостока").

Тогда интегральная оценка результатов научной деятельности m-го НИИ, находящегося в t - ом регионе определим следующим образом = + , где - k - ый региональный рейтинг (в %) в t - ом регионе, - общий рейтинг m-го НИИ, находящегося в t - ом регионе, V - количество региональных рейтингов, и положительные числа, отражающие веса слагаемых, + =1.

А пока применение двух наиболее известных статистических методов: расчет попарных связей между рангами (коэффициентов корреляции Спирмена) и вычисление коэффициента конкордации Кендалла показало слабую степень согласованности рейтингов, рассмотренных выше [10, 13], что лишний раз подтверждает результаты исследования, приведенные в первой части статьи.

цифровая экономика показатель публикационная активность

Список литературы и источников

1.https://twitter.com/ru_rbc/status/882564434698305537/

2.http://www.rbc.ru/technology_and_media/05/07/2017/595cbefa9a7947374ff375d4?from=main/

3.Стратегическая проектная сессия. - http://onto.digital-economy.ru/

4.Bresnahan T., Greenstein Sh. The Economic Contribution of Information Technology: Towards Comparative and User Study // Journal of Evolutionary Economics. 2001. - Vol. 11, N 1.

5.Меденников В.И., Муратова Л.Г., Сальников С.Г. Модели и методы формирования единого информационного Интернет-пространства аграрных знаний. - М.: Издательство ГУЗ, 2014.

6.Меденников В.И. Математическая модель формирования цифровых платформ управления экономикой страны // Цифровая экономика. 2019, № 1. - С. 25-35.

7.Меденников В.И., Горбачев М.И., Сальников С.Г. Анализ влияния научно-образовательных ресурсов на социально-экономическое положение регионов // Информатизация образования и науки. 2018. - № 1(37). - С. 154-171.

8.Зацаринный А.А. Цифровая платформа для научных исследований // Материалы Международной научной конференции Математическое моделирование и информационные технологии в инженерных и бизнес-приложениях”. Воронеж, 3-6 сентября 2018. - С. 104-113.

9.http://repec.inecon.org/

10.Меденников В.И., Сальников С.Г., Личман А.А. и др. Эффективность использования информационных Интернет-ресурсов научно-исследовательских учреждений аграрного направления. - М.: Аналитик, 2018.

11.Меденников В.И., Сальников С.Г., Личман А.А., Муратова Л.Г., Горбачев М.И., Тухина Н.Ю. Методика оценки эффективности использования информационных научно-образовательных ресурсов. - М.: Аналитик, 2017.

12.Меденников В.И., Муратова Л.Г., Сальников С.Г. и др. Методика оценки эффективности использования информационного ресурса информационно-консультационной службой (ИКС). - М.: Аналитик, 2016.

13.Айвазян С.А. Теория вероятностей и прикладная статистика. - М.: ЮНИТИ-ДАНА, 2001.

Размещено на Allbest.ru