Оценка интеллектуального капитала российских вузов и научных учреждений

Размещено на http://www.allbest.ru/

Оценка интеллектуального капитала российских вузов и научных учреждений

А.Ю. Оборский, А.Н. Амерсланова

Финансовый университет, Москва, Россия



Аннотация

В настоящее время роль и значение науки существенно возрастают, все большее внимание уделяется наукометрическим показателям в оценке научной деятельности на всех этапах процесса управления наукой, возрастают расходы на научную деятельность. Проблемы оценки интеллектуального капитала всегда находились в зоне особого внимания российских научных и иных организаций, в том числе вузов, занимающихся научной деятельностью - научных учреждений. Указ Президента Российской Федерации от 07.05.2018 № 204 «О национальных целях и стратегических задачах развития Российской Федерации на период до 2024 года» утверждает данные тенденции на государственном уровне. Поэтому возникла задача разработки системы количественных и качественных показателей оценки эффективности работы научных организаций в целях организации их продуктивной работы, повышения их вклада в развитие государства, престижа науки. Выявлены с применением методов сравнительного анализа и эмпирического исследования внешние и внутренние факторы, определяющие необходимость объективной оценки интеллектуального капитала, проанализированы основные используемые показатели оценки, источники информации, их особенности. Предложенная система универсальных критериев, объективных и субъективных показателей оценки деятельности научных учреждений становится базой как для общей комплексной оценки, так и основой для отраслевых критериев.

Ключевые слова: интеллектуальный капитал; научные учреждения; рейтинг; вуз; оценка университетов; национальный рейтинг; международный рейтинг



Abstract

The Assessment of Russian Scientific institutions' intellectual Capital

A. Yu. Oborskii, A. N. Amerslanova

Financial University, Moscow, Russia

At present, the role and importance of science is increasing significantly, more and more attention is being paid to scientometric indicators in assessing scientific activity at all stages of the science management process, and the cost of scientific activity is increasing. The problems of assessing intellectual capital have always been in the area of special attention in Russian scientific and other organizations, including universities engaged in scientific activities - scientific institutions. The decree of the President of the Russian Federation from 07.05.2018 No. 204 “National goals and strategic objectives of the development of the Russian Federation for the period until 2024” approves these trends at the state level. Therefore, the task arose of developing a system of quantitative and qualitative indicators for assessing the effectiveness of scientific organizations in order to organize their productive work, increase their contribution to the development of the state, and increase the prestige of science. The external and internal factors determining the need for an objective assessment of intellectual capital are identified using the methods of comparative analysis, empirical research; the main indicators, the sources of information and their features have been analyzed. The proposed system of universal criteria, objective and subjective indicators for assessing the activities of scientific institutions, is becoming the foundation for both a comprehensive assessment and the basis for industry criteria.

Keywords: intellectual capital; scientific institutions; assessment of scientific activity; rating; university; national rating; international rating



Введение

Большинством ученых и специалистов признается, что движущей силой экономического развития любого государства на современном этапе является интеллектуализация производства на основе внедрения научно-технических достижений. При этом должна органически соблюдаться взаимосвязь между наукой, организацией производства и инвестиционной деятельностью, а учитывая возрастающие расходы на научную деятельность, актуализируется проблема разработки наукометрических показателей для всех этапов управления наукой.

Общеизвестно, что огромный интерес у специалистов и научных работников (уже с начала 60-х гг. XX в., когда в научный оборот впервые было введено понятие интеллектуального капитала) вызывали факторы, определяющие качество интеллектуального капитала и возможности его эффективного роста [1].

Президент Российской Федерации поставил задачу «обеспечения присутствия Российской Федерации в числе пяти ведущих стран мира, осуществляющих научные исследования и разработки в областях, определяемых приоритетами научно-технологического развития» Указ Президента Российской Федерации от 07.05.2018 № 204 «О национальных целях и стратегических задачах развития Российской Федерации на период до 2024 года». URL: / (дата обращения: 09.10.2018).. Закрепление этой важнейшей общенациональной задачи Указом показывает возросшую роль знания человека в создании стоимости капитала современной организации. Для достижения поставленной цели необходимо четкое понимание системы, определения количественных и качественных показателей оценки результативности, продуктивности и эффективности деятельности научных и иных организаций, в том числе вузов, занятых научной деятельностью (далее -- научные учреждения), с намерением повышения их вклада в развитие государства и престижа науки [2].

Профессор-консультант шведского университета Л. Эдвинссон, научные интересы которого лежат в области интеллектуального капитала и научных знаний, рассматривает интеллектуальный капитал как особое соединение человеческого капитала (реальные и потенциальные интеллектуальные способности, практические навыки работников организации) и структурного капитала (составляющие капитала учреждения, задаваемые такими специфическими факторами, как: связи с потребителями, бизнес-процессы, базы данных, бренды и IT-системы), а также как способность трансформировать знания и нематериальные активы в факторы (ресурсы), создающие богатство (и соответствующую стоимость) за счет особого эффекта от «умножения» человеческого капитала на структурный капитал [3].

Таким образом, интеллектуальный капитал состоит из структурного капитала и человеческого капитала, учитывает возможность будущих доходов с точки зрения вклада человека, его способности постоянно создавать и порождать еще большую стоимость (данная модель Skandia Value Scheme была разработана Л. Эдвинссоном для шведской страховой компании Skandia) [4].



Методы и результаты исследования

Методология исследования позиций, отраженных в данной статье, основана на применении общенаучных подходов (системный, комплексный, универсально-эволюционный, информационный), позволяющих осуществить междисциплинарный анализ оценки деятельности научных организаций России.

Современные тенденции развития науки свидетельствуют, что все большую роль в ее развитии играют университеты, чья научная составляющая развивается быстрыми темпами. Оценка эффективности деятельности организаций, выполняющих исследования и разработки и финансируемых из бюджетных источников, уже долгие годы является предметом споров научной общественности и государственных регуляторов.

Международные и национальные рейтинги являются одним из популярных механизмов оценки научных учреждений. Популярность рейтингов и их количество ежегодно растет. Подтверждением тому является то, что, например, сейчас уже 60 рейтингов из 35 стран мира (два из которых российские: «Российский рейтинг университетов Эксперт РА» и «Национальный рейтинг университетов», выпускаемый агентством «Интерфакс») одобрены IREG (Observatory on Academic Ranking and Excellence -- Международной обсерватория по академическому ранжированию и превосходству).

На сегодняшний день рейтинги выступают важнейшим критерием оценки интеллектуального капитала университетов. Рейтинговые агентства по всему миру пытаются создать универсальный инструмент сравнения университетов. Однако единые способы сравнения не могут в полной мере учесть экономико-географическую специфику университетов, стратегии их развития, преследуемые цели и задачи, ориентацию на ступени образования (бакалавриат, магистратура, аспирантура) и т.д. Вследствие этого практически все ведущие международные рейтинговые агентства в последнее десятилетие стремятся совершенствовать свою методологию, расширять спектр предметных рейтингов, вводить новые рейтинги в рамках существующих рейтинговых систем.

В таблице приведены примеры основных групп рейтингов вузов, объединенных по разным признакам.

Рассмотрим показатели, используемые в данных рейтингах, более подробно. Интеллектуальный капитал международных рейтингов, таких как OS World University Ranking, THE World University Rankings, U.S. News Best Global Universities Rankings, RUR Ranking, SCImago Institutions Rankings оценивается, прежде всего, следующими показателями:

• академическая репутация университета среди представителей академического сообщества;

• репутация среди работодателей;

• количество цитирований в библиометрических базах данных Scopus и Web of science на одного сотрудника университета.

Рейтинги Academic Ranking of World Universities и HEEACT не используют в своей методологии такие субъективные показатели, как оценку учреждения академическими экспертами и экспертами из числа работодателей, а оценивают университеты только по таким индикаторам, как:

• число статей, опубликованных в высокоэффективных журналах;

• число цитирований в Web of Science;

• индекс Хирша (HEEACT);

• количество сотрудников -- лауреатов Нобелевской или Филдсовской премии.

Основными источниками данных для мировых рейтингов являются библиометрические базы данных Scopus, Web of Science, результаты опросов академического сообщества и работодателей, данные WEB- сайтов и международных премий.

Отраслевые или предметные рейтинги имеют различные весовые доли для разных научных областей, но при этом применяют те же показатели, что и в общих и региональных рейтингах. Это могут быть такие индикаторы, как:

• число цитирований в Scopus и Web of Science (в предметном рейтинге ARWU ShanghaiRanking's Global Ranking of Academic Subjects задействуется аналитическая база данных InCites);

• индекс Хирша;

• академическая репутация;

•

• репутация работодателей;

• количество сотрудников, получивших значительную награду в отдельной предметной области;

• доход от исследовательской деятельности университета на одного НПР и т.д.

Национальные рейтинги при оценке деятельности вуза зачастую практикуют те же индикаторы, что и международные рейтинги:

• число цитирований в библиометрических базах данных Scopus и Web of Science, а также в других национальных наукометрических базах (например, российский рейтинг «Социальный навигатор» применяет базу данных РИНЦ);

• индекс Хирша (используется, например, польским рейтингом Perspektywy University Ranking);

• академическая репутация и репутация работодателей (данные опроса академических кругов, научного сообщества и работодателей осуществляет на практике российский рейтинг «Эксперт РА»).

Однако существуют показатели, которые востребованы многими международными рейтингами. Например, «Эксперт РА» и Complete University Guide, The Guardian University Guide используют в методологии такой индикатор, как оценка вуза студентами и выпускниками, их удовлетворенность преподавательской деятельностью и качеством знаний, приобретаемых в университете. В качестве источника информации «Эксперт РА» обращается к данным опросного листа для студентов и выпускников, а Complete University Guide -- данные Национального студенческого опроса (NSS).

Можно отметить и такие показатели, применяемые в методологии многих национальных рейтингов, как:

• вклад вуза в формирование научно-образовательной элиты страны («Интерфакс»);

• доля затрат на НИОКР в общем бюджете университета и Индекс вовлеченности обучающихся в НИОКР (CHE University Ranking, «Эксперт РА», Социальный навигатор);

• средний уровень зарплат выпускников вуза, их экономическая судьба («Эксперт РА», Perspektywy University Ranking);

• сотрудничество университета с высокотехнологичными компаниями («Интерфакс»).

Источниками данных для национальных рейтингов в этих случаях выступают результаты опросов студентов, абитуриентов, выпускников, академических экспертов и работодателей, а также данные официальных сайтов вузов, библиометрические базы данных международного и национального уровня.

Таблица / Table 1. Группы рейтингов университетов / University Ranking Groups

Группа / Group	Особенность, определяющая отнесение в данной группе / Feature defining assignment in this group	Примеры рейтингов / Rating Examples
Мировые рейтинги	Анализируют университеты всех стран	Academic Ranking of World Universities; QS World University Ranking; Times Higher Education World University Rankings; Webometrics; U. S. News Best Global Universities; Round University Ranking (RUR Ranking); CWTS Leiden Ranking; Три миссии университета; Higher Education Evaluation and Accreditation Council of Taiwan; SCImago Institutions Rankings
Региональные рейтинги	Анализируют университеты какого-либо одного/несколько регионов или стран со схожей экономикой	THE Asia University Rankings; THE Brics & Emerging Economies; OS Latin America; QS BRICS; OS EECA; QS Asia; OS Arab Region; Best Global Universities US News by region
Национальные рейтинги	Анализируют университеты одной конкретной страны	«Рейтинг вузов России» RAEX («Эксперт РА»); Национальный рейтинг университетов «Интерфакс»); «Социальный навигатор» МИА Россия сегодня; THE Japan University Rankings; The Complete University Guide, Maclean's Guide to Canadian Universities; CHE University Ranking; Perspektywy University Ranking
Отраслевые или предметные рейтинги	Анализируют университеты по отраслевым или предметным направлениям	OS by Faculty; ARWU-ShanghaiRanking's Global Ranking of Academic Subjects; THE World University Rankings by subject; Best Global Universities US News by subject; Perspektywy Fields of Study Ranking; Perspektywy Engineering Studies Ranking
Специальные рейтинги	Появляются как реакция на запрос определенных целевых групп или в ответ на критику уже существующих рейтингов	QS Graduate Employability Rankings; The Reuters Top 100 Most Innovative Universities; Chinese University Ranking (CUAA); Billionaire Ranking
Рейтинги, основанные на интегральном подходе	Оценивают университеты по набору показателей с приписываемыми им весовыми коэффициентами	ARWU; THE; QS; US News; Webometrics
Многофакторные рейтинги	Ранжируют университеты по различному набору индикаторов, которые выбираются пользователями	U-Multirank; CWTS Leiden Ranking

Источник/Source: составлено авторами на основе данных [5, с. 14-16] / developed by the author based on the data [5, p. 14-16].

Специальные рейтинги, как отмечено в таблице, являются своеобразной реакцией на запрос определенных целевых групп или в ответ на критику уже существующих рейтингов, поэтому чаще всего индикаторы у них совершенно разные. Например, рейтинг OS Graduate Employability использует при анализе индикаторы, по большей части связанные с взаимодействием университета с компаниями -- работодателями, а рейтинг Chinese University Ranking (CUAA) Billionaire Ranking основан на показателях количества миллиардеров университета или колледжа, в том числе его выпускников и преподавателей.

Методология многофакторных рейтингов отличается от предыдущих типов рейтинга прежде всего тем, что один и тот же показатель в них может быть ранжирован по-разному и с разными весами [6]. Так, в Лейденском рейтинге используются следующие индикаторы:

• количество и доля публикаций, входящих в 1% наиболее цитируемых публикаций в определенной научной области за определенный год;

• количество и доля публикаций, входящих в 10% наиболее цитируемых публикаций в определенной научной области за определенный год;

• количество и доля публикаций, входящих в 50% наиболее цитируемых публикаций в определенной научной области за определенный год;

• количество и доля публикаций, написанных авторами, где расстояние между их адресами не превышает 100 км;

• количество и доля публикаций, написанных авторами, где расстояние между их адресами не превышает 5000 км и т.д.

Следует отметить рейтинг U-Multirank для сравнения университетов с себе подобными и управляемый непосредственно самим пользователем, который самостоятельно выбирает ранжирование университета по тем показателям, которые можно сопоставить и которые представляют для него наибольший интерес. Рейтинг U-Multirank -- это прозрачный инструмент для многих стейкхолдеров заинтересованных сторон [7, с. 109], поскольку он:

• предоставляет студентам возможность идентифицировать программы обучения;

• оказывает помощь руководству университетов в стратегическом менеджменте;

• помогает политикам в развитии системы высшего образования и проведении исследовательской и инновационной политики;

• предоставляет общественности информацию в открытом доступе.

Таким образом, можно сказать, что научным показателям традиционно отводится львиная доля по количеству индикаторов и высокий весовой коэффициент. Также существуют специальные рейтинги, оценивающие, например, исключительно научную деятельность вузов и включающие только показатели национальной и международной активности университетов. Некоторые рейтинговые агентства используют обязательный пороговый критерий по количеству публикаций, индексируемых в Scopus или Web of Science как по накопленному итогу, так и по обязательному количеству публикаций за год. К участию в таком рейтинге допускаются только те научные учреждения, которые преодолевают установленное пороговое значение [8].

Основные источники данных для формирования рейтингов:

• формы федеральной статистической отчетности и публичные отчеты научных учреждений;

• результаты мониторингов;

• библиометрические и научно-аналитические международные и национальные базы (Scopus, Web of Science, InCites, РИНЦ);

• результаты опросов (академических экспертов, экспертов из числа работодателей, студентов, выпускников [9];

• анкеты, представляемые научными учреждениями по запросу организаторов рейтингов;

• данные из открытых источников об ученых и исследователях, получивших престижные и общественно-значимые премии и награды;

• официальные сайты научных учреждений и т.д.

Вес показателей научной активности в рейтингах научных учреждений обычно находится в диапазоне 40-100%.

Таким образом, можно выделить основные группы научных показателей. Они касаются в основном исследований и публикаций, инноваций, наград, финансов научных учреждений [10].

Исследования и публикации:

• число цитирований (в Scopus; Web of Science; в расчете на одного исследователя приведенного контингента; в расчете на количество публикаций; исходя из рейтингового фактора изданий; по отношению к среднему количеству цитирований публикаций того же типа и т.д.);

• количество публикаций [в Scopus; Web of Science; в расчете на одного исследователя приведенного контингента; проиндексированных в Science Citation Index--Expanded (SCIE) и Social Sciences Citation Index (PUB); исходя из рейтингового фактора изданий; из числа попадающих в определенный процент самых высокоцитируемых работ мира в отдельной научной области; из входящих в 1% наиболее цитируемых работ в общем количестве публикаций научного учреждения; написанных совместно с представителями работодателей в общем числе публикаций; написанных в соавторстве с зарубежными авторами от общего числа публикаций, от среднего числа авторов по стране и т.д.];

• индекс Хирша;

• количество книг, выпущенных университетом;

• количество высокоцитируемых исследователей;

• отношение защищенных диссертаций (PhD) к численности исследователей.

Инновации:

• число национальных и международных патентов, поддерживаемых научным учреждением;

• активность научного учреждения в создании технологических платформ, участие в проектах по инновационному развитию высокотехнологичных компаний;

• социальный эффект;

• данные опроса о мировой и региональной научной репутации научного учреждения;

• количество ссылок на наиболее цитируемых исследователей научного учреждения по данным Google Scholar Citations;

• количество ссылок с внешних ресурсов, создающих обратные ссылки на веб-страницы научного учреждения, рассчитываемых при помощи веб-инструментов Ahrefs и Majestic.

Награды:

• количество исследователей, получивших значительную награду в отдельной предметной области;

• количество сотрудников -- лауреатов Нобелевской премии и Премии Филдса.

• Финансы:

• расходы на исследования за год;

• доход от исследовательской деятельности научного учреждения на одного исследователя;

• объем финансирования сторонними организациями исследовательской деятельности научного учреждения на одного исследователя и т.д. [11].

Существуют некоторые особенности, связанные с показателями научной активности, такие как:

• чаще всего показатели публикационной активности берутся в расчет за 5 последних лет, предшествующих году выхода рейтинга;

• рассчитываются по отношению к количеству исследователей вуза;

• осуществляется нормализация индекса цитирования по отдельным предметным областям, так как

• присутствует значительная неравномерность продуктивности исследователей в различных науках [12];

• применяются корректирующие коэффициенты, зависящие от страны научного учреждения, языка публикации, общей научной продуктивности страны в отдельных науках;

• из системы подсчета исключаются публикации авторов с высоким количеством аффиляций, выше заданного в отдельной предметной области;

• как правило, исключается самоцитирование;

• различие в весах результатов опросов национальных и зарубежных академических экспертов и экспертов из числа работодателей. Больший вес обычно имеют голоса зарубежных экспертов.



Перспективы

Анализ показателей научной деятельности вузов, используемых при расчете как международных, так и национальных рейтингов, подтверждает, что оценка вуза невозможна без мониторинга показателей количества публикаций и цитирований в международных базах, включая совместные с зарубежными партнерами и представителями из числа потенциальных работодателей. Большой вес имеют результатам опроса мнений экспертного сообщества. Намного реже встречаются показатели вебометрической оценки, а также финансовая составляющая -- по доходам и расходам от научной деятельности [13].

Кроме показателей научной деятельности рейтинговые агентства при оценке вузов оценивают образовательную деятельность, международное сотрудничество, сотрудничество с работодателями, показатели заработной платы и трудоустройства и т.д. Что касается показателей образовательной деятельности вузов, то в большинстве рейтингов оцениваются следующие показатели: соотношение профессорско-преподавательского состава и общего количества студентов, удовлетворенность студентов преподавательской деятельностью или преподавательским составом, образовательная репутация университета [14, с. 15].

Предлагаемая система универсальных критериев, объективных и субъективных показателей оценки деятельности научных учреждений может быть базой как для общей комплексной оценки, так и основой для отраслевых критериев, позволяющих проводить анализ научных учреждений по отдельным направлениям.



Заключение

Анализ наиболее «популярных» показателей научной деятельности научных учреждений, используемых при формировании как международных, так и национальных рейтингов, показал, что оценка научных учреждений невозможна без мониторинга показателей количества публикаций и цитирований в международных базах, включая совместные с зарубежными партнерами и представителями из числа потенциальных работодателей. При этом большой вес имеют результаты опроса мнений экспертного сообщества.

Намного реже встречаются показатели вебометрической оценки, а также финансовая составляющая -- по доходам и расходам от научной деятельности. Вебометрический рейтинг, как правило, нацелен на развитие веб-публикаций в университете и дает адекватную оценку информационным ресурсам вуза, что свидетельствует о необходимости учета данных положений при формировании эффективной системы научных организаций, увеличении их вклада в социально-экономическое развитие страны и повышение эффективности принятия управленческих решений в сфере науки.

наука технический учреждение российский



Список источников

1. Лузин Н. А. Эволюция и теория интеллектуального капитала. Челябинский гуманитарий. 2013;23(2):21-29.

2. Glaser J., Laudel G. Governing science. European Journal of Sociology. 2016;57(01):117-168. DOI: 10.1017/S 0003975616000047

3. Miltiadis L., Edvinsson L., Ordonez P. The intellectual capital statements: Evolution and how to get started. Knowledge management strategies. A Handbook of Applied Technologies. 2018;(Jan.):1-34. DOI: 10.4018/978-1- 59904-603-7.ch002

4. Селиверстова О. В., Фролова Н. С. Интеллектуальный капитал вуза как один из компонентов образовательных услуг: международный опыт финансирования и развития научного потенциала высшей школы. Вестник евразийской науки. 2014;22(3):1-16.

5. Полихина Н. А., Тростянская И. Б. Рейтинги университетов: тенденции развития, методология, изменения. М.: ФГАНУ «Социоцентр»; 2018. 189 с. ISBN 978-5-9500528-4-2

6. Jonkers K. et al. Research performance based funding systems: A comparative assessment. Institute for Prospective Technological Studies, Joint Research Centre. 2016. (дата обращения: 02.09.2019).

7. Эскиндаров М. А., Булыга Р. П., Бариленко В. И., Ветрова И. Ф., Мельник М. В., Ефимова О. В. Оценка, контроль и управление интеллектуальным потенциалом исследовательского университета. Йошкар-Ола: СТРИНГ; 2011. 225 с. ISBN 978-5-91716-128-0

8. Гусев А. Б., Доронина Е. Г., Вершинин И. В., Малахов В. А. Мониторинг и оценка результатов научно-технической деятельности: зарубежный опыт и российская практика. Наука. Инновации. Образование. 2018;1(27):65-91.

9. Шаховский Р. А. Актуальные вопросы инновационного развития российских предприятий на современном развитии экономических отношений. Вестник СамГУПС. 2014;4(26):120-126.

10. Стронгин Р. Г. Черты нового. Н. Новгород: Изд-во ННГУ; 2006. 190 с.

11. Hicks D. Performance-based university research funding systems. Research policy. 2012;41(2):251-261.

12. Цыганов А. В. Краткое описание наукометрических показателей, основанных на цитируемости. Управление большими системами. 2013;(44):248-261.

13. Кулагин А. С. Оценка и самооценка научной организации. Инновации. 2011;10(156):20-25.

14. Эскиндаров М. А., Смитиенко Б. М., Ермакова С. М. Преподаватель -- основная фигура в реализации инновационной системы образования. М.: Финансовый университет; 2011. 280 с. ISBN 978-5-7942-0779-8



References

1. Luzin N. A. Evolution and theory of intellectual capital. Chelyabinskii gumanitarii. Chelyabinsk Humanities. 2013;23(2):21-29. (In Russ.).

2. Glaser J., Laudel G. Governing science. European Journal of Sociology. 2016; 57(01):117-168.

3. Miltiadis L., Edvinsson L., Ordonez P. The intellectual capital statements: Evolution and how to get started. Knowledge management strategies. A Handbook of Applied Technologies. 2018;(Jan.):1-34.

4. Seliverstova O. V., Frolova N. S. The intellectual capital of the university as one of the components of educational services: international experience in financing and developing the scientific potential of higher education. Vestnik evraziiskoi nauki. The Eurasian Scientific Journal. 2014;22(3):1-16. (In Russ.).

5. Polikhina N. A., Trostyanskaya I. B. University ratings: Development trends, methodology, changes. Moscow: FGANU “Sotsiotsentr”; 2018. 189 p.

6. Jonkers K. et al. Research performance based funding systems: A comparative assessment. Institute for Prospective Technological Studies, Joint Research Centre. 2016. (accessed on 02.09.2019).

7. Eskindarov M. A., Bulyga R. P., Barilenko V. I., Vetrova I. F., Mel'nik M.V., Efimova O. V. Assessment, control and management of the intellectual potential of a research university. Yoshkar-Ola: STRING; 2011. 220 p.

8. Gusev A. B., Doronina E. G., Vershinin I. V., Malakhov V. A. Monitoring and evaluation of the results of scientific and technical activities: Foreign experience and Russian practice. Nauka. Innovatsii. Obrazovanie. Science. Innovation Education. 2018;(27):65-91. (In Russ.).

9. Shakhovskii R. A. Actual issues of innovative development of Russian enterprises on the modern development of economic relations. Vestnik Sam GUPS = Bulletin of SSTU. 2014;4(26):120-126 (In Russ.).

10. Strongin R. G. Features of the new. Nizhny Novgorod: NNSU Publ.; 2006. 190 p. (In Russ.).

11. Hicks D. Performance-based university research funding systems. Research policy. 2012;41(2):251-261.

12. Tsyganov A. V. A brief description of citation based scientometric indicators. Upravlenie bol'shimi sistemami = Management of large systems. 2013;(44):248-261. (In Russ.).

13. Kulagin A. S. Assessment and self-assessment of a scientific organization. Innovacii. Innovation. 2011;10(156):20-25. (In Russ.).

14. Eskindarov M. A., Smitienko B. M., Ermakova S. M. The teacher is the main figure in the implementation of the innovative education system. Moscow: Financial University; 2011. 280 p. (In Russ.). ISBN 978-5-7942-0779-8

Размещено на Allbest.ru