Перспективы продвижения российских вузов в международном академическом рейтинге ARWU

Размещено на http://www.allbest.ru/

Перспективы продвижения российских вузов в международном академическом рейтинге ARWU

Ю.Н. Эбзеева,

Л.Н. Гишкаева

Аннотация

Статья посвящена методологии оценки учреждений высшего образования и перспективам их продвижения в системе рейтингов Academic Ranking of World Universities (ARWU). Актуальность исследования обусловлена новейшими тенденциями развития высшего образования в России и в мире - важным параметром оценки вузов становится их участие в международных системах рейтингов. Системы рейтингования дают возможность оценить весь объем аналитической информации по заявленным критериям в одном источнике, а также конкурентность заявленных данных по сравнению с иными организациями в конкретной области. Часто потенциальный абитуриент сталкивается со сложностями в сборе и оценке информации о вузе, который его интересует, поскольку образовательные организации могут умалчивать о своих слабых сторонах, не предоставлять всю информацию в открытом виде или публиковать сведения в разных источниках, которые не всегда легко найти стороннему, не принадлежащему к сообществу вуза человеку. Цель статьи - выявление и систематизация особенностей методологии оценки вузов в системе рейтингов ARWU, а также ее применение к субъектам российского высшего образования. В работе были использованы методы контент-анализа и сравнительно-сопоставительного анализа. Результатом стало выявление специфики рейтингования вузов в ARWU согласно заявленным экспертами критериям, а также оценка критики данной рейтинговой системы. Выявлены и проанализированы как позитивные, так и негативные тенденции развития методологии международного рейтинга ARWU. Разобрана система предметных рейтингов ARWU, проведен сравнительный анализ их методологии. Рассмотрены результаты рейтинга ARWU за 2021 год и участие в нем российских вузов - их перспективы и сложности.

Ключевые слова: Academic Ranking of World Universities (ARWU); методология; академический рейтинг; российские университеты; образовательная политика; образовательные технологии

Prospects for the promotion of Russian universities in the international academic ranking ARWU © Yu.N. Ebzeeva, L.N. Gishkaeva, 2022 The article was submitted on 18.11.2021. The article was accepted on 23.03.2022. образование высший рейтинг

Yu.N. Ebzeeva, L.N. Gishkaeva

Abstract

The article considers the methodology for assessing higher education institutions and prospects for their promotion in the Academic Ranking of World Universities (ARWU). The authors explain the focus of their research by the latest trends in the development of higher education in Russia and in the world; thus, universities positions in international ranking systems become an extremely important parameter for their evaluation. International ranking systems allow to evaluate the whole analytical information according to the criteria in one source, and to assess the competitiveness of the data in comparison with other evaluated organizations in the field. Often a potential student faces difficulty in collecting and evaluating information about the university he is interested in, because it hides its weaknesses, does not provide all information in the open form, or publishes information in various sources that are not easy to find for a person outside the academic community. The article aims at identifying and systematizing the features of the methodology for assessment universities in the ARWU, and at assessing its applicability for the subjects of the Russian higher education. The authors used content analysis and comparative analysis to examine the specifics of the ARWU assessing system according to the criteria provided by experts, and to consider the criticism of this ranking system. The authors identified and analyzed both positive and negative trends in the development of the ARWU methodology; examined the subject rankings of the ARWU system and compared their methodology. The article presents the results of the ARWU for 2021 focusing on the Russian universities, their prospects and difficulties.

Key words: Academic Ranking of World Universities (ARWU); methodology; academic ranking; Russian universities; education policy; education technologies

В последние годы рейтинги стали важным атрибутом глобального рынка образовательных услуг. И хотя ни один из них не может предложить объективной картины, нельзя не согласиться с тем, что этот инструмент сегодня формирует академическую реальность. Ученые и руководители в сфере образования проявляют большой интерес к системе рейтингов, поскольку методика измерения оказывает огромное влияние на результат, а он, в свою очередь, может определять благополучие университетов, распределение ресурсов, качество абитуриентов и т.д. [2].

Интерес к разработке методологии международных рейтингов университетов возрастает во всем мире, так как нет единой системы рейтингования. Методология мирового рейтинга постоянно совершенствуется - разные методики и индикаторы достижений стали неотъемлемым элементом глобальных рейтингов университетов. Научная деятельность и разработка новых технологий становятся все более важным направлением в работе вузов, в том числе в России. В то же время методология построения мировых рейтингов университетов постоянно подвержена критике из-за возможных смещений и отчасти реальных слабостей методологии рейтингов.

Методология академического рейтинга ARWU

Академический рейтинг мировых университетов ARWU, который часто называют "Шанхайский рейтинг", составляется Шанхайским университетом Цзяо Тун ежегодно с 2003 года [1]. С 2009 года ARWU ежегодно публикуется и охраняется авторским правом Shanghai Ranking Consultancy - организацией, специализирующейся на рейтинговании и аудиторской оценке вузов, которая юридически не подчиняется никаким образовательным или государственным учреждениям. В 2011 году для расширения методологии был создан международный совет из ученых и исследователей - видных представителей разных предметных областей. Сегодня ежегодно публикуются глобальные рейтинговые таблицы вузов в целом и по отдельным предметным областям, а также независимые региональные рейтинги для Китая и глобального мирового пространства [1].

ARWU получил положительные отзывы за объективность и методологию, но вызывает широкую критику со стороны академического сообщества за тенденцию оценивать крупные образовательные учреждения в ущерб небольшим образовательным организациям [2]. В настоящее время ARWU учитывает более 2000 мировых университетов, но публикует результаты лучшей тысячи вузов. Изначальной целью рейтинга считалось сокращение разрыва между китайскими вузами и университетами мирового класса, в частности, с точки зрения академической и научно-исследовательской деятельности. Очень рейтинг быстро привлек внимание широкой академической общественности, и теперь его результаты публикуются на сайтах университетов и считаются показателем престижа вуза.

Методология оценки ARWU строится на 4 основных показателях: качество образовательного учреждения, качество выпускающих структурных подразделений (факультетов), результаты научно-исследовательской деятельности и академические достижения (Табл. 1).

Таблица 1

Методология оценки ARWU

Каждый показатель имеет внутреннее ранжирование по баллам каждого критерия, что значительно усложняет систему расчетов. Так, критерий Alumni считает выпускниками вуза студентов, закончивших основную или совместную программу бакалавриата, магистратуры, аспирантуры или докторантуры и получивших соответствующую степень (в случае неудовлетворительной сдачи экзаменов диплом может выдаваться без присвоения степени, и такие студенты не считаются выпускниками). Стоимость баллов для выпускников 2011-2021 года составляет 100 %, выпускников 2001-2010 - 90 %, 19912000 - 80 %, а для получивших степень ранее - 10 % совокупно. Во избежание задвоения статистической информации выпускник считается закончившим вуз только один раз - по наивысшей освоенной ступени образования.

Критерий Award использует аналогичную систему оценки применительно к сотрудникам. Так, общее количество сотрудников вуза делится на количество сотрудников, получивших Нобелевскую премию или Медаль Филдса в той же пропорции, что и для учащихся: для получивших награду в 2011-2021 годах она составляет 100 %, в 2001-2010 - 90 %, 1991-2000 - 80 %, ранее - 10 % совокупно. Здесь не действует правило, распространяющееся на выпускников - награды засчитываются для учебного заведения столько раз, сколько сотрудник оказывался лауреатом. Если сотрудник аффилирован более чем с одним университетом, баллы присваиваются каждому учебному заведению. Если сотрудник получил награду в составе научного коллектива, количество присваиваемых баллов зависит от его доли участия.

Критерий HiCi зависит от публикуемых иным рейтинговым агентством (Thomson Reuters) списков цитирований мировых ученых. При этом список обновляется достаточно редко: первый вышел в 2001 году, второй - в 2014, выход третьего запланирован на 2025 год. ARWU учитывает данные обоих списков в равной степени. Несмотря на это, критерий HiCi - самый сложный для выполнения не только российскими, но и мировыми вузами, особенно "молодыми". Первый список содержит около 6000 имен исследователей, тогда как второй - всего 3000, повторяя многие имена из списка 2001 года.

Для критерия N&S также принято рассчитывать внутреннее распределение баллов. Помимо того, что в критерии учитываются только публикации типа "Article" (статья), количество баллов по данному критерию зависит от количества соавторов и их аффилиаций. Так, если у статьи только один автор, то вуз получает 100 % баллов, если же у статьи несколько соавторов, то расчет идет по схеме: 50 % для вуза, с которым аффилирован первый автор, 50 % - для второго автора, если он прикреплен к тому же вузу, 25 % - если он аффилирован с другим вузом, и 10 % - для остальных соавторов с любыми аффилиациями.

По критерию PUB требования не столь строги, и каждый соавтор получает равный полный балл за публикацию, но для уравновешения показателей технических и гуманитарных вузов, каждая статья, проиндексированная в SSCI, считается за 2.

Критерий PCP также иногда представляет сложность для вузов постсоветского пространства, в частности российских. Основной категорией оценки выступает средневзвешенный показатель по всем предыдущим пунктам, разделенный на количество сотрудников профессорско-преподавательского состава, работающих на полную ставку. При этом не учитывается реальное количество преподавателей, в том числе приглашенных лекторов, совместителей и педагогов дополнительного или послевузовского образования, а также сотрудников, работающих на неполную ставку.

Таким образом, можно говорить о следующей специфике методологии ARWU: рейтинговая оценка зависит от наличия лауреатов всемирных премий в преподавательском составе или в числе выпускников; она в большей степени рассчитана на вузы, занимающиеся естественными и физико-математическими науками, и на крупные университеты, в штате которых есть ученые, получившие мировое признание; при ранжировании вузов гуманитарно-социальной направленности баллы не могут быть адекватно распределены за счет ориентации оценочных индикаторов на достижения в области естественных и физико-математических наук. Авторы рейтинга отмечают, что при распределении данных каждого индикатора учитывали значимые смещения, и в "случае необходимости для корректировки индикаторов использовали стандартные статистические техники" [13], однако саму методику учета смещений не публикуют.

Сравнительная методология рейтинга ARWU

Несомненно, рейтинги обеспечивают администрацию вузов и правительственных чиновников четкой и адекватной картиной качества высшего образования. Тем не менее, важны не только на рейтинги, но и имидж университета, не закрепленный в мировых рейтингах. К тому же в ранжировании вузов учитываются факторы, которые не влияют на уровень подготовки выпускников, например, количество выпускников-лауреатов Нобелевской премии за всю историю вуза. Кроме того, мировые вузы участвуют в конкурентной борьбе не только за абитуриентов, но и за дополнительное финансирование - наука и образование становятся предметом экономического обмена [1].

Итак, принципы построения мировых рейтингов университетов не лишены недостатков, начиная с первой публикации Шанхайского рейтинга в 2003 году. Критика касается, в первую очередь, трех аспектов методологии: выбора индикаторов качества университетов; качества сбора данных по ним; выбора способа агрегирования данных.

Индикаторы качества. Следует понимать, что рейтинг связан с исследовательской работой университетов, и "даже для этого единственного параметра занимает очень радикальную позицию" [12]. В частности, в рейтинге ARWU отсутствуют критерии, характеризующие процесс обучения, качество преподавания и успеваемость студентов, кроме последующего присуждения Нобелевской или Филдсовской премии. Используются только библиометрические данные без учета репутационных характеристик, которые могут быть получены посредством опроса представителей академического сообщества [13]. Более эффективным способом отразить качество университета является использование показателей, которые отражают "выходные" характеристики студентов (результаты их учебы) по критериям, наиболее значимым в конкретном социальном контексте, - они характеризуют человеческий капитал (по Г. Беккеру), сформировавшийся в результате деятельности университета. Если речь идет о рейтингах для страны, то критерии должны отражать "выходные" качества студентов, наиболее ценные в данной стране; если речь идет о мировых рейтингах, то следует использовать некие универсальные критерии. Проблематично и включение в рейтинг получения сотрудниками Нобелевской премии или медали Филдса, так как награда засчитывается университету, где ученые работали на момент ее получения, а не в момент совершения открытия. Существует и проблема усреднения - разные подразделения университета могут демонстрировать разные уровни качества исследовательских работ [14].

Индекс цитирования хорошо работает для естественных наук и математики, гораздо хуже - для инженерии, социальных и гуманитарных дисциплин, что связано с разной ролью статей в разных областях науки. Данный факт дал основание Т. Бейтсу утверждать, что глобальные рейтинги университетов основаны на некоем мошенничестве: абитуриенты и их родители, пользующиеся такими рейтингами, наверняка будут разочарованы [13]. По его мнению, рейтинги создают замкнутый круг: вузы все больше инвестируют в исследования, чтобы повысить свой рейтинг, и тем самым надувается "исследовательский пузырь", который может и не отражать качества образования. Есть основания полагать, что весовые коэффициенты исследовательской деятельности несколько завышены и требуют дополнительного изучения [4].

Способы агрегирования. Согласно концепции многокритериального принятия решений, веса показателей не должны интерпретироваться как отражающие "важность критерия" - они связаны с нормализацией критериев и их необходимо пересчитывать, если что-то меняется в процессе нормализации. Рейтинг не должен служить основанием для принятия решений ни студентами и их родителями, ни управляющими структурами, поскольку имеет такие недостатки, как [11]: нерациональная периодичность исследований - показатели рейтинга (связанные с исследованиями передового уровня) не могут сильно измениться за год, поэтому изменения рейтинга связаны скорее со случайными флуктуациями, чем реальными изменениями в университетах. В то же время руководители, принимающие решения, считают изменения рейтинга реальными. Усугубляют ситуацию существенные изменения методологии рейтинга от года к году. Разработчики рейтинга используют для разных показателей разные периоды времени без обоснований: сто лет для Alumni и Award, 20 - для HiCi, 5 - для N&S, и 1 год - для PUB. Кроме того, проанализировав результаты рейтинга за все время его существования, можно убедиться в том, что лидирующие позиции занимают англоязычные вузы. Данная тенденция поддерживается давно сформировавшейся системой научного цитирования: на Западе имеется пул журналов, публикации в которых учитываются при рейтинговании. Кроме того, существует негативная практика, когда авторы этих журналов ссылаются друг на друга. Статьи в некоторых национальных журналах могут не уступать по уровню англоязычным работам, но остаются за рамками систем цитирования. Иными словами, на повестку дня выносится проблема языковой либерализации глобальных рейтингов университетов, хотя это отчасти справедливое требование представляется нереалистичным и вряд ли может изменить сложившуюся иерархию университетов.

Предметный рейтинг ARWU

Помимо общеуниверситетского рейтинга, в системе оценки ARWU существуют предметные рейтинги (предметные области и специализации), методология оценки которых не отличается от общей методологии - только составом вузов. Предметные рейтинги составляются по 5 расширенным предметным областям: естественные науки и математика (SCI); инженерия/технологии и компьютерные науки (ENG); биологические науки (LIFE); клиническая медицина и фармация (МЭД); социальные науки (SOC). Причем не все специальности были проранжированы в предметных рейтингах ARWU. Например, Arts & Humanities (искусство и гуманитарные науки) не участвуют в рейтинге по причине технических трудностей сопоставления результатов данной отрасли с естественно-научным и техническими направлениями. Также в рейтинги не входит Psychology & Psychiatry (психология и психиатрия) - в связи с многопрофильными характеристиками специальностей, которые сложно оценивать их в рамках одной отрасли. Также для предметных рейтингов характерна дивесифицированная система оценки: некоторые категории неприменимы для ряда отраслей, а для других вводятся дополнительные критерии (Табл. 2).

По каждому показателю учебному заведению, получившему наивысший балл, присваивается 100 баллов, а другим учреждениям - процент от наивысшего балла. Распределение данных по каждому показателю проверяется на наличие любого значительного искажающего эффекта, при необходимости используются стандартные статистические методы для корректировки показателя. Баллы по каждому показателю взвешиваются, чтобы получить окончательный общий балл для учреждения. Вузу, получившему наивысший балл, присваивается 100 баллов, а другим учреждениям - процент от наивысшего общего балла. Затем баллы располагаются в порядке убывания - получается субъектно-зависимая прогрессивная шкала ранжирования, где показатели смещаются в зависимости от учреждений, получивших наивысшую оценку (6).

Таблица 2 Оценка предметных областей и направлений ARWU