Мониторинг эффективности образовательных организаций как источник данных о российском высшем образовании

Размещено на http://www.allbest.ru/

МОНИТОРИНГ ЭФФЕКТИВНОСТИ ОБРАЗОВАТЕЛЬНЫХ ОРГАНИЗАЦИЙ КАК ИСТОЧНИК ДАННЫХ О РОССИЙСКОМ ВЫСШЕМ ОБРАЗОВАНИИ

А.О. Цивинская, К.С. Губа

Центр институционального анализа науки и образования Европейского университета в Санкт-Петербурге Россия, Санкт-Петербург

Аннотация

Мониторинг эффективности деятельности организаций высшего образования, проводимый с 2012 года, является самым полным источником открытой информации об организационной популяции российских вузов. В настоящее время дискуссия о показателях Мониторинга ведется в ключе их применимости для оценки организаций высшего образования; как вторичный источник сведений для исследователей высшего образования материалы Мониторинга не рассматриваются.

Предлагаемая статья должна ликвидировать существующий пробел - в ней данные Мониторинга оцениваются с точки зрения их качества и потенциала для статистического анализа. Качество данных Мониторинга рассматривается авторами через призму основных измерений, таких как точность, актуальность, полнота и согласованность. Техническое удобство данных Мониторинга оценивается с позиции характера распределения переменных, что позволяет понять, какие методы анализа данных могут быть применены к Мониторингу. В завершение авторы дают рекомендации представителям научного сообщества, планирующим использовать данные Мониторинга для исследования российского высшего образования.

Ключевые слова: высшее образование, характеристики и показатели образования, распределения переменных, качество данных, административные данные.

Abstract

THE SURVEY OF HEIS PERFORMANCE AS A DATA SOURCE ON HIGHER EDUCATION IN RUSSIA

А.O. Tsivinskaya, K.S. Guba

The Center for Institutional Analysis of Science & Education, European University at Saint PetersburgSaint Petersburg, Russian Federation

Annual Survey of Performance of Higher Education Institutions, conducted in Russia since 2012, is the main source of open-access information on Russian universities. The discussion on the indicators of the Survey mainly focuses on their applicability for assessing higher education institutions (HEIs). The Survey, however, is not observed as a possible source of data for researchers in higher education. To remedy this deficiency, this paper evaluates the Survey data in terms of their quality and applicability for statistical analysis. The quality of the data is measured in four dimensions: accuracy, timeliness, completeness, and consistency. The technical convenience of the data is evaluated through the analysis of the variables distribution. The conclusion contains recommendations for researchers, who plan to use the Survey data for studying Russian higher education.

Keywords: higher education, KPI, distribution fit, data quality, administrative data.

Введение

Мониторинг эффективности деятельности организаций высшего образования (далее - Мониторинг) является самым полным источником открытых данных об организационной популяции российских вузов. Впервые Мониторинг был проведен Министерством образования и науки РФ в 2012 году, и уже на следующий год участие в нем стало обязательным для каждого вуза. Инициация Мониторинга тесно связана с кампанией по «очищению» высшего образования: Мониторинг должен был стать инструментом идентификации слабых, отстающих и проблемных вузов. Минобрнауки намеревалось использовать статистическую отчетность для того, чтобы принимать решения о проверках, закрытии или слиянии неэффективных вузов [1]. Однако довольно быстро результаты Мониторинга стали использоваться исследователями высшего образования, которые получили уникальную возможность работать с данными о всей популяции организаций высшего образования [2-6]. При этом дискуссия о показателях Мониторинга [7-9] почти целиком сосредоточена на их качестве в свете изначальной цели использования - оценки вузов, а не как на вторичном источнике данных для исследователей высшего образования.

В сравнении с другими источниками К примеру, «Образование в цифрах» (НИУ ВШЭ), «Индикаторы образования» (НИУ ВШЭ), «Российский статистический ежегодник» и «Регионы России». по образованию в России Мониторинг представляет данные для каждого вуза в отдельности. Обычно в сборниках данные приводятся в агрегированном виде, что ограничивает их анализ уровнем сравнения показателей регионов России. Мониторинг формируется на основе формы ВПО-1 (в 2013-2014 годах - формы ВПО-2), которые вводятся в основном автоматически. Хотя формы ВПО-1 и ВПО-2 доступны на сайтах вузов, отсутствует единая база, аккумулирующая эту информацию по всем вузам с разбивкой по каждому году. В итоге именно данные Мониторинга являются источником, позволяющим ставить исследовательские задачи сравнительного анализа деятельности организаций высшего образования на уровне отдельных организаций.

При несомненном потенциале Мониторинга как источника информации необходимо принимать во внимание ограничения, связанные с использованием административных данных,- сведений, которые генерируются государственными ведомствами для собственных целей [10]. В отличие от первичного использования опросных данных, качество которых может контролироваться исследователями, при вторичном использовании данных проблема их качества становится особенно важной [11]. Соответственно требуется критическая оценка качества административных данных и возможности их использования для статистического анализа. Применительно к данным Мониторинга такая оценка пока не проводилась, и наша статья должна существующий пробел ликвидировать.

Подходы к определению качества данных

Для реализации поставленной цели мы остановимся на двух подходах к оценке качества данных.

Согласно первому подходу качество данных описывается посредством основных измерений, включающих оценку точности, актуальности, полноты и согласованности предоставляемых сведений [12, 13]. Точность указывает на верность информации, актуальность - на ее своевременность, полнота - на долю пропущенных значений, согласованность связана с целостностью данных [13]. К этим измерениям необходимо добавить техническое удобство данных, прежде всего в виде характера распределения переменных (некоторые распределения существенно ограничивают исследователя в выборе метода анализа).

Второй подход строится на оценке данных с точки зрения потенциала их использования (fitnessforuse). Авторы работы [14] предлагают исходить из того, что качество данных является понятием относительным: в одном контексте данные могут оценивается как достаточно качественные, а в другом - как недостаточно. Речь идет о целях и задачах исследования, которые определяют набор необходимых данных. К примеру, для анализа научных достижений по материалам статей из журналов понадобится база данных с журналами, которые были оценены экспертами как издания приемлемого уровня качества. Однако если цель исследования состоит в анализе нечестного поведения ученых, то база данных, наоборот, должна включать те журналы, которые называют хищными, публикующими статьи за деньги.

Подходы к анализу данных: 1) на основе их измерений и 2) на основе потенциала использования - различают по характеру относительности. Сторонники первого подхода считают, что объективно описать качество данных так, чтобы это описание было полезно любому исследователю, можно через долю пропущенных значений или выбросов. Сторонники второго подхода основываются на относительности оценки качества данных, так как даже самые качественные данные могут быть непригодны для решения поставленных исследователем задач. Мы же полагаем, что для оценки качества конкретного набора данных необходимо сочетать оба подхода, анализируя как измерение и техническое удобство показателей, так и потенциал их использования. Кроме того, как мы покажем далее, недостаточно качественные с точки зрения основных измерений данные существенно ограничивают потенциал их использования.

Описание данных

В этой статье мы ограничимся анализом данных, собранных в рамках Мониторинга 2014 года, охватившего наибольшее число вузов, и извлеченных с сайта Главного информационно-вычислительного центра Минобрнауки, где представлена развернутая информация по каждому вузу и филиалу. Эти данные собирались вузами и вводились в специальную форму под названием «Мониторинг по основным направлениям деятельности образовательной организации высшего образования (форма № 1 - Мониторинг)». Представленные вузами показатели разбиты в Мониторинге на группы: образовательная деятельность; научно-исследовательская, международная и финансово-экономическая деятельность; инфраструктура; трудоустройство; кадровый состав; дополнительные характеристики. С каждым годом свидетельствующее о деятельности вуза количество переменных увеличивается. К примеру, значительно расширился список показателей, относящихся к дополнительным характеристикам. Если в 2013 и 2014 годах их насчитывалось 16, то в 2015 году - уже 59.

Результаты. Основные измерения качества

Оценим качество данных Мониторинга исходя из подхода Фокса [13], для чего проанализируем полноту, актуальность, точность, согласованность и техническое удобство информации.

Мы сравнили полноту покрытия количества организаций высшего образования в сборнике «Регионы России» с таковой в Мониторинге (табл. 1). Как видно из приведенных в табл. 1 сведений, особенно значимыми были расхождения в 2013 году, далее покрытие вузов улучшается (расхождения в численности варьируются в диапазоне от 1 до 20 %). Отметим, что для филиалов покрытие хуже, чем для головных организаций. В связи с этим мы подробнее проанализировали данные 2014 года, демонстрирующие лучшее покрытие вузов.

Таблица 1 Численность российских вузов и их филиалов в 2013-2017 годах

Анализ пропущенных значений позволяет сделать вывод о том, что полнота данных Мониторинга определяется типом вуза и особенностями его образовательных программ. Другими словами, ограничения объясняются природой объекта. К примеру, мы обнаружили, что некоторые вузы имеют нулевые значения ЕГЭ каждый последующий год. Скорее всего, такие колебания связаны с тем, что эти вузы осуществляют набор новых студентов не ежегодно, а через год (рис. 1). Одним из возможных решений при анализе данных с нулевыми показателями является деление вузов на две группы: с нулевым значением и значением, отличным от него. Дальнейший шаг - использование двухступенчатых моделей, где на первой ступени определяется, существуют ли статистически значимые различия между этими двумя группами, а на второй каждая группа рассматривается отдельно. Альтернативой является аппроксимация на основе известных значений за предыдущий и следующий год, если вуз осуществляет набор один раз в два года.

Рис. 1. Распределение среднего балла ЕГЭ всех студентов, принятых на обучение, в 2014 году Fig. 1. Distribution of all accepted students' Unified State Exam average score in 2014

Насколько надежны данные Мониторинга и можно ли доверять их качеству? Вузы сами заполняют форму Мониторинга, соответственно информация может искажаться как намеренно (в сторону завышения показателей), так и случайно (вследствие недопонимания инструкции). По идее, точность собранной вузом информации должна была контролироваться (Минобрнауки сообщало о проверке рабочей группой показателей, предоставленных вузами), однако вопросы к качеству проверки все равно остаются. Фактически существуют некоторые сомнения в том, что кто- то особенно внимательно следил не только за достоверностью представленных вузами данных, но и за их правдоподобием.

Самый простой способ оценить точность данных - это изучить выбросы, которые указывают на показатели, в разы отличающиеся от средних. Проанализировав выбросы, мы обнаружили две основные причины их наличия.

Первая причина - ошибки при введении информации в форму Мониторинга. Некоторые вузы из года в год отчитывались о гигантских финансовых показателях, которые можно объяснить только тем, что вместо тысяч рублей в форме Мониторинга указывались рубли. Например, у Московского городского университета управления Правительства Москвы показатель НИОКР в 2013 году составил 42 525 664 тыс. руб. (порядка 5 % в структуре всех расходов на НИОКР в России). У Самарского государственного медицинского университета отношение среднего заработка НПР в вузе из всех источников к средней заработной плате по региону составляет 104 994,76 % (по данным 2014 года). Как показывают наши интервью, в большинстве вузов сбор данных делегировался профильным подразделениям (например, библиотеке или отделу кадров), а точность понимания их сотрудниками инструкций особо не контролировалась. Значительное количество ошибок в таких условиях было неизбежным, даже если мы оставим за скобками возможность умышленного завышения показателей.

Вторая причина - специфика вуза. Появление выбросов связано не только с явными ошибками в заполнении форм Мониторинга, но и с запредельными показателями уникальных по своему профилю высших учебных заведений. Например, Международный университет природы, общества и человека «Дубна» на протяжении всех лет проведения Мониторинга демонстрирует самые высокие показатели публикационной активности по Scopusи WebofScience, однако их можно объяснить спецификой институции, связанной с естественно-научным фокусом исследований. Другой пример специфического вуза с высокими показателями - Российский университет дружбы народов, лидирующий по объему средств от образовательной деятельности за счет иностранных граждан и иностранных юридических лиц.

Актуальность данных Мониторинга ограничена статическим срезом информации: вузы предоставляют сведения за прошедший год, причем эти сведения далеко не сразу становятся доступными для пользователей. Тем самым данные Мониторинга отличаются от больших данных [15], которые тоже зачастую предоставляют информацию о всей популяции тех или иных объектов, однако она обновляется в режиме реального времени. При оценке актуальности содержащихся в Мониторинге показателей необходимо принимать во внимание проблемы, связанные с анализом данных вузов либо реорганизованных (присоединенным к другим вузам), либо ликвидированных. После завершения трансформации таких вузов данные части из них стали недоступны (остались только страницы без названия и информация, что вуз был реорганизован/ликвидирован). Таким образом, ретроспективно теряется информация о ряде вузов.

Главной проблемой при анализе согласованности данных могут быть накапливающиеся от года к году изменения в расчетах показателей. К примеру, мы проанализировали средние показатели зарплаты вузов, которые не подвергались трансформации и участвовали в Мониторинге с 2013 года по 2017 год. На рис. 2 отражена динамика показателя «Зарплата НПР» в обозначенный период, и мы видим резкий (более чем в 3 раза) спад в 2015 году в сравнении с 2014-м. Вероятно, это связано с изменением методики вычисления данного показателя, что делает невозможным применение анализа временных рядов и других лонгитюдных методов анализа. Поскольку для расчета показателей используются данные из формы ВПО-1, не исключено, что формулы в Мониторинге остаются прежними, а расчет данных в форме ВПО-1 меняется. При этом исследователь не видит изменений в расчете показателя, так как в методических указаниях к Мониторингу они не отражены. Такие изменения зачастую известны только тем, кто непосредственно в вузах занимается заполнением обеих форм.

Рис. 2. Среднее значение показателя «Зарплата НПР» для стабильных вузов, % к средней заработной плате в регионе

Fig. 2. Average teaching and research staff members' salary in stable higher education institutions, % to average regional salary

Еще одной проблемой может стать агрегирование данных в рамках Мониторинга за разные годы или с другими наборами показателей [16, 17]. На сайте Мониторинга у каждого высшего учебного заведения имеется свой номер, однако он не является официальным идентификатором вуза. У исследователя возникают дополнительные сложности в случае необходимости связать массив данных Мониторинга с другими наборами данных о вузах. К примеру, отсутствует отсылка к профилям вузов в базах РИНЦ, Scopusи Web of Science.

Таким образом, важным исследовательским шагом должно стать изучение описательной статистики вузов с особым вниманием к показателям, значительно отличающимся от средних значений и имеющим пропущенные значения. Это позволит оценить полноту, точность, актуальность и согласованность данных.

Следующий шаг исследователя - оценка технического удобства данных.

Дополнительное измерение качества данных

Первой и простейшей формой статистического анализа является описание распределений переменных. Несмотря на тривиальность, этот этап анализа важен в плане понимания возможностей использования переменных для описания популяции. Позволяют ли они дифференцировать вузы или значения переменных для большинства этих образовательных организаций близки или идентичны? И какие формы анализа к ним применимы в дальнейшем с учетом формы распределения?

Исходя из основных описательных статистик для показателей Мониторинга мы даже при беглом взгляде можем увидеть, что некоторые переменные имеют распределение, практически исключающее возможность их статистического анализа. Например, для количества лицензионных соглашений максимум составлял 1, при этом у большинства вузов значения нулевые - минимум, нижний квартиль, медиана и верхний квартиль равны нулю. Похожую картину мы наблюдаем в случае целого ряда переменных, не обладающих достаточной вариативностью. Среди них показатели, сопряженные с числом абитуриентов - призеров олимпиад; показатель лицензии и интеллектуальной собственности; ряд показателей, связанных с количеством зарубежных студентов и НПР; объем средств, полученных от иностранных граждан на выполнение НИОКР и от образовательной деятельности; доля студентов, не обеспеченных общежитием.

Другие переменные, являясь достаточно вариативными, проблемны с точки зрения их использования при статистическом анализе. Это хорошо видно на примере показателей публикационной активности головных организаций (табл. 2). Распределения показателей смещены относительно среднего, имеется тяжелый правый хвост (рис. 3). Значения асимметрии и эксцесса показывают, что данные не соответствуют нормальному распределению. Не менее 25 % вузов имеют нулевые значения (кроме показателей публикационной активности в РИНЦ). Таким образом, данные публикационной активности по форме распределения близки к экспоненциальному семейству распределений с учетом переизбытка нулевых значений.

Рис. 3. Распределение показателя количества публикаций вузов в РИНЦ, ед. (в расчете на 100 НПР)

Fig. 3. Distribution of the number of publications in Russian Science Citation Index

Для тех случаев, когда распределение переменной отличается от нормального, необходимый шаг для анализа - нахождение предельного распределения, что позволяет описать характер процесса, породившего данные. Это обеспечивает возможность сравнивать уже не сами данные из года в год, а полученные распределения. Если окажется, что предельные распределения по каждому году разные, то есть не совпадает даже семейство, то можно сделать вывод о неустойчивости наблюдаемого процесса. К примеру, по результатам подгонки теоретического распределения показателя «ЕГЭ общий» на данных за 2014 год лучшим является логистическое распределение с параметрами сдвига 63,20 и масштаба 4,86. При анализе данного показателя в принципе гипотеза о нормальной форме распределения тоже не отвергается Для проверки использовался критерий Колмогорова - Смирнова при заданном уровне значимости 0,05., но данные лучше описываются путем логистического распределения.

Применительно к некоторым показателям пренебрежение формой распределения может привести не только к ухудшению качества моделей, но и к неверным заключениям. Использование большинства показателей в «сыром» виде невозможно - требуется их тщательное исследование. В целом многие показатели даже после их преобразований (логарифмирования и трансформации Бокса - Кокса) нельзя привести к нормальному виду распределения; для них возможно применение только робастных методов анализа, устойчивых к выбросам и не налагающих ограничений на вид распределения переменных.

Таблица 2. Основные описательные статистики показателей публикационной активности вузов

Table 2. Main descriptive statistics for the indicators of publication intensity

Источник - материалы Главного информационно-вычислительного центра Минобрнауки России (дата обращения: 25.10.2019).

В свою очередь, недостаточная вариативность переменных снижает возможности их использования при ранжировании вузов. Фактически для большинства из них единственный вариант агрегации и статистического анализа связан с бинаризацией (к примеру, больше медианы и меньше медианы), однако нужно учесть соответствующую потерю значительной части информации. К примеру, показатель международной деятельности высших учебных заведений, основывающийся на доле в них иностранных студентов, дает множество нулевых значений, поскольку большинство вузов не имело в 2014 году иностранных студентов вовсе. Единственная возможность использовать этот показатель - присвоить единицу всем вузам, имеющим отличное от нуля число зарубежных студентов. Для показателя «Число аспирантов» характерны переизбыток нулевых значений, тяжелый правый хвост у распределения и наличие выбросов. Соответственно при анализе данного показателя вузы ранжируют по уровням программы обучения и анализируют каждую группу отдельно или рассматривают как фактор в классификации предоставляемые уровни программы обучения [18, 19].

В целом едва ли ни единственным удобным с точки зрения статистического анализа показателем является показатель доли в вузе кандидатов и докторов наук: форма распределения данного показателя наиболее близка к куполообразной с пиком у среднего значения по выборке. Остальные показатели еще до проведения статического анализа нужно тщательно исследовать: изучить характер выбросов, который может указывать на искажения, найти предельное распределение, что особенно важно для анализа данных в динамике, определиться с методом преобразования данных.

Заключение и рекомендации

Мониторинг является и, вероятно, еще продолжительное время будет являться основным источником данных о российском высшем образовании. Потенциал использования этих данных связан не только с анализом эффективности деятельности вузов, как задумывалось создателями Мониторинга, но и с привлечением отдельных показателей для иных исследовательских проектов. Для многих национальных систем такая возможность отсутствует, так как университеты не обязаны предоставлять информацию о своей деятельности. Здесь примечателен опыт Италии, где налажен централизованный сбор информации о деятельности ученых и организаций, в которых они трудятся. Эти данные широко используют не только для принятия управленческих решений, но и для исследований в области наукометрии и высшего образования [20, 21]. Хотя российские исследователи используют данные

Мониторинга в академических и прикладных исследованиях, мы предлагаем произвести оценку Мониторинга как источника данных о высшем образовании в России. В этой статье мы сосредоточились на важных ограничениях, которые необходимо принять во внимание при работе с данными. Наш анализ показал, что качество некоторых данных существенно снижает потенциал их использования, причем далеко не все ограничения преодолимы.

Несмотря на то, что использование данных Мониторинга сопряжено с рядом проблем, о которых мы вели речь выше, пространство для улучшения ситуации имеется, и работа исследователей с этими данными полностью не исключается. Один из возможных шагов, который помог бы оценить достоверность представленных в Мониторинге показателей, заключается в их сравнении с переменными из независимых источников. К сожалению, для большинства переменных таких источников не существует (откуда можно взять информацию, например, о площадях лабораторий или о зарплатах?). Однако доступными для проверки являются данные публикационной активности, агрегируемые напрямую по вузам из баз данных РИНЦ, Scopusи Web of Science. При этом нужно отметить, что при расчете показателей публикационной активности в Мониторинге используется взвешенное на ставки число НПР, но информация о самом числе ставок не указывается. В целом же как для исследовательских, так и для управленческих целей желательно использовать показатели, позволяющие проверить их точность с привлечением независимых источников. Причем само знание о том, что информация может быть проверена, вероятно, улучшит качество ее представления.

Надежность информации, безусловно, очень важна, однако отнюдь не это требование является главным препятствием для использования данных Мониторинга при исследовании процессов, происходящих в высшем образовании. Дело в том, что исследователей очень ограничивает специфика распределения большинства переменных. Практически для любого анализа данных Мониторинга основной рекомендацией будет использование робастных методов анализа, устойчивых к выбросам. Еще одним возможным решением является винзоризация данных и преобразование переменных. Для ряда переменных с малой вариативностью бинаризация - это лучший вариант.

При анализе важно определиться с фокусом исследования - либо это совокупность всех российских вузов, либо отдельная их выборка. Большинство показателей не могут быть использованы без учета специфики высших учебных заведений. Особенно - данные о публикациях. Результаты исследований свидетельствуют о широкой вариативности публикационных принципов и динамики прироста публикаций в зависимости от научной дисциплины, при этом не все вузы представлены всеми дисциплинами [22]. На сегодня показатели Мониторинга не учитывают дисциплинарную принадлежность вуза, что ограничивает возможность однозначной оценки его исследовательского вклада. Аналогично нужно учитывать, набирает ли вуз только платных студентов, производится ли вообще набор студентов на бакалавриат или в вузе обучаются только магистранты. Если вуз обучает по нескольким программам, то желательно использование интегрального показателя, но с весами для компонент, отражающих относительную численность групп студентов по разным специальностям (которые, в свою очередь, различаются по проходным баллам и плате за обучение).

Нужно также с осторожностью оценивать и выявляемые в организациях высшего образования процессы, так как последние могут быть связаны не только с изменением качества деятельности вуза, но и с изменением в учете и сборе данных. Возможная стратегия заключается в нахождении предельных распределений, что позволяет делать осторожные выводы об устойчивости (или ее отсутствии) наблюдаемого процесса. Таких ограничений исследователям бы не потребовалось, если бы все изменения в методологии проведения Мониторинга становились широкодоступными (а также нужна уверенность, что все вузы были ознакомлены с новшествами и следовали новым инструкциям).

образование вуз научный институт

Список литературы

1. Губа К., Завадская М. Лучше быть неэффективным, чем негосударственным: как Рособрнадзор наказывает вузы // Аналитические записки по проблемам правоприменения / ИПП ЕУСПб. Санкт-Петербург, 2017. 12 c.

2. Типология и анализ научно-образовательной результативности российских вузов / И. В. Абанкина, Ф. Т. Алескеров, В. Ю. Белоусова [и др.] // ФОРСАЙТ. 2013. Т. 7, № 3. С. 48-63.

3. Кузьминов Я. И., Семенов Д. С., Фрумин И.Д. Структура вузовской сети: от советского к российскому мастер- плану // Вопросы образования. 2013. № 4. С. 8-69.

4. Прохоров С. Г., Свирина А. А. Мониторинг эффективности вузов и перспективы малых городов РФ // Высшее образование в России. 2014. № 11. С. 121-125.

5. Публикационная активность вузов: эффект проекта «5-100» / О. В. Польдин, Н. Н. Матвеева, И. А. Стерлигов, М. М. Юдкевич // Вопросы образования. 2017. № 2. С. 10-35. DOI: 10.17323/1814-9545-2017-2-10-35.

6. Соколов М. Миф об университетской стратегии. Экономические ниши и организационные карьеры российских вузов // Вопросы образования. 2017. № 2. С. 36-73.

7. Вкусов А. В. Проблемы оценки эффективности деятельности университетов // Социологические исследования. 2018. № 1. С. 140-145.

8. Винокуров М. А. Мониторинг эффективности российских вузов: совершенствование методологии // Известия ИГЭА. 2013. № 6 (92). С. 5-11.

9. Левашов Е. Н. Критерии оценки эффективности деятельности вузов в России // Символ науки. 2016. № 2-2 (14). С. 170-173.

10. The Role of Administrative Data in the Big Data Revolution in Social Science Research / R. Connelly, C. J. Playford, V. Gayle, C. Dibben // Social Science Research. 2016. Vol. 59. P. 1-12.

11. Hand D. J.Statistical Challenges of Administrative and Transaction Data // Journal of the Royal Statistical Society: Series A (Statistics in Society). 2018. No. 181 (3). P. 555-605.

12. Ballou D. P., Pazer H. L.Modeling Data and Process Quality in Multi-Input, Multi-Output Information Systems // Management Science. 1985. No. 31 (2). P. 150-162.

13. Fox C., Levitin A., Redman T. The Notion of Data and Its Quality Dimensions // Information Processing & Management. 1994. No. 30 (1). P 9-19.

14. TayiG. K., Ballou D. P. Examining Data Quality // Communications of the ACM. 1998. No. 41 (2). P. 54-57.

15. Kitchin R. Big Data, New Epistemologies and Paradigm Shifts // Big Data & Society. 2014. Vol. 1, no. 1. P. 1-12. DOI: 10.1177/2053951714528481.

16. Quality Assessment for Linked Data: A Survey / A. Zaveri, A. Rula, A. Maurino [et al.] // Semantic Web. 2016. No. 7 (1). P. 63-93.

17. Herzog T. N., ScheurenF. J., Winkler W. E. Data Quality and Record Linkage Techniques. New York: Springer Science & Business Media, 2007. 234 p.

18. Indicators on Individual Higher Education Institutions: Addressing Data Problems and Comparability Issues / A. Bonaccorsi, C. Daraio, B. Lepori, S. Slipersaeter// Research Evaluation. 2007. No. 16. P. 66-78.

19. LeporiB., Jeroen Huisman J., Seeber M. Convergence and Differentiation Processes in Swiss Higher Education: an Empirical Analysis // Studies in Higher Education. 2014. Vol. 39, no. 2. P. 197-218.

20. Mateos-Gonzвlez J. L., Boliver V. Performance-Based University Funding and the Drive Towards `Institutional Meritocracy' in Italy // British Journal of Sociology of Education. 2018. Vol. 40, no. 2. P. 1-14.

21. Self-citations as Strategic Response to the Use of Metrics for Career Decisions / M. Seeber, M. Cattaneo,

M. Meoli, P. Malighetti// Research Policy. 2019. No. 48 (2). P. 478-491.

22. PiroF. N., Aksnes D. W., RorstadK. A Macro Analysis of Productivity Differences across Fields: Challenges in the Measurement of Scientific Publishing // Journal of the American Society for Information Science and Technology. 2013. Vol. 64, no. 2. P. 307-320.

References

1. Guba K., Zavadskaya M. Luchshebyt' neeffektivnym, chemnego sudarstvennym: kak Rosobrnadzo rnakazyvaetvuzy [Better Ineffective than Private: How Universities are Penalized by Rosobrnadzor], Saint Petersburg, The Institute for the Rule of Law, European University, 2017, 12 p. (In Russ.).

2. Abankina I., Aleskerov F, Belousova V, Gokhberg L., ZinkovskyK., Kiselgof S., Shvydun S. Tipologiyaianaliznauch- nobrazovatel'noirezul'tativno stirossiiskikhvuzov [Typology and Analysis of Russian Universities' Performance in Education and Science Perspectives]. Foresight-Russia, 2013, vol. 7, no. 3, pp. 48-63.

3. Kuzminov J., Semenov D., Froumin I. Strukturavu zovskoiseti: otsovetskogok rossiiskomu «master-planu» [University Network Structure: from the Soviet to the Russian «Master Plan»]. Voprosyobrazovaniya, 2013, no. 4, pp. 8-69. DOI: 10.17323/1814-9545-2013-4-8-69. (In Russ.).

4. Prokhorov S. G., Svirina A. A. Monitoring effektivnostivu zoviperspektivym alykhgorodov RF [Efficiency of University Monitoring and Russian Small Cities Perspectives]. Vyssheeobrazovanie v Rossii, 2014, no. 11, pp. 121-125. (In Russ.).

5. Poldin O., Matveeva N., Sterligov I., Yudkevich M. Publikatsion nayaaktivnost' vuzov: effektproekta«5100» [Publication Activities of Russian Universities: The Effects of Project 5-100]. Voprosyobrazovaniya, 2017, no. 2, pp. 10-35. DOI: 10.17323/1814-9545-2017-2-10-35. (In Russ.).

6. Sokolov M. Mifob universitetskoistrategii. Ekonomiches kienishiiorgani zatsionnyekar'eryrossiiski khvuzov [The Myth of University Strategy. Market Niches and Organizational Careers of Russian Universities]. Voprosyobrazovaniya, 2017, no. 2, pp. 36-73. DOI: 10.17323/1814-9545 -2017-2-36-73. (In Russ.).

7. Vkusov A. V. Problemyotse nkieffektivnos- tideyatel'nostiun iversitetov [Problems of Assessing the Effectiveness of universities]. Sotsiologicheskieissledovaniya, 2018, no. 1, pp. 140-145.

8. Vinokurov M. A. Monitoring effektiv nostirossi-iskikhvuzov: sovers henstvovan iemetodologii [Monitoring the Effectiveness of Russian Universities: Enhancing the Methodology]. Izvestiya Irkutskoigosud arstvennoiekonomi-cheskoiakademii, 2013, no. 6 (92), pp. 5-11. (In Russ.).

9. Levashov E. N. Kriteriiotsenkieffektivnos- tideyatel'nostivuzov v Rossii [Criteria for Evaluating the Effectiveness of Universities in Russia]. Simvolnauki, 2016, no. 2-2 (14), pp. 170-173. (In Russ.).

10. Connelly R., PlayfordC. J., Gayle V., Dibben C. The Role of Administrative Data in the Big Data Revolution in Social Science Research. Social Science Research, 2016, vol. 59, pp. 1-12. (In Eng.).

11. Hand D. J. Statistical Challenges of Administrative and Transaction Data. Journal of the Royal Statistical Society: Series A (Statistics in Society), 2018, no. 181 (3), pp. 555-605.

12. Ballou D. P., Pazer H. L. Modeling Data and Process Quality in Multi-Input, Multi-Output Information Systems. Management Science, 1985, no. 31 (2), pp. 150-162.

13. Fox C., Levitin A., Redman T. The Notion of Data and Its Quality Dimensions. Information Processing & Management, 1994, no. 30 (1), pp. 9-19.

14. TayiG. K., Ballou D. P. Examining Data Quality. Communications of the ACM, 1998, no. 41 (2), pp. 54-57.

15. Kitchin R. Big Data, New Epistemologies and Paradigm Shifts. Big Data & Society, 2014, vol. 1, no. 1, pp. 1-12

16. Zaveri A., RulaA., Maurino A., Pietrobon R., Lehmann J., Auer S. Quality Assessment for Linked Data: A Survey. Semantic Web, 2016, no. 7 (1), pp. 63-93. DOI: 10.3233/sw-150175. (In Eng.).

17. Herzog T. N., ScheurenF. J., Winkler W. E. Data Quality and Record Linkage Techniques. New York: Springer Science & Business Media, 2007. 234 p. (In Eng.)

18. Bonaccorsi A., DaraioC., LeporiB., Slipersaeter S. Indicators on Individual Higher Education Institutions: Addressing Data Problems and Comparability Issues. Research Evaluation, 2007, no. 16, pp. 66-78.

19. Lepori B., Jeroen Huisman J., Seeber M. Convergence and Differentiation Processes in Swiss Higher Education: an Empirical Analysis. Studies in Higher Education, 2014, vol. 39, no. 2, pp. 197-218.

20. Mateos-Gonzalez J. L., Boliver V. Performance-Based University Funding and the Drive Towards `Institutional Meritocracy' in Italy. British Journal of Sociology of Education, 2018, vol. 40, no. 2, pp. 1-14. DOI: 10.1080/01425 692.2018.1497947. (In Eng.).

21. SeeberM., Cattaneo M., Meoli M., Malighetti P. Self-Citations as Strategic Response to the Use of Metrics for Career Decisions. Research Policy, 2019, no. 48 (2), pp. 478-491.

22. PiroF. N., AksnesD. W., R0rstad K. A Macro Analysis of Productivity Differences across Fields: Challenges in the Measurement of Scientific Publishing. Journal of the American Society for Information Science and Technology, 2013, vol. 64, no. 2, pp. 307-320.

Размещено на Allbest.ru