Система ранжирования общеобразовательных учреждений

Размещено на http://www.allbest.ru/

Оглавление

Введение

Основная часть

Обзор литературы

Международные модели ранжирования в системе образования

Отечественные модели ранжирования в сфере образования

Сравнительный анализ существующих в российской практике моделей ранжирования общеобразовательных учреждений, представленных общественными организациями и органами государственной власти

Запросы московской родительской общественности на предоставление образовательных услуг в системе общего образования (по материалам интернет-рейтингов)

Методология ранжирования как инструмент государственной политики в сфере образования РФ

Заключение

Список литературы

Приложения

ранжирование государственный общеобразовательный политика

Введение

Актуальность выбранной темы определяется потребностями российского и мирового сообщества в реформировании системы образования, особенностями общественно-политического развития Российской Федерации, поиском экспертным профессиональным сообществом универсальной модели оценки качества системы образования, которая обеспечила бы ей «информационную прозрачность» и благоприятные условия для осознанного взвешенного выбора родительской и ученической общественностью учебного заведения.

Сегодня стали особо популярными в мире дискуссии вокруг проблем, в которых характеризуются вызовы новой информационно-технологической эпохи. Общий вывод, к которому пришли эксперты, заключается в том, что прежняя система образования, основанная на классно-урочной модели, не отвечает запросам времени. Поиск новых образовательных технологий в мировой практике идет вместе с усовершенствованием новой модели оценки качества - методологии ранжирования.

Система ранжирования является для российского образования достаточно новым явлением. Приходится одновременно решать сразу несколько вопросов: от разработки универсальной методики или методик до подготовки общественности к «правильному» прочтению результатов рейтингования, овладения инициаторами, авторами рейтингования (общественной организацией или государственным учреждением) технологией его проведения и соблюдения договоренностей касательно конструктивного анализа и применения его результатов.

Общественно-политические и экономические кризисные явления 90-х гг. ХХ века в России привели к тому, что внимание государства к вопросам образования свелось к минимуму, главным оставалась задача «выживания» государственной власти. Не удивительно, что школы в обозначенный период получили значительную самостоятельность. Каждое учебное заведение самостоятельно формулировало задачи собственного развития. Решение глобальных вопросов образования взяло на себя разрозненное экспертное сообщество. В начале 2000-х годов государственная власть обозначила свой особый интерес к системе образования, формулируя Национальную доктрину, Концепцию модернизации, Приоритетные национальные проекты и Стратегии развития, новый Закон об образовании. Для соблюдения гарантии перед обществом в контроле над качеством образования перед властью стоит задача создания эффективного механизма управления, позволившего в дальнейшем провести масштабные реформы относительно технологического программного переустройства системы образования. Определенной традицией для государственной власти становится использование результатов ранжирования образовательных учреждений для обоснования принятого управленческого решения и распределения государственных грантов, формируя современную модель управления образованием.

В современных условиях государственной властью популяризируется идея введения рыночного механизма в систему российского образования, вследствие чего актуальным позиционируется вопрос конкурентоспособности образовательного учреждения на рынке образовательных услуг. Потенциал системы ранжирования видят в ее возможности обеспечить взаимосвязь между обществом и государственным образовательным учреждением, в благоприятных условиях для школы на основе полученных данных (рыночных показателей спроса) провести рефлексию собственной деятельности и скорректировать свою стратегию развития. Вышеуказанные позиции определили актуальность выбранной темы.

Магистерская диссертация нацелена на разрешение следующей управленческой проблемы. Современная практика рейтингования образовательных учреждений, представленная как общественными организациями (РИА «Новости» при поддержке Межрегиональной Ассоциации Мониторинга и Статистики Образования, интернет-рейтингами: «Объединение школ в Москве», РЕЙТИНГИ «7я.ру», «Школы России. Отзывы, рейтинги, сообщества»), так и органами государственной власти (Департамент образования г. Москвы и Министерство Образования и Науки РФ) представила различные результаты. Школы-лидеры одних рейтингов занимают второстепенные места в других рейтингах. Данное расхождение определило растерянность родительской общественности относительно оценки качества образования и непонимание обоснованности ряда решений со стороны региональных органов управления образованием, в том числе о выдачи грантов. Актуализируется проблема «правильного» прочтения результатов ранжирования.

Указанная проблематика позволяет сформулировать исследовательский вопрос: Какая система ранжирования общеобразовательных учреждений сможет учесть запросы общества и государства в современных условиях развития российского образования и обеспечить более полную информационную открытость системы образования?

Предлагаемая к обоснованию, гипотеза исходит из следующего тезиса.

Российский опыт рейтингования учреждений общего образования, представленный с 1999 года, не привёл сегодня к формированию единой системы оценки качества, основанной на методологии ранжирования, отвечающей декларируемой государством задачи обеспечения информационной открытости системы образования и учитывающей запрос общества и специфику каждой школы. Организации, проводившие рейтингование, выступили разрозненно и каждая из них предложила в разное время свою методику, не учитывая в полной мере достоинства предыдущих.

Используемая Департаментом образования города Москвы модель рейтингования представляет собой явление политическое, а не научно-педагогическое. Позиционируется она, как оценка качества образовательной деятельности государственных школ, а является, по сути, рейтингом, оценивающим качество управления образованием, «рейтингом директоров». Ключевым в управлении определен не региональный (окружной) уровень, а школьный. Распространение в 2013 году этой модели ранжирования на федеральном уровне свидетельствует о тенденции к унификации и централизации контроля над системой управления образованием в Российской Федерации.

Для обеспечения информационной открытости российского образования современная научно обоснованная система ранжирования должна представлять собой взвешенную оценку качества деятельности общеобразовательного учреждения с равным учётом общественных запросов, специфики каждой школы и требований Государственной программы развития образования РФ и её субъектов.

Цель: определить требования к системе ранжирования общеобразовательных учреждений, которая будет соответствовать современным общественным запросам и требованиям Государственной программы развития образования РФ (2013 - 2020 гг.).

Поставленная цель потребовала решения следующих задач:

1) раскрыть особенности методологических подходов к ранжированию образовательных учреждений с учётом отечественного и зарубежного опыта;

2) провести сравнительный анализ существующих в российской практике методик ранжирования общеобразовательных учреждений, представленных общественными организациями (средствами массовой информации: «Карьера», «Известия», «Большой город» РИА «Новости» при поддержке Межрегиональной Ассоциации Мониторинга и Статистики Образования) и органами государственной власти (Департамент образования города Москвы, Министерство Образования и Науки РФ);

3) выявить современный запрос московской родительской общественности на предоставление образовательных услуг в системе общего образования в результате анализа информации открытых интернет-источников («7я.ру», «Школы России. Отзывы, рейтинги, сообщества», «Объединение школ в Москве»);

4) определить требования к методологии ранжирования как инструменту государственной политики в сфере образования в условиях реализации Государственной программы развития образования РФ (2013 - 2020 гг.);

Объект исследования: система оценки качества образования и востребованности образовательных услуг.

Предмет исследования: система ранжирования общеобразовательных учреждений в Российской Федерации.

Теоретическая значимость заключается в определении условий, которые необходимо учитывать в формировании современной системы ранжирования общеобразовательных учреждений в Российской Федерации, в целом, и в Москве, в частности.

Практическая значимость заключается в выборе обоснования управленческих решений со стороны органов государственной власти в сфере образования, связанных с контролем качества образования.

Обзор литературы

Тема ранжирования образовательных учреждений достаточно новая в вопросе оценки качества образования. В начале 1980-х гг. в США был впервые опубликован рейтинг «Лучшие колледжи Америки». В России только во второй половине 90-х гг. ХХ века общественность смогла познакомиться с рейтингом образовательных учреждений (журнал «Карьера», с 1999 г.). В 2000-х гг. ранжирование школ проведено издательствами «Известие», «Большой город». Представлена информация интернет сайтами («7я.ру», «Школы России. Отзывы, рейтинги, сообщества», «Объединение школ в Москве»). Последние три года рейтинг «Лучших школ Москвы» подготовил Департамент образования города Москвы. С 2011 г. в рамках проекта «Социальный навигатор» рейтинг школ повышенного уровня представляет РИА «Новости» при поддержке Межрегиональной Ассоциации Мониторинга и Статистики Образования (МАМСО).

Собранную литературу по теме исследования можно разделить на несколько групп: изучение проблемы оценки качества образовательной системы; специфики методологии рейтингования, зарубежного и отечественного опыта ранжирования высших учебных заведений, общеобразовательных учреждений, а также регионов по характеру их образовательной деятельности.

В статье В.А. Болотова в журнале «Вопросы образования» (2005) представлены цели, задачи, принципы основных подходов к построению общероссийской системы оценки качества образования. В монографии В.И. Васильева, В.В. Красильникова, С.И. Плаксий, Т.Н. Тягунова «Оценка качества деятельности образовательного учреждения» анализируются преимущества культурологического и герменевтического подходов к оценке качества образования.

Вопрос выбора и анализа индикаторов для определения оценки качества образования рассматривается в статье «Школьное образование - данные статистики и мониторинга экономики образования» («Вопросы образования», 2011), где характеристика текущего состояния российской системы школьного образования строится на основании федерального статистического наблюдения, опросов директоров, учителей и родителей школьников. Ежова Т.В., Чурилов А.Н. исследовали механизм перевода количественных показателей в их качественные аналоги при оценке качества деятельности образовательного учреждения методами статистики качеств. А.В. Симкин рассмотрел вопрос поддержки принятия решений с помощью средневзвешенной шкалы оценивания показателей. Индикаторы в управлении образованием являются предметом исследования М.Л. Аграновича («Вопросы образования», 2008). Автором также были рассмотрены возможности анализа образовательных систем на основе результатов ЕГЭ («Вопросы образования», 2004). Специалистами и экспертами МАМСО в 2006 г. были подготовлены методические рекомендации по применению системы показателей и индикаторов для управления качеством образования на региональном и муниципальном уровнях.

Международный опыт мониторинга и оценки систем образования характеризуется Б.В. Железовым в «Вестнике международных организаций (2008). Обсуждению результатов международных исследований оценки качества образования был посвящён Круглый стол в НИУ-ВШЭ в феврале 2008 года. Проблема конкурентоспособности российского образования поднята в дискуссии, организованной в 2005 г. в НИУ-ВШЭ, и в статьях Ю.С. Аврамова, Н.П. Калашникова, А.Д. Рудченко, Т.В. Сорокиной-Исполатовой, Н.Г. Хохлова («Вопросы образования», 2007), М.Л. Аграновича и А.В. Фатеевой («Вопросы образования», 2008), Г.А. Цукермана, Г.С. Ковалёвой, М.И. Кузнецовой («Вопросы образования», 2011). В 2005 г. и 2009 г. были подготовлены Аналитические доклады МАМСО касательно сравнительной характеристики системы образования РФ и системы общего среднего образования (в частности) в контексте международных индикаторов.

С 2007 г. в журнале «Вопросы образования» ведётся дискуссия на тему рейтингов в системе образования. Ряд статей содержит анализ работы по рейтингованию регионов по показателям развития образования (Е.Е. Чепурных, А.Н. Майоров - 2007; И.М. Лоханина - 2007; Н.В. Ковалёва - 2007; Н.В. Ковалёва, В.И. Кузнецова, Е.Г. Нечаева - 2008;).

Диссертационные исследования представлены вниманием авторов к двум темам: оценки качества образования (А.Г. Бездудная, Т.И. Тягунова, А.Е. Бахмутский, Н.В. Стребкова, В.В. Шимохина, М.В. Смирнов, Т.В. Третьякова, Л.А. Серебрякова) и методологии рейтингования (А.А. Чайковский, М.Т. Агиева, Д.Ю. Гогин, А.С. Тюрнев).

Характеристика общественного запроса на предоставление образовательных услуг представлена в отчёте по результатам социологического исследования Фоминой Т.А. «Оценка образовательного учреждения общественностью: потребности и критерии» (Центр гуманитарных технологий и исследований «Социальная механика») и в работе И.В. Захаровой «Маркетинг образовательных услуг». Статья Железова Б.В., Кудюкина П.М., Шуваловой О.Р. («Вопросы образования», 2009) посвящена результатам социологического обследования взглядов потребителя образовательных услуг на эффективность системы образования, проведённого НИУ-ВШЭ и АНО «Левада-Центр» по заказу Федерального агентства по образованию.

Приоритетным сегодня стал вопрос ранжирования учреждений высшего профессионального образования. Это во многом связано с проведённым в 2012 г. Министерством Образования и Науки РФ рейтингованием высших учебных заведений страны. Реализации проекта «Разработка и апробация модельной методологии рейтингования образовательных учреждений профессионального образования», подготовленного Национальным фондом подготовки кадров в сотрудничестве с Центром международных сопоставительных исследований ИМОМС НИУ ВШЭ по заказу Министерства образования и науки РФ, посвящены статьи Л.В. Заварыкиной, А.С. Лопатиной, О.В. Перфильевой, М.В. Ларионовой.

Сравнительный анализ российских подходов к оценке деятельности высших учебных заведений подготовил отдел «Социальные рейтинги» Объединённой редакции новостей Российского агентства международной информации «РИА-Новости» (Тюрина Н.В., Трякшина М.). Национальный рейтинг университетов Дальнего Востока представило информационное агентство Интерфакс и Радио «Эхо Москвы». В 2011 г. информационное агентство «Татар-информ» опубликовало рейтинги вузов Казани, составленных Региональным агентством развития квалификаций (РАРК). Рассмотрению различных моделей рейтингования российских вузов посвящены статьи Т.Д. Карминской, С.П. Семёнова, О.Ф. Шапкиной, П.И. Ципорина, Ю.П. Похолкова, А.И Чучалина, Б.Л. Аграновича, С.Б. Могильницкого, А.Б. Антопольского, Ю.Е. Поляк, В.Е. Усанова.

Международный опыт ранжирования высших учебных заведений представлен в работах Алекс Ашер, Массимо Савино, ф. ван Вухт, Д.Ф. Вестерхайден, П. Эдерер, Ф. Шулер, С. Виллмс, Джамиль Салми, Эленуш Сароян, Ролана Пруль, Йинг Ченг, Ниан Кай Лю, Гейко Спицек, Клод-Патрика Зигенталер, И.А. Артюшиной, В.А. Шутилиной, И.В. Павлюткиной, М.В. Ларионовой, А.Г. Чаплыгина, Л.В. Заварыкиной, А.С. Лопатиной, О.В. Перфильевой, Ю.П. Похолкова, А.И. Чучалина, Б.Л. Аграновича, С.Б. Могильницкого.

Специалисты и эксперты МАМСО опубликовали разработанную методику рейтингования школ повышенного уровня и представили основные результаты сравнительной оценки школ повышенного уровня по регионам (М.Л. Агранович). Региональному опыту рейтингования образовательных учреждений посвящены работы В.И. Гусарова. При этом вопрос ранжирования общеобразовательных учреждений не стал предметом самостоятельного исследования в научной литературе.

Международные модели ранжирования в системе образования

Рейтингование в системе образования явление относительно молодое. Первый рейтинг был составлен в 1981 году в США журналом «U.S. News & World Report» и касался оценки качества деятельности высших учебных заведений. Предложенная методика должна была стать ответом «на очевидную потребность рынка в более прозрачных и сопоставимых данных об учебных заведениях» (12; 201). Для потребителя платных образовательных услуг данное новшество, которое расширяло информационное пространство для взвешенного выбора учебного заведения, оказалось актуальным, поэтому приобрело популярность. В 2011 году Обсерваторией по академическому ранжированию и совершенствованию зарегистрировано более 50 моделей ранжирования, в которых оценивается деятельность около 3% высших учебных заведений более чем 30 стран различных континентов мира.

В 2007 году в журнале «Вопросы образования» Алекс Ашер и Массимо Савино предложили анализ 18 моделей рейтингования в высшем образовании (12). Ролан Пруль представил опыт применения сравнительного анализа 10 ведущих университетов Канады на уровне подразделений/факультетов (58). Аналитический обзор моделей ранжирования, достоинства и недостатки их методологии рассмотрены Джамилем Салми, Эленушем Сарояном (68), как инструментарий транспарентности (прозрачности) Франсом ван Вухтом и Доном Ф. Вестерхайденом (19). Сравнительный анализ международных подходов к ранжированию проведен Л.В. Заварыкиной, А.С. Лопатиной, О.В. Перфильевой, М.В. Ларионовой (32, 41).

На сегодняшний день существует несколько систем ранжирования, в основе которых «вертикальное» разнообразие университетов определяется индикаторами оценки. Каждая из этих систем устроена по конкретным принципам. Так, в традиционных турнирных таблицах (таблицах лиг) высшие учебные заведения представлены в списке упорядоченно, в порядке убывания по выбранному единому набору индикаторов, деятельность университета сводится к одному балльному показателю. Другой принцип (система тематического ранжирования, система сравнительного анализа) предполагает, что рейтинг составляется по каждой дисциплине в отдельности для различных факультетов университетов. Оценка деятельности в этом случае не сводится к одному агрегированному показателю. Таким образом, объекты могут сопоставляться на разных уровнях. Исходя из этого, рейтинги делятся на институциональные (рейтинговые таблицы, одномерное ранжирование) и субинституциональные (тематическое ранжирование, система сопоставительного анализа, многомерное ранжирование); кроме того, на «региональные», «национальные» и «международные» или «кросс-национальные». При этом у каждой системы, безусловно, есть свои достоинства и недостатки.

В одном ряду с моделями ранжирования стоит метод классификации, позволяющий решать задачи сопоставления объектов исследования и обеспечения транспарентности (информационной прозрачности). При классификации объекты распределяются по группам на основании своих характерных черт. В этом случае отсутствует порядковая шкала и отражается лишь «горизонтальное» разнообразие. Используемые индикаторы отражают не результаты деятельности, а описывают усилия для достижения целей (ресурсы).

Субъект ранжирования. Субъект-заказчик, определяющий оценку качества образования.

Авторами-составителями одномерного и многомерного ранжирования, как правило, являются средства массовой информации, образовательные учреждения, независимые некоммерческие организации, например: «Maclean's Magazine» (Канада), «U.S. News & World Report» (США), «Times Higher Education Supplement» (Великобритания-«World University Rankings»), «La Repubblica» (Италия), «Asiaweek» (Индия-«Asia's Best Universities»), «Rzeczpospolita» (Польша), «Financial Times» (Великобритания), «Wall Street Journal», «Business Week», «Daily Telegraph» (Великобритания), «Excelencia» (Испания), «Newsweek» (США), «Guardian» (Великобритания), «Wuhan» (Китай), а также Centre for Higher Education Development (Германия - «CHE») совместно с журналом «Die Zeit», Шанхайский университет Цзяо Тун (Китай-«Academic Ranking of World Universities»), Межвузовская Группа G10 (Канада), польский фонд образования «Перспективы» и др. Инициатором составления рейтингов выступают также органы государственной власти: министерство, Совет по распределению субсидий, органы аккредитации (в Нидерландах, Пакистане, Таиланде, Тайване, Нигерии, Новой Зеландии, Великобритании, Аргентине). Коммерческие организации (СМИ) имеют значительную популярность среди общественности, они выступают как независимые «глашатаи», проводящие собственную экспертизу. Но из-за нацеленности на получение большей прибыли заинтересованы в особом эффекте, «шуме» вокруг результатов рейтингования, нежели в разработке научной методологии.

В институциональных рейтинговых таблицах сравниваются университеты по сходным характеристикам. Вследствие чего охват сопоставимых объектов может быть от мини-рейтинга региона одной страны до международного уровня. За каждым традиционным рейтингом (рейтинговой таблицей) стоит конкретное субъективное представление о качестве образования. Отбор индикаторов, модель их взвешивания и агрегирования, сложившаяся в итоге схема упорядочивания учебных заведений определяются исключительно автором рейтинга. Степень восприятия общественностью результатов рейтингования зависит напрямую от авторитета организации, составившей рейтинги.

Субинституциональные рейтинги (тематическое ранжирование, система сопоставительного анализа) представляют сравнительную оценку одинаковых подразделений различных университетов. В этом случае отсутствует единый упорядоченный список ВУЗов или даже их расположение по рангу по отдельным индикаторам. Информация дана по множеству индикаторов всех исследуемых учебных заведений, независимо от схожести или несхожести их характеристик. Кафедры (отделения), специализирующиеся на определенной дисциплине, или образовательные программы по выбранному показателю могут быть распределены или в «верхней трети», или в «средней трети», или в «нижней трети» всех университетов. Внутри каждой из групп они качественно сильно не различаются, поэтому соотносятся как равные. Авторы не ставят для себя задачи взвесить и агрегировать баллы по отдельным индикаторам, учитывая, что они могут быть априорно несоизмеримы. Пользователю информацией предоставляется возможность, опираясь на обширную базу данных, самостоятельно рассчитать рейтинг для отобранных им дисциплин, при этом присвоив индикаторам вес. Таким образом, в указанном подходе право определять «качество» находится у пользователя рейтинга.

Назначение рейтинга, объект ранжирования и целевая аудитория

Современные дискуссии по проблеме создания универсальной системы ранжирования в основе своей содержат вопрос определения качества деятельности университета в соответствии с интересами внешних стейкхолдеров. Для этого стейкхолдерам необходимо иметь доступ к информации, благодаря которой они смогут оценивать и принимать решения по взаимодействию с образовательным учреждением. Учитывая, что образовательные услуги относят как к «экспериментальным благам» (качество определяется только после потребления), так и к «доверительным благам» (качество потребитель сам не в состоянии определить), то востребованной сегодня задачей, решаемой методикой ранжирования, является обеспечение транспарентности (информационной прозрачности). Данная методика призвана скорректировать информационную асимметрию, восполнив информационный дефицит для общества и власти.

Целевая аудитория (пользователи) неоднородна по своему составу, что ведет к различиям в требованиях к системам ранжирования со стороны стейкхолдеров. Поэтому одни рейтинги (например, US News and World Report, CHE) ориентированы на абитуриентов, которые после окончания школы выбирают ВУЗ. Их, в первую очередь, интересуют условия потребления услуг. Другие (например, Financial Times) - на тех, кто уже имеет одно высшее образование и опыт работы, кто ищет дополнительного образования. Интересы данной группы - информация об эффективности собственных инвестиций в образование.

Институциональные рейтинговые таблицы ориентированы на выявления лидера (лидеров) с целью стимулирования конкуренции. Данная система позиционирует создание единого общего представления о качестве образования, выстраивая сравниваемые объекты по одной линии, характеризуя их в одной типологической схеме. Ролан Пруль отмечает, что подобная установка ведет к формированию одностороннего представления об университете, «установлению специфических и статичных понятий о качестве» (58). При этом, по мнению Франса Ван Вухта и Дона Вестерхайдена, происходит нарушение методологических правил дидактического анализа и синтеза, при которых выбор частных индикаторов для оценки должен происходить исходя из выработанной общей концепции, и только потом осуществляется композитное ранжирование (19). Таблицы лиг способствуют стратификации ВУЗов и определяют социальное расслоение между студентами. Оценка качества деятельности на основании порядковой шкалы создает проблему правильного прочтения результатов. Изменение места университета в таблице при изменении места других образовательных учреждений не означает динамику качества его деятельности. Могут быть не пропорциональными расхождения в весе индикаторов между различными порядковыми указателями одной шкалы.

Рейтинговые таблицы отвечают интересам, прежде всего, их составителей, которые заявляют о себе, как определяющие для «внешнего мира» качество образования, молодежи, желающей учиться в престижном университете, инвесторам и представителям государственной власти, продвигающим тот или иной ВУЗ, и тем университетам (ректорам, членам ученого совета), которые по заданным субъективным показателям занимают лидирующие позиции, а значит, сохраняют достойный вид во «внешнем мире» за счет нижней позиции остальных университетов. При этом, чем больше сравниваемых объектов, тем солидней выглядит приобретенный лидерский статус. Такая цель в полной мере соответствует рыночной задаче победить в борьбе за ресурсы и за потребителя, выбирающего образовательные услуги. Но усредненная оценка деятельности университета не дает ответа о качестве конкретной образовательной программы. Безусловно, рейтинговые таблицы оказывают стимулирующее воздействие на администрацию образовательного учреждения в поиске путей постоянного улучшения показателей качества (тактическое и стратегическое планирование), на корректировку национальной политики в сравнении с международными показателями, так как результат рейтинга напрямую влияет на репутацию университета.

Используя систему субинституционального ранжирования, авторы руководствуются идеей многообразия высших учебных заведений (исследовательские, докторальные/медицинские, общеобразовательные, базовые, специализированные), чья деятельность не может быть сведена к единой универсальной оценке. «Университеты - это в высшей степени сложные, многоуровневые и различные по своей организации, структуре, миссиям и целям, проводимым научным мероприятиям, разработкам и финансированию учреждения» (58). Данная система ранжирования призвана обеспечить сотрудничество и партнерство, а не способствовать конкурентной борьбе между образовательными учреждениями. Исходя из этого, определены следующие задачи, которые могут решаться в результате сопоставительного анализа:

· выявление проблемных зон в деятельности университета, составление SWOT-анализа;

· содействие в разработке тактического (оперативного) и стратегического планирования по улучшению качества;

· «сбор информации по бюджетным запросам, перераспределение ресурсов, для лучшего удовлетворения нужд и ожиданий подразделения, а также обоснование необходимости финансовых инвестиций» (58);

· обмен опытом между образовательными учреждениями;

· обеспечение информационной «прозрачности» образовательной деятельности университета, позволяющей потребителю образовательных услуг, исходя из представленных данных, определиться с выбором образовательного учреждения.

Целевая аудитория при сопоставительном анализе определяется приоритетностью представленной той или иной задачи (задач): с одной стороны, это администрация ВУЗа и его преподавательский состав, если собранная информация необходима для «внутреннего» пользования межвузовского сообщества; с другой стороны, при публичном представлении результатов исследования «внешняя» аудитория (государственные органы управления, инвесторы, работодатели, учащиеся и их родители, исследовательские группы, компании-потребители результатов научно-исследовательской деятельности университетов). У каждой из этих групп свое понимание качества образования, именно поэтому методология многомерного ранжирования отражает «существующую концептуальную множественность» (19; 12).

Организация ранжирования (этапы)

Система институционального рейтингования (одномерное ранжирование) при заранее выбранной методологии представляет собой процесс, состоящий из трех этапов, для каждого из которых характерны определенные задачи, методы и инструментарии, подведение промежуточных итогов:

1) сбор информации в соответствии с заданными индикаторами,

2) присвоение значения в баллах полученным по каждому индикатору информационным данным,

3) взвешивание и агрегирование балльных оценок, что позволяет создать единый упорядоченный список образовательных учреждений.

Принципиальную роль в процессе составления рейтинговых таблиц играет выбранная методика вычислений весовых коэффициентов. Именно она является одним из основных предметов критических замечаний относительно справедливости занятия университетом того или иного ранга в итоговом списке.

Особенности поэтапного проведения субинституционального ранжирования можно проследить на примере реализации канадской «Программы «Группы Десяти» по обмену данными» («G10 Data Exchange Program»), по которой в 2005 году сопоставлялись 35 кафедр 10 университетов по 21 критерию с учетом выбранных индикаторов и контекстуальных характеристик. Организационных этапов выделено 8:

1) создание организационных структур, которые будут проводить ранжирование; распределение функционала;

2) отбор объектов изучения и обоснование правомочности их сравнения;

3) выбор критериев сопоставления и согласование смысловых определений используемых терминов;

4) обсуждение и обоснование выбора индикаторов и их весов (коэффициентов, характеризующих производительность);

5) выявление соответствующих сравнительному анализу подразделений/ факультетов/ программ и согласование с каждым учебным заведением методологии анализа;

6) сбор информации с учетом специфики источниковой базы, определение контекстуальных особенностей собранной информации;

7) сведение куратором учебного заведения обработанной информации в единый график по каждому показателю;

8) составление итогового отчета, где полученная информация упорядочена по разделам в зависимости от выбранных индикаторов и специализации университетов.

Таким образом, при организации многомерного ранжирования принципиальное значение имеет согласованность действий исследуемых объектов между собой и с субъектом.

Индикаторы

В целом, показатели ранжирования ориентированы на оценку «входных переменных» (например, структуру и механизм автономного управления, используемые ресурсы, общая средняя оценка поступивших в ВУЗ, программы, квалификацию преподавательского состава, бюджет и т.д.), «параметры процесса», характеризующих эффективность системы (например, методы преподавания и оценивания, учебный опыт студентов и т.д.), «выходные переменные», позволяющие судить о продуктивности системы (уровне занятости выпускников, количестве наград, премий, публикаций и т.д.).

Перечень индикаторов определяется автором ранжирования и может быть от пяти («THES World Rankings») до нескольких десятков («La Repubblica», «Wuhan»). В составлении рейтинговых таблиц одним из ключевых этапов является перевод значения информационных данных в балльные оценки и определение методики их взвешивания и агрегирования. Традиционная методика предполагает вести отсчет от учебного заведения, которое получило самое высокое значение индикатора (высшая оценка равна 100). Оценки остальных университетов зависят от того, насколько они отстают от лидера. Собранные оценки по индикаторам взвешиваются, исходя из значимости индикаторов для автора рейтинга. И впоследствии объединяются в итоговую балльную оценку по каждому образовательному учреждению.

Алекс Ашер и Массимо Савино предложили концептуальную схему измерения качества, в основе которой семь категорий, охватывающие большинство индикаторов рейтинговых таблиц:

1) «исходные характеристики» (особенности и способности обучающихся на момент начала обучения в учебном заведении),

2) «вложение в обучение», «факторы обучения - ресурсы» (финансовые вложения студентов и материальная база университета),

3) «вложение в обучение», «факторы обучения - кадры» (характеристика кадрового ресурса, количество и качество его использования для преподавания, в том числе учет объема очных занятий, типов экзаменов и др.),

4) «итоги обучения» (характеристики выпускников, их знания и умения как результат полученного образования),

5) «конечные результаты» («те цели, достижению которых может способствовать система образования, включая не только такие традиционные показатели, как занятость и доходы, но и любые другие результаты, считающиеся важными для индивидов и общества -- удовлетворение от работы, гражданское самосознание и т.д.» (12; 208)),

6) «исследовательская работа»,

7) «репутация».

В каждом виде ранжирования свой уникальный набор индикаторов и распределения их веса. Закономерности можно найти, по мнению Алекс Ашер и Массимо Савино, если сгруппировать рейтинги по географическому признаку. Так, например, китайские модели рейтингования придают больший вес научным исследованиям (по количеству печатных работ и цитат в библиометрических исследованиях) и репутации университета. В британских рейтингах в свою очередь особое внимание «факторам обучения - кадрам». Главный тезис, который доказывают в своем исследовании Алекс Ашер и Массимо Савино, заключается в том, что отсутствует единый мировой стандарт качества, что подтверждает субъективность любой модели ранжирования. Формула ранжирования свободно может быть изменена автором-составителем. Такой опыт был у «The Times», «U.S. News & World Report». Одно и то же учебное заведение может занимать разный рейтинг в различных моделях рейтингования. Но чем больше участия университета в традиционной системе составления рейтинговых таблиц, тем разносторонней его характеристика в информационном пространстве.

Анализ набора критериев для сопоставления, индикаторов и их весов позволяет получить информацию о представлении автора-составителя касательно качества образования. Ролан Пруль предложил в их отборе исходить из трех позиций, на которых основывается субинституциональная модель ранжирования. Во-первых, индикаторы должны отражать особенности каждого университета, специфику выбранной им миссии и образа деятельности. Речь идет об академических показателях - назначение и условия преподавания, обучения, исследовательской деятельности в рамках кафедры, факультета, университета. Во-вторых, отбор критериев должен быть согласован между исследователями и исследуемыми. Так, в различных моделях качество исследовательской работы определяется, в одних случаях, в зависимости от количества цитируемости и публикации, в других случаях, оценивая показатели ресурсных затрат на проведение научного исследования. Сомнения существуют также в правомочности выбора в качестве индикатора репутации университета. Достаточно высока в ней доля субъективности и виртуальности.

В-третьих, требуется сохранять «динамическую взаимосвязь между показателями» (58), когда они рассматриваются с учетом контекста, то есть с учетом результата и специфики сравнения индикаторов между собой. Важен не сам по себе конкретный показатель, а совокупность взаимосвязанных показателей. Тогда сохраняется цельность представления о качестве деятельности образовательного учреждения.

Системность модели ранжирования сохраняется, только если полученные результаты исследования обязательно будут опубликованы с указанием применявшихся критериев. Тогда обеспечиваются информационная «прозрачность» и условия для интерпретации данных всеми заинтересованными лицами.

Принципы отбора информационных данных

Различия между двумя системами ранжирования (институциональной и субинституциональной) существует также по выбору источников информации и определению веса источника. Таких источников информации существует три:

1) «данные обследований» (мнение респондентов, в том числе экспертов, учащихся, преподавателей), которые фиксируют результаты наблюдений; характеризуются неполноценностью информации касательно анализируемого объекта;

2) «независимые источники» (информационные данные, полученные органами государственной власти и грантодателями); преимущества таких источников в том, что они доступны и более приближены к объективности, так как собираются в результате административного контроля; недостатки заключаются в том, что они не могут характеризовать любой спектр индикаторов и собираются субъектом вне зависимости от модели рейтингования; взгляды на качество образования составителей рейтинга может не совпадать со взглядами государства;

3) «университетские источники»; обладают всей полнотой информации, но сомнительны в достоверности, так как каждое учебное заведение заинтересовано представить себя во «внешнем мире» исключительно с наилучшей стороны.

В моделях институционального ранжирования использование той или иной группы источников зависит от составителя, но различия представлены еще и на уровне субъективного определения веса источника информации. Основным критерием выбора источника в Международных рейтинговых таблицах является доступность информации, поэтому Шанхайский университет Цзяо Тун и «THES» опираются на данные о репутации и публикациях.

В системе субинституционального ранжирования ключевым выбраны «данные обследований», предполагается обращение к «независимым источникам». Как правило, если составителем является сторонняя организация, а не университет, отсутствует информация, которую могли бы предоставить сами учебные заведения. Ранжирование СHE регулярно составляется на основе опроса около 130000 студентов (касательно их личного опыта и удовлетворенности полученным образованием) и 16000 преподавателей (интерес к рекомендации специалистов относительно трех учебных заведений, в которых наиболее квалифицированное преподавание конкретных учебных дисциплин) (12; 212-213). Общий охват обследования - 250 высших учебных заведений. Данный источник субъективен, для его восприятия необходимо учитывать контекст-факторы, а именно культуру и менталитет общества, где используется ранжирование.

В свою очередь, опыт ранжирования 10 канадских университетов («G10 Data Exchange Program») обозначил значимость информации, которую предоставляют сами учебные заведения-партнеры, потому что заинтересованы в получении объективных результатов исследования. Приемлемая для исследования достоверность собранных материалов может быть гарантирована, если пользоваться официальной открытой базой данных университета; если информация проверяется учреждением-организатором ранжирования; если каждый университет проводит вторичную проверку полученных результатов.

Дискуссии о правомочности выбора той или иной модели ранжирования и намерение международного профессионального сообщества в сфере образования создать универсальные общие требования привели к тому, что в 2006 году на второй конференции Международной группы экспертов по ранжированию (IREG) были подписаны Берлинские принципы ранжирования высших учебных заведений (www.nkaoko.kz/rankings/berlin_principles/). В 2011 году по инициативе ЮНЕСКО, совместно с Организацией экономического сотрудничества и развития (ОЭСР) и Всемирным банком были прияты «Правила аудита рейтингов» (Приложение №1), по которым Международная группа экспертов по ранжированию собирается проводить аудит и сертификацию существующих моделей. В целом, эти договоренности сегодня позволяют дать оценку элементам любой из существующих методологий.

«Берлинские принципы» для организации ранжирования определяют следующие требования:

· методология ранжирования может быть только одним из множества подходов к оценке деятельности образовательного учреждения;

· ранжирование должно проводиться в четком соответствии с поставленными задачами и выбранной целевой аудиторией;

· при сопоставлении учет многообразия университетов, их миссий;

· обеспечение конструктивного взаимодействия университетов, экспертного сообщества, государства и общественности;

· ясное обоснование и «прозрачность» для целевой аудитории методов, выбора источников информации и индикаторов;

· «учитывать лингвистический, культурный, экономический и исторический контекст системы высшего образования, проходящей ранжирование» (www.nkaoko.kz/rankings/berlin_principles/); учет представления о качестве образования принятого в конкретной стране, регионе;

· выбор индикаторов должен соответствовать их валидности (обоснованности и адекватности) и релевантности (индикаторы должны соответствовать поставленным задачам и информационным потребностям пользователей); требуется сохранять баланс индикаторов;

· приоритетность показателей, характеризующих достигнутые результаты, а значит, более точны в оценке качества деятельности;

· сохранение этических норм (объективность и беспристрастность) в проведении сбора информации и экспертной оценке;

· опора на проверенные, современные информационные данные, отобранные исходя из методологии научного исследования;

· ориентир автора модели ранжирования на ее постоянное совершенствование;

· базовая методика ранжирования должна оставаться без изменений, чтобы не вводить в заблуждение целевую аудиторию; любой факт изменений должен быть публично прокомментирован, обоснован;

· результаты ранжирования должны быть без ошибок опубликованы в ясной доступной для целевой аудитории форме, с объяснением выбранной методологии, что во много определит высокую степень доверия к рейтингу.

Центром международных сопоставительных исследований Института международных организаций и международного сотрудничества (ИМОМС) НИУ ВШЭ (32) была предложена в 2012 году методика сравнения методологий ранжирования по агрегированным индикаторам аудита качества IREG, позволившая выделить достоинства и недостатки различных моделей. Критерии были объединены в пять групп, а именно:

1) «четкость в построении целей и определении целевых групп пользователей»;

2) «надежность способа сбора данных»;

3) «надежность и релевантность индикаторов»;

4) «транспарентность»;

5) «интерактивность» (32; 73-74).

В итоге исследования определено, что критериям IREG в большей степени соответствуют находящаяся в стадии апробации методологии глобального многомерного ранжирования «U-Multirank», национального многомерного ранжирования «CHE University», региональной классификации «U-Map» (32; 112).

Таким образом, система ранжирования высших учебных заведений предполагает характеристику и определение взаимосвязи между следующими элементами: заказчик, субъект и объект ранжирования, цели и задачи, целевая аудитория, процесс организации (этапы), индикаторы, принцип отбора информационных данных, популяризация результатов, взаимодействие субъекта, объекта ранжирования и целевой аудитории, соответствие выбранной модели принятым мировым профессиональным сообществом «Правилам аудита рейтингов» («IREG Ranking Audit Rules») и «Берлинским принципам ранжирования высших учебных заведений».

Первый опыт ранжирования в сфере образования в мировой практике сложился за рубежом и связан с оценкой деятельности университетов, что определяет правомочность использование разработанных в данной области методологий применительно к другим типам образовательных учреждений. В поисках критериев и методов оценки деятельности ВУЗов появились современные модели ранжирования в сфере образования, которые подразделяются на два типа (без учета системы классификаций):

1) институциональная система, рейтинговые таблицы, одномерное ранжирование;

2) субинституциональная система, тематическое ранжирование, система сопоставительного анализа, многомерное ранжирование.

Системоформирующими в каждой из них являются поставленные цели (конкуренция или сотрудничество) и выбранная целевая аудитория. От этого зависит выбор методологии.

Берлинские принципы и Правила IREG отдают предпочтение многомерному ранжированию, как инструменту, отвечающему задаче обеспечения информационной прозрачности, транспарентности. Именно эта система ранжирования, по мнению Франса ван Вухта и Дона Вестерхайдена, позволяет образовательным учреждениям показать свою индивидуальность, продемонстрировать свои достижения, «сильные стороны», и удовлетворяет потребностям широкого круга стейкхолдеров (19; 31). Монополия одной модели ранжирования противоречит сущности информационного общества, поэтому естественным является существование в одном географическом пространстве множественности моделей. Актуальным остается вопрос ответственности автора-составителя рейтинга за публично представленные результаты ранжирования.

Отечественные модели ранжирования в сфере образования

Интерес российского экспертного сообщества к теме ранжирования проявился в 2006 году в связи с проведением государственного рейтингования регионов по показателям развития образования. Вторая волна активизации интереса к модели сравнительной оценки качества связана с началом государственного рейтингования российских ВУЗов в 2011-2012 гг. Несмотря на то, что обращение к методологии ранжирования образовательных учреждений отмечается еще в 1999 году и являлось тогда собственной инициативой журнала «Карьера», бурные дискуссии в образовании начались лишь как реакция на государственную инициативу. Значительным фактором, объясняющим повышение активности общественности, стала новая традиция государственной власти обосновывать управленческие решения результатами рейтингования (проекты по поддержке ведущих ВУЗов РФ и программ стратегического развития государственных образовательных учреждений высшего образования).

Рейтингование регионов по показателям развития образования

В 2007 г. была опубликована критическая статья Е.Е. Чепурных и А.Н. Майорова «Рейтинг заблуждения или заблуждения рейтинга». Авторы высказывают свои критические замечания касательно проведения рейтингования регионов. Основной тезис заключается в характеристике одномерного рейтингования как «специфического инструмента, который адекватно может быть использован в весьма узком сегменте управления, там, где нужно провести отбор лучшего объекта, при этом не просто лучшего, а абсолютно лучшего, не учитывая условий деятельности объекта рейтингования» (86; 267). Данная модель названа «самым примитивным способом построения рейтингов» (86; 254), основанного на выстраивании одного ранжированного ряда, который не учитывает особенности и условия развития сложных систем.

Е.Е. Чепурных и А.Н. Майоров обращают внимание на то, что организаторы, опубликовав материалы в 2006 году в сборнике приказов и инструкций Министерства образования и науки РФ «Вестник образования», не оставили комментариев от редакции. Материалы представлены без пояснений, как констатация факта. Это, безусловно, вызвало сомнение относительно обеспечения информационной прозрачности в управлении образованием. Впоследствии (к 2008 году) по вопросам рейтинга регионов были проведены научно-практические конференции, дискуссии в печати (журнал «Вопросы образования»), публикация результатов и создано программное обеспечение рейтинга.

Другое критическое замечание высказано касательно необоснованного выбора индикаторов и их агрегирования. Е.Е. Чепурных и А.Н. Майоров заметили, что в представлении пользователя информацией все объекты сравнения, как правило, находятся в равных одинаковых условиях, несмотря на многообразие объекта. Именно признание многообразия объекта позволяет говорить о «проблеме идентичности объектов измерения относительно использования результатов рейтинга и, как следствие, идентичности условий их функционирования и развития» (86; 256). На объект исследования оказывают влияния различные факторы в разной степени. Выведение в абсолют одного из них или даже несколько факторов, при этом игнорируя другие, дает искаженную информацию при рефлексии результатов. Так, сравнение школ накладывает обязательства рассмотрения и учета социально-демографических условий регионов-районов, где они располагаются, и состава классов. Таким образом, авторы сделали вывод о некорректности одномерного сравнения объектов, которые характеризуются своим разнообразием. Адекватной и перспективной моделью оценки при описании образовательных систем в регионах авторами названа кластерная модель, когда образовательные учреждения распределены и анализируются по группам (кластерам) на основе общих признаков.

Подобранные индикаторы должны максимально точно раскрывать специфику объекта. Например, для определения степени доступности нужно учитывать социокультурный, территориальный, экономический, структурно-институциональный и специфические (информация и мотивация) барьеры. Любое огрубление шкалы подсчета (от стобалльной к десятибалльной, например) приводит к искажению информации, что ведет к риску стирания различий между показателями, числительные данные округляются. В итоге индикаторы должны «обладать собственной содержательной значимостью», «приемлемой дифференцирующей способностью», «надежностью в понимании помехоустойчивости» (86; 262-263)

Дополнительную проблему авторы статьи видят в соотношении цели рейтингования и практических решений, которые по его результатам принимаются. Акцент делается на том, что рейтинг не может являться обоснованием любых управленческих решений. При составлении рейтинга регионов допущены ошибки не только в отборе индикаторов и вычислениях их весов, но и в представлении интерпретации результатов, порой игнорируя здравый смысл. Важно, по мнению Е.Е. Чепурных и А.Н. Майорова, чтобы существовало несколько альтернативных объяснений числительных результатов.