Критерии оценки результативности деятельности школ

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Введение

На сегодняшний день широкий круг исследователей, политиков, руководителей образования разного уровня и часто педагогов обращают свое внимание на проблемы улучшения образовательных результатов, сокращения разрыва между образовательными возможностями разных школ, повышения их результативности. В основу решения данных проблем могут быть положены различные модели оценки школы, характеризующиеся комплексным и многопараметрическим инструментарием.

Анализ открытых источников позволяет говорить о том, что на сегодняшний день проработаны несколько моделей оценки школы (апробированных в США и Канаде в разное время). Так, в работе Дж.Д.Уилмса дается описание следующих моделей оценки, позволяющих получить состояние школы в динамике: модель контроля соответствия нормам (установленным по различным параметрам стандарта); модель выходного контроля (соответствие академическим результатам обучения учащихся); модель контроля достижений (ставнительное оценивание между собой образовательных учреждений); модель “пяти факторов” (с использованием данных о процессе обучения); модель от достигнутого (оценивание темпов развития и достижений ученика); модель “измерения изменений в достижениях школы” (измерение эффекта влияния школы с учетом вклада, процесса и результата по одному и тому же возрасту учащихся) [8].

Применение подобных моделей для оценки образовательной организации позволит определить объективные данные по широкому кругу вопросов (учебная практика, руководство, квалификация сотрудников, качество программ и т.д.). Вместе с этим, на практике появляется необходимость реконструировать причины «ситуации неуспеха», более полно определить «белые пятна» в управленческой и педагогической деятельности. Это актуализирует проблему понимания тех вопросов, с помощью которых можно обследовать школу и выбирать корректный оценочный инструментарий.

Данное обстоятельство приобретает все большую значимость в последнее время, особенно в сфере управления общим образованием города Москвы. Как известно, сегодня московские школы и детские сады, пройдя процедуры реорганизации (путем слияния или присоединения), представлены достаточно большими образовательными комплексами, состоящими из многочисленных дошкольных и школьных отделений на определенной территории, и, как следствие, включающие «сильные» и «слабые» школы.

Проблема исследования на проектно-управленческом уровне характеризуется противоречием между существующим разнообразием инструментов оценки школ и практикой выбора единичных инструментов при оценке результативности деятельности школы.

Наличие разнообразных инструментов и подходов к оцениванию ставит руководителя образовательной организации перед выбором таких инструментов и технологий оценивания, которые бы соответствовали целям оценивания организации всеми генеральными стейкхолдерами. При таком подходе неизбежно встает вопрос о том, каким критериям должны соответствовать те оценочные инструменты, которые смогут обеспечить перспективы развития образовательной организации.

Цель исследования: определить критерии и показатели для составления комплексного инструмента оценки деятельности школы, состоящего из инвариантного и вариативного компонентов и разработать подходы к созданию такого инструмента.

Объект исследования: процесс оценки результативности деятельности образовательной организации.

Предмет исследования: инструменты оценки результативности деятельности школы (на примере города Москвы).

Исследовательский вопрос: позволяет ли комплексный инструмент оценки деятельности школы, учитывающий мнения стейкхолдеров, определять направления для повышения результативности школы?

Задачи исследования:

1. Определить ключевые понятия исследования “оценка”, “инструменты оценки”, “результативность” и сопутствующие - “эффективность”, “качество образования”.

2. Проанализировать наиболее упоминаемые в профессиональной литературе комплексные модели и подходы к оценке результативности образовательной организации.

3. Сопоставить и систематизировать отобранные модели и подходы к оценке результативности школы.

4. Разработать подходы к созданию комплексного инструмента оценки результативности деятельности школы с учетом мнения генеральных стейкхолдеров: родителей, обучающихся и педагогов.

Обращение к вопросу оценки школы показывает серию разнообразных исследований, которые ведутся по различным направлениям: представление и научное обоснование моделей оценки школы (с учетом контекстных факторов школы - Sanders, James R.; Davidson, E. Jane. A Model for School Evaluation, 2003), школьного импрувмента - (Harris, Chapman, 2004, М.А. Пинская и др.); стандартизации планирования и проведения оценки (Stufflebeam, 2003), классификация, анализ подходов оценки, приравненных к методам, описаны в работах Shinkfield Энтони Дж, Stufflebeam и другие.

В работе подвергается анализу зарубежный и отечественный опыт образовательного оценивания, его организационно-технологический инструментарий, основные подходы и критерии при осуществлении оценки образовательной организации.

рейтинг школа результативность образовательный



Глава 1. Инструменты оценки в образовательной практике: зарубежный и российский опыт

1.1 Подходы к определению основных понятий исследования

Оценивание школы в международной образовательной практике определяется как “систематическое отслеживание результативности деятельности школы и того, насколько хорошо она служит интересам общества, также оно является наиболее важным вкладом” [28]. Благодаря оцениванию можно узнать о сильных и слабых сторонах образовательной организации, выбрать ориентиры развития и способы выявления и решения важнейших проблем.

Международные исследования, посвященные результативности работы школ, стали появляться еще в начале 70-х годов прошлого века. Вопросы результативности образования освещались на международных конференциях, по решениям которых вырабатывались новые инструменты оценки работы образовательных организаций, создавалась скоординированная политика в области образования на уровне государств.

В России проблемы результативности, эффективности и качества образования стали подниматься в связи с адаптацией системы образования к требованиям экономики, а также разработкой и введением новых государственных образовательных стандартов.

Однако понятие результативности в образовании, как правило, связывается с образовательным процессом и в меньшей степени - с оценкой результативности самой школы как образовательной организации.

Например, инструментами в области оценки достижений учащихся являются крупномасштабные международные исследования, такие как IAEP-II - исследование достижений в области образования, TIMSS - исследование по оценке качества математического и естественнонаучного образования, LES - исследование по иностранным языкам, CIVIC - исследование по общество­ведческому образованию, SITES - исследование по информаци­онным технологиям в обучении, PISA - программа по оценке учебных достижений, PIRLS - изуче­ние качества чтения и понимания текста, но использование их для определения результативности конкретной образовательной организации не представляется возможным, в силу предназначения.

Широко используются в российской практике оценивания работы школы результаты государственной итоговой аттестации выпускников средней и основной школы, что также вызывает ряд противоречий. Например, в аналитическом обзоре, подготовленном Болотовым В.А., Вальдманом И.А., Ковалёвой Г.С., Пинской М.А. на основе концептуальной рамки, разработанной в рамках Российской программы содействия международному развитию в области образования READ (Russia Education Aid for Development), отмечается проблема интерпретации результатов оценки учебных достижений школьников, а именно неправомерное сравнение школ и муниципалитетов по данным ЕГЭ без учета контекстных факторов, влияющих на деятельность образовательных организаций.

На проблему использования результатов ЕГЭ и ГИА при рейтинговании школ неоднократно обращали свое внимание Е.Е. Чепурных, А.Н. Майоров, М.Л. Агранович, В.А. Болотов, И.А. Вальдман, С.А. Боченков, Е.Б. Иванова, говоря о том, что средние баллы ЕГЭ по разным предметам соответствуют разным уровням знаний, что самые высокие баллы часто не являются заслугой школы, что без учета контекстных показателей подобные рейтинги приносят системе образования вред, так как по итогам «как правило, награждают непричастных, а наказывают невиновных» [16].

В практике управления сегодня представлено большое количество подходов к оценке деятельности образовательной организации и инструментов для проведения оценивания. Критерии оценки результативности и эффективности государственных образовательных организаций разрабатывают исполнительные органы власти, с учетом стоящих перед ними задач. Однако решение этих задач лишь частично отвечает интересам других стейкхолдеров родителей и обучающихся. Поэтому руководители и управленческие команды школ стараются найти собственные ответы на вопрос о том, насколько результативно работает школа и как оценить ее эффективность. Ответы на эти вопросы расширяют границы самоанализа для образовательного менеджмента в целях корректировки маршрутов развития организации или их радикального изменения для достижения результата. Адекватное оценивание результатов деятельности образовательной организации должно стать вектором для определения стратегии развития школы.

В литературе понятия “оценка”, “результативность”, “эффективность”, “качество образования” (“оценка качества образования”) употребляются в неразрывных связках.

В Словаре основных терминов по качеству понятия “качество образования”, “оценка качества образования” трактуются следующим образом: «Качество образования - сбалансированное соответствие образования (как результата, как процесса, как образовательной системы) многообразным потребностям, целям, требованиям, нормам (стандартам)»[18]. Категория качества трактуется в таких понятиях, как качество преподавания (учебного процесса, педагогической деятельности); качество научно-педагогических кадров; качество образовательных программ; качество материально-технической базы, информационно-образовательной среды; качество учащихся; качество управления образованием; качество научных исследований и др.

Оценка качества образования - все виды деятельности, направленные на создание уверенности в том, что требования к качеству образования будут выполнены.

Сегодня существует система внешней и внутренней оценки качества. Внешняя оценка осуществляется сторонними субъектами. Это прежде всего итоговая аттестация обучающихся, регламентационные процедуры (лицензирование, аккредитация, аттестация), разнообразные исследования и аудиты. Внутренняя оценка - это деятельность самой организации, включающая в себя внутришкольный контроль, мониторинг и самооценку деятельности образовательного учреждения, которая производится участниками образовательных отношений.

Оценка качества образования может распространяться на оценку образовательных программ, персонала ОО, процессов ОО, системы качества ОО, успеваемости учащихся, учебно-методических материалов, учебных планов и т.д.

На основании сопоставительного анализа мнений исследователей о понятии эффективности менеджмента С.М. Васиным и О.А. Мамоновой уточнена взаимосвязь понятий «качество», «эффективность» и «результативность», позволившая определить, что результативность управления есть отношение результата к целям, эффективность - отношение результата к затратам [5]. Результативность и эффективность менеджмента - критерии качества менеджмента.

Необходимо отметить, что проблема понимания “сущности” показателей оценки деятельности организации: результативности, эффективности, качества - присуща как для процедуры оценивания результатов деятельности коммерческих организаций, так и некоммерческих, к которым относится школа.

Новый Федеральный государственный образовательный стандарт общего образования Российской Федерации определяет совокупность показателей оценки результатов и качества деятельности образовательной организации по отдельным направлениям: оценка образовательной программы, оценка программы развития учреждения, оценка учебных достижений школьников, оценка труда педагогов учреждения и оценка условий реализации образовательных программ в учреждении. К условиям реализации образовательных программ ФГОС относит следующие: кадровые, финансовые, материально-технические, учебно-методические, информационно-коммуникационные, психолого-педагогические и правовое обеспечение [20].

Проблема совершенствования инструментов оценки деятельности школы, в частности выбора адекватных критериев и показателей, определяющих «формат» эффективной школы, нуждается в дальнейшем исследовании. Актуальность решения задачи выделения критериев оценки деятельности школы как самостоятельной организации, а не только части системы образования определенного уровня, подтверждается изменениями в подходах к финансированию образовательной организации посредством субсидий, через систему государственного задания и государственных работ.

При оценке результатов деятельности любой системы предполагается наличие нормы или эталона для сравнения, здесь позволительно сравнение с медицинскими диагностиками (анализами), в которых всегда заданы параметры нормы. По утверждению М.Л. Аграновича, “оценки результатов деятельности образовательных систем имеют одну общую отличительную особенность -- отсутствие объективно обусловленных эталонов или аналитически рассчитанных нормативов (за исключением, зафиксированных в Санитарных правилах и нормах (СанПиН)”. [1] Следовательно, при оценке результатов деятельности образовательных организаций основным методом может быть сравнение с другими образовательными организациями и/или анализ динамики, т.е. сравнение с собственными показателями за предыдущие периоды.

Еще одной особенностью, которую необходимо учитывать при оценке школы, является открытость системы образования, а значит, на результаты ее деятельности воздействует значительное количество факторов. Подтверждение данной особенности образования как объекта оценки мы находим в работах Ястребова Г.А., Пинской М.А., Косарецкого С.Г., Вальдмана И.А., Болотова В.А., Бессуднова А.Р., Крутий Н.С. и других ученых, посвященных проблеме контекстуализации образовательных результатов.

Необходимо отметить, что результативность с общеэкономической позиции - это степень достижения запланированных результатов (способность компании ориентироваться на результат).

Исходя из обозначенных подходов к рассмотрению процедуры оценивания школ, применяемой методологии, а также конкретных условий применения процедур, следует отметить, что в исследовании под оценкой результативности школы понимается систематический операционализируемый сбор и анализ информации о результатах всех видов деятельности школы (образовательной, финансово-экономической, управленческой и ресурсообеспечения).

При этом понятие “инструменты оценки” в большинстве случаев рассматривается как собирательный термин, включающий формы, методы, средства и конкретные практики их применения с целью получения разного рода информации. Инструменты оценки школы - это набор средств и методов, используемых для измерения результатов деятельности.

В данной работе под методами оценки деятельности школы понимаются различные модели и подходы оценивания, под инструментами оценки - мониториг, диагностика, анализ, экспертиза, рейтинг.

При проведении оценивания выбор подходов и методов, которые могут быть использованы в сочетании друг с другом, зависит от потребителя результатов и постановки задач оценки. Основные виды оценки можно сгруппировать в три категории в зависимости от:

- срока проведения оценки (формирующая, среднесрочная, окончательная, Ex-post оценка (оценка по факту);

- субъекта оценки (внутренняя или самооценка, внешняя или независимая (экспертная), партиципативная, совместная оценка);

- технологии и методики проведения оценки (оценка в режиме реального времени, метаоценка, тематическая, кластерная/секторальная, оценка воздействия).

Виды мониторинга по определению ОЭСР: [17]

1. Мониторинг результатов позволяет отслеживать эффекты и воздействия. При этом мониторинг сливается с оценкой для определения того, достигает ли проект/программа намеченных результатов (промежуточные результаты, конечные результаты, воздействие) и не влечет ли он/она за собой каких-либо непреднамеренных последствий (положительных или отрицательных).

2. Мониторинг процесса (деятельности) позволяет отслеживать использование вложений и ресурсов, а также прогресс в осуществлении деятельности и обеспечении промежуточных результатов. В ходе такого мониторинга изучается то, каким образом обеспечивается реализация мероприятий, т. е. какова их эффективность с точки зрения временных и ресурсных затрат.

3. Мониторинг соблюдения стандартов обеспечивает соответствие правилам предоставления образовательной услуги и ее ожидаемым результатам; требованиям, установленным нормативным требованиям и законам, принятым местными органами власти; а также этическим стандартам.

4. Контекстный (ситуационный) мониторинг позволяет отслеживать условия, особенно с учетом выявленных рисков и допущений, а также любых других непредвиденных обстоятельств, которые могут возникнуть. Сюда относится анализ не только местного, но и более широкого политического, организационного, финансового и стратегического контекста, влияющего на осуществление проекта/программы.

5. Мониторинг бенефициаров помогает отслеживать восприятие проекта/программы со стороны потребителей услуги. Сюда относится удовлетворенность или неудовлетворенность бенефициаров проектом/программой, включая такие аспекты, как участие, обхождение, доступ к ресурсам и общая ощутимость изменений. Данный вид мониторинга, который иногда называют мониторингом настроений бенефициаров, часто включает в себя механизм сбора жалоб и предложений со стороны заинтересованных сторон.

6. Финансовый мониторинг обеспечивает отслеживание и учет затрат по каждому виду вложений и мероприятию в рамках заранее определенных статей расходов. Как правило, он проводится вместе с мониторингом процесса.

7. Организационный мониторинг позволяет отслеживать устойчивость, организационное развитие и развитие кадрового потенциала в ходе реализации проекта/программы и в процессе взаимодействия с партнерами. Такой мониторинг, как правило, проводится вместе с мониторингом процессов.

Большинство инструментов оценки имеют определенные противоречия и могут осуществляться только при определенных условиях. Если речь идет о мониторинге, то неизбежно встает вопрос об анализе условий в связи с полученными результатами и о распространении его результатов - иначе, как считает Агранович М.Л., мониторинг теряет всякий смысл [2].

Теоретические подходы к определению критериев и показателей оценки результативности, эффективности и качества образования достаточно изучены. Но на практике простой в использовании инструмент, позволяющий администрации школы быстро оценить работу образовательной организации с учетом мнения всех стейкхолдеров и дающий возможность фиксировать динамику развития школы, отсутствует. Это послужило основанием для выбора темы исследования.

1.2 Обзор зарубежных и российских моделей оценки результативности школы: определение инвариантного и вариативного компонентов

Корни современного образовательного оценивания приходятся к середине ХХ века в исследованиях ученых США, Латинской Америки и Европы. В течение многих лет образовательное оценивание фокусировалось в основном на оценивании успехов учащихся и концентрировалось на применении тестов и чрезвычайно подвергалось влиянию психометрии. Другое главное и длительное влияние на оценивание в образовании можно найти в разнообразии программ, предписанных школам и колледжам. В большей степени это смелое предприятие характерно для США, аккредитация программ началась в конце 80-х годов и является утвердившейся реальностью в США сегодня.

Новые требования к оценке в сфере образования привели к тому, что стали рассматриваться результаты различных испытаний обучающихся, а также альтернативные разработки программ и соответствующие им процедуры. В результате широко стала применяться методология образовательного оценивания. Поначалу - главным образом количественная оценка, а позже и качественная оценка, обеспечивала руководство по методике и исследовательскому замыслу в оценивании.

Вместе с этим, оценивание результативности служит интересам родителей, которым важно знать, как выбрать “хорошую” школу, а также интересам учителей, школьной администрации и членам управляющего совета, которые стремятся улучшить свои школы. Оно также даёт важную информацию для принятия решений местным, региональным и федеральным властям. В качестве составной части грамотного стиля управления оценивание помогает:

1) определять потребности;

2) устанавливать цели;

3) уточнять цели;

4) выбирать стратегии для достижения целей;

5) отслеживать прогресс;

6) оценивать результаты и эффективность работы.

На сегодняшний день в образовательной практике (преимущественно за рубежом) представлены различные модели оценки школы и связанные с ними проекты и исследовательские программы. Они, в свою очередь, нацелены на описание применяемого инструментария, определения границ использования, интерпретации результатов.

Итак, остановимся на моделях оценки деятельности школы, имеющих исследовательский статус. Основанием отбора моделей оценки школы является их массовость, упоминание, их ориентация на комплексную оценку деятельности школы, измерение множественности показателей.

“Модель оценки школы” - A Model for School Evaluation (Sanders, James R.; Davidson, E. Jane) - США

Обращение к Международному справочнику по оценке образования (International Handbook of Educational Evaluation [28]) показывает, что авторами в структуру модели оценки школы (см. рис. 1) включаются 11 компонентов, которые сгруппированы в следующие блоки: школьный контекст и исходные аспекты, школа, услуги школы, аспекты результатов школы.

Рис.1 - Модель оценки школы (по Sanders, James R.; Davidson, E. Jane)

Внутренний круг: Профессиональные стандарты точности, полезности, правильности и реализуемости программ оценивания.

По кругу:

1. Определение школьных компонентов для оценивания.

2. Определение использования результатов оценивания и пользователей результатов оценивания.

3. Разработка сотруднических отношений между участниками.

4. Определение критериев оценки каждого компонента.

5. Сбор информации о действиях и результатах, связанных с критерием, определённым для каждого оцениваемого школьного компонента.

6. Оценка факторов среды, которые влияют на действия и результаты.

7. Обработка результатов.

8. Учёт точек зрения заинтересованных лиц при интерпретации результатов.

9. Предоставление формирующих отзывов (обратная связь).

10. Обработка подытоживающих отчётов.

11. Совершенствование школ и подотчетность.

Внешний круг: Основание модели оценивания участие заинтересованных лиц, непрерывность оценивания, коммуникация и метаоценивание).

Существует множество аспектов работы школы, которые могут попасть под оценивание. Оценивание школы шире, чем оценивание программ, оценивание персонала, оценивание успеваемости учащихся, и может включать оценивание учебной базы, финансирования школы, атмосферы в школе, школьных правил, ведения школьной документации. При попытке собрать перечень важных аспектов школы, которые могу быть оценены, мы выбрали наработки из различных источников. Итоговый перечень представлен в таблице 1.



Таблица 1. Аспекты школы, которые могут быть включены при оценивании школы

Школьный контекст и исходные аспекты	Школа (Организация учебного процесса)	Услуги школы	Аспекты результатов учащихся
- Атмосфера в школе - Квалификация сотрудников - Вовлечение родителей - Безопасность в школе	- Организация работы в школе - Учебная база - Учебный процесс	- Преподавание - Программы консультации со школьными психологами - Ведение документации - Оценивание учащихся - Финансирование школы - Питание - Обеспечение охраны - Услуги по транспортировке до школы - Внеклассные мероприятия - Школьная программа профессионального развития сотрудников	- Когнитивное развитие - Социальное развитие - Эмоциональное развитие - Физическое развитие - Эстетическое развитие - Профессиональное развитие - Школьные правила - Моральное развитие

Из таблицы 1 видно, что лица, руководящие оцениванием школы, могут выбрать компоненты, которые они хотят включить в свой план оценивания школы. Если в данном перечне что-либо не подходит для определённой ситуации, включать это не следует. Если в перечне нет чего-либо значимого, то это следует добавить.

В первую очередь лица, руководящие оцениванием, должны задать себе вопросы: «Кто будет пользоваться результатами оценивания?» и «Каким образом они собираются их использовать?». Ответы на эти вопросы помогут установить цель оценивания и определить пользователей, для которых предназначается информация о результатах оценивания. Обсуждение с пользователями - отдельными людьми или группами - обеспечивает определение основных вопросов, которые необходимо задавать и способы получения информации. Границы оценивания при этом определяются ожиданиями пользователей и ролью, которое оно будет играть в школе, и частично теми, для кого оно предназначается. Роль может быть формирующей, способствующей построению направлений деятельности по совершенствованию школы, или итоговой, включающей представлений полученной информации во внешнюю среду (общество, государственные организации и др.).

Формирующее оценивание используется персоналом школы для внутренних целей для улучшения своей работы. Координатор или организационная группа должна предоставить отзыв по результатам оценивания, с учётом позитивных и негативных моментов, для тех, кто будет его использовать для улучшения школы в наилучшим образом подходящее для этого время. Формирующее оценивание наиболее эффективно, когда оно проводится непрерывно. При нём нет необходимости в формах или формальных отчётах. Методики могут быть улучшены, как только соответствующая информация станет доступной. Разговоры в коридорах, собрания сотрудников, небольшие памятки и краткие презентации являются хорошим способом распространения формирующих отзывов.

Итоговое оценивание используется для публичных отчётов и подотчётности. Оценивание школ является общественным интересом и может быть инициировано местным советом по образованию, департаментом образования штата, или финансирующим агентством. В обязанности оценочной группы входит предоставление формальных отчётов, которые являются точными, соответствующими моральным нормам и пригодными к использованию в конкретных целях, инициированными получателями информации. Отчёты должны быть интересными, существенными, и адресованными конкретным адресатам. Сообщение не должно теряться на фоне обилия деталей. Использование для оценивания внешней консультативной группы для проверки процесса оценивания и отчётов до их публичной публикации поможет повысить их достоверность, непредвзятость и сбалансированность. Такой процесс проверки называется “метаоценивание”, или оценивание самого процесса и продуктов оценивания.

С точки зрения Sanders, James R.; Davidson, E. Jane, оценивание не заканчивается отчётом об оценивании. Необходимо принимать действия на основании отчёта. Лица, участвующие в оценивании, как правило, должны помочь получателям использовать результаты. Например, руководитель группы по оцениванию школы или организационного комитета может спланировать последующие собрания с адресатами информации для того, чтобы помочь им понять и применить информацию, полученную в результате оценивания. Как отмечается в Стандартах, оценивание является плохой инвестицией, если его результатами не пользуются.

Приданием официального статуса процессу оценивания школы персонал школы может осуществить гораздо больше, чем просто оценивание школы. В литературе отмечаются некоторые выгоды. Во-первых, поощряется совместная работа заинтересованных лиц, проводимая в интересах учащихся. Во-вторых, временной план проведения оценивания облегчает его проведение. В-третьих, оценщики лучшим образом используют имеющуюся информацию и смогут оценить, нужно ли собирать остальную шаблонную, но не используемую информацию. В-четвёртых, могут всплыть новые идеи об изменении школы после того, как они были забыты вследствие отсутствия последователей. В-пятых, информация, собранная учителями и иными лицами в повседневной работе, будет передана другим. Таким образом, оценивание предоставляет площадку для передачи важной информации и знаний, иной возможности поделиться которыми попросту нет. В-шестых, у заинтересованных лиц вырабатывается чувство сопричастности к школе и к учащимся. В-седьмых, могут быть определены причины "дрейфа" в школе (изменения успеваемости, которые происходят по непонятным причинам или без таковых). Изменения, проводимые на основании оценивания, являются осознанными и оправданными.

Рассмотрение рисунка 1 позволяет подчеркнуть центральную роль стандартов в оценивании школ. Таким образом, грамотное оценивание будет полезным, реалистичным, точным и правильным. Напомним, что для наилучшего оценивания важны четыре характеристики: участие заинтересованных лиц, непрерывность оценивания, хорошая коммуникация и метаоценивание.

Следует отметить, что метаоценивание представляет собой использование внешней консультативной группы для проверки процесса оценивания и отчётов до их публичной публикации и повышения их достоверности, непредвзятости и сбалансированности.

Трехуровневая модель оценки деятельности школ “Инспекторская проверка” - Уэльс (Англия).

Данное оценивание образовательных программ проводится на всех ступенях обучения по 7 параметрам, сформулированным в виде вопросов:

1. Каков уровень успеваемости учащихся?

2. Насколько эффективен процесс преподавания и оценки?

3. В какой степени учебный процесс отвечает потребностям и интересам учащихся и местного населения?

4. Хорошо ли заботятся об учащихся? Оказывают ли им необходимую помощь и поддержку?

5. Насколько хорошо налажено общее руководство и стратегическое управление (насколько хорошо попечители справляются со своими обязанностями)?

6. Насколько эффективно руководители и менеджеры выполняют задачи по оценке и повышению качества?

7. Насколько эффективно руководители и менеджеры используют ресурсы?

Выделяются три уровня инспектирования в зависимости от результатов предыдуших оцениваний или вида школы:

* комплексное (для школ, показавшим неудовлетворительные результаты предыдущего оценивания; школ-новостроек; школ для детей с особыми потребностями) - по всем пред­метам (образовательным программам) и на всех ступенях обучения; этот вид инспектирования применим в школах, к которым применяются особые меры, в школах, в которых по результатам предыдущей проверки выявлены существенные недостатки в работе, а также в новых школах и школах для детей с особыми потребностями;

* стандартное (для школ, показавшим удовлетворительные результаты при предыдущем оценивании) - углубленная проверку только по 6 предметам (образовательным программам), отобраннымна основе результатов работы школы и выводов предыдущей инспектияровани;

* сокращенное (для школ, показавшим лучшие результаты при предыдущем оценивании - 14% от общего числа школ) - в ходе этой проверки не делаются выводы и не даются оценки по отдельным предметам (образовательным программ).

По итогам инспектирования деятельность школы оценивается по пятибалльной шкале, чем выше балл, тем хуже результат.

Центр Внешняя оценка школ (Die Fachstelle Externe Schulevaluation) - Швейцария [30]

Данная модель является инструментом внешней оценки результативности школы, но также предлагается разработчиками и для использования в самооценивании.

Процесс внешней оценки школ осуществляется Центром Внешней оценки школ, расположенном в колледже образования FHNW, состоящим в общей сложности из пяти научно-исследовательских центров.

Оценивание школ осуществляется по двум направлениям: оценки качества образовательных процессов и самих учебных заведений. Для школ, желающих провести внешнюю оценку, предлагаются инструменты для измерения производительности школы, а именно разрабатываются персональные тесты производительности для школ (см. таблица 2).



Таблица 2. Процесс внешней оценки школ

Процессуальные действия	Деятельность	Период
1. Планирование	? Первый контакт со школой ? Информация о начальной школе (БКС Отдел и колледж образования FHNW общий)	около 1 года назад от реализации
	? Уточнение рамки оценки ? Подписание соглашения о внешней оценке: формирование внешней оценки, обучение контактной группы школы	За 9 месяцев до внедрения
2. Подготовка	? Подготовительная работа в школе (например, самооценка) ? Подготовительная работа группы по оценке (например, анализ документов)	около 4 месяцев до реализации
	? План Соглашение о внешней оценке	около 2 месяцев до внедрения
	? Написание отзывов родителей, учеников и учителей	За 1,5 месяца до реализации
3. Осуществление	? Оценка визит в соответствии с планом оценки: наблюдение, интервью, проверка документов	За 3-4 дня
4. Оценка	? Разработка отчета об оценке в нескольких частях	до 4 недель после выполнения
5. Отчетность	? Проверочная сессия между командой по оценке и ответственным от управленческой команды (школьного совета и руководства школы)	около 5 недель после выполнения
	? Обратная связь / отчет перед открытием	Через 6 недель после выполнения
	? Письменный отчет по оценке	около 8 недель после выполнения
6. Осуществление	? Меры в области развития, школы, основанные по направлениям развития	примерно 24 недель после внедрения

Данная модель внешней оценки школ выполняет две различные функции: контроля и ответственности, и развития. Также внешняя оценка является частью управления качеством в сочетании с другими элементами стремится поддержать школы в процессе развития. При этом в докладе представленном по окончании оценивания описывается текущая ситуация и определяются потребности развития школы. Такая модель предполагает оценку школы в целом и стремиться показать тенденции, которые характерны для данной школы.

В качестве инструмента оценки используются следующие элементы, перечисленным в таблице 3.

Таблица 3. Три элемента оценки и их конкретные функции [30]

Идентификация элемента	Характеристика	Основной вопрос	Инструмент для получения знаний	Форма и получатели части отчета
"Светофор оценка»	Оценка отчетности, ориентированной на часть, которая проводится во всех школах в качестве обязательного элемента. Как далеко может оценить, определяют основные функции школы	Насколько школа выполняет элементарные базовые функции?	Критерии с соответствующими инструментами для систематического сбора данных (Эксплуатационные испытания, анкетирование, устные интервью, анализ документов).	Оценка в функциональных областях, использующих цвета светофора: зеленый, желтый и красный. Адресаты этой части доклада: - отдельные школы (школа управления вкл. Schulpflege), - компетентный осмотр целевых групп, - Отдел школьной инспекции
"Профиль -оценка»	Обнаружение характерного профиля школы и связанных возможностей и рисков. В зависимости от структуры школы, описание профиля.	Что характерно для прочности или слабости профиля школы?	Открыть анкету ориентированного сбора данных, опираясь на прочность/ слабость анализа школы. Анализ документов, наблюдения и устные интервью различных целевых групп.	Основные заявления с пунктами к характерным прочности/ слабости профиля школы. Адресаты части отчета: - индивидуально школа (вкл. Школьный совет), - компетентный осмотр целевых групп
"Фокус -оценка»	Оценка школы по установленным требованиям качества, классификации, используя оценочную сетку 4-ступенчатую. Школа может выбрать один из нескольких возможных проблем-фокусов оценки. Школа стремится показать достигнутый уровень развития и следующие шаги развития.	На какой стадии развития школы выбор координатора? Каковы отправные точки для дальнейшего развития?	Оценка-сетка для отдельных тем. Качественный и количественный сбор данных через интервью, наблюдения и анализ документов.	Оценка уровня развития по заранее определенным параментам. Размеры. Адресаты части отчета: -индивидуально школа (вкл. Школьный совет), - компетентный осмотр целевых групп

По результатам оценивания Центр предлагает учебные курсы для повышения квалификации педагогов и администрации школы по оценке школьной предметной области и управлению качеством в конкретной школе. Настоящее предложение является наиболее важным и состоит из базового модуля, трех элективных курсов и модулей по сертификации.

“Модель эффективной школы” - Центр социально-экономического развития школы НИУ ВШЭ (Пинская М.А., Груничева И.Г.) - Москва

В качестве отечественного инструмента оценивания результативности деятельности школы, разработанного на базе западноевропейской методологии школьного импрувмента, рассмотрим модель эффективной школы.

В исследованиях М.А. Пинской, С.Г. Косарецкого, И.Д. Фрумина «модель эффективной школы (Whitty, Mortimore, 1997; Reynolds, Hopkins, Potter, Chapman, 2001; Harris, Chapman, 2004) определяет результативность школы и определяется именно как ее способность повышать жизненные шансы каждого ученика независимо от индивидуальных стартовых возможностей и семейного контекста» [12].

Модель эффективной школы базируется на концептуальных идеях школьного импрувмента, показанного на рисунке 2.

Рисунок 2 - Компоненты школьного импрувмента

Структура модели эффективной школы (на основании описания М.А. Пинской и И.Г. Груничевой) состоит из двух крупных блоков: характер школы и стиль жизни школы. Каждый блок включает перечень компонентов школьной среды и содержит: факторы школы, фактор учителя и система действий, фактор ученика и система действий.

Рисунок 3 - Модель школьной эффективности



На данном рисунке представлены основные компоненты оценивания в рамках модели эффективной школы. Кроме вышеобозначенных показателей предлагается оценить успеваемость и состояние школьных ресурсов. При оценивании каждый показатель измеряется по шестибалльной шкале: от “неудовлетворительно” до “отлично”, что способствует более аккуратному планированию улучшений.

В процессе самодиагностики и оценки состояния школы инструменты данной модели позволяют ответить на три главных вопроса: как мы работаем? как нам это узнать? и что мы собираемся делать?

Итогом применения инструментов оценки школы по модели эффективной школы, является программа корректировки и устранения выявленных дефицитов и улучшения результатов.

Бахмутский А.Е., Кондракова И.Э., Писарева С.А. [3] при оценивании результативности деятельности школы предлагают рассматривать понятие качества образования с точки зрения “процесса педагогически организованной социализации, осуществляемой в интересах личности и общества”, определяя его, таким образом, по трем критериям, обозначенным в таблице 4:

Таблица 4. Критерии качества результативности деятельности школы

Критерии качества образования	Объекты и показатели оценки качества образования
Образовательные результаты	- предметные и межпредметные компетенции (ког­нитивная составляющая), - ситуационное поведение (деятельностная составляющая), - способность к осмысливанию и оцениванию возникших ситуаций (рефлексивная составляющая), - творческие успехи (личностная составляющая)
Процесс достижения этих результатов	- управленческо-организационные условия (стабильность основного состава педагогического коллектива, - системность и адресность в обучении педагогического коллектива), - валеологические условия (социально-психологическая поддержка учащихся, педагогическая диагностика учащихся), - условия получения общего образования (профили, образовательные программы по ступеням образования, количество и спектр предметов по выбору учащихся, материально-техническая оснащенность образовательного процесса, возможность учебы по обмену с другими ОУ, соблюдение прав учащихся в образовательном процессе), - сочетание основного и дополнительного образования (доступность внеурочной деятельности для обучающихся всех категорий, наличие сети кружков, секций, студий и системы работы с вузами, учреждениями культуры, науки и др., бесплатное дополнительное образо­вание, платное дополнительное образование), - комфортность образовательной среды.
Цена достижения этих результатов	- затраты кадровых ресурсов (кадровая обеспеченность, профессиональная квалификация учителей, нагрузка педагогов), - затраты здоровьесберегающих ресурсов (объем учебной нагрузки учащихся, режим обучения учащихся, объем домашних заданий и т.д.), - обеспеченность учащихся учебниками и УМК.

Как видно из таблицы под образовательными результатами понимаются академические и творческие достижения учащихся. Условия достижения образовательных результатов рассмотрены авторами в рамках ресурсного подхода. В данном контексте ресурсы разделяются на человеческие, дидактические и методические.

Итак, на основании анализа и описания вышеизложенных вопросов можно констатировать, что в международной образовательной практике при оценке школ уделяется внимание 39 характеристикам (приложение 1). Вместе с тем, можно отметить, что только 6 позиций-вопросов (характеристик) являются общими для всех представленных моделей (табл. 6). Это позволяет нам выделить базовое ядро (инвариант) инструментария, который можно использовать для оценки результативности школы.

Более подробно инвариантный и вариативный компоненты инструментария оценки школ представлен в таблице 5.

Таблица 5. Инвариантный и вариативный компоненты оценки школы

Характеристика оценки школ	Инструмент оценки
Квалификация сотрудников	Мониторинг, анализ документов, экспертиза
Вовлеченность родителей	Мониторинг, анализ
Обеспечение безопасности в школе	Мониторинг, экспертиза
Организация работы в школе	Анализ документов, мониторинг, экспертиза
Учебная база	Мониторинг, экспертиза
Учебный процесс	Анализ публичного отчета, анализ документов, мониторинг
Полнота предоставляемых услуг	Мониторинг, анализ
Уровень успеваемости учащихся	Диагностика, рейтинг, анализ публичного отчета
Атмосфера в школе	Мониторинг, анализ
Школьная программа профессионального развития сотрудников	Мониторинг, анализ

Таблица 6. Характеристики оценки деятельности школ в разных моделях

Совокупный общий перечень характеристик оценки школ	“Модель оценки школы” - A Model for School Evaluation (Sanders, James R.; Davidson, E. Jane) -США	Трехуровневая модель оценки деятельности школ “Инспекторская проверка” - Уэльс (Англия)	Центр Внешняя оценка школ (Die Fachstelle Externe Schulevaluation) - Швейцария	“Модель эффективной школы” - Центр социально-экономического развития школы НИУ ВШЭ (Пинская М.А.) - Москва	Бахмутский А.Е., Кондракова И.Э., Писарева С.А.
1.Атмосфера в школе	+	+	+	+
2.Квалификация сотрудников	+	+	+	+	+
3.Вовлеченность родителей	+	+	+	+	+
4.Обеспечение безопасности в школе	+	+	+	+	+
5.Организация работы в школе (учебный год, режим дня)	+	+	+	+	+
6. Учебная база	+	+	+	+	+
7. Учебный процесс	+	+	+	+	+
8.Полнота предоставляемых услуг	+	+		+	+
9.Преподавание программы	+	+		+
10.Консультации со школьными психологами	+
11.Ведение документации	+		+
12.Оценивание учащихся	+	+		+
13.Финансирование школы	+			+
14.Питание, обеспечение охраны	+		+
15.Услуги по транспортировке до школы	+
16.Внеклассные мероприятия	+				+
17.Школьная программа профессионального развития сотрудников.	+		+	+	+
18.Когнитивное развитие учащихся	+			+
19.Социальное развитие учащихся	+			+
20.Эмоциональное развитие учащихся	+
21.Физическое развитие учащихся	+
22.Эстетическое развитие учащихся	+
23.Профессиональное развитие учащихся	+			+
24.Моральное развитие учащихся	+			+
25.Следование школьным правилам	+
26. Уровень успеваемости учащихся		+	+	+	+
27. Соответствие учебного процесса потребностям и интересам учащихся и местного населения (удовлетворенность).		+
28. Общее руководство и стратегическое управление школой.		+		+
29. Забота и оказание необходимой помощи и поддержки учащимся разных категорий.		+		+	+
30. Эффективность руководства выполнением задач по оценке и повышению качества.		+		+
31. Эффективность руководства использованием ресурсов.		+		+
32. Рабочая атмосфера для учителей			+
33. Поддержка со стороны надзорных органов и органов местной власти.			+
34. Навыки усвоения материала учащимися.				+	+
35. Отчеты о том, как учится учащийся				+
36. Отслеживание прогресса и достижений учащихся				+	+
37. Ожидаемые результаты и создание условий для их достижения.			+	+
38. Равенство и справедливость.			+	+
39. Цена достижения результатов.					+

Таким образом, теоретический обзор моделей оценивания школ различных систем образования показывает, что отчетливо наблюдается разница в тех функциях, которые, по мнению авторов, реализует школа. Особенно значима разница между зарубежным и российским опытом. Зарубежные модели в основном отражают четкую структуру результатов школы и включают, как правило, такие характеристики при оценке школы, на которые школа оказывает или может оказать свое «влияние». Отечественные модели достаточно часто включают многочисленные характеристики оценки школ, в том числе и те, на которые, по мнению авторов, школа должна оказывать «воздействие». Проанализировав зарубежный и отечественный опыт образовательного оценивания, его организационно-технологический инструментарий, основные подходы и критерии при осуществлении оценки образовательной организации, можно выделить повторяющиеся во всех моделях 6 характеристик оценки школы, как инвариантную часть комплексного инструмента оценки:

1. Квалификация сотрудников; Вовлеченность родителей; Обеспечение безопасности в школе; Организация работы в школе (учебный год, режим дня); Учебная база; Учебный процесс.

Дополнительно к вышеперечисленным характеристикам нами выделены, повторяющиеся в четырех из пяти моделей, еще 4 характеристики оценки школы, как вариативная часть комплексного инструмента оценки:

1. Полнота предоставляемых услуг;

2. Уровень успеваемости учащихся;

3. Атмосфера в школе;

4. Школьная программа профессионального развития сотрудников.

Все отобранные характеристики оценивания соответствуют правовой и методической базе российского образования, а также ориентированы на удовлетворение запросов всех участников образовательных отношений.



Глава 2. Подходы и критерии оценки результативности деятельности школ в городе Москве

2.1 Рейтинг школ города Москвы 2015 года «ТОП-300»

Главной целью системы образования города Москвы, заявленной в Государственной программе города Москвы на среднесрочный период (2012-2018 гг.) «Развитие образование города Москвы («Столичное образование»)», является обеспечение доступности качественного образования и создание условий для реализации талантов каждого москвича [6]. Разработчики программы акцентируют внимание на обусловленности данной цели постоянно возрастающими требованиями населения города Москвы к результатам образования. Таким образом, социальный заказ системе образования столицы сегодня в большей степени выражается родителями, семьей, а не партийно-государственной системой, например, как это было в советский период. Значит и критерии оценки результативности деятельности школы в равной степени должны ориентироваться на запросы всех «генеральных стейкхолдеров», то есть как на соответствие требованиям государственного заказчика в лице учредителя образовательной организации, так и на удовлетворенность других «участников образовательных отношений» (обучающихся, родителей и педагогических работников) образовательными услугами, условиями жизнедеятельности образовательной организации.

С 2011 года для стимулирования повышения качества работы школ в городе Москве действует система грантов Мэра. В основу системы выбора лауреатов заложены критерии Рейтинга московских школ, который в свою очередь составляется на основе данных о результатах деятельности школ (приложение 2). Ежегодно критерии Рейтинга пересматриваются, дополняются и утверждаются экспертным советом по реализации Государственной программы города Москвы на среднесрочный период (2012-2018 гг.) «Развитие образование города Москвы («Столичное образование»)».

Необходимо отметить, что данные о результатах деятельности школ отражаются в электронных информационно-аналитических системах Департамента образования города Москвы.

Критерии Рейтинга школ города Москвы разделены на 7 блоков, часть из которых характеризует эффективность работы школы, а часть результативность, что еще раз подчеркивает проблему понимания «сущности» критериев оценки деятельности организации. Первые три и шестой блоки включают оценку учебных результатов учащихся при прохождении государственной итоговой аттестации, Всероссийской и Московской олимпиады школьников, результаты общегородских независимых диагностических работ. Четвертый блок показателей актуален только для образовательных организаций, имеющих дошкольные подразделения. Блоки пятый и седьмой заявлены разработчиками как оценка работы школы по разностороннему развитию обучающихся и формированию адекватного отношения к миру и себе самому.

Анализируя критерии Рейтинга школ города Москвы 2015 года, можно сделать вывод о том, что они отражают интересы и запросы государственного заказчика в лице учредителя, а именно Департамента образования города Москвы.

2.2 Аттестация руководителей образовательных организаций города Москвы

Наряду с критериями оценки результативности деятельности школ города Москвы, заявленными в Рейтинге школ 2015 года «ТОП-300», Департамент образования города Москвы официально предъявляет требования к результатам профессиональной деятельности руководителя образовательной организации, которые, на наш взгляд, могут быть приравнены к результатам деятельности образовательной организации в целом.

Информационная справка, заполняемая руководителем для прохождения процедуры аттестации (приложение 3), содержит 6 разделов, показатели и критерии которых определяют эффективность и результативность работы образовательной организации в сравнении за два последних года:

1 раздел - «Обучающиеся образовательной организации» содержит количественные показатели по всем уровням образования, с учетом доли от общего количества обучающихся. В данном разделе акцент делается на процент охвата обучающихся дополнительным образованием как на бюджетной, так и на внебюджетной основе.

2 раздел - «Работники образовательной организации» включает количественные показатели различных категорий работников образовательной организации, с учетом доли от общего количества работников.

3 раздел - «Доходы образовательной организации за финансовый год» также показываются в динамике за два прошедший и текущий финансовые периоды. В разделе фиксируется общий объем доходов, состоящий из средств субсидий, поступающих из бюджета города Москвы, и внебюджетных доходов организации.