Проблемы измерения удовлетворенности родителей качеством услуг дошкольного образования

The study examined the problems associated with measuring the satisfaction of parents of pupils of preschool educational institutions. These problems may appear due to initially incorrectly defined education system criteria for customer satisfaction, without prior research of their actual requests or expectations.

Thus, the purpose of this study is to identify the problems (methodology of the tools used, the validity of the data obtained from the measurement results, etc.) in the use of criteria and indicators of parents' satisfaction with the quality of kindergarten services within the framework of the education quality assessment system in St Petersburg).

The most popular approaches to the measurement of preschool education in general and the assessment of parental satisfaction were considered. The empirical base of the research was the results of an independent evaluation of the quality of education for 2017. To assess the validity of the measurements of parents' satisfaction with the quality of services in kindergarten, statistical data analysis methods were used.

As a result of the study, it was proved that the use of insufficiently accurate tools for interviewing parents in conjunction with other criteria for assessing NGOs is responsible for the low quality of the data received by the education system.

Keywords: criteria and indicators of satisfaction, service quality measurement, preschool education, parents.

Содержание

Введение

Глава 1. Подходы к измерению качества дошкольного образования

1.1 Измерения удовлетворенности родителей качеством дошкольного образования в зарубежном и отечественном опыте

1.2 Особенности апробации зарубежных методик оценки деятельности ДОУ в России на примере «Шкал для комплексной оценки качества образования в дошкольных образовательных организациях. ECERS»

1.3 Модель “Importance-performance analysis” для оценки удовлетворенности родителей воспитанников ДОУ

Глава 2. Механизм работы региональной системы оценки качества дошкольного образования: пример Санкт-Петербурга

2.1 Нормативные основания работы региональной системы оценки качества дошкольного образования в Санкт-Петербурге

2.2 Критерии и показатели удовлетворенности родителей в региональной системе независимой оценки качества образования

Глава 3. Результаты измерения удовлетворенности родителей услугами детских садов в рамках независимой оценки качества образования

3.1 Использование вторичных данных для анализа результатов оценки качества дошкольного образования: дизайн исследования и методология сбора данных

3.2 Статистический анализ измерений удовлетворенности родителей в рамках НОКО

3.2.1 Расчет показателя согласованности переменных в блоках - «Альфа Кронбаха»

3.2.2 Анализ нормальности распределения оценок по показателям: суммарно и в разрезе районов

3.2.3 Расчёт и оценка вариации оценок по показателям

3.2.4 Анализ графиков рассеивания оценок по показателям

Заключение

Список использованных источников

Приложения

Введение

Проблема измерения качества образовательных услуг является на сегодняшний день достаточно популярным направлением в российских и зарубежных исследованиях эффективности образовательных систем [36; 46; 44; 32; 24; 48; 25; 16].

Выявленные исследователями долгосрочные эффекты, которые оказывает обучение ребенка в детском саду на реализацию последующих образовательных траекторий [37; 39; 49], актуализируют вопрос об оценках результативности дошкольного образования.

В рамках изучения проблем измерения удовлетворенности клиентов дошкольных образовательных учреждений, следует наделять систему образования в целом и ее отдельные элементы в частности свойствами любых других организаций сферы услуг. При таких условиях, процессы измерения уровня удовлетворенности и лояльности клиентов становятся базовым элементом управления.

Так, в тексте существующего Национального стандарта РФ по организации и проведению мониторингов в рамках менеджмент качества и измерению удовлетворенности потребителей (ГОСТ Р 54732-2011/ISO/TS 10004:2010), отмечается следующее: «Одним из ключевых элементов успеха организации является удовлетворенность потребителей организацией и ее продукцией, что обуславливает необходимость осуществлять мониторинг и измерение удовлетворенности потребителей.

Информация, полученная в результате мониторинга и измерения удовлетворенности потребителей, может помочь в выявлении возможностей для улучшения стратегий, продукции, процессов и характеристик организации, важных для потребителей, и может служить задачам организации.

Такие улучшения могут повысить доверие потребителей и привести к коммерческим и прочим выгодам» [14, Раздел 0.1.].

При создании системы оценки уровня удовлетворенности клиентов, критерии чаще всего не назначаются менеджментом компании заранее, а генерируются на основе анализа клиентских ожиданий и отзывов.

В противном случае, с высокой долей вероятности будут измеряться лишь «банальные параметры, которые и так известны и, в итоге, мало влияют на удовлетворенность потребителей» [21; 15].

Графически этот принцип можно представить следующим способом (см. Рисунок 1):

Рисунок 1. Мониторинг и измерение удовлетворенности потребителей [14, Раздел 7.1.]

В рамках современной российской системы образования, как будет наглядно показано в Главе 2, можно зафиксировать игнорирование правил, связанных с первичным выявлением ожиданий клиентов.

Используемые критерии и показатели для оценивания удовлетворенности родителей разными уровнями образования (в том числе и услугами детских садов), повторяясь практически в неизменном виде в различных нормативных документах, могут приводить к некорректным результатам, как на этапе сбора данных, так и в ходе их дальнейшей обработки.

Эта ситуация делает необходимым проведение отдельного исследования, сфокусированного на анализе реальных практик измерения удовлетворенности родителей услугами дошкольных образовательных учреждений (далее - ДОУ) с точки зрения используемой методологии и получаемых результатов.

Основной исследовательский вопрос, в таком случае, будет сводиться к анализу 2 групп проблем, связанных с последствиями использования заранее заданных критериев удовлетворенности клиентов:

· Методологические особенности используемого для измерений инструментария - проблемы внутренней валидности;

· Особенности получаемых с помощью данного инструментария результатов, их надежность и достоверность, а также их соответствие актуальным запросам к качеству услуг ДОУ со стороны родителей - проблемы внешней валидности.

Таким образом, Целью магистерского исследования является выявление проблемы в использовании критериев и показателей удовлетворенности родителей качеством образовательных услуг ДОУ в рамках действующей в России системы оценки качества образования, а также их сравнение с реальными ожиданиями, которые формируют родители в отношении условий предоставления услуг и результатов работы детского сада (на примере механизмов независимой системы оценки качества (далее - НОКО) образовательной системы г. Санкт-Петербурга).

К задачам исследования можно отнести следующие пункты:

· Поиск и анализ источников для ответа на следующую группу вопросов:

o Почему необходимо выявлять и учитывать мнение родителей в контексте оценки качества услуг детских садов?

o Зачем в управлении детским садом использовать измерения удовлетворенности родителей?

o Как на сегодняшних день устроена система независимой оценки качества детских садов, и какую роль в ней играет измерение удовлетворенности родителей?

o Какие альтернативные подходы к измерению качества дошкольного образования существуют на сегодняшний день?

· Анализ внутренней и внешней валидности действующей на сегодняшний день системы независимой оценки качества дошкольных образовательных учреждений с точки зрения выбора критериев, применяемых для оценки удовлетворенности родителей:

o Сбор и анализ эмпирических данных, репрезентативных для государственных учреждений дошкольного образования в г. Санкт-Петербурге;

o Сравнение используемых в рамках региональной системы оценки качества дошкольного образования критериев удовлетворенности родителей и их реальных ожиданий.

Предметом исследования являются критерии и показатели удовлетворенности родителей качеством дошкольного образования.

В качестве объекта исследования рассматривается Региональная система оценки качества образования Санкт-Петербурга (в качестве кейса типичных практик оценки качества российской системы образования).

Магистерская работа выполнена в исследовательском формате. В рамках исследования были использованы как инструменты теоретического анализа, так и методы сбора и статистического анализа эмпирических данных.

В первой главе представлен обзор подходов к организации измерений качества дошкольного образования, в частности - к оценке удовлетворенности клиентов, в зарубежной и отечественной практике.

Во второй главе детально описываются существующие процедуры оценки качества дошкольного образования на уровне региональной системы образования (на примере Санкт-Петербурга).

Рассматриваются применяемые в рамках данной системы критерии и показатели оценки удовлетворенности родителей, анализируется качество используемого инструментария для сбора данных.

В третьей главе проводится статистический анализ актуальных результатов независимой оценки качества дошкольного образования (за 2017 год) с целью выявления проблем в использовании заранее установленных региональной системой образования критериев удовлетворенности родителей.

Глава 1. Подходы к измерению качества дошкольного образования

1.1 Измерения удовлетворенности родителей качеством дошкольного образования в зарубежном и отечественном опыте

В качестве попытки представления альтернативной системы оценки качества ДОУ [33], следует рассмотреть несколько статей, которые образуют общий тематический и содержательный кластер попыток интегрировать в российское образовательное пространство международную систему шкал оценки среды детских садов, которая с успехом используется в разных странах на протяжении последних 2-3 десятилетий. Почему так важны эти практики импорта зарубежных методик и их адаптации в локальные системы? На сегодняшний день это одна из наиболее распространенных практик разработки решений, и речь идет не просто о слепом переносе, но и о полноценном процессе приспособления технологий, их частичном изменении и дополнении.

В первой из них [22] представлен опыт интеграции сразу нескольких зарубежных методик, «Шкалы для комплексной оценки качества образования в дошкольных образовательных организациях. ECERS» [33] и «Опросник социального и эмоционального развития ребенка PSED» Использование данной методики представлено в некоторых исследованиях Института образования НИУ ВШЭ, например: https://ioe.hse.ru/data/2015/04/20/1095379394/Выявление%20профилей%20социального%20и%20эмоцион..бёнка%20на%20старте%20начальной%20школы.pdf (дата обращения 13.09.2017) в условиях российской системы образования. Кроме этого, данная статья очень интересна тем, что в ней представлен подход к оценке среды, предполагающий оценку не только непосредственно детского сада, но и отложенного эффекта в виде адаптации детей к условиям начальной школы. Эта идея, безусловно, является одним из вероятных направлений развития данного магистерского проекта.

Автор раскрывает понятие эффективного перехода, как совокупности условий, в которых ребенок может войти в школьную жизнь, почувствовать себя на своем месте, наладить коммуникацию со взрослыми и сверстниками, проявить самостоятельность, испытывать эмоциональное благополучие и пр. Эмпирическое исследование демонстрирует связь дошкольной образовательной среды и эффективности перехода в первый класс. Дошкольная среда оценивается по степени ее ориентированности на ребенка, демократичности и т.д. (по методике «Шкалы для комплексной оценки качества образования в дошкольных образовательных организациях. ECERS»). Переход оценивается по степени успешности привыкания ребенка к школе, по уровню его независимости, уверенности в себе и пр. (по методике «Опросник социального и эмоционального развития ребенка PSED»). Автор делает вывод о том, что более независимыми в первом классе являются ученики, пребывавшие в такой дошкольной среде, где педагоги поощряют общение, проявления уважения между детьми и взрослыми, способствуют самостоятельному решению конфликтов, акцентируют внимание на положительном поведении, практикуют плавный, понятный детям переход между различными видами деятельности и пр. Автор выдвигает предположение о том, что создание такой среды более эффективно, чем последовательное и целенаправленное обучение.

Следующая статья [34] рассказывает о непосредственном опыте по адаптации «Шкалы для комплексной оценки качества образования в дошкольных образовательных организациях. ECERS» в российских детских садах. Данная статья, безусловно, является одним из аргументов в пользу включения элементов рассматриваемого инструментария [33] в анализируемую систему оценки ДОУ в рамках магистерской диссертации.

В статье рассказывается об инструменте оценки среды дошкольного образования -- шкалах ECERS (Early Childhood Environment rating Scale) [33]. Авторы отвечают на ряд вопросов: какие представления о качественном образовании лежат в основе шкал ECERS и подходят ли они нам? Насколько вообще приемлемо использовать для оценки качества образования инструмент, разработанный в другой стране? Оценивает ли шкала условия для будущей социализации и развития ребенка в школе? Как он устроен, по каким индикаторам оценивается качество? Насколько он надежен? Можно ли использовать этот инструмент для разных образовательных практик (например, системы Монтессори, вальдорфских детских садов и пр.) или он ориентирован узко на определенные программы? Отмечается, что для российского образования, где традиционно большое значение уделяется «готовности к школе», важно, что шкалы ECERS используются в странах, ориентированных на познавательное развитие детей. Авторы приходят к выводу, что шкалы ECERS вполне соответствуют требованиям ФГОС, обладают различительной силой и поэтому могут быть использованы для оценки качества образования в российских детских садах.

Последняя статья рассказывает о способах интеграции системы оценки дошкольных образовательных учреждений ECERS с нормативными условиями ФГОСа [20]. Статья посвящена результатам исследования качества дошкольного образования в г. Москве. В основу исследования легли представления о качестве дошкольного образования, заложенные во ФГОС дошкольного образования и основывающиеся на культурно-исторической концепции Л.С. Выготского. Исследование было направлено на изучение существующих «сильных мест» и дефицитов в дошкольном образовании столицы. В качестве инструментария были использованы «Шкалы для комплексной оценки качества образования в дошкольных образовательных организациях» (ECERS-R)». Исследование было проведено на случайной выборке детских садов одного из округов г. Москвы.

В результате исследования были получены данные о наиболее благополучных и наиболее дефицитных аспектах образовательной среды детских садов г. Москвы. В ходе соотнесения результатов исследования и требований ФГОС ДО было обнаружено, что важными направлениями развития образовательной среды детского сада должны стать индивидуализация образовательного процесса, поддержка инициативы и самостоятельности детей, создание более доступной и мобильной среды, оптимальных условий для развития мышления, воображения и детского творчества.

1.3 Модель “Importance-performance analysis” для оценки удовлетворенности родителей воспитанников ДОУ

К оценке сервисного качества в сфере образовательных услуг можно подходить с двух сторон: с точки зрения «метода» и с точки зрения «критериев качества». Среди методов сбора данных об уровне качества услуги SERVQUAL, SERVPERF и importance-performance analysis (IPA) применялись в образовательных организациях. Устоявшегося мнения относительно выбора метода сбора данных (по крайней мере - для обозначенной узкой сферы услуг) нет. С точки зрения критериев качества, часть исследователей придерживается позиции, что стандартные методики SERVQUAL/SERVPERF не позволяют в полной мере оценить все аспекты деятельности ОУ. В таких случаях исследователи, как правило, дополняют модель показателями «академической / воспитательной / образовательной» деятельности. Модель IPA в этом контексте выглядит более подходящей, ввиду своей специфики: подбор критериев качества осуществляет сама организация, единого списка для оценки не существует.

Задача IPA - поиск и проверка значимости критериев сервисного качества [43]. «Результат» (performance) обозначает клиентское восприятие того, насколько конкретная компания (та, которую измеряют) выполняет свои обязательства. «Важность» (importance) показывает, насколько клиенту приоритетен тот или иной критерий в любой ситуации выбора между услугами в одной области. То есть это показатель относительной важности разных критериев сервисного качества.

Далее модель предполагает расчёт разницы (P-I) значений по показателю результата и важности. Результат вычитания показывает насколько высоко каждый критерий в рамках конкретной организации оценивается. Для визуального представления данных, полученные по каждому из критериев значения также переносятся на график. Значения по оси Х относятся к показателю важности, по оси У - показателю результата. Попадание критериев в один из 4 квадрантов показывает потенциальное направление работы с сервисным качеством (см. Рисунок 6):

- необходимо концентрация усилий (большие значение важности, низкие значения по результату)

- поддерживать хорошую работу (большие значения важности и результата)

- пересмотреть объем работ (низкие значения важности, высокие значения по результату)

- не требует оперативного вмешательства (низкие значения важности и результата)



Рисунок 6. Структура представления потенциальных направлений работы с сервисным качеством

дошкольный образование детский статистический

Измерение качества в модели IPA предполагает двухступенчатый процесс, основанный на качественных и количественных методах. На первом шаге проводится серия глубинных интервью с родителями/воспитанниками. Целью таких интервью выступает формирование представлений о действительно значимых критериях (атрибутах) сервисного качества конкретного ОУ. Такие интервью также называют «циклическими» [40]. По итогам обработки текстов интервью происходит отбор ряда критериев, которые далее используются на втором шаге. Данный шаг предполагает создание самозаполняемой анкеты, включающей указанные критерии. Используется две интервальные шкалы оценивания:

- «результат» (performance) от 1 (совершенно не согласен) до 7 (совершенно согласен);

- «значимость» (importance) от 1 (неважно) до 7 (очень важно);

Перед началом сбора данных анкета проверяется экспертами, а также проводится пилотное исследование для проверки формулировки и понятности критериев (отсутствие возможности по-разному их интерпретировать).

Апробация положений данной модели была проведена на базе Начальной школы-Детского сада №36 Василеостровского района [20]. Анкета для сбора мнений родителей (см. Приложение 2) была подготовлена на основании интервью с сотрудниками ОУ и родителями воспитанников. Интервью были проведены с представителями родительских комитетов, дети которых учатся в разных группах. Ребёнок одного из респондентов учится в классе для детей с ограниченными возможностями здоровья.

Модель IPA считается логическим продолжением модели «взвешенный SERVQUAL», которая объединяет в себе «взвешенный SERVPERF» (наличие шкалы «Важность/значимость»), а также SERVQUAL (шкалы оценки «Исполнение» и «Ожидание»). Однако, анкета в данном исследовании содержит 50 вопросов (утверждений) и несколько открытых вопросов, в отличие от модели SERVQUAL, которая использует всего 22. Родитель проводит оценку критериев по 2 показателям: первая оценка - реальное качество (результат), вторая оценка - важность фактора. Измерение идёт по 7 балльной шкале Лайкерта. Рейтинг качества каждого фактора рассчитывается по формуле:

,

где Q - качество, P - результат, I - важность фактора.

Полученное значение Q («качества») интерпретируется следующим образом: Положительные и нулевые значения - организация успешно реализовала данную характеристику услуги, реальное качество превзошло или равно его важности для потребителя; Отрицательные - организация должна поработать над данной характеристикой, клиент не удовлетворён/видит недостатки в данной характеристике.

Следующий пример показывает механизм работы модель IPA. Оценки в примере проставлены случайным образом, чтобы посчитать значение качества Q = 5 - 4 = 1. Получаем значение +1, которое свидетельствует о отсутствии дефицита качества по данному показателю, по мнению одного из респондентов.

Таблица 1.

Пример вопроса в анкете для родителей

Характеристика качества школы	Насколько школа соответствует данной характеристике	Насколько для вас важна данная характеристика
Квалификация сотрудников организации (учителя, логопеды, воспитатели)	1 2 3 4 5 6 7	1 2 3 4 5 6 7

По итогам обработки всех данных в указанном кейсе, были получены средние оценки по всем 50 критериям качества и, соответственно, заполнена матрица Результат-Значимость (см. Рисунок 7):

Рисунок 7. Диаграмма рассеивания оценок клиентов в матрице Результат - Значимость [20, С. 68]



Таким образом, описаны основные подходы к оценке удовлетворенности родителей качеством услуг детских садов, а также их месте в измерении качества дошкольного образования.

По результатам отечественных исследований были выявлены реальные ожидания родителей в отношении ДОУ. Практически ни один из критериев, полученных в результате исследований, не совпадает с принятыми на данный момент в системе образования.

Представлены и описаны примеры использования альтернативных методик оценки качества ДОУ, одна из которых также построена на оценке удовлетворенности клиентов (IPA), а вторая - на методе структурированного наблюдения.



Глава 2. Механизм работы региональной системы оценки качества дошкольного образования: пример Санкт-Петербурга Данная глава написана на основании материалов ранее опубликованных работ автора [26; 27]

2.1 Нормативные основания работы региональной системы оценки качества дошкольного образования в Санкт-Петербурге

Разработка и использование систем оценки качества в образовательных организациях разного уровня ставит своей целью не только получение информации о текущем положении дел, но и обнаружение «болевых точек», а также их последующее нивелирование при помощи конкретных управленческих решений [29, С. 135-138].

Система российского образования не является исключением из правил, и, начиная с Закона об образовании [2, ст. 10, п. 1.4; ст. 28, п. 13; ст. 89, п. 2.7; ст. 93, п. 2; ст. 95], декларируемая эффективность её работы обуславливается, в том числе, функционированием полноценной системы оценки качества предоставляемых услуг.

Актуальность данной системы подкрепляется заинтересованностью и включенностью в процессы оценки всех участников образовательного процесса (родители, образовательные организации, региональные и федеральные органы власти) [31, С. 299; 30, С. 97-98].

Так, в соответствии с п.4 ст. 10 Федерального Закона «Об образовании в Российской Федерации» [2], механизмы оценки качества образования являются одним из элементов структуры системы образования. Непосредственную важность процедуры независимой оценки качества для менеджмента системы образования в целом подчёркивает п. 2.7 ст. 89 [2].

Отметим отсутствие упоминания о непосредственных участниках базового процесса системы общего образования, а именно - самих школьников или воспитанников дошкольных образовательных учреждений (далее - ДОУ).

Можно лишь предположить, что характер оценки деятельности любого из элементов образовательной системы носит скорее внешний характер, заданный конкретными критериями, а не текущими оценками непосредственных участников процесса [13].

В фокусе данного магистерского проекта находится анализ структуры оценивания деятельности одного из уровней образовательной системы в России, а именно - дошкольного образования.

Объектом анализа выступают нормативно установленные критерии и конкретные показатели, предлагаемые к использованию в оценке деятельности ДОУ региональной образовательной системы Санкт-Петербурга. Также необходимо обратить внимание на конкретные методологические ошибки, допущенные при создании опросного инструментария, который используется в процедурах независимой оценки качества образовательной системы Санкт-Петербурга. Результаты данного анализа могут быть использованы для корректировки арсенала оценочных методик, как на региональном уровне, так и на уровне конкретного образовательного учреждения.

Важным принципом стратегического управления является согласованность целей и показателей, отслеживающих их достижение, на всех уровнях. С этой точки зрения, представляется важным продемонстрировать принцип каскадирования системы оценки качества от федеральной нормативной базы к конкретной региональной модели. Наиболее важным для нас будет являться каскадирование Под эффектом каскадирования в данной работе понимается принцип адаптации и практики конкретного использования региональными уровнями системы образования общих нормативных установок, обусловленных федеральным законодательством. Более подробно о данном эффекте смотрите, например, Зайцев А.А. Каскадирование как инструмент совершенствования бизнес-процессов предприятия // Креативная экономика, - 2013, - № 4, - С. 9-17. критериев оценки, которые изначально были заявлены в приказе Министерства образования [7], а затем должны были обрести форму конкретных измеряемых показателей [12] в региональной системе независимой оценки качества образования [8, Приложение 1].

Пункт 2 Ст. 93 [2] позволяет однозначно трактовать ключевой критерий оценки качества в отношении образования на всех уровнях, а именно: “соответствие образовательной деятельности и подготовки обучающихся в организации, осуществляющей образовательную деятельность по имеющим государственную аккредитацию образовательным программам, требованиям федеральных государственных образовательных стандартов посредством организации и проведения проверок качества образования». В качестве источника данных используется общедоступная информации об организациях. Раскрывая механизм формировании региональной системы независимой оценки качества образования (мезоуровень) [8], статья 95 в пунктах 2 и 3 [2] указывает на необходимость присутствия единого провайдера, осуществляющего функции оценки.

В соответствии с общими положениями о региональной модели системы оценки качества образования Санкт-Петербурга [8], выделим и опишем несколько ключевых организаций, задействованных в процессе реализации оценочных процедур, а также их основные функции и зоны ответственности (см. Таблицу 2).

Таблица 2.

Организации - провайдеры процессов интеграции и развития системы независимой оценки качества в Санкт-Петербурге

Наименование организации	Основные функции
ГБОУ ДПО ЦПК специалистов Санкт-Петербурга "Региональный центр оценки качества образования и информационных технологий" (РЦОКОиИТ)	Разработка дополнений к перечню критериев, включая критерии результативности и условий осуществления образовательной деятельности;
ГБОУ ДПО Санкт-Петербургская академия постдипломного педагогического образования	Разработка и реализация модуля образовательных программ ПК по вопросам независимой оценки качества образования и педагогической экспертизы
Совет по образовательной политике при Комитете по образованию	Выработка предложений и рекомендаций, а также участие в развитии независимой системы оценки качества образования и педагогической экспертизы
Общественный совет по проведению независимой оценки качества образовательной деятельности организаций, расположенных на территории Санкт-Петербурга	1) Проведение независимой оценки качества деятельности ОУ; 2) Определение перечня оцениваемых организаций; 3) Установление дополнительных критериев оценки; 4) Предоставление результатов оценки в Комитет по образованию; 5) Формирование предложений по разработке технического задания по исследованию качества 2) Определение перечня оцениваемых организаций; 3) Установление дополнительных критериев оценки; 4) Предоставление результатов оценки в Комитет по образованию; 5) Формирование предложений по разработке технического задания по исследованию качества

Отметим, что мобилизация сразу нескольких специализированных организаций для осуществления региональной интеграции федерального сценария оценки качества образования на всех уровнях, не обеспечила появление новых критериев для ДОУ.

Возможной причиной этого может быть, как наличие пересекающихся функций (см. Таблицу 1), так и отсутствие распределенных зон ответственности между участниками процесса. Упоминание непосредственно в тексте описания Санкт-Петербургской модели оценки качества образования дошкольного уровня [8, п. 3.2, 3.4 и др.], в соответствующем приложении критерии оценивания представлены не были [8, Приложение 3].

Следует принять во внимание также отсутствие конкретных показателей - набора индикаторов (измеряемых свойств критериев) в рассматриваемом документе, что приводит к необходимости появления дополнительных методик оценивания, применяемых уже в ходе осуществления самой процедуры независимого оценивания.



2.2 Критерии и показатели удовлетворенности родителей в региональной системе независимой оценки качества образования

Прежде всего можно отметить спорный характер декларируемой в нормативных документах независимости оценки конкретных дошкольных учреждений. Источником эмпирических данных выступают общедоступные сведения об организациях, размещаемые ими же на собственных сайтах [2, ст. 95, п. 4]. К источникам таких сведений также относятся и отчеты о самообследовании, которые на практике содержат наибольший объем необходимых данных, актуальных для внешнего эксперта. В любом случае, говоря и о сайте ДОУ, и о результатах самообследования, мы вынуждены заключить, что объект оценки также забирает на себя и часть функций субъекта процедуры оценивания, непосредственно участвуя в производстве данных для последующего анализа. Можно отметить, что гарантией независимости - надежности и объективности любых измерений выступает не только внешний по отношению к дошкольному учреждению статус эксперта, но и прозрачные способы получения исходных данных. Только при этих условиях проделанная экспертами работа может гарантировать получение валидных и релевантных выводов, как на стадии непосредственного оценивания конкретной организации, так и при последующем анализе полученных данных.

Функционирование системы оценки качества на микроуровне (в данном случае - уровне конкретного детского сада) реализовано, как уже отмечалось ранее, за счет проведения самообследований, которые находятся в компетенции руководства ДОУ [2, ст. 28, п. 13]. Зафиксировав наличие федеральной нормативной базы для реализации дошкольными организациями самостоятельной ежегодной оценки собственных действий и состояния [5; 6], сфокусируем наше внимание на тех документах, которые обуславливают непосредственную процедуру оценивания конкретного детского сада экспертами. В первую очередь, обратимся к региональной методике расчета показателей независимой оценки качества деятельности дошкольных образовательных организаций Санкт-Петербурга [10]. Этот документ содержит конкретные показатели, сопровождаемые шкалами для осуществления измерений по различным критериям.

В соответствии с общей методикой проведения процедуры независимого оценивания и декларируемой возможностью дальнейшего использования администрацией ДОУ полученных результатов для управленческой деятельность [7, п. 2.5].

В таком случае, используемые показатели должны фокусироваться на реальных процессах взаимодействия основных участников (сотрудников детского сада, его воспитанников, их родителей, внешних контролирующих органах и др.), уделяя ключевое внимание повседневным практикам, а не номинальным инфраструктурным показателям (например, наличию специализированных помещений или определенных групп оборудования).

Именно такие показатели могут быть полезны для руководителя образовательного учреждения при проведении анализа как текущей деятельности, так и разработки долгосрочных управленческих стратегий Критерием для подобного отбора показателей может служить общий принцип построения конкретных индикаторов шкал, используемых в мировой практике: Хармс Т., Клиффорд Р.М., Крайер Д. Шкалы для комплексной оценки качества образования в дошкольных образовательных организациях. - М.: Национальное образование, 2016. - 130 с..

Так, среди 56 показателей деятельности ДОУ [10, Раздел 2] таким требованиям отвечают не более 15 % [10, Разделы 2.3.1, 2.5.2, 2.6.4, 2.6.5, 2.7.2 - 2.7.4., 2.7.6], что ставит под сомнения эффективность использования результатов независимой оценки качества для разработки и принятия управленческих стратегий на уровне конкретного ДОУ.

Источником эмпирических данных при проведении независимой оценки качества образования в детских садах также выступают результаты опроса [10, разделы 3 и 4], представленные в отчете о самообследовании или на отдельной странице сайта образовательной организации в виде простого процентного распределения или готовых графиков.

Существующая на данный момент методика проведения анкетирования получателей образовательных услуг [10; 11] характеризуется рядом серьезных недостатков, которые также не позволяют считать процедуру и результаты независимой системы оценки качества дошкольного образования в Санкт-Петербурге релевантной действительному положению вещей. Рассмотрим более детально особенности принятой на сегодняшний день методики в отношении ДОУ.

Говоря о конструктивной валидности используемого инструментария для проведения анкетирования родителей учеников, мы наблюдаем критическую методологическую проблему, выраженную в слепом копировании исходных критериев, предложенных Министерством образования [4, Приложение, разделы III и IV таблицы] в конкретных вопросах анкеты. Все 5 вопросов анкеты содержат лишь общие концепты, без проведения необходимой операционализации [35, С. 131-158], что делает невозможным получение значимых и пригодных для статистического анализа данных.

Методология создания любых опросных инструментов требует глубокой проработки и детализации используемых критериев (концептов) для дальнейшего превращения их в набор конкретных показателей, что и обеспечивает необходимую точность измерений [17, С. 127-131]. Это правило было полностью проигнорировано в процессе разработки методологии опроса для региональной системы независимой оценки качества. Так, например, критерий «Удовлетворенность компетентностью работников организации» [4, Приложение, п. 3.2 таблицы] в анкете превратился в вопрос № 2 «Удовлетворены ли вы компетентностью работников организации?».

Заметим, что такой концепт как Компетентность, может быть проинтерпретирован совершенно по-разному различными группами респондентов, и поэтому использования многообразной системы индикаторов является базовым условием для использования столь многомерных концептов в опросных методах.

Также, в данном вопросе не уточняется, о каких именно работниках идет речь? Аналогичные замечания относятся и к остальным вопросам анкеты [11]:

1. Как бы вы в целом оценили доброжелательность и вежливость работников организации?

2. Удовлетворены ли вы материально-техническим обеспечением организации?

3. Удовлетворены ли вы качеством предоставляемых образовательных услуг?

К каждому из 5 вопросов предлагаются следующие варианты ответов «1. Да, вполне или скорее да», «2. Затрудняюсь ответить» и «3. Скорее нет или однозначно нет». Подобное формирование шкалы ответов также является грубым нарушением методологии создания опросного инструментария.

Вариант ответа № 2 формально не является ответом на вопрос, а лишь констатирует нежелание/отсутствие необходимых компетенций у респондента для ответа на конкретный вопрос. Также, объединение значений «Да, вполне» и «Скорее да» в один вариант ответа значительно искажает точность измерения.

Внешняя валидность обсуждаемой процедуры анкетирования также вызывает большие сомнения, поскольку процедура формирования выборки, равно как и последующая первичная обработка данных, а также формирование описательной статистики входит в обязанности той же организации, которая оценивается. Это обстоятельство делает невозможным соблюдение элементарных правил «гигиены» при проведении опросов и получение надежных данных. Следовательно, использование полученных результатов участниками образовательного процесса (например, родителями для выбора детского садика) даже вне системы независимой оценки качества ДОУ является недопустимым.

В заключении, следует рассмотреть вопрос об адресности регулярно проводимых процедур оценивания деятельности дошкольных образовательных учреждений. В силу ряда ошибок, допущенных при каскадировании федеральных нормативных стандартов и создании региональной системы независимой оценки качества ДОУ Санкт-Петербурга, рациональное использование получаемых результатов, как с точки зрения менеджмента конкретных организаций, так и непосредственных клиентов, на данный момент крайне затруднительно.

Зафиксировав ряд методологических проблем, сводящихся к низкому уровню внутренней валидности используемого инструментария, мы переходим к анализу получаемых с помощью него эмпирических данных.



Глава 3. Результаты измерения удовлетворенности родителей услугами детских садов в рамках независимой оценки качества образования

3.1 Использование вторичных данных для анализа результатов оценки качества дошкольного образования: дизайн исследования и методология сбора данных

Методика использования публичных открытых данных широко распространена в современных исследовательских проектах и относится методологами социальных исследований к формам так называемых «ненавязчивых методов» [17, С. 339-341]. В рамках исследования были собраны данные по всем объектам генеральной совокупности, то есть по детским садам г. Санкт-Петербург. Данные получены путем веб-скреппинга (автоматизированной выгрузки необходимых переменных со страниц сайтов). Выборка в данной части исследования построена по цензовому формату, то есть в анализ были включены все государственные дошкольные образовательные учреждения Санкт-Петербурга. Базой выборки, то есть источником списка всех ДОУ, послужил портал BUS.GOV.RU - «Официальный сайт для размещения информации о государственных (муниципальных) учреждениях» (раздел «Результат независимой оценки качества (образование); размещенные сведения актуальны на 2017 г.) Данные, связанные непосредственно с проведением независимой оценки качества, можно найти в одноименном разделе сайта, режим доступа: http://bus.gov.ru/pub/independentRating/main (дата обращения 23.09.2018). содержащий открытые данные рейтингов всех образовательных учреждений России и, в частности, Санкт-Петербурга. Данный портал позволяет сгруппировать сведения об образовательных учреждениях с учётом их территориальной принадлежности. По состоянию на 2018 год база ДОУ, в соответствии с данными bus.gov.ru, имеет следующую территориальную структуру (Таблица 3).

Таблица 3.

Структура распределения ДОУ по районам г. Санкт-Петербурга

Наименование района	Количество ДОУ	Процент, от общего количества ДОУ
Невский	97	9,2
Калининский	94	8,9
Фрунзеский	82	7,8
Приморский	77	7,3
Кировский	75	7,1
Выборгский	72	6,8
Московский	70	6,6
Красносельский	69	6,5
Центральный	67	6,4
Красногвардейский	66	6,3
Петроградский	50	4,7
Колпинский	49	4,6
Адмиралтейский	47	4,5
Пушкинский	44	4,2
Василеостровский	41	3,9
Петродворцовый	30	2,8
Курортный	15	1,4
Кронштадский	10	0,9
Всего	1055	100,0

Цензовая выборка позволяет делать выводы, валидные не только на уровне района, но и в рамках городской системы ДОУ.

В представленной выборке каждое дошкольное образовательное учреждение оценивалось по ряду параметров, часть из которых представлена в региональной системе независимой оценки качества образования в Санкт-Петербурге, часть - включена исследователями самостоятельно в качестве контрольных переменных. К последней группе относятся показатели места конкретного ДОУ в общем рейтинге образовательных учреждений как по Санкт-Петербургу, так и по России в целом. Уточним, что данные рейтинги представляют собой ранжированные списки баллов, которые получают разные типы образовательных учреждений в ходе прохождения процедуры оценивания. Конкретные значения этих показателей рассчитываются и отражаются при внесении информации по всем образовательным учреждениям на портал bus.gov.ru.

Переменные, представленные в региональной системе оценки качества разделены на 4 общих блока [10], детальная структура которых описана в Таблице 4. Блоки, относящиеся непосредственно к оценке удовлетворенности родителей, выделены серым фоном.

Таблица 4.

Набор переменных в региональной системе оценки качества ДОУ

Наименование блока переменных	Наименование переменной (показателя)	Макс. балл по критерию	Общая сумма баллов в блоке
(А) Открытость и доступность информации об организации	А1. Полнота и актуальность информации об организации, осуществляющей образовательную деятельность, и ее деятельности, размещенной на официальном сайте организации в сети Интернет	10	40
	А2. Наличие на официальном сайте организации в сети Интернет сведений о педагогических работниках организации	10
	А3. Доступность взаимодействия с получателями образовательных услуг по телефону, по электронной почте, с помощью электронных сервисов, предоставляемых на официальном сайте организации в сети Интернет, в том числе наличие возможности внесения предложений	10
	А4. Доступность сведений о ходе рассмотрения обращений граждан, поступивших в организацию от получателей образовательных услуг (по телефону, по электронной почте, с помощью электронных сервисов, доступных на официальном сайте организации	10
(B) Комфортность условий предоставления услуг и доступность их получения	B1. Материально-техническое и информационное обеспечение организации	10	70
	B2. Наличие необходимых условий для охраны и укрепления здоровья, организации питания обучающихся

Страница:

•  1 
•  2 

магистерская работа "Проблемы измерения удовлетворенности родителей качеством услуг дошкольного образования" скачать

Подобные документы

• Развитие системы дошкольного образования в США

  История становления и развития системы дошкольного образования в США: появление первых детских садов, виды дошкольных учреждений, характеристика образовательных программ. Организация пространственной среды в детских садах Америки, режим дня, питание.
  
  дипломная работа [2,0 M], добавлен 08.12.2013
  

• Система дошкольного образования за рубежом

  Особенности организации дошкольного образования в США. Программа образования для детей грудного возраста в Китае. Порядок посещения дошкольных учреждений во Франции. Причины слабого развития детских садов в Германии. Цели дошкольного воспитания в Японии.
  
  презентация [1,0 M], добавлен 10.05.2014
  

• Управление качеством вариативной системы дошкольного образования

  Федеральные государственные требования к структуре основной общеобразовательной программы дошкольного образования. Современные тенденции развития теории обучения детей дошкольного возраста. Проектирование вариативной системы образовательного процесса.
  
  контрольная работа [27,1 K], добавлен 13.01.2015
  

• Основные направления повышения эффективности управления качеством образования в образовательном учреждении

  Проблема оценки качеством образования. Качество образования как объект управления. Аккредитация образовательного учреждения, школьная система оценки качества образования, мониторинг образовательного процесса как механизмы управления качеством образования.
  
  дипломная работа [166,7 K], добавлен 16.10.2010
  

• Состояние и перспективы развития дошкольного образования в Японии

  Особенности государственных и частных детских садов в Японии. Основные задачи системы воспитания и обучения. Проведение государственных и традиционных народных праздников. Содержание проблем японского дошкольного образования, направления его развития.
  
  реферат [17,7 K], добавлен 23.08.2011
  

• Управление качеством образования студентов педагогического колледжа

  Проблема качества образования в педагогической теории и практике. Оценка качества образования. Актуальные вопросы управления качеством образования студентов колледжа. Подходы к организации системы управления качеством образования в колледже.
  
  курсовая работа [51,0 K], добавлен 24.09.2006
  

• Становление и развитие дошкольного образования в России

  Возникновение дошкольного образования в России, история его развития и становления. Особенности дошкольного образования XIX - начала XX вв., опыт его организации в советский период. Направления развития современной системы дошкольного образования.
  
  дипломная работа [244,7 K], добавлен 03.03.2013
  

• Управление качеством образования

  Теоретические аспекты формирования системы управления качеством образования. Нормативно-правовое регулирование отношений в сфере образования, зарубежный опыт эффективных образовательных систем. Перспективы развития муниципального образования в России.
  
  отчет по практике [330,3 K], добавлен 10.08.2011
  

• Основные направления развития дошкольного образования

  Федеральный государственный стандарт дошкольного образования, его суть и задачи. Требования к структуре и условиям реализации образовательной программы дошкольного образования. Представления о содержании дошкольного образования, предложенные в Стандарте.
  
  презентация [3,9 M], добавлен 05.05.2016
  

• Использование предметно-развивающей среды как средства экологического образования детей среднего дошкольного возраста

  Психолого-педагогические особенности экологического образования детей среднего дошкольного возраста. Предметно-развивающая среда как средство развития детей дошкольного возраста. Развитие эстетических чувств. Оборудование зоны природы в детских садах.
  
  дипломная работа [1,4 M], добавлен 18.02.2014
  

Другие документы, подобные "Проблемы измерения удовлетворенности родителей качеством услуг дошкольного образования"

• главная
• рубрики
• по алфавиту
• вернуться в начало страницы
• вернуться к началу текста
• вернуться к подобным работам