Детерминанты качества образовательных услуг в учебных заведениях среднего образования

Модели с индивидуальными эффектами позволяют учитывать панельную структуру данных, а также индивидуальные различия наблюдений, то есть ненаблюдаемые факторы, обуславливающие неоднородность выборки (Dougherty, 2005). Такие ненаблюдаемые факторы и называют индивидуальными эффектами. Различие модели с фиксированными эффектами и модели со случайными эффектами заключается в предположении об этих ненаблюдаемых факторах. Модель с фиксированными эффектами предполагает, что ненаблюдаемые факторы, коррелируют с регрессорами модели. Индивидуальные эффекты наблюдений в данном случае являются фиксированными, и не изменяются во временном периоде, анализируемом исследователем. В модели с фиксированными эффектами индивидуальные эффекты закладываются в отдельный параметр, оценки которого исследователь желает получить. В модели же со случайными эффектами предполагается, что индивидуальные эффекты носят случайный характер (Verbeek, 2004).

Модель с фиксированными эффектами более уместна при анализе экономических единиц, имеющих свои явные особенности, когда исследователь заинтересован в том, чтобы проанализировать влияние именно для имеющейся выборки. В случае, когда выборка сделана случайным образом из генеральной совокупности, и исследователь желает, проанализировав данную выборку, распространить результаты на генеральную совокупность, более релевантной представляется модель со случайными эффектами.

Модель со случайными эффектами в общем виде имеет следующую форму записи:

(1)

где: y - зависимая переменная;

i - порядковый номер школы;

t - учебный год;

- свободный член;

- вектор независимых переменных;

- вектор коэффициентов для независимых переменных;

- случайная ошибка для школы i;

- остаточные возмущения.

Как уже было сказано ранее, в модели со случайными эффектами ненаблюдаемые эффекты включаются в свободный член модели. Случайная ошибка в такой модели является двухкомпонентной.

Модель панельных данных с фиксированными эффектами в общем виде записывается следующим образом:

(2)

где: - индивидуальный эффект школы i.

Остальные переменные имеют значения аналогичные описанным в уравнении (1).

С одной точки зрения, модель со случайными эффектами является более удобной для исследователя, поскольку она позволяет оценивать переменные, имеющие постоянное значение во времени (в нашем случае это переменные status, elit и дамми-переменные на район). В модели же с фиксированными эффектами возникает необходимость опустить данные переменные, в результате чего их влияние скрывается в свободном члене модели. Однако для того, чтобы получить состоятельные и несмещенные оценки в модели со случайными эффектами, требуется выполнение двух условий: случайности выбора наблюдений и независимости индивидуального эффекта от включенных в модель регрессоров. В связи с вышесказанным, наиболее релевантной для нашего исследования представляется модель с фиксированными эффектами. Поскольку очевидно, что каждая из исследуемых нами школ имеет индивидуальные характеристики, которые не учтены моделью, и притом могут потенциально оказывать влияние на результаты её выпускников на ЕГЭ. Такими характеристиками могут являться некоторые из упомянутых в теоретическом обзоре. Например, каждое образовательное учреждение за время своей профессиональной деятельности, сформировало определенный имидж, в связи с чем каждую школу из нашей выборки можно рассматривать как уникальную единицу. Также мы не можем однозначно утверждать, скоррелированы ненаблюдаемые факторы с регрессорами уравнения, или же нет. Для подтверждения предположения о релевантности модели с фиксированными эффектами, построим обе модели, а затем с помощью статистических тестов выберем наилучшую.

Таким образом, в рамках данного исследования будет построено три модели: простая линейная модель, модель с фиксированными эффектами и модель со случайными эффектами. Для оценки первых двух типов моделей будет использован обычный МНК. Ограничения же, вводимые моделью со случайными эффектами, не позволяют получить лучшую линейную несмещенную оценку с помощью обычного МНК, в связи с чем должен быть использован обобщенный МНК.

Построенные уравнения регрессии не включают одновременно все упомянутые в Таблице 2 переменные. Было произведено поочередное включение переменных, отвечающих за статус и местоположение школы, во избежание появления такой проблемы, как мультиколлинеарность факторов. Поскольку модель, построенная в рамках данного исследования, направлена не на прогнозирование будущих показателей по наблюдаемым школам, а на исследование и описание влияния регрессоров на зависимую переменную, то проблему мультиколлинеарности игнорировать не стоит. Для построения итоговых моделей были выбраны те переменные, с присутствием которых качество моделей является наилучшим. Уравнения спецификаций приведены в главе «Описание результатов».

Для того, чтобы осуществить выбор между построенными моделями, недостаточно воспользоваться стандартным инструментом для оценки качества модели - коэффициентом детерминации. Для выбора более релевантной модели будет использован тест Хаусмана. Подробнее его применение рассмотрим в главе «Описание результатов».

4. Описание результатов

В процессе проведения исследования было построено несколько спецификаций для простой линейной модели, модели с фиксированными эффектами и модели со случайными эффектами. Был выбран такой набор переменных, который обеспечивает лучшее качество моделей.

Было произведено попеременное включение переменных из двух групп. Сравнение моделей было осуществлено с помощью стандартного критерия R², отражающего долю дисперсии зависимой переменной, объясненной моделью. Данный критерий принимает значение от 0 до 1. Чем ближе его значение к единице, тем лучше построенная модель отражает взаимосвязь зависимой переменной и регрессоров. Таким образом, было выявлено, какой набор переменных обеспечивает лучшее качество моделей. Для группы критериев, отвечающих за местоположение школы, лучшей моделью является та, которая включает в себя любые две из трех используемых переменных. В результате было принято решение включить в модель переменные otdalen и centr. Включение в модель всех трех дамми-переменных нецелесообразно, поскольку приведет к полной мультиколлинеарности. Для группы переменных, отвечающих за статус школы, было принято решение включить переменную status, поскольку коэффициент детерминации в таком случае выше, чем в модели с переменной elit на 0,03.

Таким образом, эконометрическая модель выглядела так:

Стоит сказать, что в целом все три построенные модели оказались значимыми. Приведем таблицу с результатами оценивания данных моделей:

Таблица 6 Результаты оценивания линейной модели, и моделей со случайными и фиксированными эффектами

*В скобках указаны стандартные ошибки для коэффициентов
*** ? переменная значима на 1% уровне
** ? переменная значима на 5% уровне
* ? переменная значима на 10% уровне

Мы можем видеть, что не во всех моделях значимыми оказываются одни и те же переменные. Так, результаты оценивания объединенной модели pooled, не учитывающей панельную структуру данных, показали, что значимыми являются все переменные, за исключением переменных highcategory и centr. Переменные youngteachers и otdalen значимы на 5%-м уровне, а переменные prizeryolimp, paidservices и status значимы на 1%-м уровне. Наибольшее влияние оказывает переменная, отвечающая за статус школы. Можно сделать вывод, что выпускники школ, имеющих статус гимназии или лицея, в среднем, показывают результаты на ЕГЭ по обязательным предметам на 5,93 балла выше, чем ученики простых школ. Также положительно влияет на результаты ЕГЭ той или иной школы доля педагогов с первой и высшей категорией, доля учеников победителей и призеров олимпиад различных уровней, а также объем средств, привлеченных школой с помощью оказания платных образовательных услуг.

Кроме того, значимое влияние в объединенной модели оказывает переменная, отвечающая за то, находится ли школа в отдаленном районе. Так, наблюдается отрицательная зависимость, то есть, результаты ЕГЭ школ, находящихся в отдаленных районах, в среднем, на 1,48 баллов ниже, чем в школ, расположенных в спальных и центральной частях города. Отрицательно на результаты ЕГЭ влияет и увеличение доли педагогов моложе 35 лет. Знаки при коэффициентах, полученных в результате оценки объединенной модели, являются ожидаемыми и согласуются с выдвинутыми нами гипотезами.

В модели со случайными эффектами значимыми оказались те же переменные, что и в объединенной модели, однако оценки коэффициентов немного различны. Так, результаты оценивания модели со случайными эффектами показали, что для статусных школ преимущество в среднем балле ЕГЭ перед школами без статуса лицея или гимназии составляет 6,93 балла. Переменная, отвечающая за нахождение школы в отдаленных районах, в модели со случайными эффектами стала значимой лишь на 10%-м уровне, при этом знак так же является отрицательным, что соответствует выдвинутым предположениям.

Объем средств, привлекаемых школой за счет оказания платных образовательных услуг, также значим в обеих моделях, что говорит об увеличении среднего балла школы на ЕГЭ при росте значений данной переменной.

Как уже было сказано ранее, модель с фиксированными эффектами не позволяет оценить коэффициенты, значение которых не изменяется в исследуемом периоде. Эффект от влияния переменных status , elit и centr в модели с фиксированными эффектами скрывается в коэффициенте свободного члена, который, соответственно, выше, чем в простой линейной модели и модели со случайными эффектами.

Значимыми в модели с фиксированными эффектами оказались переменные highcategory, prizeryolimp, paidservices. Отметим, что переменная, характеризующая долю педагогов с первой и высшей квалификационными категориями значима только в модели с фиксированными эффектами. Так, увеличение в школе доли педагогов с первой и высшей категориями на 1% приведет к росту среднего балла школы на ЕГЭ, в среднем, на 0,03 балла.

Обобщая результаты, стоит сказать, что значимое влияние во всех трех построенных моделях оказывают переменные prizeryolimp и paidservices.

Мы можем видеть, что наибольше значение коэффициента детерминации у модели со случайными эффектами, наименьше - у модели с фиксированными эффектами. Однако, как было отмечено ранее, R² не самый лучший показатель для сравнения моделей панельных данных. На таких данных его лучше использовать только для сравнения одинаковых моделей с разным набором переменных.

Для того, чтобы выбрать модель, которая объясняет зависимость среднего балла ЕГЭ школы от имеющихся данных, лучше остальных, можно воспользоваться следующими статистическими тестами:

· тест Вальда

· тест Бройша-Пагана

· тест Хаусмана

Результаты проведения тестов для наших данных представлены в Приложении 3.

Тест Вальда позволяет нам сделать выбор между объединенной моделью и моделью с фиксированными эффектами. В результате оценивания модели с фиксированными эффектами, было выявлено, что p-уровень меньше наименьшего уровня значимости, то мы можем заключить, что индивидуальные эффекты школ не равны нулю и модель с фиксированными эффектами является релевантной.

Тест Бройша-Пагана дает возможность сравнить модель сквозной регрессии и модель со случайными эффектами. Гипотеза H₀ предполагает отсутствие случайных индивидуальных эффектов. Поскольку значение p-уровня также меньше 1%, то мы можем утверждать, что модель со случайными эффектами лучше объясняет имеющиеся данные.

Таким образом, с помощью статистических тестов, было доказано, что модели, позволяющие учитывать панельную структуру данных, то есть модели с индивидуальными эффектами, в нашем случае обладают лучшим качеством, чем модель сквозной регрессии.

На следующем этапе нам необходимо было сделать выбор между моделями с индивидуальными эффектами. Для этого следует воспользоваться тестом Хаусмана. Данный тест позволяет сравнивать модели, оцененные разными эконометрическими методами. В результате проведения теста мы получили значение p-value равное 0,001. Данное значение меньше 0,01, исходя из чего, мы имеем основание отклонить гипотезу H₀ и сделать вывод о том, что модель с фиксированными эффектами лучше описывает исследуемые данные. Данный вывод не противоречит нашим предположениям, сделанным в разделе «Методология». Модель с фиксированными эффектами позволяет лучше уловить панельную структуру данных, чего не позволяет сделать простая линейная модель, а нарушения предпосылок, используемых в модели со случайными эффектами, не позволяет нам получить эффективные оценки. Таким образом, в качестве лучшей была выбрана модель с фиксированными эффектами.

Результаты оценивания модели с фиксированными эффектами имеют следующий вид:

Интерпретация незначимых коэффициентов не имеет смысла. Значимыми в данной модели являются только переменные highcategory, prizeryolimp и paidservices. На основе результатов оценки модели с фиксированными эффектами можно сделать следующие выводы:

· При увеличении доли преподавателей с первой или высшей квалификационной категорией на 1%, результаты школы по показателю «средний балл по обязательным предметам ЕГЭ» увеличиваются на 0,03 баллов;

· Увеличение доли платных образовательных услуг в образовательном учреждении позволяет повысить средний балл школы на ЕГЭ на 0,15 баллов;

· Увеличение доли учеников, являющихся победителями и призерами предметных олимпиад, на 1% способствует росту среднего балла школы на ЕГЭ, в среднем, на 0,16 баллов.

Таким образом, подтвердились выдвинутые нами гипотезы H2 и H3. Гипотеза H1 не нашла подтверждения ни в одной из построенных нами моделей. Подтвердить или опровергнуть гипотезу H4, исходя из результатов оценки лучшей модели, то есть модели с фиксированными эффектами, не представляется возможным. Однако модель сквозной регрессии и модель со случайными эффектами данную гипотезу подтвердили и притом имели наибольшее значение оценки коэффициентов.

Поскольку значение константы во всех построенных моделях достаточно велико, можно сделать вывод, что существует множество других критериев, не учтенных в нашем исследовании, которые оказывают влияние на качество образовательных услуг в школах.

Стоит отметить некоторые ограничения данного исследования. В первую очередь, мы не можем однозначно отрицать наличие эндогенности в модели. Специфика исследуемой области обуславливает вероятность того, что регрессоры могут оказаться коррелированны со случайной ошибкой модели. Причиной этого выступает тот факт, что множество иных факторов, которые представляется затруднительным оценить и включить в исследование, оказывают влияние на результаты ЕГЭ той или иной школы. Кроме того, как было отмечено в «Теоретическом обзоре», ЕГЭ как мера качества образования имеет недостатки, связанные с различием состава заданий и способностей выпускников в разные годы. Так, может иметь место различие в результатах ЕГЭ разных школ и одной школы в разные годы не по причине изменения объясняющих переменных, а в силу более сложного или легкого состава заданий, или более или менее способных выпускников.

В связи с вышесказанным, представляет интерес продолжение данного исследования совместно с экспертами сферы социологии и психологии. Таким образом, мы бы имели возможность, применяя специальные социологические методы, собрать такую базу данных, которая отвечала бы за объяснение результатов ЕГЭ, например, через уровень психологического комфорта в школе или удовлетворенности учеников и родителей форматом взаимоотношений ученика и учителя.

Заключение

Повышение качества образования является одной из приоритетных задач государства, поскольку позволяет обеспечивать формирование образованного и жизнеспособного общества, что впоследствии может служить показателем общего уровня жизни страны на мировой арене.

В рамках данного исследования было решено остановить внимание на среднем балле ЕГЭ школ города Перми как показателе качества образовательных услуг, оказываемых данными образовательными учреждениями. Для того, чтобы объяснить качество оказываемых школой образовательных услуг, существует множество групп критериев, как формальных, так и неформальных и слабо поддающихся объективной оценке. Для выбора критериев был использован рейтинг школ города Перми, представленный на едином портале пермского образования. Таким образом, построенные в рамках исследования модели включали в себя показатели, отражающие качество развития кадров в школе, успешность участия школьников в различных олимпиадах, показатель, отвечающий за финансово-экономическое развитие школы, а также переменные, отражающие статус и местоположение школы.

Для того, чтобы определить степень влияния выбранных переменных, были построены несколько моделей, предназначенных для работы с панельным типом данных. По результатам статистически тестов, было выявлено, что наиболее хорошо имеющиеся данные могут быть объяснены при помощи модели с фиксированными эффектами, поскольку такая модель позволяет учесть панельную структуру данных, а также принять во внимание индивидуальные различия наблюдаемых образовательных учреждений. Притом модель с фиксированными эффектами не требует выполнения предпосылки о некоррелированности случайной ошибки с регрессорами модели, которая вводится в модели со случайными эффектами.

В результате исследования была выявлена положительная взаимосвязь средних результатов ЕГЭ по обязательным предметам и количества оказываемых платных образовательных услуг. Такая ситуация может быть обусловлена тем, что школа проводит дополнительные платные занятия, направленные на подготовку к ЕГЭ, что впоследствии приводит к улучшению результатов выпускников. Также доля педагогов с первой и высшей квалификационными категориями, работающих в образовательном учреждении, оказывает положительное влияние на средний балл выпускников данного учреждения на ЕГЭ. Аналогичная зависимость наблюдается и между результатами ЕГЭ и долей призеров и победителей предметных олимпиад.

Однако не подтвердились предположения о том, что школы, расположенные в центре, показывают результаты на ЕГЭ лучше, чем школы из спальных и отдаленных районов города. Если рассматривать ситуацию с социальной точки зрения данный результат является положительным, так как, дети, проживающие в отдаленных или спальных районах города, имеют возможность успешно сдать экзамен с одинаковой вероятностью, как дети, обучающиеся в школах, расположенных в центре города.

В целом все знаки коэффициентов, полученные в результате оценки эконометрических моделей, являются ожидаемыми и согласуются с результатами и рассуждениями авторов, работы которых были представлены в «Теоретическом обзоре».

Очевидна необходимость учета и других факторов, данные о которых представляются затруднительными для количественной оценки. Например, необходимо исследовать такие факторы как среда, в которой обучаются дети, уровень психологического комфорта в классе и другие. Кроме того, чтобы получить полную картину, отражающую качество образования, необходимо опираться не только на результаты ЕГЭ, но и проводить мониторинги, которые могли бы показать готовность ученика справляться с нестандартными задачами.

В связи с вышесказанным, имеет место продолжение данного исследования совместно с экспертами сферы социологии и психологии. В таком случае может появиться возможность, применяя специальные социологические методы, расширить имеющуюся базу данных, тем самым значительно повысить качество модели и уменьшить количество ненаблюдаемых факторов.

Список использованных источников

Нормативные правовые документы

1. Концепция общероссийской системы оценки качества общего образования

2. Федеральный закон от 29.12.2012 N 273-ФЗ (ред. от 29.12.2017) «Об образовании в Российской Федерации»

Специальная литература

3. Болотов В.А. Научно-педагогическое обеспечение оценки качества образования // Проблемы современного образования. 2010. №1

4. Болотов В.А. О построении общероссийской системы оценки качества образования // Вопросы образования. 2005.

5. Вальдман И.О., Боченков С.А., Иванова Е.Б. Принципы рейтинга школ. Материалы для обсуждения в профессиональном сообществе // Журнал руководителя управления образованием. 2013. №6

6. Гусаров В.И. Оценка образовательного учреждения общественностью: потребности и критерии // Известия Самарского научного центра Российской академии наук. 2010. №3

7. Дамдинов А.В., Будаева Т.Ч. Управление системой оценки качества образования на региональном уровне // Вестник Бурятского Государственного университета. 2015. №1

8. Ивенских А.В., Ивенских И.В. Формирование культуры ответственности как основы создания системы качества образования в школе // Вопросы образования. 2011

9. Краснов П.С. Внутришкольная система оценки качества в образовательной организации // Научно-методический электронный журнал «Концепт». 2016. №11

10. Ленская Е.А. Качество образования и качество подготовки учителя // Вопросы образования. 2008

11. Мерцалова Т.А., Косарецкий С.Г. Рабочие материалы к Круглому столу по общественному обсуждению основных подходов к оценке результатов деятельности школ // Общественная палата Российской Федерации. НИУ ВШЭ, 2013

12. Милосердова О.Ю. Проблемное поле мероприятий по оценке качества среднего общего образования // Вестник Тамбовского университета. 2016. Серия Общественные науки, 3(7)

13. Найденова Н.Н. Мультиплексное измерение качества школьного образования // Отечественная и зарубежная педагогика, 2012

14. Нежнов П.Г., Карданова Е.Ю., Эльконин Б.Д. Оценка результатов школьного образования: структурный подход // Вопросы образования, 2011

15. Пискунов М.С. Имидж образовательного учреждения: структура и механизмы формирования /М.С. Пискунов //Мониторинг и стандарты в образовании. 1998, № 5, с.45-51

16. Ратникова Т.А. Введение в эконометрический анализ панельных данных // Экономический журнал ВШЭ. 2006. №2

17. Тюменева Ю.А., Хавенсон Т.Е. Характеристики учителей и достижения школьников. Применение метода first difference к данным TIMSS-2007 // Вопросы образования. 2012. № 3. с. 113-140

18. Brasington D. Which Measures of School Quality Does the Housing Market Value? // The Journal of Real Estate Research, Vol. 18. 1999. №3

19. Deming D., Hastings J., Kane T., Staiger D. School Choice, School Quality, and Postsecondary Attainment // The American Economic Review, Vol. 104. 2014. №3

20. Dougherty C. Introduction to Econometrics, 3th Ed. // OUP Oxford. 2005

21. Hanushek E. Kain J. Rivkin S. Teachers, schools and academic achievement // Econometrica. Vol. 73. 2005. №2. pp. 417-458

22. Ries J., Somerville T. School quality and residential property values: evidence from Vancouver resoning // The Review of Economics and Statistics, Vol. 92. 2010. №4

23. Seo Y., Simons R. The Effect of School Quality on Residential Sales Price // The Journal of Real Estate Research,Vol. 31. 2009. №3

24. Verbeek M. A Guide to Modern Econometrics, 2nd Ed. // John Wiley and Sons. 2004

Приложение 1

Корреляционная матрица для количественных переменных

Приложение 2

Границы центра г.Перми

Приложение 3

Результаты теста Вальда:

Результаты теста Бройша-Пагана:

egesred[schoolnum,t] = Xb + u[schoolnum] + e[schoolnum,t]

Размещено на Allbest.ru