Сперва мы должны создать модели (используя только параметры, предложенные в анкете) которые бы могли качественно объяснять вариацию реального общего качества института и индексов удовлетворенности общим качеством института. Из множества протестированных моделей мы выбрали те, которые максимально удовлетворяют требованиям метода наименьших квадратов, при этом обладают минимальным значением статистик Акаике и Шварца. Результаты можно увидеть в приложении (приложения 14-16 относятся к уравнению, моделирующему реальное качество института, приложения 19-21 - моделирование первого индекса оправданности ожиданий, приложения 22-24 - второго индекса, приложения 25-27 - третьего индекса). В приложении 30 можно найти расшифровку сокращений, используемых в моделях.

Сперва изучим модель для реального качества. Она имеет следующий вид:

Эта модель объясняет 56,7% всей вариации реального качества, что является вполне неплохим результатом. Стоит заметить, что для оценки реального качества мы взяли не уровень удовлетворенности сложностью программы, как мы это будем делать обычно, а абсолютный уровень сложности. Из уравнения мы можем выяснить, взяв производную по уровню сложности, что максимум реального качества института достигается при уровне сложности 6.649>5, что противоречит здравому смыслу - получается, что реальное качество института с оптимальным уровнем сложности при прочих равных будет ниже, чем при завышенной сложности. Объяснить данный парадокс можно двумя способами. Во-первых, возможно повышенная сложность позволяет достигать результатов, которые увеличивают удовлетворенность студентов институтом на большую величину, чем потеря удовлетворенности, связанная со слишком сложной программой. Во-вторых, модель может быть не совсем корректно специфицирована. Стоит так же учитывать, что отличие коэффициента DIFF_R^2 статистически не отлично от "правильного" значения - 0.073, при котором максимум достигается при уровне сложности 5 (t-статистика для разницы равна 1.121).

Что же касается модели в целом, то все остальные коэффициенты кажутся адекватными. Заметим, что из всех параметров, предложенных респондентам, в нашу модель включены лишь качество преподавания, объективность системы оценки знаний и сложность программы.

Однако стоит заметить, что демографический параметр "Москва" (1 - если студент учится в московском институте, 0 - иначе) значим и положителен, что может натолкнуть на мысль о значимости определенных демографических параметров. Получается, что москвичи, в среднем, оценивают реальное качество института на 0.41 выше не москвичей. Возможно, это связано с положительными свойствами столичных институтов, но эти свойства не входят в параметры, предложенные в опросе.

Так же заметим, что параметры для эффективных и неэффективных ВУЗов так же значимы. Стоит сделать при этом важное замечание - общее реальное качество и эффективных, и неэффективных ВУЗов, выше, чем необследованных учреждений. При этом в данной модели общее реальное качество неэффективных ВУЗов выше эффективных. Здесь возможны два вывода - либо модель плохо специфицирована и нам стоит попытаться изучить влияния этих параметров в других моделях, либо качество неэффективных ВУЗов для студентов действительно выше эффективных. В таком случае, реформы образования, из-за которых закрываются "неэффективные" ВУЗы, оказывают пагубное влияние на образование в стране.

Проверим, что модель удовлетворяет требованиям метода наименьших квадратов. В приложении 15 мы можем видеть тест Уайта на гетероскедастичность. Как мы можем заметить из приложения, ни один из коэффициентов, ни модель в целом оказалась не значимой на 5% уровне, соответственно у нас нет доказательств наличия проблемы гетероскедастичности. Так же был проведен тест Харки-Берра, используемый для тестирования нормальности распределения остатков. К сожалению, нам не удалось добиться вероятности больше 5%, соответственно мы не можем утверждать, что оценки, полученные с помощью метода наименьших квадратов, являются наилучшими в классе линейных моделей, поэтому давайте воспользуемся мультиномиальной пробит моделью.

Идея данного метода заключается в том, что зависимая переменная может принимать ограниченное количество значений. В нашем случае реальное качество может принимать значения 1, 2,… 10. Основой метода служит нормальное распределение, с помощью которого рассчитывается вероятность того, что зависимая переменная (реальное качество) примет то или иное значения, принимая во внимание значения объясняющих переменных.

К сожалению, написать получившуюся формулу для мультиномиальной пробит модели весьма затруднительно из-за ее громоздкости, поэтому мы вынуждены представить лишь формулу с параметрами, которая входит в саму формулу (полные результаты модели можно увидеть в приложении 17 и 18). Обращаем внимание, что полученные коэффициенты для объясняющих переменных не являются их предельным эффектом, то есть интерпретировать сами значения коэффициентов нельзя, но можно интерпретировать их знаки.

Можем заметить, что практически все параметры остались на своих местах. Были убраны лишь переменные эффективности ВУЗа из-за незначимости, а так же добавлен параметр "Интерес учебного процесса". Как и в предыдущей модели, демографический фактор "учеба в Москве" значим и положителен. Коэффициент перед квадратом сложности как и прежде имеет отрицательный знак, но найти "оптимальную" сложность у нас теперь не получится. В целом все коэффициенты значимы и не имеют необъяснимых знаков.

Однако теперь статистика R-квадрат у нас отсутствует, нам требуется другой способ проверки модели на качество прогнозирования. Для этого воспользуемся самым популярным и простым методом - мы будем считать, что прогноз модели будет равен тому значению, вероятность которого максимальна относительно всех остальных. Затем мы разделим количество "угаданных" значений реального качества (то есть ситуаций, когда прогноз совпадал с реальным значением) и посчитаем процент угаданных случаев для каждого значения. Результат можно увидеть в таблице ниже:

Таблица 9. Предсказания мультиноминальной пробит модели для общего реального качества института

Как мы видим, некоторые значения (например, 7 и 8) модель предсказывает достаточно хорошо, а некоторые (10 и 6) ей ни разу не удалось спрогнозировать корректно. Скорее всего, это зависит от того, сколько параметров в реальности существует с таким значением, а так же сколько параметров существует с похожими значениями. Всего модели удалось предсказать правильно 31.25% всех значений, что может использоваться как некое подобие R-квадрата (конечно, сравнивать это значение с нормальным R-квадратом нельзя). Процент весьма мал, чтобы утверждать, что мы включили в опрос все основные параметры, включенные в модель, однако стоит учитывать, что мы воспользовались весьма примитивным методом оценки качества модели. Возможно, стоит применить более продвинутые методы оценки объясняющей силы данной модели и тогда выяснится, что она весьма хороша.

Теперь попытаемся объяснить отклонения от ожиданий об общем качестве института, используя отклонения от ожиданий о параметрах, включенных в опрос.

Результаты моделей отклонений от ожиданий можно найти в приложениях 19-27. Уравнения имеют следующий вид:

Модели для первого и третьего индексов имеют похожую структуру. Включены параметры, которые встречались ранее и все они включены тем же линейным образом. Заметим, что демографический фактор "Москва" опять положительно значим. Так же привлекает внимание тот факт, что коэффициент для эффективных ВУЗов значим и отрицателен, т.е. в эффективных учебных заведениях ожидания студентов оправдываются в меньшей степени, чем в неэффективных и не принимавших участие ВУЗах. Знаки всех остальных параметров для всех индексов были весьма предсказуемы. Несмотря на то, что первая модель гораздо проще третьей, она объясняет значительно больше вариации. Стоит принять во внимание, что все-таки они прогнозируют немного разные величины, поэтому в этом факте нет ничего необычного. В обоих случаях проблем с гетероскедастичностью выявлено не было. Однако для обоих индексов не удалось создать модель, которая давала бы нормально распределенные остатки (вероятность Харки-Берра<1%). Поэтому для первого индекса мы так же создадим мультиноминальную пробит модель. Для третьего или второго индекса это будет сделать невозможно, так как второй и третий индексы могут принимать множество значений, а первый - от - 9 до 9.

Выявление качественной модели для второго индекса было наиболее сложным. В большинстве случаев модель страдала от гетероскедастичностью, поэтому, в конечном счете, мы были вынуждены воспользоваться методом Взвешенных Наименьших Квадратов (Weighted Least Squares), поделив каждый параметр на оправданность ожиданий об объективности системы оценки знаний, возведенную в квадрат (используя данный метод, мы, к сожалению, потеряли часть наблюдений). R-квадрат для такой простой спецификации достаточно велик. Влияние демографических параметров или параметров эффективности выявлено не было. Единственная проблема - остатки опять распределены не нормально.

Теперь давайте построим мультиноминальную пробит модель для первого индекса оправданности ожиданий (как мы помним, в полученной для этого индекса модели остатки были распределены не нормально). Полные результаты модели можно увидеть в приложениях 28 и 29. Модель имеет следующий обобщенный вид:

Полученная модель весьма проста. Ни один демографический параметр, ни параметры эффективности ВУЗа не оказались значимы. Результаты модели показаны в следующей таблице:

Таблица 10. Предсказания мультиноминальной пробит модели для первого индекса оправданности ожиданий

Полученные результаты весьма спорны. С одной стороны, средний процент угаданных значений и максимальный процент выше, чем в предыдущей модели для реального качества, несмотря на меньшее количество включенных параметров. С другой стороны, множество значений не предсказываются вообще. Возможно, это связано с тем, что переменная принимает слишком много значений, а количество параметров весьма мало.

Исходя из вышеизложенного, мы можем сделать вывод, что, в среднем, модели объясняют чуть меньше половины всей вариации общего реального качества или общей оправданности ожиданий, поэтому мы при требованиях, которые мы себе задали в разделе "методология" мы не можем принять гипотезу H6. Мы должны признать, что опрос следует значительно улучшить, добавив иные важные параметры института (например, сплоченность студенческого коллектива, качество работы не преподавательского состава или техническая оснащенность института). Либо же должны быть применены более продвинутые эконометрические методы, чтобы доказать, что использованных параметров достаточно, чтобы объяснить большинство вариации общего качества и общей оправданности ожиданий.

Теперь мы должны выяснить, смогут ли на самом деле ожидания помочь нам смоделировать изменение в общем восприятии института. Сперва мы создали модель методом наименьших квадратов без учета ожиданий (приложения 31-33). Она имеет вид:

Хоть модель и не обладает высокой объясняющей силой, она достаточно проста и интуитивно понятна. К тому же она обладает всеми основными "хорошими" качествами. Стоит сразу заметить, что пол значительно влияет на изменение в восприятии института (мужчины при прочих равных изменяют свое отношение к институту в лучшую сторону, чем женщины), поэтому если эта модель окажется наилучшей, то мы отвергаем гипотезу H10.

Теперь давайте посмотрим, сможем ли мы улучшить нашу модель, если мы получим возможность включать в нее тем или иным образом ожидания (приложения 34-36). Модель имеет вид:

Как мы видим, оправданность ожиданий об интересе учебы действительно играет значительную роль в новой модели. При этом влияние оправданности ожиданий положительно на общее восприятие института. Все "хорошие" свойства в новой модели соблюдаются. Влияние пола значимо и в этой модели

Если сравнивать две модели, то модель с ожиданиями незначительно, но выигрывает - она объясняет большую вариацию изменений восприятия института. Статистики Акаике и Шварца так же подтверждают доминирование второй модели. Исходя из результатов сравнения, мы принимаем гипотезу H7. Так как мы соглашаемся, что вторая модель является наилучшей и в ней содержится значимый демографический параметр, то мы отвергаем гипотезу H10. Заметим, что в наилучшей модели нет значимых параметров эффективности ВУЗа, поэтому мы не отвергаем гипотезу H11.

Заметим, что в обоих моделях остатки распределены нормально, соответственно использовать другие методы, кроме МНК нет необходимости. Но для получения большего количества информации, давайте создадим две мультиноминальные пробит модели (с учетом удовлетворенности/ожиданий и без) для предсказывания изменения мнения об институте.

Первая модель, которая не учитывает ожидания студентов, имеет вид (подробные результаты см. в приложениях 37 и 38):

Все коэффициенты в модели имеют "нормальные" знаки, пол опять является значимым параметром. Теперь изучим результаты модели. Они представлены в таблице:

Таблица 11. Предсказания мультиномиальной пробит модели для смены восприятия института без учета ожиданий

Теперь модель предсказывает лишь два самых популярных значения (0 и - 9), но средний процент угаданных значений, тем не менее, остается примерно на том же уровне.

Включим в модель ожидания и посмотрим, улучшилась ли модель. Новая модель имеет вид (подробные результаты см. в приложениях 39 и 40):

Модель не многим отличается от предыдущей. Некоторые реальные параметры замещены оправданиями ожиданий, которые, как положено, имеют положительный знак. Пол так же положительно влияет на смену отношения к институту. Теперь изучим результаты этой модели:

Таблица 12. Предсказания мультиноминальной пробит модели для смены восприятия института с учетом ожиданий

Заметим, что модель улучшилась, но не намного. Учет ожиданий помог модели корректно спрогнозировать одно дополнительное наблюдение (-9), что так же увеличило средний процент угаданных значений. Кроме того, модель пыталась спрогнозировать значение 9, правда не успешно. Стоит так же учитывать, что новая модель обладает меньшим значением статистик Акаике и Шварца, что позволяет нам сделать вывод, что учет ожиданий все-таки был полезен для прогнозирования.

Выводы полученных пробит моделей в большинстве своем совпадают с результатам моделей, созданных с помощью МНК. Во всех моделях подтверждается, что ожидания/удовлетворенность играют важную роль в объяснении изменения восприятия института за 4 года обучения. Так же была доказана значимость пола в объяснении изменения восприятия, что подтверждает правильность отвержения гипотезы H10. Ни в одной лучшей модели значимость параметров эффективности ВУЗа выявлена не была, поэтому у нас нет причин отвергнуть гипотезу H11.

Теперь нам необходимо смоделировать вероятность ухода из института, используя пробит модель. Сперва включим в модель только реальные значения параметров. Такая модель имеет следующий вид (результаты модели см. приложение 41):

Можно заметить, что чем выше качество определенных параметров, тем меньше вероятность появления у студента желания сменить институт. У москвичей и мужчин так же с меньшей вероятностью появляется желание сменить институт. Чтобы понять, какова объясняющая сила данной модели, мы воспользуемся тем же методом, что и в прошлые разы. Если модель предсказывает вероятность смены больше 50%, тогда считается, что она предсказывает смену. Иначе - нет. Результат можно увидеть в приложении 42. Стоит заметить, что предсказывать вероятность ухода значительно легче (модель предсказала правильно более 66% случаев), чем изменение восприятия института. Теперь посмотрим, что было бы с остатками если бы мы не стали пользоваться пробит моделью, а применили обычный МНК (приложение 43). Мы видим, что в таком случае остатки не нормально распределены, что подтверждает правильность нашего решения об использовании пробит модели.

Рассмотрим, какую модель мы получим, если мы можем принимать во внимание ожидания. Модель имеет следующий вид (результаты см. приложение 44):

Модель практически не отличается от предыдущей. Теперь вместо реального качества преподавания было добавлено реальный интерес учебного процесса (который до этого был незначим), а так же добавлена оправданность ожиданий внеклассной активностью. Можно заметить, что это улучшило нашу модель - величина статистики Акаике и Шварца уменьшилась, а процент правильно предсказанных случаев увеличился до 67% (см. приложение 45). Как и в предыдущей модели, использование МНК дало бы нам ненормальное распределение остатков (приложение 46), в то время как для пробит модели, основанной на методе максимального правдоподобия, этот факт абсолютно не играет никакой роли.

Мы можем заключить, что модель, в которой включены ожидания через индекс оправданности ожиданий, обладает лучшими объясняющими свойствами, поэтому мы принимаем гипотезу H8. А так как было доказано, что оправданность ожиданий положительно влияет на изменение восприятии института и негативно на вероятность его смены, то мы так же принимаем гипотезу H9.