С учётом того, что весь процесс обучения направлен на включение новых технологий в профессиональную деятельность, то каждое задание ориентировано на подготовку к определённому уроку, выполнение должностных функций, организация общего проекта, а рефлексия проводится на собственном профессиональном опыте.

Прохождение программы занимает 6 недель. Для прохождения каждого модуля требуется 4-6 часов (без учёта выполнения коллективного задания), но в это время входят задания по подготовке к урокам. Итоговое количество времени на выполнение каждого модуля - ориентировочно 6 часов.

В связи с ключевым требованием для апробации программы: гибкость платформы, позволяющей, при необходимости менять структуру, задания, контент «на лету», которые предоставляет google для совместной работы, внутреннюю среду обучения было принято построить работу на основе google sites. Это не исключает использования инструментов для коллективной работы других кампаний.

Основой обучения является дистанционное обучение. Несмотря на то, что первый семинар проходит в очной форме, он является скорее мотивационным, нежели образовательным.

В процессе прохождения программы учителя проходят 2 тестирования.

В процессе обучения курс сопровождает 1 куратор и 1 эксперт. Роль куратора курса ограничивается регламентными процедурами, роль эксперта - дать качественную обратную связь и предоставить качественную оценку работы.

Куратор курса обеспечивает:

• своевременную обратную связь. Т.е. быстрое реагирование на комментарии в документах и на площадке, комментирование замечаний и предложений участников;

• контроль прохождения модулей курса. Включает в себя закрытие документов для редактирования участниками, открытие нового модуля, а так же оценивание работы каждого участника в рамках модуля;

• рефлексию участников. Организация рефлексии участников по итогам модуля.

• проведение входного и итогового оценивания. Подготовка аналитики по итогам тестирования. Формирование индивидуальных рекомендаций для каждого участника на основе аналитики и персональных запросов. Информирование об итогах тестирование.

Эксперт курса обеспечивает:

• формирующее оценивание. Во время работы на площадке участники формируют несколько содержательных заданий. Здесь оценивание работы не может сводиться только к оценке, но необходима подробная рефлексия как работы группы. Суть рефлексии - привести участников к стратегиям метапознания: не только ответить на вопрос «Что они узнали», но и «Как ошибались», «Как узнали»;

• даёт обратную связь на наиболее сложные комментарии, запросы по запросу куратора.

2.5 Оценка текущего уровня ИКТ-компетентности педагогов

На данный момент существует значительное количество тестов оценки ИКТ-компетентности педагогов. «Во-первых, инструменты для оценки ИКТ-компетентности часто оценивают некоторую её часть, чаще всего знакомство с техническими возможностями, описание кейсов профессиональной деятельности» [24, стр. 2]. Во-вторых, они не чувствительны к прохождению с «дополнительными смыслами», т.е. любой желающий может получить максимальный балл при тестировании.

Таким образом, использование существующего инструментария не возможно. В связи с этим в рамках разработки программы необходимо подготовить диагностическую анкету для педагогов.

1 Этап. Оценка текущего уровня ИКТ-компенций учителей относительно запроса администрации. Эта анкета в некоторой степени формирующая для учителей, поскольку ряд вопросов предполагает знакомство в рамках анкетирования с методиками и технологиями использования ИКТ в образовании. Анкетирование проводится 2 раза - для диагностики уровня ИКТ-компетенций педагогов в школе (до входа) в программу и на выходе. Так же анкета построена таким образом, чтобы позволить учителям сформулировать собственный запрос к образовательной программе. Данная анкета дана в Приложении 3.

2 Этап. По результатам первой анкеты формируется анкета с более конкретными (качественными) параметрами, закрытыми вопросами для учеников. Эта анкета будет использоваться 1 раз в месяц, с момента начала программы, чтобы оценить, насколько эффективна программа после её завершения.

Разработка диагностической анкеты ИКТ-компетентности педагога на основе рамки ICT CFT

В связи с чем на основе запроса администрации, учителей и учащихся был сформирован запрос и оформлен в рамку ICT CFT (См. Приложение 2). На основе этой рамки был построен опросник, содержащий 63 вопроса, большее количество которых - открытые. Прохождение анкеты требовало огромного количества времени для респондентов, и значительный уровень экспертной оценки.

В результате было принято решение использовать комбинированное оценивание: сформировать новый опросник, уменьшив количество вопросов, оставив только значимые, преобразовав вопросы в закрытую форму. Это значительно укрупнило масштаб: на основе первого опросника довольно подробно можно было увидеть текущий уровень респондента не только по каждому направлению матрицы ICT CFT, но и по конкретным ИКТ-компетенциям и навыкам. За счёт изменения опросника эта детализация потеряна, но мы реализуем это оцениванием работы внутри каждого модуля. Существенного сокращения вопросов добились путём объединения вопросов в один при возможности получить данные из 1 вопроса для 2х и более характеристик.

Вторая версия опросника содержит 30 вопросов, все из них закрытые, некоторые с возможностью внести собственны й вариант ответа.

На основе матрицы ICT CFT сформировано уточнение для диагностической анкеты, и выделены вопросы.

Итоговый вариант диагностической анкеты дан в Приложении 2.

Оценка эффективности программы

На данный момент существует несколько моделей оценки эффективности корпоративных образовательных программ. Наиболее популярные: модель Д. Кирпатрика, V-модель Дж. Филлипса и модель человеческого капитала.

Для оценки эффективности программы развития ИКТ-компетентности педагогов была выбрана модель Д. Кирпатрика, поскольку она включает в себя несколько уровней оценивания (Анкеты даны в Приложении 4):

· Реакция. Даёт мгновенную обратную связь, что необходимо для оценки преподавателя, первой оценки полезности образовательного контента и сформированных условий обучения.

· Научение. Оценка уровня усвоения материала. Позволяет оценить основной результат прохождения программы: знаниевую компоненту и навык применения.

· Поведение. Оценка соответствия полученных навыков рабочим обязанностям, т.е. насколько эти навыки будут использованы в рабочем процессе без привлечения опроса учащихся, насколько изменилось поведение участников программы.

· Результативность. В классических корпоративных программах бизнес-сектора есть культура измерения производительности сотрудников, и практика измерений довольно обширна. Измерение производительности педагогов - вопрос не однозначный и решается не одно десятилетие. На данный момент оценка образовательной программы по этому уровню не производится.

Обязательными метриками, включенными в программу являются:

· Индекс лояльности NPS (Net Promoter Score). Оценивается по единственному вопросу «Какова вероятность, что вы порекомендуете учебную программу своим коллегам?» Ответ принимается по шкале от 0 до 10, где от 0 до 6 - «критики», от 7 до 8 - «нейтрально» настроенные респонденты и от 9 до 10 - «промоутеры». Индекс рассчитывается по формуле:

количество «промоутеров» - количество «критиков» х 100%

количество респондентов

· Learning Аnalytics. Данные о происходящем обучении и его контексте, чтобы понять и оптимизировать образовательный процесс и среду. В данном случае мы включили только оценку работы с сайтом программы с помощью Google Analitics и Я. Метрика, позволяют автоматически собрать информацию по работе с сайтом: считают количество посещений, группируют посетителей по признакам, формируют популярные страницы, вычисляют среднее время пребывания на сайте, формируют отчёты автоматически.

Первый уровень. Реагирование

В процессе оценки на уровне реагирования необходимо было ответить на следующие вопросы:

- Что конкретно получил участник программы в каждом модуле?

- Какие методы лучше всего использовать?

- Когда лучше всего проводить программу?

- Как участник будет применять полученные знания и навыки на рабочем месте?

Для этого в каждый модуль была включена анкета оценки модуля (см. Приложение 4). Вопросы анкеты для каждого модуля одинаковы.

Второй уровень. Научение. Оценка уровня ИКТ-компетентности

Оценка знаниевой компоненты и навыков проводится в каждом модуле 1 раз, в форме оценки проявленных знаний и демонстрации навыков при выполнении заданий (на основе уровней: неправильное использование / адекватное использование / экспертное использование).

Оценка уровня ИКТ-компетентности педагогов проводится на основе анализа динамики (тестирование на входе и выходе, а так же выполнение заданий в каждом модуле) по показателям ИКТ-компетенций педагогов. На основе этой диагностики мы можем оценить, насколько программа влияет на педагогов с точки зрения их навыков, но не с точки зрения насколько они меняют информационное образовательное пространство учащихся. Положительная динамика в этом показателе является необходимым, но не достаточным условием. Отсутствие статистически значимых изменений в этом показателе скажет о некачественной разработке и / или реализации программы.

На данный момент подходящего инструмента для оценки ИКТ-компетентности педагогов найти не удалось. (Выше, в разделе «Оценка ИКТ-компетентности педагогов» проанализированы существующие инструменты и обосновано решение создать диагностическую анкету ИКТ-компетентности для данной программы.)

Для анализа результатов входного тестирования количество баллов, набранное респондентами соответствует определённому виду уровня владения ИКТ-компетентностью в рамке ICT CFT.

Третий уровень. Поведение

Этот уровень оценки эффективности программы является ключевым, поскольку цель программы лежит в изменении педагогических практик и включении ИКТ как эффективной составляющей образовательного процесса.

Обучение в данном курсе - это изменение установок, улучшений знаний об ИКТ в образовании и развитие навыков использования ИКТ-компетентности учителей в результате прохождения обучения, поэтому необходима личностная постановка целей в начале каждого модуля, планирование действий.

1. Что вы хотели бы уметь делать как результат участия в программе?

2. Какие конкретно действия вы собираетесь произвести?

3. Что вам может помешать в достижении успеха?

4. Как вы будете преодолевать эти препятствия?

5. Какая поддержка вам будет нужна для осуществления ваших действий?

6. В течение какого времени вы осуществите ваши действия?

7. Каких результатов вы ожидаете?

Мы оцениваем изменения в поведении с 2х позиций: самооценка учителем на основе диагностической анкеты (Приложение 4) - мы рассматриваем динамику показателей, и оценка изменений в применении ИКТ в образовательной деятельности учащимися (Приложение 4).

Результаты самооценки

1. Я получил новые знания во время обучения

Полностью согласен	Полностью не согласен
7 6 5 4	3 2 1 не готов ответить

2. Я могу успешно применять на своём рабочем месте полученные знания / навыки

Полностью согласен	Полностью не согласен
7 6 5 4	3 2 1 не готов ответить

3. Какой процент рабочего времени вы тратите на задачи, которые требуют знаний / умений, представленных в этой программе?

10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

4. Насколько соответствовало содержание обучения успешной работе?

10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

5. Сколько процентов новых знаний / умений вы напрямую применили в вашей работе?

10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

6. Я смог применять обучение в работе через

· Уже в процессе обучения

· Через неделю

· Через 2-3 недели

· Через 5-6 недель

· Пока не применил

· Я не ожидаю никаких изменений от применения

7. Если вы не смогли успешно применить знания / умения, то почему?

· Содержание не соответствует работе

· Мешают или отбивают охоту применять

· Нет возможности

· Более высокие приоритеты

· Другие причины

8. У меня были определённые ожидания перед посещением обучения.

Полностью согласен	Полностью не согласен
7 6 5 4	3 2 1 не готов ответить

9. После обучения я определил, как я могу применять знания / навыки на рабочем месте.

Полностью согласен	Полностью не согласен
7 6 5 4	3 2 1 не готов ответить

10. Мне предоставили адекватные ресурсы для успешного применения обучения в работе.

Полностью согласен	Полностью не согласен
7 6 5 4	3 2 1 не готов ответить

2.6 Оценка индекса лояльности NPS (Net Promoter Score)

Оценивается по единственному вопросу «Какова вероятность, что вы порекомендуете учебную программу своим коллегам?» Ответ принимается по шкале от 0 до 10, где от 0 до 6 - «критики», от 7 до 8 - «нейтрально» настроенные респонденты и от 9 до 10 - «промоутеры». Индекс рассчитывается по формуле:

количество «промоутеров» - количество «критиков» х 100%

количество респондентов

Learning Аnalytics

В условиях использования бесплатной площадки Google Sites собирать специальную, подробную аналитику довольно сложно: на данный момент специальные среды, собирающие аналитику по работе программы как правило, платные и довольно сложные. Тем не менее, не имея таких ресурсов, я поставила задачу собрать хотя бы минимальные сведения о процессе обучения теми средствами, которые имеются.

В данном случае была включена оценка работы с сайтом программы с помощью Google Analytics. Что позволит автоматически собрать информацию по работе с сайтом: количество посещений, группировка посетителей по признакам, формирование популярных страниц, вычисление среднего времени пребывания на сайте, обращение к сайту программы по завершению курса, автоматическое формирование отчётов.

Таблица 5. Минимальный список необходимых ресурсов

Наименование	Тип	Затраты	Цель
Сайт	Материальные	0	Организация дистанционной работы
Подготовка программы (размещение на сайте заданий, общих файлов)	Временные	~ 5 часов	Подготовка к проведению программы для каждого потока
Компьютер / ноутбук	Материальные	0	Работа в программе
Куратор	Человеческие	0*/15 часов**	Организация работы программы
Эксперт	Человеческие	0*/15 часов**

*в рамках обучения по программе «Управление образованием»

**на основе временных затрат при проведении первой программы

В данном случае была включена оценка работы с сайтом программы с помощью Google Analytics. Что позволит автоматически собрать информацию по работе с сайтом: количество посещений, группировка посетителей по признакам, формирование популярных страниц, вычисление среднего времени пребывания на сайте, обращение к сайту программы по завершению курса, автоматическое формирование отчётов.



3. Реализация образовательной программы. Анализ результатов и описание эффектов программы

3.1 Условия опытно-экспериментальной работы

ГБОУ школа №2116: 3 корпуса школы, 6 корпусов дошкольных образовательных учреждений. Всего 140 учителей.

Экспериментальная работа будет проведена в корпусах «ШО2, ШО3», и охватит 60 педагогов для двух групп учителей: в октябре-ноябре и в ноябре-декабре.

Уровень информационно-образовательной среды находится между 1 и 2: доступ к ИКТ организован достаточно (но не свободно), при этом вопросы использования ИКТ только начали задавать. Каждое рабочее место учителя оборудовано компьютером и презентационной техникой, с доступом в интернет. В каждом здании 2-3 кабинета информатики, оборудованных компьютерами. Школьный wi-fi работает, но ученики не могут к нему подключиться (только учителя и только по запросу). ИКТ используются только для презентаций урока.

Рисунок 3. Уровни развития информационной образовательной среды



Учителя практически не используют работу с электронными устройствами на уроках, домашние задания в некоторых случаях выполняются с помощью сервисов интернет (как правило, индивидуально и, как правило, это в основном агрегаторы задач).

Этапы реализации программы

Для оценки эффективности программы мы оцениваем динамику развития ИКТ-компетентности по выделенным показателям за короткий промежуток времени, что снижает вероятность развития ИКТ-компетентности с помощью внешних факторов и позволяет говорить о вкладе программы в изменение ИКТ-компетентности педагога.

1 Этап. Оценка текущего уровня ИКТ-компетентности. Май 2017. Один из ключевых этапов - прохождение тестирования ИКТ-компетентности. В рамках подготовки был создана диагностическая анкета, позволяющая довольно точно определить, уровень ИКТ-компетентности педагога, с большим количеством открытых вопросов для подтверждения необходимых навыков (открытые вопросы требовали указать некоторые конкретные задачи, которые были решены, как подтверждение владения различного уровня ИКТ-компетентностью). Данный опрос занимал около 60 минут времени и был довольно подробным. Но этот инструмент был отклонён, поскольку он занимал значительное количество времени и был ориентирован на значительно выше в среднем уровень ИКТ-компетентности педагогов. В связи с чем, диагностическая анкета была значительно изменена: по количеству и качеству вопросов.

2 Этап. Прохождение программы (октябрь-декабрь 2017) для педагогов занимает 5 недель (по количеству модулей). На данном этапе идёт постоянная внешняя оценка как со стороны учителей (в рамках внутренней среды программы), так и со стороны учеников (с помощью электронных закрытых анкет) - в рамках внешней среды по отношению к программе.

3 Этап. Оценка эффективности программы (в том числе, оценка динамики ИКТ-компетентности педагога). Декабрь 2017. Включает в себя диагностику ИКТ-компетентности педагога и анкетирование учащихся о характере и интенсивности использования ИКТ на уроках.

Оценка эффективности программы

На данный момент существует несколько моделей оценки эффективности корпоративных образовательных программ. Наиболее популярные: модель Д. Кирпатрика, V-модель Дж. Филлипса и модель человеческого капитала.

Для оценки эффективности программы развития ИКТ-компетентности педагогов была выбрана модель Д. Кирпатрика, поскольку она включает в себя несколько уровней оценивания (Анкеты даны в Приложении 4):

· Реакция. Даёт мгновенную обратную связь, что необходимо для оценки преподавателя, первой оценки полезности образовательного контента и сформированных условий обучения.

· Научение. Оценка уровня усвоения материала. Позволяет оценить основной результат прохождения программы: знаниевую компоненту и навык применения.

· Поведение. Оценка соответствия полученных навыков рабочим обязанностям, т.е. насколько эти навыки будут использованы в рабочем процессе без привлечения опроса учащихся, насколько изменилось поведение участников программы.

· Результативность. В классических корпоративных программах бизнес-сектора есть культура измерения производительности сотрудников, и практика измерений довольно обширна. Измерение производительности педагогов - вопрос не однозначный и решается не одно десятилетие. На данный момент оценка образовательной программы по этому уровню не производится.

Обязательными метриками, включенными в программу являются:

· Индекс лояльности NPS (Net Promoter Score). Оценивается по единственному вопросу «Какова вероятность, что вы порекомендуете учебную программу своим коллегам?» Ответ принимается по шкале от 0 до 10, где от 0 до 6 - «критики», от 7 до 8 - «нейтрально» настроенные респонденты и от 9 до 10 - «промоутеры». Индекс рассчитывается по формуле:

количество «промоутеров» - количество «критиков» х 100%

количество респондентов

· Learning Аnalytics. Данные о происходящем обучении и его контексте, чтобы понять и оптимизировать образовательный процесс и среду. В данном случае мы включили только оценку работы с сайтом программы с помощью Google Analitics и Я. Метрика, позволяют автоматически собрать информацию по работе с сайтом: считают количество посещений, группируют посетителей по признакам, формируют популярные страницы, вычисляют среднее время пребывания на сайте, формируют отчёты автоматически.

Первый уровень. Реагирование

Для оценки данного показателя в каждый модуль была включена анкета оценки модуля (см. Приложение 4). Вопросы анкеты для каждого модуля одинаковы.



Аналитическая справка: для всех модулей показатель средний отмеченный балл довольно высок. При этом особенно выделяются 3 и 5 модуль: это использование инструментов ИКТ в рамках современных педагогических практиках и организация и управление учебным процессом.

Аналитическая справка: практически для всех модулей участники курса отмечают максимальный балл, при этом балл за модуль «Технические и программные средства интеренет» несколько ниже. В более подробном опросе оказалось, что задания в данном модуле были 2х уровней: слишком лёгкими - по применению технических средств и слишком времязатратными - по подготовке long-read материала. Это говорит о том, что для следующих потоков необходимо задания сбалансировать.



Аналитическая справка: высокие показатели по данному критерию говорят о том, что программа отвечает запросам заказчика в полной мере. Но, надо уточнить, что на данный показатель может также влиять формат организации работы внутри модуля (по тренинговой методике): когда на начало модуля участник, получая входную информацию о задачах модуля, заданиях и образовательном контенте, сам выбирает для себя маршрут прохождения и формулирует цели. Это обязательная часть прохождения каждого модуля в дальнейшем подкрепляется личной рефлексией о результативности.



Аналитическая справка: в работе программы предусмотрено включение 2х человек: куратора курса и эксперта. В связи с тем, что курс проводился одним человеком, в работе были задержки с итоговыми результатами по 2 м модулям.

Аналитическая справка: среда организована таким образом, чтобы максимально прозрачно выстроить образовательный процесс, и иметь возможность оценивать не только знаниевую компоненту, но и уровень владения навыками, в том числе - навыками работы в команде, дистанционного взаимодействия и т.п.



Аналитическая справка: на данной диаграмме мы видим вклад каждого критерия в общий результат по каждому модулю. По четвёртому модулю мы получили самые низкие оценки по сравнению с другими модулями. В связи с этим, для дальнейшей работы с курсом уровень материалов, заданий, необходимо оценить. Возможно, такая оценка так же связана с тем, что 5 модулей (5 недель) для внутрикорпоративной программы - довольно много и необходимо перестраивать логику программы.

Второй уровень. Научение. Оценка текущего уровня ИКТ-компетентности

Оценка знаниевой компоненты и навыков проводится в каждом модуле 1 раз, в форме оценки проявленных знаний и демонстрации навыков при выполнении заданий (на основе уровней: неправильное использование / адекватное использование / экспертное использование).

Оценка уровня ИКТ-компетентности педагогов проводится на основе анализа динамики по показателям ИКТ-компетенций педагогов. На основе этой диагностики мы можем оценить, насколько программа влияет на педагогов с точки зрения их навыков, но не с точки зрения насколько они меняют ИОС. Положительная динамика в этом показателе является необходимым, но не достаточным условием. Отсутствие статистически значимых изменений в этом показателе скажет о некачественной разработке и / или реализации программы.

На данный момент подходящего инструмента для оценки ИКТ-компетентности педагогов найти не удалось. (Выше, в разделе «Оценка ИКТ-компетентности педагогов» проанализированы существующие инструменты и обосновано решение создать диагностическую анкету ИКТ-компетентности для данной программы.)

В связи с чем на основе запроса администрации, учителей и учащихся был сформирован запрос и оформлен в рамку ICT CFT (См. Приложение 2). На основе этой рамки был построен опросник, содержащий 63 вопроса, большее количество которых - открытые. Прохождение анкеты требовало огромного количества времени для респондентов, и значительный уровень экспертной оценки.

В результате было принято решение использовать комбинированное оценивание: сформировать новый опросник, уменьшив количество вопросов, оставив только значимые, преобразовав вопросы в закрытую форму. Это значительно укрупнило масштаб: на основе первого опросника довольно подробно можно было увидеть текущий уровень респондента не только по каждому направлению матрицы ICT CFT, но и по конкретным ИКТ-компетенциям и навыкам. За счёт изменения опросника эта детализация потеряна, но мы реализуем это оцениванием работы внутри каждого модуля.

Вторая версия опросника содержит 30 вопрос, все из них закрытые, некоторые с возможностью внести собственны й вариант ответа.

На основе матрицы ICT CFT сформированно уточнение для диагностической анкеты, и выделены вопросы.

Таблица 6. Результаты входного тестирования педагогов

	Применение ИКТ	Освоение знаний	Производство знаний
Понимание роли икт в образовании	68%	32%	-
Балл теста	0-2	3-5	-
Учебная программа и оценивание	41%	56%	3%
Балл теста	0-4	5-7	8-10
Педагогические практики	79%	12%	9%
Балл теста	0-4	5-7	8-10
Технические и программные средства икт	24%	62%	14%
Балл теста	0-4	5-7	8-10
Организация и управление образовательным процессом	61%	49%	0
Балл теста	0-4	5-7	8-10
Профессиональное развитие	24%	73%	3%
Балл теста	0-4	5-7	8-10

Аналитическая справка: результаты участников распределены не равномерно, для высокого уровня использования ИКТ в образовании отвечает всего 1-3 человека из тех, кто проходил тестирование. Это касается всех разделов, кроме раздела технические и программные средства, где за счет использования некоторых технологий (практически совпадающих для всех участников) были набраны высокие баллы.

По двум важным разделам («Организация и управление образовательным процессом» и «Учебная программа и оценивание») большинство респондентов попадает в область начального владения сведениями, не активного использования.

Таким образом, для программы формируются дополнительные цели: перевести участников программы «во второй столбец» по всем разделам и предоставить тем участникам, которые уже находятся на этом уровне возможность продвижения на более высокий уровень «Производство знаний».

Динамика ИКТ-компетентности педагогов

В последнем модуле перед завершением программы было еще раз проведено итоговое тестирование, которое позволило оценить динамику ИКТ-компетентности педагогов. Здесь и далее приводятся данные по количеству участников программы (в%), набравших определённый бал и попавших в соответствующую категорию («Производство знаний», «Освоение знаний», Применение ИКТ»).

Аналитическая записка: для данного показателя часть участников получила развитие, перейдя на следующий уровень. Переход на третий уровень не был заложен в программе и не оценивался.



Аналитическая записка: Для данного показателя значительным было не только уменьшение участников, набравших небольшое количество баллов, но и значительное увеличение участников, набравших высокий балл. Так же можно отметить в целом положительное изменение по баллам: 0 в выходной анкете не набрал никто, большинство участников повысило свой балл на 4-5 пунктов из 10 возможных.

Аналитическая записка: изменение баллов, характерное для показателя «Учебная программа и оценивание» характерно так же для остальных параметров в разной степени. Для показателя «Педагогические практики» значительным был переход с низших значений на средние и близкие к уровню «Производство знаний».



Аналитическая записка: данный модуль оказался одним из самых успешных для участников программы, поскольку именно в этом модуле удалось перевести участников на самый высокий уровень тех, кто уже показывал хорошие результаты. Возможно, здесь необходимо усложнить вопросы.

Аналитическая записка: один из уровней, в которых программа не дала значительного результата. Можно предположить, что задания в этом модуле на данный момент не позволяют значительно закрепить изменения в практиках или некоторые результаты этих изменений не могут проявиться достаточно быстро, а могут проявляться в определённых этапах, например, организация проектной деятельности и т.п.

Аналитическая записка: данный показатель один наиболее позитивных: здесь практически всех удалось перевести на уровень «Освоение знаний» и «Производство знаний». Эффективность участия в профессиональных сообществах в любой форме показана в программе в нескольких модулях, это позволяет внутри организации создавать свои микросообщества и использовать внутренний потенциал развития организации.

Третий уровень. Поведение

Оценку, включены ли новые паттерны работы в педагогическую практику, проводим анкетированием (самооценка) педагогов, анкетированием учащихся.



Аналитическая справка: Кардинальное изменение практики использования ИКТ в первой группе по результатам работы программы показывает, насколько значительные изменения происходят в практиках обучения. После окончания работы программы эти изменения «возвращаются» к исходному уровню, но у очень незначительного количества учителей. Возможно, такой значительный эффект связан с тем, что в процессе обучения были созданы поддерживающие каналы коммуникации, которые участники группы продолжали использовать после окончания программы. Важность наличия таких каналов коммуникации подтверждают результаты второй группы.

Аналитическая справка: для данной группы характерен незначительный «откат» к предыдущему уровню. Данная диаграмма показывает, какие элементы урока были значительнее изменены программой. Неожиданный эффект программы: демонстрация нового материала (презентация) сначала незначительно увеличивается, а затем снижается с течением времени. Т.е. мы явно видим не только изменение в использовании ИКТ, но и изменение в педагогических технологиях, применяемых учителями. Предполагая, что учителям доступны материалы для презентации они ориентируются на иные способы работы с новым материалом, нежели подача его на уроке. Кроме того, если все критерии немного опускаются с течением времени, то единственный показатель «Повторение» растёт. Это говорит о том, что задания для отработки материала на высоком уровне сложности учителя предпочитают предлагать в электронном варианте. Для детального изучения этого предположения необходимо дополнительное исследование.

3.2 Результаты самооценки

Аналитическая справка: на основе ответов для каждого участника группы материалы, предоставленные в ходе обучения (или их часть была не знакомой). Что позволяет сделать вывод, что материалы, подобранные для работы являются актуальными на данный момент.

Аналитическая справка: этот вопрос является ключевым, поскольку раскрывает не только знаниевый компонент, но и основное: условия работы позволяют реализовывать данные практики. Они в достаточной мере освоены, чтобы не отнимать слишком много времени при подготовке или освоении.

Аналитическая справка: нет ни 1 участника, указавшего ответ менее 50%. Это значит, что задачи, которые позволяют решать предложенные в курсе методики, занимают достаточно большое количество времени, что означает их интенсивное использование.



Аналитическая справка: Все участники программы определили соответствие программы успешной работе на 70 и более процентов. При этом наиболее частые ответы - 90% и 80%. Т.е. программа попала в ожидания и позволяет решать задачи настолько эффективно, насколько это видят возможным участники программы.

Аналитическая справка: как минимум 30% информации участники начали применять в своей работе. Это довольно низкий показатель для данной программы, но показатели ниже 50% отметило 6 человек из обеих групп, это 18% выборки. Сопоставляя данные этого вопроса и предыдущих можно сделать вывод, что есть некоторые практики, которые участники группы интенсивно используют в своей работе, а часть содержания программы не используется в работе как минимум данной группой. Для того, чтобы точно определить, какие разделы программы и почему не настолько включены в деятельность этих 18% необходимо провести дополнительно анкетирование или изменить включить новые вопросы в систему оценивания.



Аналитическая справка: дизайн программы ориентирован на выполнение заданий и решение задач своей профессиональной деятельности. Результаты этого опроса подтверждают, что принцип немедленного применения на практике в программе реализован.

Аналитическая справка: все респонденты ответили, что имели определённые ожидания от программы. В рамках предварительной оценки ИКТ-компетентности педагогов центра учителей познакомили с тем, какие задачи решают ИКТ. В информационном объявлении о программе были описаны основные задачи, поэтому пул ожиданий от программы был сформирован самим входом в программу.

Аналитическая справка: такой высокий процент тех, кто определил, как будет применять эти знания позволяет говорить определяется следующими составляющими дизайна программы: 1) в рамках обучения все выполняют задания в своей профессиональной деятельности; 2) поскольку программа внутрикорпоративная, при возникающих у учителя вопросах он обращается к тем, кто проходил курс с ним или куратору курса.

Аналитическая справка: поскольку программа ориентирована на конкретного заказчика и создавалась под те условия, в которых работают учителя, другие результаты показали бы, что условия работы учителей не учтены или мало изучены.

Оценка индекса лояльности NPS (Net Promoter Score)

В итоговую анкету по последнему модулю был включен дополнительный вопрос «Какова вероятность, что вы порекомендуете учебную программу своим коллегам?».

Таблица 7. Результат опроса для оценки индекса NPS

Категория	Количество
«Критики». В эту категорию так же включены 4 человека, которые прервали обучение на программе, они не участвовали в опросе, для них был определён самый низкий балл (1)	5
«нейтрально»	7
«промоутеры»	18

NPS = ((18-5) / 30) * 100% = 43, (3)

Насколько этот показатель высок и объективен, на данный момент сказать сложно. То, что он положительный говорит о том, что следующий набор педагогов для прохождения программы сформировать будет легче, поскольку учителя будут слышать о программе положительные отзывы.

По данному показателю можно косвенно судить о том, что программа «попала в ожидания», и, возможно предвосхитила ожидания учителей.

Learning Аnalytics

Аналитика по работе с ресурсом: время, активность, количество посещений, время посещений эти данные позволяют сделать программу эффективнее. В результате использования сервиса Google Analytics удалось определить:

Таблица 8. Использование Google Analytics для оценки работы участников программы

Показатель	Параметр	Значе-ние	Вывод/использование
Наиболее времязатратные модули. Самые длительное посещение сайта (По датам определяем модуль.)	Средняя длительность сеанса	9,4 часа	Насколько нагрузка по времени освоения модуля соответствует заявленной в программе. В 2х модулях наблюдалось значительное увеличение (9,4 часа по сравнению с указанной: 6 часов). Результат: изменить формат работы в модуле: убрать 1 из заданий или упростить.
Наименее времязатратные модули Наименьшее среднее время работы с сайтом.	Средняя длительность сеанса	3,5 часа	Данный показатель не является значительным, поскольку указанное время на 30 минут меньше заявленного и тем не менее, в данном модуле необходимо пересмотреть задания на предмет усложнения или включить еще 1 задание дополнительно.
Среднее время работы с сайтом (за 1 посещение)	Время посещения 1 участника	Около 1,5 часов.	В среднем на задания необходимо закладывать не более 1,5 часов (включая изучение материалов по теме)
Обращение к сайту программы по завершению курса	Посещаемость сайта	Количество пользователей	Сайт продолжает быть востребован педагогами не только как площадка для обучения, но и как «точка» входа (каталог) необходимых / применяемых в работе ресурсов.

Результаты программы

На основе результатов оценки эффективности программы можно сказать, что программа значительно повышает ИКТ-компетентность педагога (на основе анализа динамики ИКТ-компетентности педагога, данной в Главе 3, раздел «Описание результатов и эффектов программы»), а так же даёт пролонгированный результат (на основе анкетирования учащихся, работающих с учителями, прошедшими программу). Т.е. программа даёт принципиально важный результат: изменение педагогической практики, что и являлось целью программы.

Эффекты программы

Подтверждение принципиальной важности канала коммуникации. Для усиления эффекта программы необходимо сохранять канал коммуникации, который позволяет в период после обучения поддерживать высокий уровень работы. В дальнейшем необходимо искать такие формы работы, которые позволят поддерживать такое взаимодействие учителей.

Усиление горизонтальных профессиональных связей в группе учителей, принимавших участие в программе. Для оценки этого эффекта на группах, прошедших программу не проводилось дополнительно исследования. Такие выводы сделаны на основе того, насколько активно учителя используют общий чат группы для информирования о мероприятиях, интересных публикациях, задании вопросов, обсуждение методических решений использования ИКТ и не только.

Дополнительный запрос на проведение мастер-классов по интересующих педагогов темам, сформулированным самими участниками программы к другим участникам и эксперту курса.

Практика использования внутренних возможностей обучения, как эффективная и удобная в первую очередь, для педагогов, получила распространение среди тех, кто не проходил курс, но активно развивается и хотел получить доступ к информации.

Обобщая вышеизложенное, можно сказать, что использование данной формы оказало для организации более значимый эффект, нежели повышение уровня ИКТ-компетентности для отдельных учителей. Использование собственных ресурсов для развития и самообучения, усиление профессиональных горизонтальных связей приводит к первым необходимым условиям для развития организации как самообучающейся.



Заключение

Предпроектное исследование выполнено в полном объёме.

Проект реализован полностью. Цель проекта достигнута.

На основании проедпроектного исследования были сделаны следующие выводы:

1. Ключевое отличие моделей ИКТ-компетентностей педагогов заключается в том, к какому уровню можно отнести понимание использования ИКТ в образовательном процессе. В выбранных моделях прослеживается эволюция подходов к использованию ИКТ в образовательном процессе.

2. Из выбранных моделей ИКТ-компетентности педагогов более всех отвечает целям исследования модель ИКТ-компетентности педагогов ICT CFT UNESCO. Модель UNESCO ICT-CFT (2011) определена рабочей, поскольку отвечает следующим критериям: ориентирована на изменения образовательного процесса; позволяет оценивать не столько техническую компетентность, сколько изменения в педагогических практиках; позволяет выстраивать индивидуальные и групповые стратегии развития ИКТ-компетентности педагогов.

3. Произведён анализ существующих систем оценки ИКТ-компетентности педагогов, базирующихся на основе модели UNESCO ICT-CFT. При этом существует несколько проблем в системе оценивания ИКТ-компетентности педагогов. Практически все системы оценивания имеют в своей основе тест с довольно общими закрытыми вопросами. Это приводит к вопросам достоверности оценки, особенно в ситуациях оценки с дополнительными смыслами (например, наличие оценки ИКТ-компетенций позволит легче пройти аттестацию). Большинство систем оценивания не предполагают возможности задать вектор развития, что для педагогов, проходящих оценивание является одним из важнейших результатов.

4. На данный момент инструменты оценки ИКТ-компетентности работают с индивидуальными результатами и не дают обобщенной информации для данной группы интересантов. Хотя, наиболее общие результаты - по уровню компетенций (общему набранному баллу) могут дать представление не только о наиболее квалифицированных в использовании ИКТ учителях, но и дать информацию об учителях, готовых повышать свою ИКТ-компетентность, если данная практика покажет свои результаты (ранние и поздние последователи по концепции Роджера[9]). Это позволило бы объективно формировать выборку учителей, которым рекомендовали пройти программу повышения ИКТ-компетентности.

5. На основе работ в области андрагогики (Fisher T.D. [7, стр. 9], Knowles M. [9, стр. 15], Змеева С.И. [27, стр. 28]) были выработаны принципы программы, которые, совместно с условиями и запросом стейкхолдеров определили выбор формата программы: «Внутрикорпоративная образовательная программа» из нескольких альтернатив.

В рамках построения внутрикорпоративной программы повышения квалификации были решены следующие задачи:

4 Выявление запроса стейкхолдеров: 3 группы участников образовательного процесса (ученики, учителя, администрация). Для каждой группы была построена методика выявления запроса и проведен анализ результатов, обобщенный в таблице 5, стр. 45 и сформированный в рамке ICT CFT в таблице 6, стр.

5 Определение образовательных результатов программы. На основе запроса стейкхолдеров, определения текущего уровня ИКТ-компетентности педагогов, а так же рамки ICT CFT. Образовательные результаты программы сформулированы в виде компетенций.

6 Конструирование образовательной программы «от результата». Выделенные компетенции разложены на конкретные действия, на основании которых можно утверждать о проявлении той или иной компетенции в рамках работы в программе. В каждом модуле определены действия и уровень их проявления, а так же роль, в которой участник программы проявляет свой уровень овладения данной компетенцией (ученик - знакомство, отработка, педагог - конструирование задания, оценивание). Именно на основе этих компетенций отобран образовательные контент, были подготовлены задания.

7 Формирование критериев и подбор инструментов оценки образовательной программы. Для оценки эффективности программы была использована система оценивания, базирующаяся на модели Д. Кирпатрика, позволяющей оценить не только, насколько изменился уровень ИКТ-компетентности педагогов, но и насколько эффективен каждый модуль отдельно. Учителя достаточно высоко оценили программу по основным показателям. Так же в ходе оценивания эффективности программы была проведена оценка соответствия заявленного в программе, затрат времени на каждый модуль реальному. Это было выполнено с помощью сервиса Google Analytics. И здесь надо указать, что время по каждому модулю у большинства педагогов превышало заявленные 4 часа, особенно значительно в случае с подготовкой командных заданий, что необходимо учесть в дальнейшем её использовании. Подробное описание результатов дано в Главе 3, разделе «Оценка результатов программы». Отдельно необходимо выделить затруднение в оценке эффективности программы: среди доступных инструментов оценивания ИКТ-компетентности педагогов не найдено инструмента, соответствующего целям программы. В связи с чем была разработана и апробирована диагностическая анкета оценки ИКТ-компетентности педагога.

8 Построение площадки для дистанционного прохождения программы, формирование образовательного контента и заданий. В связи с тем, что необходимо на первых этапах создать максимально гибкий проект, площадка должна иметь возможность смены, изменения, добавления контента «на лету». Поэтому на данный момент выбрана площадка Google Sites. Сайт программы доступен по адресу https://sites.google.com/site/ictfortaechrs2017/home.

9 Реализация образовательной программы проходила на базе ГБОУ школа №2116 с 02.10.2017 по 05.11.2017, с 06.11.2017 по 08.12.2017. В реализации программы приняло участие 40 учителей центра образования. Программа проходила дистанционно. Для реализации дистанционного обучения был подготовлен сайт программы на котором размещены материалы программы.

10 На основе результатов оценки эффективности программы можно сказать, что программа значительно повышает ИКТ-компетентность педагога (на основе анализа динамики ИКТ-компетентности педагога, данной в Главе 3, раздел «Описание результатов и эффектов программы»), а так же даёт пролонгированный результат (на основе анкетирования учащихся, работающих с учителями, прошедшими программу). Т.е. программа даёт принципиально важный результат: изменение педагогической практики, что и являлось целью программы.



Список литературы

1. Авдеева С.М., М.Ю. Барышникова, С.К. Коваленко, А.Е. Мельников. Об опыте реализации модели оценки ИКТ-компетентности.

2. Акуленко В.Л., Босова Л.Л. Методические рекомендации по форми-рованию ИКТ-компетенции учителя физики в системе повышения ква-лификации [эл. ресурс] - М.: РАО, 2006. ? - URL: http://window.edu.ru/window_catalog/files/r38839/mr6.pdf (Дата обращения: 1.06.2013)

3. Барбер Майкл, Муршед Мона Как добиться стабильного высокого качества обучения в школах. Уроки анализа лучших систем школьного образования мира // Вопросы образования. 2008. №3

4. Болотов В.А., Сериков В.В. Компетентностная модель: от идеи к образовательной программе // Педагогика. - 2003. - №10. - С. 8-14

5. Бурмакина, В.Ф. Большая Семёрка (Б7). Информационно-коммуникационно-тех-нологическая компетентность. Методическое ру-ководство для подготовки к тестированию учителей. [Электронный ре-сурс] / В.Ф. Бурма-кина, М. Зелман, И.Н. Фалина // Центр развития образования АНХ при правительстве РФ, Мо-сква, 2007. - Режим доступа: URL: http://ifap.ru/library/book360.pd

6. Власенко В.А. Взаимосвязь компонентов информационно-образовательной среды школы / В.А. Власенко, Е.В. Якушина / Народное образование, - №5, 2012, с. 124-128

7. Водопьян Г.М., Уваров А.Ю. О построении модели процесса информати-зации школы. - М.: РФРДПО, 2008. - 340 с.

8. Гасликова И.Р. Показатели использования информационных технологий в образовании / И.Р. Гасликова. /Вопросы образования: научно-образовательный журнал/ Гл. ред. Я.И. Кузьминов. - М.: ГУ ВШЭ, 2005. №3 - С. 302 - 330.

9. Государственная программа Российской Федерации «Развитие образова-ния на 2013-2020 годы». [Электронный ресурс] - : http:// минобрнауки. рф/документы/2474/файл/901 / Госпрограмма_Развитие_образования_(Проект).pdf.

10. Делор Ж. Доклад международной комиссии по образованию, представленный ЮНЕСКО, Ж. Делор «Образование: сокрытое сокровище». М., 1997

11. Диагностика ИКТ-компетентности учителей. ГАОУ ВО г. Москвы «Московский институт открытого образования». Электронный ресурс. Режим доступа: https://www.mioo.ru/obrazovatelnye-uslugi-mioo/t/quizzes/testironvanie-kompetentsij/diagnostika-ikt-kompetentnosti-uchitelej/play.html (21.10.2017)

12. Закон министерства образования и науки Российской Федерации от 9 января 2014 г. №2 «Об утверждении порядка применения организациями, осуществляющими образовательную деятельность, электронного обучения, дистанционных образовательных технологий при реализации образовательных программ»

13. Зеер, Э.Ф. Компетентностный подход к модернизации профессионального образования/ Э.Ф. Зеер, Э. Сыманюк // Высшее образование в России. - №4,2005.-С. 23-29

14. Зимняя И.А. Ключевые компетентности как результативно-целевая основа компетентностного подхода в образовании. Авторская версия. М., 2004.

15. Змеев С.И. Образование взрослых и процессы глобализации в сфере образования // Новые знания. 2005. №2. С. 6-10.

16. Исследование факторов, влияющих на компетентность учителей в сфере ИКТ. Электронный ресурс. Режим доступа: http://www.ifap.ru/library/book143.pdf

17. Каспржак А.Г. По ступеням компетентностей: О проекте «Модернизация образования: перспективные разработки // 1 сентября. 2002. - №88

18. Каспржак А.Г., Калашников С.П. Приоритет образовательных результатов как инструмент модернизации программ подготовки учителей. // Психологическая наука и образование. 2014. Т.19. №13

19. Конопатова Н.К. Оценка качества школьной информационно-образовательной среды в структуре управления образовательными систе-мами: диссертация… магистерская диссертация: / Короповская Вера Пав-ловна; [Место защиты: НИУ ВШЭ Санкт-Петербург]. - Санкт-Петербург, 2013. -192 с.

20. Концепция федеральной целевой программы развития образования на 2006-2010 гг. Приложение к Приказу Минобразования России от 3 сентября 2005 г. №1340-р

21. Короповская В.П. Непрерывное формирование ИКТ-компетентности педагога в условиях информационного образовательного пространства школы: диссертация… кандидата педагогических наук: 13.00.08 / Короповская Вера Павловна; [Место защиты: Волж. гос. инж. - пед. ун-т]. - Нижний Новгород, 2010. -228 с.: ил

22. Кузьмина, Н.В. Профессионализм личности преподавателя и мастера производственного обучения / Н.В. Кузьмина. - М., 1990.

23. Маркова А.К. Психология профессионализма. - М.: Международный гуманитарный фонд «Знание», 1996. - 312 с.

24. Митина, Л.М. Психология развития конкурентоспособности личности / Л.М. Митина. - М.: Московский психолого-социальный институт; Воро-неж: Издательство НПО «МОДЭК», 2002.

25. Митрофанов К.Г., Каспржак А.Г. Компетентностный подход как способ достижения нового качества образования. Материалы для опытно-экспериментальной работы школ. М., Просвещение, 2004

26. Новая ИКТ компетентность учителей // Лаборатория знаний. М.: БИНОМ. №9, 2014. - [электронный ресурс]. - URL: http://gazeta.lbz.ru/ (дата обращения: 02.12.2016)

27. Панова Е.С. Формирование ИКТ-компетентности педагогов современной школы // Муниципальное образование: инновации и эксперимент №3, 2013

28. Приказ Министерства образования и науки РФ от 6 октября 2009 г. №373 «Об утверждении и введении в действие федерального государственного образовательного стандарта начального общего образования»