Оценка эффективности обучения сотрудников организации в форме тренинга: анализ конкретного случая

Размещено на http://www.allbest.ru/

Оценка эффективности обучения сотрудников организации в форме тренинга: анализ конкретного случая

Степаненко Владислава Геннадьевна

Антонова Наталья Викторовна

Аннотация

Цель -- разработка и апробация программы оценки эффективности тренинга для сотрудников консалтинговой организации. Дизайн. Исследование строилось в несколько этапов. Сначала были выделены параметры эффективного тренинга, то есть создана контекстуальная часть модели. Затем на основе выделенных параметров была разработана методика оценки эффективности обучения в тренинге на нескольких уровнях: аффективном, когнитивном, поведенческом, которая вошла в иерархическую часть модели. Завершающий этап -- апробация методики оценки эффективности обучения и определение её валидности. Методы: полуструктурированное интервью; модерационные сессии; опрос; тестирование. Обработка результатов производилась с использованием метода контент-анализа, статистическая обработка производилась с использованием пакета R. Выборка: сотрудники консалтинговой компании, N = 201. Результаты. Разработана контекстуально-иерархическая модель оценки эффективности тренингов. Выявлены параметры эффективного тренинга для сотрудников консалтинговой компании: релевантность; практическая применимость; структурированность; вовлечённость; тренер; использование знаний; повышение производительности. Разработана и апробирована методика оценки эффективности обучения консалтинговой компании, включающая три блока. Даны рекомендации заказчику по применению данной методики в дальнейшей работе. Применение. Разработанная методика может использоваться для оценки эффективности обучения в консалтинговых компаниях. Ограничения: методика была разработана для консалтинговой компании; однако созданная модель оценки и рекомендации могут быть полезны разработчикам подобных методик в компаниях другого профиля. тренинг обучение когнитивный

Ключевые слова: обучение, тренинг, эффективность тренинга, модель оценки, методы оценки.

Evaluation of the effectiveness of training in organization: case study

Vladislava STEPANENKO Natalia ANTONOVA

National research university «Higher School of Economics», Moscow, Russian Federation

Abstract. Purpose. The purpose of this work is the development and testing of a program for assessing the effectiveness of training for employees of a consulting organization. Design. The first stage aimed to study the parameters of effective training (contextual part of the model). On the second stage to develop on the basis of selected parameters the methodology for assessing the effectiveness of training at several levels. There are: affective, cognitive, behavioral (hierarchical part of the model). Approbation of the methodology for evaluating the effectiveness of training and determining its validity. Methods. We used semi-structured interview, moderation sessions, survey, and testing. Processing of the results was performed using the method of content analysis, statistical processing was performed using SPSS. Sample: employees of consulting company N, the total number of 201 people. Results. A contextual- hierarchical model for evaluating the effectiveness of training was developed. Parameters of effective training for employees of a consulting company were identified. A methodology for evaluating the effectiveness of training by a consulting company, including three blocks, was developed and tested. Recommendations on the application of this technique in further work were given to the customer. Application: The developed methodology can be used to assess the effectiveness of training in consulting companies. Limitation: the methodology was created for the consulting company however the created assessment model and recommendations may be useful to developers of similar instruments in companies with different profile.

Keywords: education, training, effectiveness of training, assessment model, assessment methods, ROI.

Введение

В настоящее время в деловых организациях большое внимание уделяется обучению и развитию сотрудников, так как бизнес требует от них постоянного личностного роста и совершенствования профессиональных навыков для достижения наибольшей эффективности как индивидуальной трудовой деятельности, так и организации в целом. Ежегодно организуется огромное количество образовательных мероприятий, в эти мероприятия компании инвестируют большие финансовые ресурсы, ожидая в долгосрочной перспективе возврата вложенных средств

от обученных сотрудников. Однако оценивание эффективности обучения в форме тренинга Существуют различные терминологические нюансы в корректном использовании понятия «тренинг» в обучении взрослых

(Штроо, 2019). Далее по тексту статьи мы будем использовать выражение «тренинговое обучение» в значении «обучение в форме тренинга. часто вызывает затруднения. Как показывают исследования, практики чаще всего оценивают его только на одном уровне -- первичных реакций участников на обучение (Kucherov, Manokhina, 2017), то есть используют только аффективную обратную связь, не оценивая изменения, происходящие в других психологических сферах жизнедеятельности человека.

Оценка эффективности обучения для компании играет важную роль в связи с ростом цен на обучающие программы и с перенасыщением тренингового рынка. Существует много тренингов на разнообразные темы, и для того, чтобы корпоративное обучение приносило компании прибыль, ей необходимо внимательно подойти к выбору возможностей, которые она готова предоставить своим сотрудникам. Система оценки эффективности тренингового обучения помогает определить те программы, которые не просто формально будут соответствовать запросам высшего руководства, а смогут изменить рабочие процессы в компании и помочь ей постоянно расти и развиваться.

На данный момент существуют различные модели оценки эффективности обучения, однако применение этих моделей на практике может вызывать трудности. Разработка системы оценки эффективности обучения требует от специалистов достаточно больших усилий, так как им необходимо создавать для этого специализированные инструменты, а также программу внедрения этой системы в компанию, мотивировать сотрудников к её использованию и постоянно поддерживать функционирование этой системы. Предлагаемые исследователями модели зачастую очень обобщённые и абстрактные, они не адаптированы к требованиям конкретного бизнеса и не учитывают особенности организации, в которой будут применяться. Кроме того, в научной литературе мало внимания уделяется внедрению данных моделей в организации и трудностям, которые могут при этом возникнуть. Именно поэтому система оценки эффективности корпоративного обучения должна разрабатываться для каждой конкретной компании, чтобы она учитывали специфику бизнеса и профессиональной деятельности обучающихся специалистов, а также удовлетворяла всем особенностям процесса обучения, существующего в этой компании. В статье приводится пример разработки такого инструментария для конкретной консалтинговой компании.

Проблема оценки эффективности тренингового обучения сотрудников

организации

Корпоративное обучение ещё 30 лет назад стало основным источником обучения взрослых (Eurich, 1986). Распространённость и разнообразие корпоративного образования сегодня определить достаточно трудно. Для того чтобы добиваться высоких финансовых показателей и доминировать на рынке, компании необходимо быть уверенной в эффективности своих сотрудников, сотрудникам же, в свою очередь, необходимо быть способными быстро приспосабливаться к постоянно меняющейся среде бизнеса. Возможности корпоративного обучения сегодня являются одним из важных факторов при выборе работы, поэтому компании активно используют этот инструмент для того, чтобы соревноваться с другими организациями на рынке труда за привлечение ценных кадров (Jehanzeb, Bashir, 2012). Как показывают исследования, корпоративное обучение вносит важный вклад в удержание сотрудников, повышение производительности организации, а также укрепление положения компании на рынке (Becker, 1993). Одним из наиболее распространённых форм обучения персонала на сегодняшний день являются тренинги, которые позволяют повысить индивидуальную эффективность сотрудников и, как следствие, улучшить продуктивность отдельных команд и организации в целом (Goldstein, Ford 2002).

Что собой представляет тренинг как форма обучения? Д. Кэмпбэлл с коллегами определяли тренинг как запланированный опыт обучения, разработанный с целью приобретения постоянных изменений в индивидуальных знаниях, отношениях или навыках (Campbell et al., 1970). C. И. Макшанов определяет тренинг как «многофункциональный метод преднамеренных изменений психологических переменных человека, группы и связанных с ними характеристик организаций в целях гармонизации профессионального и личностного бытия человека и обеспечения эффективности организационной деятельности» (Макшанов, 1997, с. 131). Ещё один отечественный исследователь, Л. А. Петровская, определила социально-психологический тренинг как средство воздействия на человека, которое призвано развивать его социальные установки, знания, умения и опыт (Петровская, 1982). Интересно также рассмотреть определение Е. В. Сидоренко, которая раскрывает понятие «тренинг» по нескольким основаниям: если определять тренинг по его цели, то это передача технологии действия; по содержанию тренинг понимается ею как определённая концепция реальности; по форме -- как интерактивное обучение, в котором участники активно действуют и взаимодействуют друг с другом и с тренером (Сидоренко, 2008).

Таким образом, все исследователи связывают тренинг с определённым воздействием на человека, которое должно привести к изменениям в психологической сфере работника -- это могут быть новые знания о различных концепциях, способах действия, умения, изменения в социальных установках, поведении или деятельности. И. С. Овчинникова и Н. А. Кобзева в качестве черты, отличающей тренинг от традиционных форм обучения, выделяют следующее: в то время как традиционное обучение ориентировано на передачу и усвоение знаний путём получения правильного ответа, тренинг направлен на постановку вопросов и поиск ответов (Овчинникова, Кобзева, 2015). В данной работе мы будем понимать тренинг как форму обучения, направленного на развитие установок, знаний, умений или навыков сотрудников.

При использовании тренинга как формы обучения сотрудников организации неизбежно возникает вопрос о его эффективности. Исследователи определяют эффективный тренинг как имеющий потенциал к улучшению знаний, навыков и способностей сотрудников и позволяющий сотрудникам использовать эти знания, умения и навыки для того, чтобы улучшить работу организации (Becker, Huselid, 1998; Combs et al., 2006). Полученные в исследованиях, направленных на оценку эффективности тренингов, данные говорят о том, что лишь 10% от опыта, полученного во время обучения, переносятся в рабочую деятельность. По результатам других исследований было выяснено, что 40% тренинга переносятся сразу после тренинга, а через шесть месяцев использование тренингового опыта снижается до 25%, через год же оно достигает всего 15% (Wexley, Latham, 2002). Основной вывод из этих результатов следующий: со временем эффект от тренинга снижается, и участники используют лишь малую часть полученной информации. Феномен «переноса» тренинга интересует не только исследователей, но и практиков, основная цель которых -- сделать тренинг эффективным, помогая сотрудникам перенести возможный максимум информации и опыта из обучения в трудовую деятельность.

Согласно определениям различных исследователей, эффективная обучающая программа должна приводить в первую очередь к изменениям. Существует три основных психологических сферы, на которых отражаются различные воздействия из внешнего мира: аффективная, когнитивная и деятельностная. Обучение по своей сути также представляет внешнее воздействие на внутренний мир человека. По мнению исследователей, эффективное обучение вызывает изменения во всех трёх обозначенных сферах (Schultz, Schultz, 2009; Stewart, 1994).

Аффективная сфера включает эмоции, мотивацию и установки участников тренинга. Эмоции часто направляют наше внимание, а также оказывают влияние на наши намерения, мотивацию и поведение. Контролирующая функция эмоций тесно связана с процессом обучения, так как эмоции опосредуют внимание, определяющее степень фокусирования на предъявляемой информации. Кроме того, эмоциональное состояние также влияет на запоминание информации (Tyng et al., 2017), а значит, и на эффективность тренинга для конкретного участника. Мотивация и установки оказывают не менее важное влияние на то, насколько хорошо информация будет усвоена участниками, так как они определяют саму готовность к восприятию и дальнейшему использованию информации, что делает их важной составляющей психологической эффективности тренинга. Мотивация в данном случае включает не только готовность к обучению, так как последняя зависит от отношения сотрудников к их работе и карьере, но и стремление к повышению производительности труда, а также к карьерному росту. Кроме этого, мотивация также отражает желание сотрудника совместно с коллективом достичь организационных целей, которые стоят перед компанией (Noe, Schmitt, 1986).

Когнитивные изменения -- это объём информации, которую участник получил в ходе тренинга и усвоил. Во время обучения человек погружается в процесс познания при помощи определённых заданий и упражнений, предлагаемых на тренинге, во время выполнения этих упражнений человек приобретает определённые знания и развивает навыки, а степень усвоения этих знаний и развитости навыков как раз свидетельствует об эффективности обучающей программы (Kostromina, Dvornikova, 2016).

Деятельностная сфера связана с изменениями в поведении участников после тренинга, когда они отрабатывают определённые навыки и трансформируют свою рабочую деятельность с целью повышения производительности. Одна из основных задач тренинга - сформировать у участников основу навыков, которые они в дальнейшем будут развивать с использованием информации, полученной на тренинге, поэтому участникам очень важно на самом тренинге понять, как применять полученные знания при решении профессиональных задач в их практике (Смолкин, 1991).

Таким образом, согласно данному подходу к пониманию эффективности тренинга, обучение должно не просто нравиться участнику, но также давать ему новые знания и развивать навыки. Все три психологические сферы (аффективная, когнитивная, деятельностная) важно учитывать при разработке системы оценки обучения в компании, так как это помогает построить качественную систему обучения и развития персонала в компании, которая будет развивать сотрудников и повышать производительность их труда.

Модели и методы оценки эффективности обучения

Большинство моделей оценки эффективности обучения основываются на оценке изменений, происходящих в разных психологических сферах участников при определении эффекта тренинга. Комплексные модели, разработанные зарубежными авторами, делятся исследователями на иерархические и контекстуальные (Mulhall, 2015). Иерархический подход фокусируется на разных уровнях оценки и предлагает использовать по большей части количественные методы, чтобы объективно определить, был ли тренинг выгодным для компании. Наиболее популярной в рамках этого подхода является четырёхуровневая модель Д. Киркпатрика (Kirkpatrick, 1994). Первый уровень данной модели -- это реакции, отражающие первичное удовлетворение участников содержанием тренинга, а также самим тренером и его методами донесения информации. Для оценки этого уровня обычно используются анонимные анкеты, предлагаемые для заполнения в конце тренингов. Второй уровень -- полученные знания, здесь оценивается, насколько хорошо участники запомнили информацию, переданную им в ходе обучения. Для оценки знаний чаще всего используют тесты, их проводят не раньше, чем через две недели после обучения. Цель следующего уровня -- определить поведенческие изменения, которые операционализируются как изменение производительности труда. Для оценки этих изменений используются анкеты и опросники, наблюдение, интервью и фокус-группы. Последний уровень -- это оценка бизнес-результатов, для которой используются организационные метрики, показывающие финансовую эффективность обучающих программ (если это возможно) или их организационную значимость.

Существует большое количество разнообразных методов оценки тренинга на каждом из выделенных Д. Киркпатриком уровней (Макота, 2014). Модель Д. Киркпатрика приобрела популярность как среди практиков, так и среди исследователей: множество как классических, так и современных исследовательских работ посвящены доказательству эффективности этой модели (Arthur et al., 2003; ASTD, 2009; Clement, 1978; Fromkin et al., 1975; Kennedy et al., 2014; Latham et al., 1975; Saks, Burke, 2012). Американское сообщество обучения и развития персонала (ASTD, 2009) выяснило, что 91,6% американских специалистов оценивают обучение на первом уровне, 80,8% используют второй, 54,6% также учитывают поведенческие изменения, и лишь 36,9% оценивают организационные результаты. В России очень малая часть специалистов оценивает тренинги на уровнях выше уровня реакции (Kucherov, Manokhina, 2017). Второй уровень -- оценка полученных знаний, имеет наиболее высокий размер эффекта в сравнении с другими уровнями, что говорит о том, что оценка знаний является самым сильным предиктором эффективности обучения (Arthur et al., 2003). Значимость третьего и четвёртого уровня недооценивается, хотя существуют доказательства того, почему их оценка важна для организации (Kennedy et al., 2014).

Канадские исследователи, изучавшие взаимосвязь частоты проведения оценки обучения на поведенческом и организационном уровне с переносом тренинга -- применением знаний и поведенческих навыков, развитых в контексте тренинга, в рабочей деятельности, выяснили, что чем чаще компания оценивает тренинги, тем выше коэффициент «переноса» (Saks, Burke, 2012). Это говорит о том, что при оценке у участников актуализируется опыт, полученный во время обучения, они ещё раз вспоминают всю информацию и переносят её в собственную рабочую практику. При отсутствии оценки участники обучающих программ часто просто забывают о полученной информации и не пытаются внедрить новый опыт в работу, так как они знают о том, что проверяться это никак не будет. Они не актуализируют полученную ранее информацию, не развивают дальше навыки, тренинг оказывается бесполезным и финансово невыгодным для компании. Именно поэтому важно, чтобы организации уделяли внимание разработке и внедрению комплексных мероприятий по оценке эффективности обучающих программ.

А. Хамблин предложил другую модель, включающую пять уровней оценки. Первые три аналогичны представленным в модели Д. Киркпатрика. Четвёртый уровень, по А. Хамблину, должен оценивать, как поведенческие изменения на рабочем месте влияют на функционирование всей организации. Пятый уровень описывается им в терминах организационной выгоды, получаемой от внедрения обучающей программы (Hamblin, 1974). Дж. Филлипс разработал сходную с А. Хамблином модель, в которой он описывает пятый уровень через финансовую полезность. Он предложил концепцию возврата инвестиций -- ROI (Return of Investment), которая полезна для предсказания роста выручки компании в результате улучшенной организационной производительности, полученной после тренинга (Phillips, 1996). Р. Бринкерхофф описал более сложную модель, которая через оценку тренинга на нескольких уровнях исследует, как обучающая программа может быть улучшена. Его модель включает шесть стадий оценки, она также известна как «Метод успешных ситуаций» (Success Case Method). Первый шаг в этой модели -- это постановка целей, ответ на вопрос «Что нужно?». Второй шаг -- дизайн программы с учётом целей организации. Третий шаг -- внедрение программы, проверка того, насколько данный дизайн соответствует потребностям компании. Четвертый -- измерение непосредственных результатов обучения сразу после проведения программы. Пятый -- это поведенческие изменения, а шестой -- оценка финансовой выгоды от тренинга для организации (Brinkerhoff, 1987, 2005).

Современные исследователи продолжают разрабатывать инструменты для операцио- нализации описанных моделей. Так, А. Грохман и С. Кауффельд разработали комплексный опросник для оценки результатов тренинга на всех четырёх уровнях по Д. Киркпатрику (Grohmann, Kauffeld, 2013). Удобство этого инструмента заключается в экономии времени, так как для оценки обучения специалистам не придётся тратить часы на проведение интервью, фокус-групп или же привлекать руководителей для наблюдения за изменениями, происходящими в поведении сотрудника. Такой инструмент может быть особенно удобен для организаций с проектным управлением, где непосредственный руководитель постоянно меняется в зависимости от проекта, в котором занят сотрудник, то есть руководитель не всегда может проследить за объективными изменениями, появившимися после тренинга. Однако такой опросник имеет и некоторые ограничения, так как он требует высокой рефлексии и ответственности от сотрудника при заполнении. Кроме того, данные, полученные при помощи такого опросника, могут быть очень субъективными и не отражать реальной картины изменений в поведении работника и функционировании организации в целом.

Напомним, что все выше описанные модели представляют иерархический подход, они организованы в несколько последовательных уровней, которые позволяют всесторонне оценить обучение и определить его эффективность и полезность для организации. Однако все эти модели в некоторой степени унифицируют обучение, не учитывая контекст, в котором оно происходит, например, они не рассматривают мотивацию сотрудников участвовать в том или ином тренинге. Контекст же очень важен для определения корректных целей обучения и создания эффективных программ, которые в будущем принесут компании реальную выгоду.

Исследователи в рамках контекстного подхода разрабатывали модели оценки эффективности обучения, основываясь на идее о необходимости анализа организационной ситуации, в которой будет происходить обучение. Наиболее популярные модели в рамках этого подхода -- это CIRO (context, input, reaction and outcomes) и CIPP (context, input, process and product) (Topno, 2012). Модель CIRO, предложенная П. Уордом, М. Бёрдом и М. Рэкхамом включает четыре аспекта: контекст, вклад, реакция и результаты (Ward et al., 1970). Вторая модель была разработана Д. Стаффлбимом. Она включает четыре фазы оценки. Первая -- оценка контекста, которая подразумевает анализ потребностей и формулировку соответствующих целей обучения. Она необходима для того, чтобы понять, какие организационные потребности способна удовлетворить та или иная программа обучения, и насколько она совпадает с корпоративной культурой организации и мотивацией персонала (Stufflebeam, 2003). Важность определения целей и задач обучения и соответствия их организационному контексту подчёркивалась многими авторами (Montesino, 2002; Olsen, 1998; Rossett, 1997). Анализ потребностей как первый этап дизайна тренинговых программ даёт ответы на множество вопросов, среди которых: «Будут ли использоваться тренируемые навыки в работе специалистов?», «Воспринимается ли тренинг как релевантный?», «Хотят ли участники его посетить и верят ли, что он полезен для них?», «Поможет ли тренинг улучшить их производительность?» В оценку потребностей должны быть вовлечены все ключевые стейкхолдеры, которые помогут определить требования к программе (Clark et al., 1993).

Вторая фаза в модели CIPP (оценка вклада) это всё, что касается программы тренинга -- оценка стратегий, процедур и активностей, которые входят в данную программу, и соответствие их определённым на первом этапе целям тренинга. Данный этап необходим для того, чтобы убедиться в том, что выбранный дизайн и структура программы действительно наилучшим образом будут решать задачи тренинга. На данном этапе также осуществляется анализ политики, бюджета, расписания и организационных деталей обучения. Третья фаза в данной модели -- это оценка процесса, которая представляет собой сбор обратной связи от участников, а также первичную оценку прошедшего тренинга в соответствии с изначальным планом, разработанным на первых фазах. Здесь, помимо обратной связи от участников, оценивается соблюдение расписания тренинга, процент пройденного материала, эффективность затраченного времени и ресурсов. Эта фаза, по мнению автора, как раз помогает поддерживать высокое качество программы. Последняя фаза модели -- оценка продукта, которая помогает понять, повлиял ли тренинг на рабочее поведение сотрудников и улучшил ли рабочие процессы. Здесь производится оценка выполнения краткосрочных и долгосрочных целей и задач тренингов -- определяется, насколько программа позволила улучшить деятельность организации.

Рассмотренные контекстуальные модели представляют собой качественно новый подход к оценке обучения, обладающий рядом преимуществ перед более популярным иерархическим, так как эти модели предлагают сместить фокус внимания с количественной оценки на качественную оценку мотивации участников и целей обучения, достижение которых впоследствии и будет оцениваться при помощи иерархических моделей. Единственный недостаток данного подхода заключается в его ресурсозатратности: качественный анализ требует больших усилий и времени от специалиста, именно поэтому контекстуальный подход к оценке обучения применяется в компаниях реже, чем иерархический. Таким образом, иерархические и контекстуальные модели обладают рядом преимуществ и ограничений. С одной стороны, иерархические модели могут дать компании ответ на самый важный для компании вопрос -- выгодно ли тратить деньги на обучающую программу? Контекстуальные же модели, с другой стороны, позволяют компании более глубоко разобраться в целях обучения и создать такие программы, которые заведомо будут полезными для компании. При внедрении в компании контекстуальных моделей специалистам по обучению персонала важно тесно взаимодействовать со специалистами по оценке персонала, чтобы понимать, какие компетенции у сотрудников проседают, и в зависимости от этого планировать цели обучения с учётом мотивации сотрудников, которых планируют обучать. Исходя из анализа данных моделей, можно сделать вывод о том, что модель оценки эффективности корпоративного обучения должна создаваться для каждой компании отдельно, с учётом целей оценки и имеющихся у сотрудников ресурсов.

Разработка системы оценки эффективности тренингового обучения

сотрудников консалтинговой компании

Характеристика консалтинговой компании N (заказчика) и существующей в ней системы обучения сотрудников

Деятельность консалтинговых компаний существенно отличается от других типов бизнеса, например, производственных компаний или сферы продаж. Для консалтинга характерна проектная организация труда специалистов. Они участвуют в различных проектах, постоянно приобретая новые знания, что говорит о сильном влиянии трудовой деятельности на их развитие -- они обучаются по ходу выполнения рабочих обязанностей. Формальное обучение также составляет важную часть развития консультантов, особенно на начальном этапе их карьеры, так как оно помогает им получить необходимые знания и заложить базу для навыков, важных для успешного осуществления их деятельности. Зачастую сотрудникам необходимо пройти дополнительное обучение и получить специальную сертификацию для того, чтобы быть допущенными к проекту. Это формирует в организации потребность в поддержании культуры самообучающейся организации. Одним из важнейших компонентов при создании такой организации является плановое обучение, основывающееся на разработке специальной стратегии, структуре, системе, процедурах и планах обучения (Garvin, 1993). Для того чтобы определить эту стратегию, разработать систему и процедуры, необходимо понять, как среди всего многообразия тренинговых программ выбрать те, которые являются действительно эффективными, а также понять, как модифицировать оставшуюся часть так, чтобы и она стала эффективной для сотрудников.

Локальная программа обучения в компании N представлена обязательными и факультативными мероприятиями разной продолжительности (от четырёх до 16 часов). Основная форма обучения в компании N -- это тренинги по развитию определённого типа навыков, необходимых для осуществления рабочей деятельности, поэтому наше прикладное исследование нацелено в первую очередь на оценку тренингового обучения сотрудников. На момент заказа в компании не было программы по оценке эффективности обучения персонала. Оценка тренингов проводилась только на уровне первичных реакций сотрудников на обучающую программу. В анализе использовались лишь два параметра: общая оценка мероприятия (тренинга) и оценка преподавателя (тренера), которые не позволяли полноценно видеть динамику и отмечать долгосрочные результаты обучения. В компании N программа обучения сотрудников реализуется двумя способами -- это участие в очных тренингах и прохождение онлайн-курсов. В соответствии с пожеланием заказчика мы сосредоточились на оценке эффективности очного обучения.

Методология

Для разработки модели оценки эффективности обучения для заказчика проект был разделён на два основных этапа: исследовательский и исполнительный. На первом этапе нами проводилось изучение параметров эффективного тренинга, а также разрабатывались и тестировались инструменты оценки. Именно данный этап описан в настоящей работе. На втором этапе мы сформировали перечень тренингов с их целями и задачами, а также разрабатывали рекомендации по ведению аналитики и внедрению новой системы оценки в компании. Эти данные являются внутренней документацией компании.

Исследовательский этап включал следующие стадии:

изучение параметров эффективного тренинга (контекстуальная часть модели);

разработка методики оценки эффективности обучения на нескольких уровнях: аффективном, когнитивном, поведенческом (иерархическая часть модели);

апробация методики оценки эффективности обучения и определение её валидности.

Методы

В качестве методов сбора эмпирических данных использовались 1) полуструктурированное интервью; 2) модерационные сессии; 3) опрос; 4) тестирование. Обработка результатов производилась с применением метода контент-анализа, статистическая обработка производилась с использованием пакета R.

Выборка

Выборку исследования составили сотрудники консалтинговой компании N, общее количество 201 человек.

Результаты

Выделение критериев эффективности тренинга

Для того чтобы разработать систему оценки эффективности тренингов, необходимо было определить критерии эффективности тренинга для консультантов. Для этой цели проводились интервью с экспертами по обучению персонала (независимыми специалистами и «внутренними» тренерами), а также модерационные сессии с участниками тренингов, которые позволили разобраться с тем, что каждый из критериев значит, и какие компоненты он в себя включает. В данной части исследования приняло участие 30 сотрудников компании-заказчика (16 мужчин и 14 женщин) в возрасте от 25 до 40 лет.

Цель интервью -- определение критериев эффективности тренинга. Вопросы участникам были направлены на выделение наиболее значимых критериев, определение необходимости проведения оценки на уровне знаний, поведения, организационных изменений, а также на определение необходимости разной оценки для тренингов «мягких» и «жёстких» навыков (soft/ hard skills), так как в некоторых исследованиях было обнаружено различие в факторах эффективности данных тренингов (Laker, Powell, 2011).

Тип интервью -- индивидуальное, полуструктурированное, сфокусированное, направленное (Квале, 2003). В интервью приняли участие восемь человек (четыре женщины и четверо мужчин) в возрасте от 25 до 40 лет. В качестве респондентов выступали эксперты по обучению и развитию персонала (два человека) и внутренние тренеры компании-заказчика (шесть человек). Интервью записывались на диктофон с целью дальнейшей обработки полученной информации. Длительность интервью в среднем составляла 30-35 минут. Материалы интервью были обработаны при помощи контент-анализа, по результатам которого был выведен перечень параметров эффективного тренинга по мнению экспертов.

Мнение экспертов во многих случаях может не совпадать с мнением участников, которые являются потребителем услуг эксперта, так как эксперты находятся с другой стороны проблемной ситуации и могут не отражать в своём мнении объективной действительности. По этой причине нами было принято решение о проведении модерационных сессий с сотрудниками компании-заказчика, посетившими не менее трёх тренингов за время своей работы в компании. Тема модерационных сессий совпадает с темой интервью. Кроме того, участники в ходе определения аспектов проблемы, с которыми они будут работать, поставили перед собой следующие задачи: составить перечень параметров эффективности тренинга, определить степень значимости каждого из параметров и способы его оценки. Перед участниками также стояла задача определить различия между ключевыми параметрами эффективности тренинга «мягких» и «жёстких» навыков, а также определить способы повышения мотивации сотрудников к заполнению опросников и участию в оценке тренингов.

В связи с тем, что у компании-заказчика программы обучения сотрудников консалтингового подразделения и сотрудников обслуживающих подразделений различны, нами было принято решение о необходимости проведения двух различных модерационных сессий для сотрудников разных подразделений. В каждой из модерационных сессий приняло участие по 12 человек, всего 22 сотрудника компании-заказчика (12 мужчин и 10 женщин в возрасте от 25 до 40 лет). Модерационные сессии также записывались на диктофон с целью дальнейшего анализа полученных данных и составления отчёта для заказчика.

Каждая сессия длилась по четыре часа и включала семь основных шагов, последний из которых проходил после завершения сессии -- это был анализ полученной информации и предоставление отчёта заказчику. В ходе модерационной сессии участники располагались в одном кругу лицом к «рабочей стене», а для групповой работы было организовано специальное пространство. Для организации группового взаимодействия и повышения эффективности работы группы модератором использовались специальные модерационные техники, помогающие направлять группу и приводить её к структурированному решению заданной проблемы (Петров, 2005): групповая дискуссия, метод вызова, карточный опрос, технология кластеризации (систематизация и титулирование решений), метод мозгового штурма, а также барометр настроения и квадрат впечатлений (для завершения сессии).

Результаты интервью обрабатывались при помощи контент-анализа, в ходе которого были определены смысловые категории и их индикаторы, которые символизируют определённые параметры эффективного тренинга. Определённые категории были выдвинуты индуктивным методом, а затем скорректированы по завершении анализа для более точного отражения содержания вошедших в категорию индикаторов.

Из данных категорий далее были выведены параметры эффективного тренинга, которые легли в основу новых инструментов оценки эффективности тренинга. Так как большинство участников интервью отмечали, что разница в параметрах эффективности тренингов по разным навыкам, по их мнению, не существенна, и обе категории тренингов «мягких» и «жёстких» навыков должны соответствовать всем ранее перечисленным ими признаками, нами было принято решение составить единый список параметров эффективного тренинга, отражающий мнения экспертов. В список в порядке от наиболее часто упоминаемых к реже упоминаемым вошли такие параметры, как:

актуальность тренинга (релевантность консультативному проекту данный момент и новизна содержания);

применение в работе через несколько месяцев (использование знаний и изменение рабочего поведения);

практическая применимость (наличие в тренинге практических упражнений);

вовлечённость участников (их активность и внимание);

тренер (его вовлечённость и взимодействие с участниками);

первичная реакция участников;

структурированность тренинга.

В ходе интервью эксперты отметили необходимость постоянного обновления содержания тренинговых программ, а также более точного понимания целей и задач тренинговых программ. Это связано с тем, что участники и в некоторых случаях сами тренеры не до конца понимают, какие именно профессиональные и личные навыки они могут развить при помощи тренингов и какие задачи могут решить при помощи этих программ. Это ещё раз подтвердило наше предположение о важности контекстуального анализа и соотнесения целей и задач тренингов с моделью компетенций компании, по которой производится оценка сотрудников.

Обработка итогов модерационных сессий представляла собой проведение качественного анализа результатов групп и представление общего решения группы, достигнутого в ходе совместного обсуждения, а также оценку проведённой сессии и её результатов.

Следующим этапом качественного анализа было сведение результатов интервью и модерационных сессий и составление единого перечня параметров эффективности тренинга, которые далее легли в основу новых инструментов оценки тренингов (Табл. 1).

Итоговый перечень параметров эффективности тренинга получился следующим:

использование знаний и изменение поведения (через две недели два месяца);

релевантность;

практическая применимость;

тренер;

вовлечённость (объединили с эмоциональностью);

структурированность.

Таблица 1. Параметры эффективности тренингов для различных категорий сотрудников

Пожелания опрошенных групп по процедуре и оформлению бланка оценки эффективности тренингов с целью повышения мотивации сотрудников к участию в оценке включили в себя:

время заполнения опросника 3-5 минут;

удобная шкала (с обозначениями не в виде цифр, а в виде смайликов или других символов, визуально удобных для заполнения) и простая, понятная форма для заполнения;

заполнение опросника в последние пять минут тренинга (не откладывать);

внешняя материальная мотивация за участие в оценке обучения -- подарки, коуч- сессии, дополнительные обучающие программы для наиболее активных участников;

простая и понятная коммуникация по электронной почте со ссылкой на опросник (с использованием привлекающих компонентов -- весёлые, неформальные изображения).

Разработка инструментария оценки эффективности обучения

На основе материалов интервью и модерационных сессий с учётом теоретических моделей были разработаны специальные инструменты оценки первичных реакций участников на тренинг (аффективный компонент), их остаточных знаний (когнитивный компонент), а также изменения рабочего поведения (поведенческий компонент). Основываясь на результатах качественного анализа, в ходе которого мы получили перечень критериев эффективности тренинга, важных для сотрудников консалтинговой компании, а также на примерах существующих подобных опросников, мы составили собственный опросник. Он предъявлялся сотрудникам компании непосредственно после тренинга и был направлен на сбор первичных впечатлений сотрудников от обучающей программы (Приложение 2). Помимо дифференцированных оценок отдельных параметров, опросник включает интегральный вопрос об общей полезности тренинга, так как данный параметр является ключевым для

аналитики заказчика. Опросник высылается участникам в онлайн-формате по электронной почте, он состоит из утверждений, степень согласия с которыми предлагается оценить по 5-балльной шкале Р. Ликерта, также из нескольких открытых вопросов. Данный опросник является первой частью общего опросника для оценки эффективности тренинга, качество которого было проверено при помощи различных статистических методов, результаты анализа будут приведены ниже.

Основным инструментом оценки тренингов на уровне знаний (когнитивный компонент), согласно мнению большинства авторов, является тестирование, именно поэтому нами с заказчиком было принято решение о разработке коротких тестов остаточных знаний для обязательных тренингов. Данные тесты включали от 7 до 10 коротких вопросов, касающиеся основных теорий, инструментов, концепций, которые предъявлялись участникам на тренинге. Для разработки данных тестов мы совместно с куратором проекта со стороны заказчика провели встречи с внутренними тренерами, ответственными за разработку и обновление содержания обязательных тренингов, обозначили ключевые моменты каждого тренинга, на основе которых разработали небольшие тесты. Тесты предлагаются участникам для заполнения через месяц после прохождения тренинга, данный временной промежуток был выбран заказчиком как наиболее релевантный для оценки остаточных знаний. В связи с конфиденциальностью данных заказчика, данные тесты не могут быть приведены в работе.

По итогам модерационных сессий с участниками тренингов, а также на примере опросника А. Грохмана и С. Клауффельда, демонстрирующего достаточный уровень валидности (Grohmann, Kauffeld, 2013), нами было принято решение о разработке для заказчика опросника, оценивающего субъективную полезность тренинга через некоторое время после посещения. В данный опросник вошли вопросы, касающиеся применения полученных знаний в работе, а также позитивного влияния тренинга на продуктивность и производительность сотрудников (Приложение 3). Для того чтобы избежать слишком большого количества подобных опросников, нами с заказчиком было принято решение о том, что сводный опрос будет высылаться участникам раз в квартал -- в нём участники смогут выбрать все тренинги, которые они посетили за последние один-два месяца, и последовательно ответить на вопросы, касающиеся каждого из них.

Апробация разработанного инструментария оценки эффективности обучения

Заказчик предоставил возможность апробировать опросники на 10 тренингах -- сразу после тренинга и через один-два месяца после его прохождения, чтобы проверить качество разработанных инструментов. Собранные данные по опросникам были обработаны при помощи эксплораторного факторного анализа с целью определения факторной структуры опросника, далее была определена надёжность методики с помощью коэффициента о:Кронбаха, мы определяли согласованность суждений экспертов, оценивающих тренинг (на материале трёх обучающих программ с расчётом коэффициента w Кендалла), что является косвенным показателем качества разработанных инструментов. Кроме того, нами были построены и оценены регрессионные модели, демонстрирующие преимущество дифференцированной оценки по сравнению с интегральной.

Разработанный опросник был апробирован с привлечением сотрудников компании- заказчика, которым была предоставлена возможность последовательно пройти обе его части: первую -- сразу после обучения, и вторую -- через один-два месяца после данного обучения. В этой части исследования приняли участие 141 сотрудник из разных функциональных подразделений компании-заказчика (65 женщин и 76 мужчин). По результатам эксплораторного факторного анализа была проверена факторная структура данного опросника и определены факторные нагрузки каждого отдельного вопроса. Кроме того, факторная структура опросника может являться косвенным показателем конструктной валидности разработанного инструмента.

В нашем случае опросник состоял из двух частей, первая из которых была направлена на оценку первичных впечатлений от тренингов, вторая -- на оценку долгосрочных эффектов тренинга. Соответственно, по нашему предположению, конструкт «эффективность тренинга» должен включать два основных фактора -- это первичная реакция (представленная оценками разных параметров тренинга сразу после него) и долгосрочная полезность или «перенос» тренинга (представленный оценкой использования знаний и улучшения продуктивности). Эксплораторный факторный анализ проводился методом главных компонент с вращением факторных структур Varimax (Наследов, 2004).

Таблица 2. Значения критерия адекватности выборки Кайзера-Мейера-Олкина для переменных

Сначала данные были проверены при помощи критерия адекватности выборки Кайзера- Мейера-Олкина (Kaiser-Meyer-Olkin Measure of Sampling Adequacy), позволяющего определить, насколько корреляцию между парами переменных можно объяснить другими переменными. Критерий для всех переменных получился выше 0,6 (Табл. 2), что говорит о пригодности исследуемых данных для факторного анализа. По данным анализа было выявлено, что трёхфакторная структура наилучшим образом описывает данные, объясняя до 85% общей дисперсии данных (TLI = 0,846) при среднеквадратичной ошибке аппроксимации меньше 0,08 (RMSEA = 0,079), таким образом, мы делаем вывод о приемлемом соответствии трёхфакторной модели имеющимся данным (Табл. 3).

Как видно из Таблицы 3, переменные, которые, по нашему предположению, должны были войти в один фактор, разделились на два: в первый фактор вошли такие переменные, как тренер и вовлечённость, во второй -- релевантность, практическая применимость и структурированность тренинга. Подобные результаты можно объяснить тем, что такие переменные, как релевантность, практическая применимость и структурированность относятся к содержанию тренинга, то есть информации, которая предъявляется участникам. Второй набор переменных связан скорее с эмоциональным компонентом, с субъективной оценкой -- это влияние тренера и вовлечённость в процесс обучения. Эти переменные относятся к оценке поведения -- собственного и поведения тренера. Кроме того, их оценка выражается субъективной удовлетворённостью, которая связана с эмоциональным откликом участников. Мы также предполагаем, что данные переменные вошли в один фактор ещё и потому, что вовлечённость во многом зависит от того, как тренер работает с аудиторией, а оценка тренера (понравился / не понравился) во многом зависит от того, насколько активно участник вовлекался в процесс тренинга и взаимодействовал с тренером, то есть данные переменные взаимозависимы.

Таблица 3. Факторные нагрузки переменных

Таким образом, выделенные факторы можно назвать следующим образом: первый фактор -- «Оценка содержания тренинга», второй -- «Оценка поведения на тренинге» (поведения тренера и своего собственного), третий фактор -- «Перенос тренинга». Как мы видим из таблицы 3, все пункты имеют факторную нагрузкуу выше 0,45, они очень чётко раскладываются на три фактора, причём ни одна из переменных не выпадает. Структура опросника, получившаяся вследствие эксплораторного факторного анализа, содержательно соответствует факторам, которые мы закладывали в данный инструмент при его разработке, что косвенно свидетельствует о конструктной валидности опросника.

Таблица 4. Значения коэффициентов регрессионной модели с пятью переменными

Помимо факторного анализа, нами была построена регрессионная модель для определения вклада каждой отдельной переменной, оценивающейся на первом уровне, в интегральную оценку тренинга (отдельная переменная -- оценка общей полезности тренинга участниками). Цель регрессионного анализа -- определить преимущество дифференцированной оценки эффективности тренингов по отдельным параметрам перед интегральной оценкой -- общей оценкой программы. Построенная модель значима и обладает достаточно высоким процентом объяснённой дисперсии, Я2 = 58,86 (Я = 32,76; р < 0,01).

Как видно из таблицы 4, одна из переменных -- вовлечённость -- не вносит значимого вклада в данную модель. Мы попробовали построить модель без данной переменной для того, чтобы сравнить её качество c первой и понять, насколько критично влияние данной переменной в объяснении общей дисперсии. В модели без переменной «вовлечённость» процент объяснённой дисперсии оказался немного выше, Я2 = 59,24 (Я = 41.34; р < 0,01). Мы сравнили данные модели при помощи Р-критерия и, получив отсутствие значимых различий в качестве данных моделей (Я = 0,0023; р > 0,5), для дальнейшей оценки мы выбрали первую регрессионную модель, оценки коэффициентов которой приведены в Таблице 4.

Далее качество данной модели было проверено через предпосылки Гаусса -- Маркова. Было выявлено, что данной модели присуща гетероскедастичность (тест Бройша -- Пагана), то есть непостоянство случайной ошибки. Из-за наличия гетероскедастичности в данных моделях могут быть смещены дисперсии оценок, неправильно рассчитаны, завышены значения F-статистики, что приведёт к тому, что незначимые предикторы будут обозначены как значимые. Кроме того, в модели распределение остатков отличается от нормального.

Несмотря на то, что математическое ожидание среднего значения остатков не отличается от 0 и среди предикторов нет мультиколлинеарности (согласно результатам t-теста и V/F-критерия), мы не можем сделать вывод об эффективности модели. Для того чтобы повысить качество модели, пересчитаем её с использованием функции robust, которая устраняет гетероскедастичность, что позволит проверить реальную значимость коэффициентов регрессии, обойдя влияние гетероскедастичности, которая может их искажать. Коэффициенты робастной регрессионной модели приведены в Таблице 5.

Таблица 5. Оценки коэффициентов в робастной модели

Оценки регрессии робастной модели немного отличаются от оценок изначальной модели, однако, они являются более точными и приближенными к реальности. Как мы видим, наибольший вес в общую оценку тренинга вносит оценка тренера и релевантности тренинга на данный момент, из чего мы можем сделать вывод о том, что данные параметры являются для участников наиболее весомыми при оценке общей полезности тренинга для них на первом уровне. В изначальной регрессионной модели параметр «вовлечённость» являлся незначимым, в робастной модели коэффициент при данной переменной оказался самым низким, что говорит о внесении слабого вклада данной переменной в общую оценку тренинга. Подобный результат может быть связан с тем, что оценка вовлечённости отсылает к оценке личного поведения участника на тренинге, в то время как остальные параметры относятся к самому тренингу и тренеру, то есть представляют внешнюю оценку события, так как в данном случае участник, можно сказать, оценивает сам себя.