Оценка эффективности обучения сотрудников организации в форме тренинга: анализ конкретного случая

Параметр «вовлечённость» был обозначен всеми группами сотрудников, участвовавших в качественном исследовании, как один из важнейших факторов эффективности тренинга. Мы предполагаем, что вовлечённость действительно может оказывать влияние на эффективность тренинга, однако она напрямую не связана с первичной оценкой тренинга и большее влияние может оказывать на перенос тренинга, так как от вовлечённости участника зависит то, насколько хорошо он запомнит презентованную информацию и как часто будет её использовать.

Для проверки данного предположения мы построили дополнительные регрессионные модели, первая отражает зависимость использования знаний от вовлечённости, вторая - зависимость улучшений в продуктивности от вовлечённости. Обе модели оказались значимыми, И2 для первой модели составил 22,46% ^ = 33,16, р < 0,01; в = 0,75; t = 5,758, р < 0,01), для второй модели Я2 = 19,78% (Я = 28,37, р < 0,01; в = 0,78, Ь = 5,326, р > 0,01), что подтверждает наше предположение о влиянии вовлечённости в процесс тренинга на дальнейшее усвоение знаний и навыков, на которые этот тренинг был направлен. Таким образом, по результатам регрессионного анализа мы предложили заказчику не исключать данный вопрос из бланка оценки тренинга, а учитывать его в дальнейшем при оценке переноса тренинга.

Нами также была проверена надёжность разработанного инструмента при помощи критерия а Кронбаха, который для всего опросника (включая первичные реакции и оценку долгосрочных эффектов) получился равным 0,8379, что свидетельствует о высокой согласованности пунктов опросника. Ещё одним косвенным способом проверки надёжности разработанной методики является проверка согласованности суждений экспертов, оценивающих различные мероприятия при помощи данной методики. Для того чтобы оценить согласованность суждений экспертов, нами использовался непараметрический (так как распределения оценок даже визуально сильно отличаются от нормального) коэффициент ранговой корреляции т Кендалла.

Мы выбрали три тренинга, направленных на развитие разных навыков и включающих максимально разнообразное содержание. Для каждого из тренингов был рассчитан коэффициент т Кендалла, результат для каждого тренинга представлен в Приложении 1. Как видно из таблицы 6, значения коэффициента для экспертов получаются достаточно высокими в случае всех трёх мероприятий (выше 0,5 - 0,6), в отдельных случаях выбиваются лишь несколько экспертов (один-три человека), причём, при исключении их из анализа, коэффициенты согласованности мнений других экспертов значительно улучшаются, что свидетельствует скорее о ненадёжности данных экспертов, чем о низком качестве инструмента.

Таким образом, мы можем сделать вывод о том, что разработанные опросники обладают достаточно высоким уровнем надёжности и являются качественными инструментами, обеспечивающим валидные данные, которые отражают реальную эффективность тренингов.



Выводы

По запросу заказчика нами была разработана контекстуально-иерархическая модель оценки эффективности тренингов, которая включает два основных блока:

качественный анализ контекста обучения, его целей и задач, а также соответствия программ тренингов этим целям и задачам (контекстуальная часть модели);

оценка эффективности тренинговых программ на разных уровнях: первичных реакций, остаточных знаний и поведенческих изменений (иерархическая часть модели).

Данная модель может быть использована при разработке систем оценки тренингового обучения в других компаниях.

Результатом качественного этапа работы стал перечень параметров эффективного тренинга для сотрудников консалтинговой компании, включающая следующие параметры:

использование знаний и изменение поведения (через две недели -- два месяца);

релевантность;

практическая применимость;

тренер;

вовлечённость;

структурированность.

На основе приведенной модели разработана методика оценки эффективности обучения, включающая:

опросник для оценки первичных впечатлений сотрудников от тренинга;

тест остаточных знаний;

опросник оценки субъективной полезности тренинга и применения полученных знаний.

Разработанная методика оценки эффективности обучения в консалтинговой компании позволяет получить валидные данные о реальной эффективности тренингов и таким образом принимать обоснованные решения об их дальнейшем проведении.

Рекомендации

При внедрении системы оценки эффективности тренингов на поведенческом уровне заказчику было рекомендовано использовать результаты ежегодной оценки персонала по компетенциям, связанным с целевым тренингом. Так как вся программа обучения в компании связана с моделью компетенций, по которой и производится оценка сотрудников, оценки по компетенциям могут стать индикатором успешности тренинга (Макота, 2014). Для анализа влияния тренинга на оценку сотрудника мы рекомендовали заказчику использовать дисперсионный анализ ANOVA, который может определить разницу в динамике оценок компетенций сотрудников, прошедших и не прошедших тот или иной тренинг. Статистическая значимость разницы оценок в этих двух группах сотрудников будет свидетельствовать об эффективности данного тренинга. Помимо дисперсионного анализа, заказчик может также использовать простые парные линейные регрессионные модели, позволяющие определить влияние такого фактора, как прохождение тренинга, на динамику оценок компетенций. Построение подобных моделей поможет определить вклад, который вносит тот или иной тренинг в развитие определённой компетенции.

Следует отметить, что для повышения эффективности обучения в организации важно изучать запросы и потребности сотрудников в обучении (Clark et а1., 1993). Среди возможных методов анализа потребностей сотрудников можно выделить интервью и фокус-группы, важность которых была отмечена внутренними тренерами во время интервью. Интервью и фокус-группы могут проводиться как с новыми сотрудниками компании, так и с теми, кто уже какое-то время в ней отработал и прошёл все основные обязательные тренинги. В рамках интервью и фокус-групп сотрудники могут дать обратную связь по поводу полезности пройденных программ для их трудовой деятельности и рассказать, чего им не хватило и какие ещё программы им были необходимы для того, чтобы лучше выполнять свою работу сейчас.

Благодарность

Авторы выражают благодарность профессору департамента психологии факультета социальных наук НИУ ВШЭ Владимиру Артуровичу Штроо за оказанную помощь и консультативную поддержку в реализации данного проекта.



Литература

Квале, С. (2003). Исследовательское интервью. М.: Смысл.

Макота, Е. (2014). Игра стоит свеч. Как оценить эффективность бизнес- тренинга? М.: Грифон.

Макшанов, С. И. (1997). Психология тренинга: Теория. Методология. Практика. СПб.: Образование.

Наследов, А. Д. (2004). Математические методы психологического исследования. СПб.: Речь.

Овчинникова, И. С., Кобзева, Н. А. (2015). Тренинг как технология активного обучения. Молодой ученый, 10, 12-40.

Петров, А. В. (2005). Дискуссия и принятие решений в группе: технология модерации. СПб.: Речь.

Петровская, Л. А. (1982). Теоретические и методические проблемы социально-психологического тренинга. М.: Изд-во Моск. ун-та.

Сидоренко, Е. В. (2008). Технология создания тренинга от замысла к результату. СПб.: Речь.

Смолкин, А. М. (1991). Методы активного обучения. М.: Высшая Школа.

Штроо, В. А. (2019). Методы активного социально-психологического обучения: учебник и практикум для академического бакалавриата. М.: Юрайт.

Arthur, W. Jr., Bennett, W. Jr., Edens, P. S., Bell, S. T. (2003). Effectiveness of training in organizations: A meta-analysis of design and evaluation features. Journal of Applied Psychology, 88(2), 234-245.

Becker, B. E., Huselid, M. A. (1998). High performance work systems and firm performance: A synthesis of research and managerial implications. Research in Personnel and Human Resource Management, 16, 53-101.

Brinkerhoff, R. O., Montesino, M. U. (1995). Partnerships for training transfer: Lessons from a corporate study. Human Resource Development Quarterly, 6, 263-274.

Campbell, J. P., Dunnette, M. D., Lawler, E. E., Weick, K. R., Jr. (1970). Managerial behavior, performance, and effectiveness. New York: McGraw-Hill.

Clark, C. S., Dobbins, G. H., Ladd, R. T. (1993). Exploratory field study of training motivation: influences of involvement, credibility, and transfer climate. Group and Organization Management, 1(3), 292-307.

Clement, R. W. (1978). An empirical test of the hierarchy theory of training evaluation. Ph.D. Dissertation, Department of Management, Michigan State University.

Eurich, N. (1985). Corporate Classrooms: The Learning Business. Princeton. NJ: The Carnegie Foundation for the Advancement of Teaching.

Fromkin, H. L., Brandt, J., King, D. C., Sherwood, J. J., Fisher, J. (1975). An evaluation of human relations training for police. Catalog of Selected Documents in Psychology, 5, 206-207.

Garvin, D. A. (1993). Building a Learning Organization. Harvard Business Review, 71, 78-91.

Goldstein, I. L., Ford, J. K. (2002). Training in Organizations. Belmont, CA: Wadsworth. 4th ed.

Grohmann, A., Kauffeld, S. (2013). Evaluating training programs: development and correlates of the Questionnaire for Professional Training Evaluation. International Journal of Training and Development, 17(2), 135-155.

Hamblin, A. C. (1974). Evaluation and Control of Training. McGraw Hill.

Jehanzeb, K., Bashir, N. A. (2012). Training and Development Program and Its Benefits to Employees and Organizations: A Conceptual Study. Far East Journal of Psychology and Business, 9(2), 58-71.

Kennedy, P. E., Chyung, S. Y., Winiecki, D. J., Brinkerhoff, R. O. (2014). Training professionals' usage and understanding of Kirkpatrick's Level 3 and Level 4 evaluations. International Journal of Training and Development, 18(1), 1-21.

Kirkpatrick, D. L. (1994). Evaluating training programs: The four levels. San Francisco: Berrett- Koehler.

Kostromina, S.N., Dvornikova, T.A. (2016). Psychological Factors of Cognitive Learning Strategies Formation in Students. Vestnik SPbSU, 16(4), 110-119.

Kucherov, D., Manokhina, D. (2017). Evaluation of training programs in Russian manufacturing companies. European Journal of Training and Development, 41(2), 119-143. doi:10.1108/ejtd-10- 2015-0084

Laker, D. R., Powell, J. L. (2011). The differences between hard and soft skills and their relative impact on training transfer. Human Resource Development Quarterly, 22, 111-22.

Latham, G. P., Wexley, K. N., Purcell, E. D. (1975). Training managers to minimize rating errors in the observation of behavior. Journal of Applied Psychology, 60, 550-555.

Montesino, M. U. (2002). Strategic alignment of training, transfer-enhancing behaviors, and training usage: a post-training study. Human Resource Development Quarterly, 13(1), 89-108.

Mulhall, S. (2015). Evaluating HRD Programmes. In R. Carbery, C. Cross (Eds.). Human Resource Development: A Concise Introduction. Macmillan, Hampshire, Palgrave.

Noe, R. A., Schmitt, N. (1986). The influence of trainee attitudes on training effectiveness: test of a model. Personnel Psychology, 39(3), 497-523.

Olsen, J. H. (1998). The evaluation and enhancement of training transfer. International Journal of Training and Development, 2(1), 61-75.

Phillips, J. J. (1996). ROI: The search for best practices. Training & Development, 50(2), 42-47.

Rossett, A. (1997). It was a great class, but . . . Training and Development, 51(7), 18-24.

Saks, A. M., Burke, L. A. (2012). An investigation into the relationship between training evaluation and the transfer of training. International Journal of Training and Development, 16, 118-27.

Schultz, D. P., Schultz, E. S. (2009). Psychology and work today. London: Routledge.

Stewart, J. (1993). Speed training: systems for learning in times of rapid change. London: BCA.

Stufflebeam, D. L. (2003). The CIPP Model for Evaluation. In T. Kellaghan, D. L. Stufflebeam (Eds.), International Handbook of Educational Evaluation (31-62). Norwell, MA: Kluwer.

Topno, H. (2012). Evaluation of Training and Development: An Analysis of Various Models. Journal of Business and Management, 5(2), 16-22.

Tyng, C. M., Amin, H. U., Saan, M. N. M., Malik, A. S. (2017). The Influences of Emotion on Learning and Memory. Front Psychol., 8, 1-22.

Ward, P., Bird, M., Rackham, M. (1970). Evaluation of Management Training. London: Gower Press Limited.

Wexley, K. N., Latham, G. P. (2002). Developing and training human resources in organizations. Upper Saddle River, NJ: Prentice Hall.



Приложение 1

Анализ согласованности экспертов при оценке тренингов с использованием разработанного инструментария

Респондент 12345 6 7

т Кендалла (тр. 1) .62 .61 .5 .65 .3 .67 .67

Как мы видим, больше всех «выбивается» пятый респондент, попробуем его исключить и посмотрим на обновлённые значения коэффициентов

т Кендалла (тр. 1) .66 .7 .63 .72 - .74 .74

Респондент 1234567 8 9 10

т Кендалла (тр. 2) .53 .5 .65 .62 .63 .62 .54 .33 .27 .62

Больше всех «выбиваются» восьмой и девятый респонденты, попробуем их исключить и посмотрим на обновлённые значения коэффициентов

т Кендалла (тр. 2) .55 .56 .7 .72 .68 .72 .64 - - .72

Респондент 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

т Кендалла (тр. 3) .52 .19 .44 .51 .46 .56 .56 .52 .49 .51 .24 .54 .59 .55 .59 .51 .35

Больше всех выбиваются второй и одиннадцатый и семнадцатый респонденты. Попробуем их исключить и посмотрим на обновлённые значения коэффициентов

т Кендалла (тр. 3) .59 - .5 .57 .51 .6 .59 .6 .55 .57 - .59 .61 .6 .66 .55 -

Приложение 2

Форма опросника для оценки первичного впечатления от тренинга

Название тренинга дата

Пожалуйста, отметьте, насколько сильно вы согласны или не согласны с утверждениями ниже (где 1 звезда -- полностью не согласен, 5 звёзд -- полностью согласен).

***** Тренинг в целом стоил того, чтобы потратить на него время.

***** Тренинг был релевантен для меня на данный момент.

***** Теория и упражнения тренинга могут быть применимы в моей практической деятельности.

***** Тренинг был мне понятен и хорошо структурирован.

***** я был полностью вовлечён в процесс тренинга.

***** Тренер продемонстрировал отличное знание темы и умение управлять группой. Открытые вопросы

Пожалуйста, назовите три вещи, которые вы вынесли для себя во время тренинга.

Пожалуйста, расскажите, как, по вашему мнению, можно улучшить данный тренинг.

Дополнительные комментарии

Приложение 3

Форма опросника для оценки долгосрочных эффектов от тренинга

Дорогие коллеги,

С целью поддержания высокого качества предлагаемых тренинговых программ, мы просим вас заполнить данный опросник, направленный на оценку эффективности прошедших тренингов. Спасибо вам за уделенное время!

С уважением,

Команда обучения и развития персонала

Как вы в целом оцениваете удовлетворённость предложениями по обучению в нашей компании (1 звезда -- очень плохо, 5 звёзд -- очень хорошо)? *****

Какие из перечисленных ниже тренингов вы посетили за первый квартал 2019 года (Январь - Март)?

1.

2.

3.

4.

Название тренинга

Пожалуйста, обозначьте степень своего согласия с утверждениями ниже (где 1 звезда -- полностью не согласен, 5 звёзд -- полностью согласен).

***** в своей работе я использую знания и практики из тренинга

Если вы НЕ используете ничего из тренинга, пожалуйста, выберите причину из списка:

у меня не хватает на это времени

у меня не было ситуации, где данные знания могли бы быть применимы

я пытался, но это было неэффективно

моё руководство не требует этого

Другая причина:

***** участие в тренинге позитивно повлияло на эффективность моей работы Открытые вопросы:

Что вы помните и используете из тренинга?

Если бы вы сейчас вернулись назад, что бы вы изменили в тренинге, чтобы он был сейчас для вас более эффективен?

Как вы в целом оцениваете организацию пройденных вами тренингов (1 звезда -- очень плохо, 5 звёзд -- очень хорошо)? *****

Ваше имя (для участия в лотерее):

Дополнительные комментарии:



References

Arthur, W. Jr., Bennett, W. Jr., Edens, P. S., Bell, S. T. (2003). Effectiveness of training in organizations: A meta-analysis of design and evaluation features. Journal of Applied Psychology, 88(2), 234-245.

Becker, B. E., Huselid, M. A. (1998). High performance work systems and firm performance: A synthesis of research and managerial implications. Research in Personnel and Human Resource Management, 16, 53-101.

Brinkerhoff, R. O., Montesino, M. U. (1995). Partnerships for training transfer: Lessons from a corporate study. Human Resource Development Quarterly, 6, 263-274.

Campbell, J. P., Dunnette, M. D., Lawler, E. E., Weick, K. R., Jr. (1970). Managerial behavior, performance, and effectiveness. New York: McGraw-Hill.

Clark, C. S., Dobbins, G. H., Ladd, R. T. (1993). Exploratory field study of training motivation: influences of involvement, credibility, and transfer climate. Group and Organization Management, 1(3), 292-307.

Clement, R. W. (1978). An empirical test of the hierarchy theory of training evaluation. Ph.D. Dissertation, Department of Management, Michigan State University.

Eurich, N. (1985). Corporate Classrooms: The Learning Business. Princeton, NJ: The Carnegie Foundation for the Advancement of Teaching.

Fromkin, H. L., Brandt, J., King, D. C., Sherwood, J. J., Fisher, J. (1975). An evaluation of human relations training for police. Catalog of Selected Documents in Psychology, 5, 206-207.

Garvin, D. A. (1993). Building a Learning Organization. Harvard Business Review, 71, 78-91.

Goldstein, I. L., Ford, J. K. (2002). Training in Organizations. Belmont, CA: Wadsworth. 4th ed.

Grohmann, A., Kauffeld, S. (2013). Evaluating training programs: development and correlates of the Questionnaire for Professional Training Evaluation. International Journal of Training and Development, 17(2), 135-155.

Hamblin, A. C. (1974). Evaluation and Control of Training. McGraw Hill.

Jehanzeb, K., Bashir, N. A. (2012). Training and Development Program and Its Benefits to Employees and Organizations: A Conceptual Study. Far East Journal of Psychology and Business, 9(2), 58-71.

Kennedy, P. E., Chyung, S. Y., Winiecki, D. J., Brinkerhoff, R. O. (2014). Training professionals' usage and understanding of Kirkpatrick's Level 3 and Level 4 evaluations. International Journal of Training and Development, 18(1), 1-21.

Kirkpatrick, D. L. (1994). Evaluating training programs: The four levels. San Francisco: Berrett- Koehler.

Kostromina, S.N., Dvornikova, T.A. (2016). Psychological Factors of Cognitive Learning Strategies Formation in Students. Vestnik SPbSU, 16(4), 110-119.

Kucherov, D., Manokhina, D. (2017). Evaluation of training programs in Russian manufacturing companies. European Journal of Training and Development, 41(2), 119-143. doi:10.1108/ejtd-10- 2015-0084

Kvale, S. (2003). Issledovatel'skoe interv'yu [Investigational interview]. M.: Smysl.

Laker, D. R., Powell, J. L. (2011). The differences between hard and soft skills and their relative impact on training transfer. Human Resource Development Quarterly, 22, 111-22.

Latham, G. P., Wexley, K. N., Purcell, E. D. (1975). Training managers to minimize rating errors in the observation of behavior. Journal of Applied Psychology, 60, 550-555.

Makota, E. (2014). Igra stoitsvech. Kak otsenit' effektivnost'biznes-treninga? [The game is worth the candle. How to evaluate the business training efficiency?]. M.: Grifon.

Makshanov, S. I. (1997). Psikhologiya treninga: Teoriya. Metodologiya. Praktika [Training psychology: theory, methodology, ptactice]. SPb.: Obrazovanie.

Montesino, M. U. (2002). Strategic alignment of training, transfer-enhancing behaviors, and training usage: a post-training study. Human Resource Development Quarterly, 13(1), 89-108.

Mulhall, S. (2015). Evaluating HRD Programmes. In R. Carbery, C. Cross (Eds.). Human Resource Development: A Concise Introduction. Macmillan, Hampshire, Palgrave.

Nasledov, A. D. (2004). Matematicheskie metody psikhologicheskogo issledovaniya [Mathematical methods of psychological investigation]. SPb.: Rech'.

Noe, R. A., Schmitt, N. (1986). The influence of trainee attitudes on training effectiveness: test of a model. Personnel Psychology, 39(3), 497-523.

Olsen, J. H. (1998). The evaluation and enhancement of training transfer. International Journal of Training and Development, 2(1), 61-75.

Ovchinnikova, I. S., Kobzeva, N. A. (2015). Trening kak tekhnologiya aktivnogo obucheniya [Training as a Technology of active learning]. Molodoi uchenyi, 10, 12-40.

Petrov, A. V. (2005). Diskussiya i prinyatie reshenii vgruppe: tekhnologiya moderatsii [Discussion and decision making in group: technology of moderation]. SPb.: Izd-vo Rech'.

Petrovskaya, L. A. (1982). Teoreticheskie i metodicheskie problemy sotsial'no-psikhologicheskogo treninga [Theoretical and methodological problems of social-psychological training]. M.: Izd-vo Mosk. un-ta.

Phillips, J. J. (1996). ROI: The search for best practices. Training & Development, 50(2), 42-47.

Rossett, A. (1997). It was a great class, but.... Training and Development, 51(7), 18-24.

Saks, A. M., Burke, L. A. (2012). An investigation into the relationship between training evaluation and the transfer of training. International Journal of Training and Development, 16, 118-27.

Schultz, D. P., Schultz, E. S. (2009). Psychology and work today. London: Routledge.

Sidorenko, E. V. (2008). Tekhnologiya sozdaniya treninga: ot zamysla k rezul'tatu [Technology of training creation: from idea to result]. SPb.: Rech'.

Smolkin, A. M. (1991). Metody aktivnogo obucheniya [Active learning methods]. M.: Vysshaya Shkola.

Stewart, J. (1993). Speed training: systems for learning in times of rapid change. London: BCA.

Stroh, W. A. (2019). Metody aktivnogo sotsial'no-psikhologicheskogo obucheniya: uchebnik i praktikum dlya akademicheskogo bakalavriata [Methods of active socio-psychological learning: a textbook and workshop for academic undergraduate studies]. M.: Yurayt.

Stufflebeam, D. L. (2003). The CIPP Model for Evaluation. In T. Kellaghan, D. L. Stufflebeam (Eds.), International Handbook of Educational Evaluation (31-62). Norwell, MA: Kluwer.

Topno, H. (2012). Evaluation of Training and Development: An Analysis of Various Models. Journal of Business and Management, 5(2), 16-22.

Tyng, C. M., Amin, H. U., Saan, M. N. M., Malik, A. S. (2017). The Influences of Emotion on Learning and Memory. Front Psychol., 8, 1-22.

Ward, P., Bird, M., Rackham, M. (1970). Evaluation of Management Training. London: Gower Press Limited.

Wexley, K. N., Latham, G. P. (2002). Developing and training human resources in organizations. Upper Saddle River, NJ: Prentice Hall.

Размещено на Allbest.ru