Метод эмоционального прогнозирования в онлайн-собеседовании

Алейников С.А. 1, Сорокина С.А. 1, Офицеров А.И. ²

¹⁾ Федеральное государственное автономное образовательное учреждение высшего образования «Национальный исследовательский университет ИТМО»

²⁾ Академия Федеральной службы охраны Российской Федерации

Method of emotional forecasting in online interviewing

Sergey А. Aleynikov, Sofia А. Sorokina, Alexandr I. Ofitserov

Currently, there is a significant increase in interest in digital technologies on the part of businesses. Many companies, mostly small and medium-sized businesses, are moving interviews and negotiations to audio and video conferencing systems, and CEOs of large companies are also declaring the need to transform the HR function into an online format by implementing new technologies. The media publish more and more information about the wide possibilities of tools for implementing these technologies and the incredible results of their implementation. For example, since 2021 a number of Russia's leading banks plan to introduce programs that will read the emotions of clients during a phone conversation and when they visit the office of the credit institution. However, researches show that users are often disappointed with the results obtained due to the noticeable loss of ease of perception of multimodality of information flows. The presence of these contradictions requires research and development of new approaches to online interviewing. The fundamentally new method of emotional prediction considered in the article will allow predicting the success of an interview result determined by interactively user-defined parameters, which should eventually lead to the complete removal of the problem of HR function transformation in the online format.

Keywords: multimodality, online interviewing, psycho-emotional analysis, emotional forecasting, machine learning.

Введение

Межличностное общение очень многопланово и многомодально, в зависимости от целей, средств, условий протекания, направленности оно может проявляться в разнообразных видах и формах. Коммуникативная сторона общения связана с одновременной передачей разномодальной информации: с помощью устной и письменной речи в ее смысловом значении (вербально); посредством разнообразных действий (невербально) [Zuckerman et al., 1981]. При этом с помощью различных форм и средств вербальной коммуникации, подчиняющихся строгим нормам и правилам, кодируется определенная информация и передается собеседнику. В свою очередь невербальная коммуникация осуществляется посредством оптикокинетической системы знаков, включающей в себя группы реакций: вегетативных (моргание, вздох, сглатывание), мимических (улыбка, движение носом), пантомимических (движение головой, плечами, смена позы) и др. Данный способ коммуникации внешне выражает личностное развитие собеседника, его внутренний мир. Вербальная и невербальная коммуникации почти всегда тесно взаимосвязаны: в реальных монологах, диалогах и полилогах собеседники зачастую объединяют эти две части в единое целое [Jones, LeBaron, 2002]. Однако в условиях наблюдаемого сегодня (в постковидную эпоху) роста объема и интенсивности использования инфокоммуникацион- ных средств для межличностного общения технологии невербальной коммуникации оказываются функционально ограниченными и не позволяют их пользователям регулировать течение коммуникативного процесса, создавать психологический контакт с собеседником, обогащать передаваемую вербальными средствами информацию, однозначно выражать эмоции и отражать истолкование ситуации. Зачастую процессы коммуникации могут проходить с определенными трудностями, связанными с противоположной интерпретацией одной и той же информации собеседниками, что может привести к различным коммуникативным барьерам: логическому, стилистическому, семантическому, фонетическому и др.

Указанные противоречия связаны с наличием нескольких факторов. Объективными факторами являются: низкое качество предоставляемых каналов связи (низкая скорость передачи данных) и неблагоприятная акустическая окружающая среда, в которой используется техническое средство передачи сообщений. К субъективным факторам относятся: проблемы трансформации формально-ролевого общения в деловое, при котором, наряду с обменом информацией, необходимо учитывать особенности личности собеседника, его настроение, физиологическое и психоэмоциональное состояния; повышенная скорость изменения ситуации и увеличение объема передаваемой информации, требующие от собеседников повышения эффективности своих действий в процессе коммуникации.Наличие этих противоречий приводит к снижению эффективности межличностного общения - увеличению времени, необходимого для достижения целей такой коммуникации, а значит, для их разрешения необходимо исследовать принципиально новые подходы и методы, которые позволили бы повысить эффективность такого общения (например, в ходе собеседования при приеме на работу) за счет учета и более детального рассмотрения невербального компонента, а также правильной его интерпретации. Применение эмоционального прогнозирования при этом позволит построить эффективную структуру интервью для оценки кандидата в ходе вербального и невербального общения при проведении онлайн-собеседования.

Объекты и методы исследования

В последние годы наибольшую популярность приобретает автоматизация основных этапов процесса поиска и отбора кандидатов на замещение вакантных должностей компаний в различных сферах деятельности (рис. 1).

Рис. 1. Общее представление о сервисе трудоустройства

Fig. 1. A general view of employment service

Об эффекте автоматизации рутинных и бюрократических задач, как правило, сложно найти много дискуссий, т. к. HR-менеджмент давно признал необходимость этого процесса. Интеллектуальный анализ вакансий, роботы-рекрутеры для проведения телефонных и видеоразговоров с клиентами, оценка кандидатов с помощью кейсов, профессиональнопсихологических тестов и геймификации активно внедряются в функции рекрутинга многих зарубежных и отечественных компаний. Если говорить об использовании более сложных технологий, то сотрудники функции HR считают, что искусственный интеллект в первую очередь экономит время (76 %), минимизирует предвзятое отношение (43 %), выявляет наиболее подходящих кандидатов (31 %), экономит деньги (30 %) [HR партнер, 2019]. Согласно аналитическому обзору «Будущее HR 2019» одной из крупнейших в мире сетей, оказывающих профессиональные аудиторские услуги, КПМГ, 70 % руководителей HR-подразделений признают необходимость преобразования трудовых ресурсов и 40 % из них отмечают, что уже имеют готовый план работы в цифровой среде на уровне организации или HR-функции.

Одним из самых важных этапов в процессе поиска и отбора кандидатов является собеседование. Соискатель хочет произвести положительное впечатление, выглядеть безукоризненно, казаться сверхпрофессиональным и не наговорить лишнего в деловом интервью. Как показывает практика рекрутинга, не все сказанное произносится вслух, говорить за человека может его тело: каждый взмах рукой, поворот головы, морщинка на лице выдает гораздо больше информации о человеке, чем вербальное общение. Согласно научным данным, даже самый опытный и уверенный в себе кандидат умеет контролировать свою мимику и жесты лишь первые 20 минут, а собеседование, как правило, длится дольше. Это значит, что интервьюер легко сможет узнать о человеке то, что тот желает скрыть.

Исследования в области HR показывают, что собеседование при приеме на работу наиболее целесообразно реализовывать в форме структурированного интервью, состоящего из нескольких основных этапов, последовательно следующих друг за другом:

1) вводная часть, включающая в себя: рассказ о цели собеседования, о компании, о предлагаемой должности; ряд «светских» вопросов для создания атмосферы расслабленности и доверия, которые условно можно разделить на нейтральные (о погоде, проведенных выходных и т. д.) и контрольные (о пробках на дорогах, о социально значимых проблемах и т. п.);

2) основная часть, включающая в себя вопросы, требующие развернутых ответов кандидатов;

3) выход из интервью - когда получена вся необходимая информация, кандидату целесообразно задать несколько «расслабляющих» вопросов, произнести пару фраз, обеспечивающих мягкое окончание интервью и оповестить его о дальнейших планах.

Для оказания помощи руководителю или HR-менеджеру необходимо разработать генератор вопросов, которые будут выводиться во время проведения онлайн-собеседования с кандидатом. При этом для первой и третьей части пул этих вопросов должен быть сформирован заблаговременно, учитывая необходимость разделения вопросов на нейтральные и контрольные, а в ходе собеседования - выбираться случайным образом из соответствующего пула. Во второй (основной) части онлайн-собеседования работодателю рекомендуется уточнять ключевые (спорные) моменты, полученные по результатам (см. рис. 1):

а) сравнительного анализа резюме и вакансии;

б) извлечения данных открытых источников;

в) результатов профессионально-психологического тестирования.

При проведении онлайн-собеседования крайне важно правильно определить возможность перехода от первого этапа (вводная часть) к его основной части. Критерием для этого может служить «создание атмосферы расслабленности и доверия», при этом нужно установить момент, когда кандидат, проходящий собеседование, после начального периода волнения начинает испытывать эмоции «довольство» или, если он до таких эмоций не дойдет, то спустя заданный интервал времени, - нейтральные эмоции [Plutchik, 1991].

В настоящее время существуют способы обнаружения эмоций в ходе анализа контента, передаваемого по видеоканалам [Fan et al., 2016; Williams et al., 2018], сервисы распознавания устной речи и звуков [Fayek et al., 2017; Lim et al., 2016], а также анализаторы письменного текста [Calefato et al., 2017; Batbaatar et al., 2019]. Более того, в ряде исследований описаны методы, позволяющие распознавать психоэмоциональное состояние человека на основе мультимодальности: одни исследователи при этом комбинируют видео- и аудиосообщения [Liu et al., 2018; Noroozi et al., 2017], другие работают с комбинацией акустических и текстовых данных [Yoon et al., 2018; Sailunaz et al., 2018]. Однако большинство доступных в настоящее время методов имеют высокую вычислительную сложность, что приводит к длительным задержкам при передаче разномодальной информации. В ходе обработки качественного изображения скорость его анализа даже на мощных компьютерах недостаточно высока для работы с текущим видеопотоком в режиме реального времени. Учитывая, что целевая аудитория для решения проблем онлайн-ограничений в постковидную эпоху состоит в основном из владельцев малого и среднего бизнеса, возникают трудности с реализацией существующих методов мультимодального анализа.

Самый очевидный способ справиться с проблемой необходимости ограничения скорости в случае анализа видеопотоков - это снизить качество изображения. Однако этот вариант может рассматриваться только в том случае, если процесс выполняется на предварительно записанных данных, а не в режиме реального времени. Еще один недостаток такого подхода - снижение непосредственно качества выдаваемых результатов, что может иметь решающее значение в связи с тем, что результатом анализа должен быть максимально близкий к оригинальному набор факторов, и различия не должны быть замечены невооруженным глазом человека.

Существующие методы анализа потока аудиоданных также несовершенны. И если технологии распознавания речи в настоящее время находятся на высоком уровне, а текущие результаты исследований в данной области помогают нам достаточно эффективно проанализировать семантическую часть речи [Vryzas et al., 2018], то компоненты интонации до сих пор не изучены должным образом. Поскольку устная речь состоит из двух основных модулей - звукового (включая интонацию) и смыслового (семантического) [Jurafsky, 2000], только комплексный анализ дает возможность различать эмоциональные состояния речи.В ходе реального общения, например, в процессе собеседования при приеме на работу, работодателю важно анализировать не только внешние эмоции, выраженные на лице, но и внутреннее настроение кандидата: распознавать интонации речи на предмет наличия пассивной агрессии, выявлять саркастические и/или иронические выражения и соотносить невербальные признаки (частые моргания, резкие движения носом, плечами и т. д.) с эмоциональными проявлениями собеседника.

Однако самым большим ограничением существующих методов является то, что они способствуют только наблюдению за текущей эмоцией, не уделяя при этом никакого внимания контексту ее появления. В процессе онлайн-собеседования работодатель зачастую сталкивается с ситуациями, когда важнее анализировать не какие эмоции выразил кандидат, а что их спровоцировало. Поэтому предлагаемый в работе метод эмоционального прогнозирования включает в себя анализ всех перечисленных выше характеристик: данные в реальном времени с видео и акустических каналов, запись реакций (эмоций) в течение всего общения в масштабе времени, а также интерпретация изменений эмоционального состояния кандидата и прогноз успешного исхода собеседования.

Поскольку предложенный метод не только связан с информатикой и вычислениями, но также и с психологией, большое внимание при эмоциональном прогнозировании необходимо уделять на способы оценки и классификации эмоций. Психоэмоциональное состояние человека - это многоуровневая характеристика, доминирующую роль в формировании которой играет основная эмоция, возникающая в ходе реакции на конкретное событие [Korenevskiy et al., 2013]. Градация эмоции является основанием для построения компетентного эмоционального прогноза.

Эмоциональный прогноз: результаты и интерпретация

Основная часть эмоционального прогнозирования и его главное преимущество связаны с записью эмоциональных изменений во времени по отношению к контексту вопросов собеседования. Изменения психоэмоционального состояния кандидата в ходе интервьюирования можно зафиксировать с помощью аудио- и видеопотоков (оба потока доступны через системы видеоконференцсвязи). В рамках данной статьи мы не станем подробно останавливаться на технических аспектах распознавания эмоций, лишь отметим, что реализация метода эмоционального прогнозирования осуществлялась с использованием системы видеоконференцсвязи Zoom, а в дальнейшем больше внимания уделим самому прогнозированию.

В ходе видеоконференции работодатель (интервьюер) задает вопросы, которые также могут записываться с помощью модулей распознавания речи [Васильев, 2020].

Система также обучена распознавать ответы интервьюируемого. В процессе анализа психоэмоционального состояния кандидата при прохождении онлайн-собеседования в реальном времени фиксируются все его реакции на задаваемые вопросы.

При изменении эмоционального состояния кандидата модуль автоматически сопоставляет вопрос интервьюера с реакцией опрашиваемого. Одной из важнейших задач для составления правильного эмоционального прогноза является определение ложности (истинности) передаваемой в процессе коммуникативного взаимодействия информации по динамике параметров невербального поведения кандидата, позволяющего повысить оперативность и точность такого определения посредством применения метода эмоционального прогнозирования.

Для решения данной задачи необходимо осуществить изучение динамики невербального поведения с выделением наиболее информативных его параметров, сгруппированных на основе факторного анализа в группы вегетативных, мимических и пантомимических реакций, а также выявление характерной для каждого кандидата тенденции изменений по каждому параметру и/или группе параметров (рис. 2)

.

Рис. 2. Невербальные параметры, используемые для определения истинности (ложности) Fig. 2. Nonverbal parameters used to determine truth (falsehood)

В процессе проведения структурированного интервью при ответах на вопросы нейтрального и контрольного характера регистрируют параметры невербального поведения человека, а затем осуществляют изучение динамики невербального поведения. После выявления характерной для исследуемого кандидата тенденции изменений по каждому параметру и/или группе параметров регистрируют параметры его невербального поведения в процессе коммуникативного взаимодействия посредством инфокоммуникационной системы. Вывод о ложности (истинности) передаваемой информации осуществляется путем сравнения реакции, зарегистрированной в процессе коммуникативного взаимодействия с реакцией на вопросы нейтрального и/или контрольного блоков вопросов, зарегистрированной в процессе структурированного интервью. Решаемая одновременно с данной задача обнаружения эмоций по голосу обеспечивает повышение точности определения кратковременного эмоционального состояния кандидата на онлайн-собеседовании, а также позволяет определить ряд долговременных психоэмоциональных нарушений, таких как тревога, депрессия, агрессия, аутоагрессия.

Правильность и эффективность такого подхода подтверждается корреляционным анализом, результаты которого подтверждают актуальность применения метода эмоционального прогнозирования. Выделены следующие общие тенденции в динамике параметров невербального поведения кандидатов в ситуации произнесения ими ложной информации по сравнению с ситуацией произнесения истинной информации: а) уменьшение количества движений головой (83,3 % случаев в среднем на 25,8 %); б) увеличение количества пауз (46,25 % случаев в среднем на 54,08 %); в) увеличение количества улыбок (58,3 % случаев в среднем на 114,47 %); г) увеличение количества понижений громкости (58,3% случаев в среднем на 195,89 %); д) увеличение количества морганий (50 % случаев в среднем на 2,29 %). В остальных случаях направление динамики анализируемых параметров невербального поведения кандидатов на собеседовании носит индивидуальных характер и может изменяться как в сторону увеличения, так и в сторону уменьшения.

Факторный анализ, отражающий оценку общности для каждой переменной по квадрату коэффициента множественной корреляции данной переменной с остальными переменными, позволил выделить три фактора на основе иерархического метода объединения полученных данных (табл. 1).

Таблица 1Table 1Результаты факторного анализа Factor analysis results

Распределения показателей внутри выделенных факторов (см. табл. 2) характеризуются устойчивостью и сохраняются на всех этапах структурированного интервью. Перечисленные факторы отражают исключительно невербальное поведение и рассматриваются как основные, что не исключает применения ряда дополнительных параметров, например, связанных с оценкой параметрических показателей, отражающих электрическую активность сердца, головного мозга, других органов и систем человека, с выделением на их основе дополнительных факторов. Основным критерием их дополнительного включения является изменение их параметров в рамках канонов психофизиологии, что позволяет сделать вывод об истинности (ложности) передаваемой исследуемым лицом информации.

Работодатель (интервьюер) также получает доступ к транскрипции диалога с указанием точного времени заданных вопросов и полученных ответов, а также истинности или ложности ответов кандидата.

Заключительный шаг эмоционального прогнозирования - предсказание результата собеседования. Основываясь на проанализированных эмоциональных сериях, искусственная нейронная сеть может предсказать, насколько успешным будет оставшийся диалог. В настоящее время современным свёрточным нейронным сетям требуется от 15 до 20 минут анализа данных, чтобы предсказать успешный результат с точностью до 0,75.

Крайне важным является возможность нейронной сети, обученной, в том числе на основе правил метода эмоционального прогнозирования, выдать однозначную рекомендацию о досрочном прекращении собеседования по следующим критериям:

1) по временным характеристикам: при повторяющемся (заданное количество раз) превышении установленного отношения длительности ответа к длительности вопроса;

2) по эмоциональным характеристикам кандидата:

а) при сохранении заданного отношения периода времени, на протяжении которого сохраняются нейтральные и положительные эмоции, к общей длительности интервью;

б) при превышении заданного отношения периода времени, на протяжении которого преобладают отрицательные эмоции (грусть, злость, отвращение, презрение, страх), к общей длительности интервью;

3) по характеристикам искренности кандидата:

а) при превышении заданного числа ложных ответов;

б) при превышении заданного отношения периода времени, на протяжении которого сохраняются ложные ответы, к общей длительности интервью.

Для реализации данной возможности необходимо начинать обработку ответа сразу после того, как работодатель начал задавать следующий вопрос.

Полученные результаты имеют большое теоретическое и практическое значение для различных сфер жизнедеятельности. Несмотря на то, что изначально продукт задумывался как помощник для владельцев малого и среднего бизнеса, которые не могут содержать полноценный кадровый отдел, полученный в ходе исследования метод может быть применен в любых удаленных переговорах на основе видеоконференцсвязи.

Для расширения области применения разработанного метода необходимо оптимизировать его таким образом, чтобы разговоры трех и более человек можно было анализировать без значительных потерь качества. В этом случае необходимо более подробно изучить формат полилога и предложить решения по оптимизации эмоционального прогнозирования, чтобы он включал возможность построения трех и более параллельных прогнозных направлений для каждого из участников деловых переговоров.

Заключение

В настоящее время едва ли не самым существенным фактором успешного развития является среда, в которой функционируют организации. COVID-19 и кризис экономики заставляют менеджмент сосредоточиться на специфических, зачастую уникальных, задачах. В первую очередь, компании нуждаются в продуктах, обеспечивающих эффективную удаленную работу и хорошую коммуникацию, т. к. сотрудники становятся все менее нетерпеливыми к отрицательному техническому опыту. Тем не менее специфической особенностью постковидной эпохи является то, что в период кризиса менеджмент все меньше заинтересован в технологиях, и вместо этого думает о том, как «остаться на плаву». В такое сложное время проекты могут быть реализованы успешно только в случае полного соответствия их предназначения текущим задачам организации.

В рамках проведенного исследования проанализированы существующие методы сбора и анализа аудио- и видеоданных (для динамического выявления эмоционального состояния). Предложен метод эмоционального прогнозирования, обеспечивающий предсказание результатов онлайн-собеседования. С учетом недостатков имеющихся методик сформулированы требования по оптимизации процесса анализа состояния собеседника, определены направления дальнейшего развития разработанного метода. Установлены следующие векторы развития (добавление речевой семантики, увеличение скорости составления эмоционального развития), и развитие метода продолжает сокращать временные затраты и возможности в аспекте выдачи оценочной и рекомендательной обратной связи об успешности переговоров.

Список литературы