Исследование компетентностной модели образовательной программы на основе интеллектуального анализа профессиональных требований рынка труда

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Исследование компетентностной модели образовательной программы на основе интеллектуального анализа профессиональных требований рынка труда

Минаев Д.В.



Реферат

Образовательные стандарты высшего образования ФГОС3++ требуют проектировать образовательные программы (ОП) на базе профессиональных компетенций, востребованных на рынке труда. Рекомендуется использовать профстандарты. Этот путь имеет определенные недостатки. Например, профстандарты описывают трудовые функции, а в ОП требуются компетенции. Использование профстанадартов при разработке ОП заведомо предопределяет определенный лаг в реакции на изменение рынка труда. Альтернатива проектирования ОП -- прямой анализ требований рынка. Инструменты интеллектуального анализа (ИА): дейтамайнинг и машинное обучение могут облегчить такой анализ. Дается обзор разработок в этом направлении. Представлены результаты применения ИА на базе аналитической платформы KNIME для определения модели компетенций ОП в области управления проектами. Автоматизация затронула: сбор требований более 6000 вакансий работодателей онлайн ресурса Head Hunter; анализ текстов (описания ОП разных вузов, профстандартов и руководящих материалов профассоциаций -- СОВНЕТ-Agile, IPMA OCB&ICB), представленных на естественном языке. На основе этих дейтасетов проведена токенизация; выделение коллокаций терминов и тем, кластеризация тем. Осуществлена кроссклассификация профстанадртов и руководящих материалов на основе предварительно обученной компетентностной модели ОП. Результаты подтвердили работоспособность методики. Такая аналитика позволяет динамически проводить систематизацию описаний профессиональной деятельности и формулировать соображения об элементах, структуре, взаимном соответствии моделей компетенций ОП и естественными моделями компетенций рынка труда. В совокупности с традиционной экспертной оценкой она может способствовать формированию более полного изоморфизма между квалитетами ОП и профессиональной деятельности.

Ключевые слова: модель компетенций, компетентностный подход; цифровой образовательный инжиниринг; машинное обучение; интеллектуальный анализ; цифровизация; ФГОС3; аналитическая платформа KNIME; обработка текста на естественном языке



The Study of the Educational Program Competence Model Based on the Intellectual Analysis of the Labor Market Professional Requirements

Dmitry V. Minaev

Abstract

The educational standards of higher education -- FGOS3++ require designing educational programs (EP) based on professional competencies in demand in the labor market. It is recommended to use professional standards. This way has certain disadvantages. For example, professional standards describe labor functions, but in the EP competencies are required. The use of professional standards in the development of the EP obviously determines a certain lag in the reaction in the labor market changes. An alternative to such EP design is a direct analysis of market requirements. Intelligent Analysis (IA) tools: data mining and machine learning can facilitate such analysis. An overview of developments in this direction is given. The results of the application of IA based on the KNIME analytical platform for determining the competence model of the EP in the field of project management are presented. Automation affected:the collection of requirements for more than 6000 vacancies of employers of the Head Hunter online resource; the analysis of texts presented in natural language (descriptions of EP of different universities, professional standards and guidance materials of professional associations -- SOVNET-Agile, IPMA OCB&ICB). Based on these data sets was carried out: tokeni- zation, collocation of terms and topics, clustering of topics, the cross-classification of professional standards and guidance materials based on a pre-trained competence model of the EP. The results confirmed the efficiency of the used technique. Such analytics allows us to dynamically systematize descriptions of professional activities and formulate considerations about the elements, structure, and mutual correspondence of the EP competence models and the competencies natural models on the labor market. In combination with the traditional expert assessment, it can contribute to the formation of a more complete isomorphism between the qualifications of EP and professional activity.

Keywords: competence model, competence-based approach, digital educational engineering, machine learning, intelligent analysis, digitalization, the Federal State Educational Standards, KNIME analytical platform, natural language text processing



Введение

Формирование идеала качества человека -- ключевая задача развития российского образования в XXI в. Приняв терминологию А. И. Субетто [12], можно отметить, что магистральный путь ее решения лежит через синтез культурогенетической и целенормативной парадигм. Культурогенетический подход отражает культурные традиции в рефлексии качеств человека. Здесь речь идет о ценностях, этико-эстетических аспектах развития личности человека, о воспитании. Целенормативный подход отражает другую -- прагматическую сторону запросов общества и системно проявляется в первую очередь в экономических процессах. Именно этот подход в свою очередь преимущественно структурирует организацию профессиональной сферы.

В профессиональном образовании эта парадигма нашла выражение через развитие идей «компетентностного подхода». Общая его суть проста -- поиск и достижение инвариантов между программами подготовки и соответствующими профессиональными видами деятельности. Однако за простой концепцией скрывается достаточно разветвленная и сложная научно-методическая проблематика.

На рубеже XXI в. этот подход как системная концепция описания образованности человека стал интенсивно продвигаться через Болонский процесс. В России «компетентностное» движение нашло отражение на нормативном уровне в виде разработки развивающейся серии государственных образовательных стандартов третьего поколения высшего профессионального образования (обозначим их сокращенно ФГОС).

В каждой новой версии этих стандартов (ФГОС, ФГОС+, ФГОС++) уровень сопряжения с требованиями профессиональной сферы все более возрастал. Начальная версия -- ФГОС (2009 г.) содержала лишь общую декларацию о необходимости увязки образовательной программы (ОП) с требованиями работодателей. Основным критерием успешности ОП был предметный результат через подробное раскрытие дидактики содержания отдельных дисциплин: знания-умения-навыки (ЗУНы). Следующий ФГОС+ (20014 -- 2016 г.) уже вводил перечень профессиональных компетенций (ПК), который должен был корреспондироваться с требованиями экономики. Наконец, ФГОС++ (2020 г.) нацелил само проектирование ОП изначально проводить на основе реальных требований к профессиональной деятельности. Отметим, что ФГОС++ сохраняет унификацию ОП через механизм использования примерных основных образовательных программ (ПООП), которые предустанавливают обязательное ядро ПК.

Несмотря на серьезную методическую проработку вопросов проектирования ОП на базе компетентностного подхода (например, [8]), его полная практическая актуализация на сегодняшний день далеко еще не завершена. Этому есть несколько причин.

Первая -- чисто теоретико-методологическая, связана с определением компе- тентностной модели профессиональной деятельности и ее конвертации в содержание ОП. И, соответственно, описание теоретической модели того, как дидактические единицы ОП трансформируются через личностное восприятие и деятельностные акты студента в его компетенции (методика такого моделирования обсуждалась, в том числе, в авторской монографии [6] и ряде статей автора).

Здесь в полной мере проявляется основная проблематика системного метода: относительно просто решается аналитическая задача разложения профессиональной деятельность или содержания ОП на элементы. Но «таинство» формирования эмерджентного эффекта из этих элементов познается и формализуется с гораздо большим трудом. Это проявляется как на нижнем уровне системного моделирования отдельных компетенций, так и при моделировании целостного профессионального вида деятельности/профессии (данный факт хорошо иллюстрируется публикациями [7; 10; 14]). Из этого вытекает и проблематика более высокого уровня: классифицирования и соотнесения пространства образовательных программ и пространства фактически реализуемой профессиональной деятельности.

И если ранее, до «компетентностной» эпохи, системная сборка ОП разрешалась на основе знаний, опыта и интуиции внутри умов профессуры -- они экспертно и напрямую формировали ее дидактику (ЗУНы), то с введением «проплюсованных» ФГОС обозначена амбициозная задача полной формализации процесса проектирования ОП с точной квалиметрией результата.

В целом в теоретико-методологической плоскости по-прежнему сохраняется много неясностей.

Другая причина торможения внедрения компетентностного подхода более прозаична -- недостаток формализованной и структурированной информации о требованиях к компетенциям на стороне работодателей. Несмотря на настойчивые административные толчки со стороны федеральных органов управления трудовой сферой, разработка профстандартов, описывающих модели компетенций, в течение длительного периода времени осуществлялась спорадически (подробный анализ ситуации приведен в [2]). После 2014 г. этот процесс ускорился, но все равно далек от потребностей высшего профессионального образования, поставленного в рамки ФГОС++.

Сложившуюся ситуацию можно проиллюстрировать на примере профессиональной сферы управления проектами. На конец 2021 г. утверждены всего 7 стандартов, хотя этот вид деятельности широко применяется в самых разных областях.

Всего введено в действие 1363 стандарта (на 16.11.2021) Реестр профессиональных стандартов [Электронный ресурс]. URL: https://profstandart. rosmintrud.ru/obshchiy-informatsionnyy-blok/natsionalnyy-reestr-professionalnykh-standartov/ reestr-professionalnykh-standartov/ (дата обращения: 13.08.2022).. Однако, согласно ЕТКС, в России сейчас существует около 7 тыс. уникальных наименований профессий. АНО «Центр научных исследований в сфере профориентации и психологии труда», реализуя проект цифровой модели рынка труда, выявил еще больше -- около 25 тыс. уникальных наименований профессий/специальностей Проект цифровой модели рынка труда. Центра научных исследований в сфере профори-ентации и психологии труда [Электронный ресурс]. URL: https://crcg.ru/skolko-vsego-professiy- v-mire/ (дата обращения: 13.08.2022)..

Альтерната использованию профстандартов является прямое обращение к субъектам трудовой сферы, через опросы и другие инструменты. Однако для проектантов ОП это дополнительная специфичная и весьма трудоемкая информационная работа, которую они крайне неохотно выполняют. Теоретико-методологическую сложность, с которой приходится при этом сталкиваться, мы уже отметили.

Подводя промежуточный итог, отметим, -- возможность автоматизации процедур анализа компетенций профессиональной деятельности представляется весьма актуальной. Наработка эмпирического массива компетенций, их систематизация позволили бы ускорить и сделать более обоснованной также и теоретико-методологическую проработку компетентностных моделей и их имплементацию в ОП. Такая возможность становится реальной с развитием информационных технологий, которые обеспечивают обработку разнотипной и плохо структурированной информации, в том числе, -- текстовой. Речь идет о современных технологиях дейтамайнинг, машинного обучения, больших данных и других, развиваемых в сфере интеллектуальной обработки данных и искусственного интеллекта (обозначим их совокупность акронимом ИА). Именно на экспериментальную проверку работоспособности такого рода методов и направлено было исследование.



Обзор литературы

До сих пор выявление, оценка и систематизация компетенций как в сфере труда, так и в сфере профессионального образования проводились преимущественно экспертно-аналитическим путем, с участием высококвалифицированных специалистов и на основе репрезентативного опроса профессионалов. За рубежом к таким проектам, например, можно отнести исследование профессиональных навыков взрослых, проведенное в 2017-2018 ОЭСР OECD The Survey of Adult Skills Reader's Companion, Third Edition; 2019. 132 p. URL: https:// doi.org/10.1787/f70238c7-en, а также Европейское исследование навыков и рабочих мест (European skills and jobs survey -- ESJS [Электронный ресурс]. URL: https://www.cedefop.europa.eu/en/projects/european-skills- and-jobs-survey-esjs (дата обращения: 13.08.2022).), которое проводит Европейский центр развития профессиональной подготовки CEDEFOP. Annual report 2019. Luxembourg: Publications Office; 2019 [Электронный ресурс]. URL: http://data.europa.eu/doi/10.2801/79286 (дата обращения: 13.08.2022).. Задействование технологий ИА для задач, связанных с применением компетентностного подхода, стало привлекаться относительно недавно.

В последнее время рядом европейских национальных и исследовательских организаций реализовано несколько проектов, связанных с использованием ИА для выявления навыков и компетенций. В материалах CEDEFOP CEDEFOP Perspectives on policy and practice Tapping into the potential of big data for skills policy; 2021, Luxembourg: Publications Office of the European Union проводится обзор таких разработок, связанных с анализом навыков, удовлетворяющих спрос на рабочую силу, описанием карьерных путей выпускников высших учебных заведений, исследованием закономерностей распространения цифровых технологий и их влияния на рынок труда и других направлений.

Одним из таких проектов является совместная разработка CEDEFOP с Евростатом системы сбора и анализа онлайн объявлений о вакансиях в Европейском союзе (online job advertisements -- OJAS), выходные данные которой доступны через облачную базу данных Skills-OVATE [Электронный ресурс]. URL: https://www.cedefop.europa.eu/en/tools/skiNs-online-vacancies (дата обращения: 13.08.2022).. Онлайн объявления о вакансиях в последнее время стали богатым источником информации о требованиях к работе, которые трудно собрать традиционными методами. В Skills-OVATE доступна информация, основанная на миллионах объявлений, собранных в полуавтоматическом режиме из тысяч источников, включая порталы государственных служб занятости, HR- агентства, частные порталы вакансий, онлайн-газеты и корпоративные веб-сайты. Эта база данных обновляется 4 раза в год.

В целом проект укладывается в продвигаемую Евростатом концепцию доступных больших данных -- Web Intelligence Hub (Центр веб-аналитики), которые могут быть использованы для смягчения проблем рынка труда, уменьшения несоответствия навыков и укрепления связей между рынком труда и обучением CEDEFOP; European Commission; ETF; ILO; OECD; UNESCO. Perspectives on policy and practice: tapping into the potential of big data for skills policy; 2021, Luxembourg: Publications Office [Электронный ресурс]. URL: http://data.europa.eu/doi/10.2801/25160 (дата обращения: 13.08.2022).. Актуальность использования больших данных (big data) для прогнозирования и сопоставления потребностей в навыках подчеркивалась и группой экспертов МОТ ILO The feasibility of using big data in anticipating and matching skills needs. ILO Geneva, Publications Production Unit (PRODOC) of the ILO; 2020. URL: https://www.ilo.org/skills/areas/ skills-training-for-poverty-reduction/WCMS_759330/lang--en/index.htm.

Опыт использования информационных источников типа Skills-OVATE с задействованием ИА для анализа феномена цифровизации на компетентностные модели профессий анализируется К. Поулиакасом (Pouliakas, K.) [15]. Им описываются прогностические модели, использующие методы машинного обучения, которые в 7 из 10 случаев относительно точно предсказывают -- является ли занятие автоматизируемым или нет. К таким моделям отнесены: классификатор на базе нейронных сетей, логистическая регрессия и метод случайного леса (Random Forest, RANFOR).

В Европе разработана многоязычная классификация навыков, компетенций и профессий ESCO (European Skills, Competences, Qualifications and Occupations) ESCO handbook. EC. Directorate-General for Employment, Social Affairs and Inclusion. Directorate E. 2nd ed.; 2019. DOI: 10.2767/934956 [Электронный ресурс]. URL: https://ec.europa.eu/esco/ portal/document/en/0a89839c-098d-4e34-846c-54cbd5684d24 (дата обращения: 13.08.2022).. Это словарь, идентифицирующий и классифицирующий профессиональные занятия и навыки, на рынке труда и в системе образования. ESCO приводит описания 2942 профессий и связанных с ними 13 485 навыков, переведенных на 27 языков. Классификатор используется различными онлайн-платформами для сопоставления навыков соискателя с предлагаемой работой, для предложения обучения людям, которые хотят переквалифицироваться или повысить квалификацию и т. д. Отметим, что при актуализации последних версий ESCO, также активно начали задействоваться методы ИА.

К месту отметим, что понятие «профессиональная компетенция» сейчас нормативно не закреплено в отечественной практике ни в Законе об образовании ФЗ- 273, ни в Трудовом кодексе Российской Федерации. Разработка описаний компетенций в России пока децентрализована, -- она замкнута внутри процедур разработки профстандартов и деятельности по проектированию ОП, в частности при проведении предусмотренных ФГОС++ так называемых форсайт-анализов. Более того, ряд авторов отмечает различие в подходах к трактовке элементов компе- тентностного подхода в России и за рубежом. Изучив компетентностный подход в России и зарубежных странах, Е. В. Чучулина, А. А. Базеян выделяют основные отличия [13] (табл. 1).

В задачи нашего исследования не входил более глубокий анализ и систематизация понятийного поля описания профессиональной деятельности. Данные, соответствующие смежным понятиям компетентностной модели: компетенция, навык, трудовая функция, использовались совместно как характеристики способности выполнять задачи, решать проблемы. При этом абстрагировалась содержательная сторона профессиональной деятельности. Влияние такого упрощения на результаты требует отдельного обсуждения, которое выходит за рамки статьи. Однако оно не сказывается на принципиальную оценку самой возможности использования ИА для решения нашей задачи.

В России попытки использования методов ИА в процедурах оценки компетенций в большей мере получили развитие в сфере образования. Большая часть из них нацелена на автоматизацию процессов сопровождения учебного процесса в рамках реализации парадигмы личностно ориентированного образования. Из исследований, близких к обсуждаемой нами проблематике, можно упомянуть следующие.

В качестве одной из ранних работ в этом направлении можно отметить публикацию С. П. Грушевского, Н. Ю. Добровольской, Ю. В. Кольцова [4]. Авторы концептуально обсуждают схему организации процесса обучения и описывается функционирование системы с применением нейросетевой компьютерной обучающей системы, которая позволяет индивидуализировать процесс обучения за счет построения уникальной для каждого учащегося траектории обучения. Конкретный пример реализации такого подхода, однако, там не приводится.

С. Ю. Ржеуцкая и М. В. Харина описывают решение задачи автоматической многопараметрической классификации пар «студент-задание», которые имеются в базе данных системы электронного обучения [9]. Цель -- индивидуальный автоматический подбор заданий для самостоятельного выполнения, основанного на прогнозировании трудности задания и обучающего эффекта с учетом подготовленности студента. Для классификации используются алгоритмы машинного обучения «с учителем». Обучение модели проводится на основе выборки, содержащей данные о прецедентах выполнения заданий. В контексте нашей задачи отметим, что подготовленность студентов, очевидно, корреспондируется с компетенциями.

И. Г. Захарова описывает опыт применения методов машинного обучения для диагностики и прогнозирования профессионального развития обучающихся [5]. В частности, предлагается оценивать степень профессионального развития студентов путем автоматического анализа подготавливаемых ими учебных текстов.

образовательная программа профессиональная компетенция

Таблица 1

Основные отличия компетентностного подхода в России и зарубежных странах

Table 1. The main differences are the competence approach in Russia and foreign countries

Понятие	Система образования в России	Система образования в ЕС
Компетенции	Инструмент измерения полученного знания	Идеология образования
Направление	Научная область, теория	Общественный сектор (наука, образование, практика)
Профиль	Один из прикладных элементов направления	Запрос рынка труда на специализацию
Квалификация	Специализация, которую дает вуз	Запрос рынка труда на специализацию

Для этого используется метод кластеризации ^-средних. А для построения модели классификации студентов -- статистический метод распознавания Байеса.

Е. А. Гаврилина и М.А. Захаров [3] рассматривают применимость ряда методов машинного обучения с точки зрения решения практических задач по количественной оценке метакомпетенций учащихся. В поле их внимания попадают: обучение с учителем и без, обучение с подкреплением, активное обучение, многоуровневое обучение, многозадачное обучение. В качестве данных для такой оценки авторы используют информацию из различных обучающих и пользовательских сред.

Приведенный анализ показывает, что использование технологий ИА в части формирования компетентностных моделей как в сфере описания и регулирования трудовой сферы, так и в области определения профессионально ориентированного обучения вышло за рамки простого формирования концепций. В Европе эти инструменты уже даже используются на нормативном уровне. Описанные разработки принимались во внимание в нашем исследовании в части общих концепций и некоторых идей использования конкретного инструментария. Следует, однако, отметить, что на сегодняшний день эти два направления цифровизации развиваются относительно независимо. Не удалось обнаружить разработок, которые ставили бы задачу развития цифрового инжиниринга в части непосредственного проектирования моделей компетенций ОП на базе требования работодателей. Именно эту лакуну в определенной мере закрывает проведенное исследование.

Материалы и методы

Общая логика разворачивания компетентностного подхода с участием системы образования представлена на рис. большой дугообразной стрелкой. В конечном счете обучающийся должен демонстрировать именно те компетенции, которые необходимы работодателям. Эту картину можно разложить на элементы, которые обозначают критические проблемные области и логические отношения между ними. Условно все нечетные сплошные стрелки обозначают отношение причинноследственного влияния, а нечетные пунктирные -- отношения соответствия. То есть, первые отражают трансляцию некоторого идеализированного образа компе- тентностной модели от элемента к элементу. А вторые -- проверку соответствия фактически реализованной модели по отношению к предыдущему элементу. Понятно, что на каждом шаге возможно некоторое искажение исходной компетент- ностной модели.

Отношение 7 -- означает фактическое предъявление компетенций обучающегося на его рабочем месте, а 8 -- методы проверки такого соответствия. Стрелки 1, 3 соответствуют стандартному подходу ФГОС++ в проектировании ОП, -- через требования профстандартов. Соответственно, 2 и 4 -- методы проверки такого соответствия, стрелка 9 -- проектирование ОП напрямую через изучение требований работодателей и 10 проверка -- насколько удается это сделать. Стрелки 5, 6 -- это внутреннее дело образовательной системы, связанное с обеспечением качества подготовки.

Профстандарты, в идеале, должны адекватно отображать систему компетенций соответствующей профессии (стрелка 1 на рис.). Но уже здесь появляются методические вопросы. Например, в принятой системе формирования профстандартов говорится не о компетенциях, а о трудовых функциях и квалификациях. Причем, согласно их определению, они не эквивалентны понятию компетенция: «Обобщенная трудовая функция (ОТФ) -- совокупность связанных между собой трудовых функций, сложившаяся в результате разделения труда в конкретном производственном процессе» и «Трудовая функция (ТФ) -- система трудовых действий в рамках обобщенной трудовой функции». Эти трудовые функции нужно каким-то образом трансформировать в компетенции ОП (стрелка 2).

Рис. Общая логика разворачивания компетентностного подхода с участием системы образования

Fig. General logic for deploying a competency approach involving the education system

У профстандартов, как основного источника компетенций в проектировании ОП, есть и другой минус. Их использование заведомо формирует определенный лаг между систематизацией модели компетенций профессии и созданием соответствующей ОП. Это приводит к тому, что проектирование ОП, которая по идее должна формировать компетенции специалиста будущего, опирается на модель компетенций прошлого с отставанием на несколько лет. Особенно это критично для новых профессий постиндустриального общества, во многом определяющих экономический прогресс. В этом смысле прямое обращение к рынку труда выглядит более перспективно.

Если обобщить на базе представленной модели описанные ранее примеры использования ИА, то можно отметить, что они закрывают области 1, 2, 5, 6, 7, 8. Наше исследование по своей сути направлено на области 3, 4, 9, 10. Можно еще более конкретизировать решаемые задачи.

Развитие дидактического обеспечения в рамках компетентностного подхода ФГОС++ с использованием ИА может быть связано с решением широкого спектра конкретных задач. В частности это, как минимум:

I. Формирование общего массива тегов профессиональных компетенций.

II. Формирование эталона компетенций (набора эталонов).

III. Построение дерева классификации профессиональных требований.

IV. Определение способов верификации рабочих программ, обеспечивающих оценку близости ОП к требованиям:

¦ вакансий, предлагаемых работодателями;

¦ профессиональных стандартов;

¦ аттестационных и сертификационных систем профессиональной деятельности.

V. Оценка близости ОП между собой и построение дерева классификации ОП.

VI. Создание «адвайзора» ОП, обеспечивающий формирование списка отсутствующих компетенций (по отношению к эталону).

В исследовании в той или иной мере прорабатывались задачи I-VI на примере образовательной программы магистерского уровня и для конкретной профессиональной сферы управления проектами.

Соображения, связанные с отбором источников данных, достаточно просты. Должны использоваться те документы, которые в той или иной мере содержат описания ком- петентностной модели. Необходимые данные в образовательной сфере имеются в:

1) описании примерных основных образовательных программ;

2) описаниях существующих образовательных программ вузов;

3) конкретизирующих документах образовательных программ (Рабочие программы дисциплин, Аннотации к РПД, Учебный план, Программа практик, тесты и др.);

4) профориентационных и рекламных информационных материалах вузов.

Наибольшую ценность представляет документ «описание программы», так как он содержит необходимый минимум информационных единиц, а также более или менее стандартизован по структуре их представления.

В части представления требований профессиональной среды могут рассматриваться следующие источники информации:

1) профессиональные стандарты;

2) описание вакансий от работодателей (Head Hunter, trudvsem.ru и другие);

3) стандарты и руководящие документы международных институтов и профессиональных сообществ;

4) аттестационные и сертификационные требования профессиональных, международных организаций;

5) ресурсы профессиональных сообществ (блоги, статьи и др.).

Что касается профстандартов, то здесь все очевидно. Из них могут извлекаться разделы, касающиеся описания трудовых функций -- обобщенных и «элементарных». Использование описаний вакансий от работодателей, с учетом наличия онлайн ресурсов, также не связано с какими-либо трудностями. Они могут использоваться «как есть», с селекцией соответствующего поля извлекаемой записи вакансии. Наконец, источники в) и г) могут рассматриваться как единая группа: аттестационные и сертификационные требования обычно корреспондируются с соответствующими стандартами и руководящими документами отраслевых институтов и профессиональных сообществ. Например, для нашего случая, могут быть использованы разделы, описывающие функциональные требования к проектному делу из таких документов, типа: PMBoK, разработанного Институтом проектного менеджмента (PMI) PMBOK guide Project Management Body of Knowledge. Project Management Institute. A guide to the project management body of knowledge. -- 7-th ed.; 2017. Newtown Square, PA.. И т. д.

При выборе программного инструментария для ИА встает вопрос определения «тактического» пути: «Какой подход использовать -- аналитико-статистический или нейросетевой?». По ряду соображений выбран первый. Для использования нейро- сетевого варианта требуется большой объем данных. Он более эффективен, если требуется работать с небольшим количеством параметров, определенных на дейтасете с большим количеством информационных срезов, и который можно разделить на обучающую, тестовую и рабочую выборки. В данном случае иная ситуация. Количество первичных документов, формирующих дейтасет относительно невелико -- максимум десятки. Наоборот, количество параметров, определяющих искомую природу компетентностной модели, потенциально может быть большим: от нескольких десятков, до сотен. Второй аргумент -- результаты аналитического подхода легче интерпретировать. Методы машинного обучения, реализующие аналитический подход, например, -- деревья решений, в отличие от нейросетей, представляют правила прогнозирования в явной форме. Ну и наконец, чисто технологически развертывание нейросетевого инструментария в общем случае может быть более трудоемко и требует больших вычислительных ресурсов.

В качестве основного инструмента выбрана аналитическая платформа KNIME. Основной механизм разработки алгоритмов обработки в KNIME реализуется в форме визуальной компоновки готовых элементов (node, узлы) алгоритма обработки.

Решение поставленных задач укладывается в область компьютерной обработки и машинного обучения, связанную с обработкой естественного языка (NLP). Технологии NLP достигли практического уровня развития (актуальный обзор здесь [1]). KNIME содержит ряд встроенных средств такого рода. Дополнительно может быть использован библиотеки обработки текста на языке Python и других языковых сред, которые легко интегрируются в KNIME в виде узлов, содержащих фрагменты кода.

Общий алгоритм обработки текстов с помощью узлов KNIME Text Processing предусматривает выполнение следующих шагов: 1) импорт данных, формирование дейтасета; 2) обогащение -- фильтрация шума (стоп-слов), семантическое обогащение; 3) препроцессинг -- распознавание сущностей (например, имен собственных), токенизация, POS-теги, выделение N-gram, коллокаций; 4) преобразование -- преобразование в «мешок» слов, векторное представление; 5) первичная аналитика -- подсчет частотности ключевых слов, основная статистика; 6) кластеризация, тематическое моделирование, собственно машинное обучение и другие продвинутые методы интеллектуального анализа данных. Реализованная в проекте процедура в целом следовала описанной выше логике.

Результаты исследования и обсуждение

В ходе исследования были реализованы следующие шаги и получены следующие результаты.

На этапе выявления и импорта данных был сформирован первичный дейтасет, вобравший в себя подходящий набор документов из образовательной системы и рынка труда, содержащих данные компетентностной модели.

В качестве опорного документа использовалась актуальная версия описания основной образовательной программы магистратуры «Управление проектами и программами», реализуемой в СЗИУ РАНХиГС. Данные магистерских программ других вузов собирались в разрезе любых отраслей деятельности и/или отдельных функциональных срезов проектного менеджмента. Примеры подходящих тематик программ: управление проектами, управление проектами в международной деятельности, менеджмент креативных проектов. В основном эти программы реализуются в рамках направления 38.04.02 «Менеджмент», но возможны и другие направления. Не рассматривались программы, связанные с подготовкой в области проектирования в технико-технологическом смысле. Примеры неподходящих тематик: автоматизированное проектирование конструкций, художественное проектирование швейных изделий, архитектурное проектирование.

В табл. 2 представлен использованный набор программ.

Структура этих документов более или менее стандартизована. Тем не менее с использованием предварительной ручной подготовки были удалены лишние разделы -- служебные элементы текста, не имеющие прямого отношения к компетентностной модели: титульный лист, нормативные ссылки, требования к материальному обеспечению учебного процесса и другое. Оставлены в том виде как есть разделы:

* области и (или) сферы профессиональной деятельности выпускника;

* объект(ы) профессиональной деятельности выпускника;

* универсальные компетенции выпускников и индикаторы их достижения;

* общепрофессиональные компетенции выпускников и индикаторы их достижения;

* профессиональные компетенции выпускников.

В части формирования дейтасета требований рынка труда были отобраны профстандарты в сфере управления проектами (в скобках -- число организаций разработчиков):

* 06.016 Руководитель проектов в области информационных технологий (14);

* 08.036 Специалист по работе с инвестиционными проектами (2);

* 10.015 Специалист по организации архитектурно-строительного проектирования (2);

* 24.005 Специалист по управлению проектами и программами в области атомного флота (1);

* 24.009 Специалист по управлению проектами и программами в области производства электроэнергии атомными электростанциями (1);

* 24.093 Специалист по календарно-сетевому планированию проектов сооружения объектов использования атомной энергии (1);

* 40.034 Специалист по проектному управлению в области разработки и постановки производства полупроводниковых приборов и систем с использованием нанотехнологий (1).

Структура этих документов тоже более или менее стандартизована. Так же, как и с ОП и по тем же причинам, документы подверглись ручной обработке с удалением служебной нерелевантной информации. Были оставлены только разделы: «Описание трудовых функций, входящих в профессиональный стандарт (функциональная карта вида профессиональной деятельности)» и подразделы «Трудовая функция» в разделах «Характеристика обобщенных трудовых функций».

Таблица 2. Состав дейтасета образовательных программ

Table 2. The composition of the dataset of educational programs

Наименование	Направление подготовки	ВУЗ	Год
Управление проектами и программами	38.04.02 Менеджмент	ФГБОУ Северо-Западный институт управления РАНХиГС	2021
Управление проектами	38.04.02 Менеджмент	ФГБОУ НИУ «МЭИ» Инженерноэкономический институт	2020
Маркетинг и управление проектом	38.04.02 Менеджмент	ФГБОУ Уральский федеральный университет имени первого Президента России Б. Н. Ельцина	2020
Управление инновационными проектами и целевыми программами	38.04.04 Государственное н муниципальное управление	ФГБОУ «Российский государственный университет правосудия»	2021

Информация о требованиях к работникам, непосредственно предъявляемых на рынке труда, была получена на основе анализа вакансий, размещенных на портале Head Hunter. Отбирались вакансии работников, принимаемых на позиции: руководитель проекта, project manager, проект-менеджер, специалист управления проектами, координатор проекта, администратор проекта. Для извлечения информации использовался механизм API. Всего получено информации по 5788 открытым вакансиям в разных регионах.

Наконец, в состав дейтасета была включена информация из набора документов сертификационных систем, стандартов и руководящих материалов профессиональных ассоциаций и институтов. В частности, были использованы рабочие материалы российской Ассоциации управления проектами СОВНЕТ по подготовке национального профессионального стандарта «Специалист по управлению проектом» [11]. А также требования к компетентности профессионалов в управлении проектами, программами и портфелями, разработанные международной ассоциацией управления проектами IPMA: на уровне организации -- Organizational Competence Baseline IPMA OCB, Organizational Competence Baseline / Требования к компетентности организа-ции в области управления проектами. М.: ОЧУ «УКЦ «Проектная ПРАКТИКА», 2014. 137 с. и на индивидуальном уровне -- Individual Competence Baseline IPMA ICB, Individual Competence Baseline, version 4 -- IPMA, 2015..

На этапе предварительной обработки и фильтрации и для повышения возможности соотнесения текстов проведена лемматизация. Здесь использовалась подключенная к KNIME библиотека текстового анализа pymorphy2 [Электронный ресурс]. URL: pymorphy2 https://pymorphy2.readthedocs.io/en/0.2/index.html (дата обращения: 13.08.2022)., написанная на язы- ке Python, а также Python-библиотека Pandas [Электронный ресурс]. URL: https://pandas.pydata.org (дата обращения: 13.08.2022).. Текст был также приведен к единому регистру и очищен от слов, не несущих содержательной информации (стоп-слова).

На этапе предварительного анализа с использованием имеющихся узлов KNIME: N-Gram Creator, Term Co-Occurrence Counter проведен частотный анализ изучаемых текстов, а также совместное использование терминов. В табл. 3 представлен фрагмент устойчивых словосочетаний, выявленных на материалах требований работодателей и в описании ОП «Управление проектами и программами».

Эти результаты позволяют сделать предварительный вывод о том, что наиболее часто употребляемые элементы формулировок требований к компетенциям, представленных в вакансиях Head Hunter, с одной стороны, и в исследуемом образце ОП, с другой, имеют мало совпадений. Работодатели и разработчики ОП делают разные акценты в контексте компетентностной модели. Отметим, однако, что в данном случае речь о «средней температуре по больнице» -- частотность терминов в описаниях вакансий определялась на всем их массиве, без какой-либо структуризации этой профессиональной деятельности. Вполне возможно, что рассматриваемая магистерская программа соответствует какой-то конкретной разновидности профессии. Для уточнения ситуации необходимо реализовать ряд последующих шагов.

Первый из них -- выделение характерных укрупненных трудовых функций на материале требований, которые выставляют работодатели. Для этого использовались методы машинного обучения. В частности, на начальной фазе использован узел KNIME: Topic Extractor (Parallel LDA). Алгоритм опирается на библиотеку моделирования тем MALLET: A Machine Learning for Language Toolkit [Электронный ресурс]. URL: https://mimno. github.io/Mallet/index (дата обращения: 13.08.2022).. Результат обработки массива требований вакансий Head Hunter представлен в табл. 4.

Метод Parallel LDA выделяет характерные части текстов: темы (topic), опираясь на логическую увязку используемой в них терминологии. Дальнейшая экспертная оценка позволяет предложить, например, следующую смысловую интерпретацию таким образом автоматически выявленных тем (см. соответствующую графу в табл. 4):

Таблица 3

Совместное появление терминов в описаниях вакансий работодателей и образовательной программы (фрагмент, словосочетания отсортированы по мере убывания частоты появления)

Table 3. The joint appearance of terms in the descriptions of vacancies of employers and the educational program (fragment, phrases are sorted as the frequency of appearance decreases)

Вакансии Head Hunter
Term1	Term2	SC*
ведение	проект	300
покупатель	тайный	240
бизнес	лицо	226
Магистерская программа «Управление проектами и программами»
Term1	Term2	SC
исследовательский	научно	8
государственный	организация	6
организационно	управленческий	6
		4

* SC (Sentence cooccurrence) -- количество предложений, содержащих сочетание терминов.



Таблица 4. Темы укрупненных трудовых функций, выделенные из требований работодателей (источник Head Hunter)

Table 4. Topics of enlarged labor functions, separated from the requirements of employers

Topic id	Concatenate (Term)	Интерпретация
		1	2	3	4	5
topic_5	разработка, сайт, интернет, проект	*
topic_4	процесс, бизнес, компания, оптимизация		*
topic_8	проект, ведение, организация, руководитель		*
topic_12	проект, управление, разработка, внедрение			*
topic_10	технический, разработка, требование, задание			*
topic_7	проект, контроль, работа, персонал			*
topic_13	проект, контроль, управление, срок			*
topic_3	работа, контроль, организация, строительство	*		*
topic_0	заказчик, проект, потребность, организация				*
topic_11	подготовка, коммерческий, договор, предложение				*	*
topic_1	клиент, поиск, новый, база				*	*
topic_9	покупатель, поиск, работа, тайный				*	*
topic_2	проект, команда, управлять, клиент			*		*
topic_6	продажа, курс, клиент, продукт					*

Характер внутренней тематической целостности можно оценить косвенными способами. Например, можно попробовать провести укрупнение тематик, используя алгоритм кластеризации -- узел КЫ!МЕ: к-Меапв. Выбор количества кластеров в этом случае -- процесс эвристический. В табл. 5 представлены 2 варианта: 5 и 3 кластера. Таблицу можно анализировать ортогонально по двум направлениям.

При анализе по строкам можно обнаружить, что наиболее характерными являются темы 0, 1, 4, 5 и отчасти -- 9. Они контрастно соотносятся только с одним из кластеров. Причем в обоих вариантах кластеризации. Остальные хоть и имеют некоторые центры притяжения, тем не менее в некоторой степени уже разнесены по нескольким кластерам. Причем при изменении количества кластеров с 3 до 5 картина расслоения тем практически не меняется. Такая картина косвенно может характеризовать степень внутренней согласованности тем.

Таблица 5. Укрупненная кластеризация тем укрупненных трудовых функций

Table 5. Enlarged clustering of topics of enlarged labor functions

Темы	Количество вакансий темы, попадающих в кластер	Term
	Для пяти кластеров	Для трех кластеров
	5.1	5.2	5.3	5.4	5.5	3.1	3.2	3.3
topic_0	2		566	12		4	574	2	Клиент, переговоры, ведение, подготовка
topic_1				13	883		18	878	Проект, контроль, управление, работа
topic_2	5		1	218	10	6	217	11	Работа, покупатель, поиск, тайный
topic_3	5		11	346	9	6	355	10	Проект, поиск, оборудование, работа
topic_4	515	3		4		518	4		Проект, разработка, бизнес, внедрение
topic_5	5	4	6	624	18	8	620	29	Работа, организация, контроль, строительство
topic_6	5	3	10	323	21	6	335	21	Разработка, проект, сайт, клиент
topic_7		341		6		11	322	14	Проект, команда, заказчик, управлять
topic_8	3	1		188	3	4	188	3	Компания, сотрудник, проведение, продажа
topic_9	4		6	404	12	7	401	18	Проект, работа, руководитель, контроль
topic_10	4	4	9	316	4	5	327	5	Клиент, работа, продажа, новый
topic_11	5	1	15	326	12	7	340	12	Проект, ведение, управление, работа
topic_12	2	3	9	334	7	2	345	8	Проект, запуск, мероприятие, новый

«Вертикальный» анализ по столбцам объясняет характер самих кластеров. Наименее четкими выглядят кластеры 3.2 и 5.4. Они включают в себя в той или иной мере все темы. При увеличении числа кластеров с трех до пяти, кластер 3.2 как раз первым подвергается наибольшему расслоению -- распадается на несколько кластеров. За счет выделения из него темы 0 образуется новый кластер 5.3, темы 7 -- новый кластер 5.2. При этом кластеры 5.4. и 5.5 по-прежнему сохраняют комплексный характер. Подвержены ли они дальнейшему расслоению, можно будет судить только в случае последующего увеличения степени дробления. Наоборот, взаимосоответствующие пары кластеров 3.1 -- 5.1 и 3.3 -- 5.5 имеют устойчивый характер и практически не меняют своей природы. Это можно трактовать как обнаружение достаточно характерного паттерна компетенций. Такой анализ может быть полезен для выявления обобщенных компетенций или трудовых функций. Изменяя количество кластеров, можно подобрать ситуацию, с достаточной полнотой характеризующую тематическое пространство компетенций.

Следующим восходящим этапом в аналитической процедуре выступает кроссклассификация документов. Тут исследовался вопрос степени близости профессиональных требований из двух различных групп документов, например, -- образовательных программ и профстандартов. Для проведения такого анализа документы преобразуются в векторную форму. Такая форма позволяет использовать широкий спектр алгоритмов машинного обучения: классификацию с помощью дерева решений, машины опорных векторов (БУМ) и к ближайших соседей, а также ряд других алгоритмов ИА. Применяя полученное на одном наборе документов дерево решений к другому набору документов, мы получаем некоторую кросс-матрицу соответствия. В табл. 6 представлены результаты использования дерева решений, обученного на выборке документов образовательных программ, к набору профстандартов.

Смысловая интерпретация полученных данных может выглядеть следующим образом. Все магистерские программы полностью соответствуют требованиям ПрфСт 24.009 (этот феномен далее не анализировался). Программа СЗИУ РАНХиГС лучше удовлетворяет требования ПрфСт 08.041 и ПрфСт 08.036. А программа МЭИ -- ПрфСт 40.034. Последние интерпретации вполне ожидаемы в силу специализации указанных вузов. Но при этом программа МЭИ демонстрирует и высокий уровень соответствия требованиям проектного менеджмента в области строительства и архитектуры.

Аналогично можно провести такую же кроссклассификацию требований между образовательными программами и руководящими материалами -- табл. 7.

Таблица 6 Кросс-классификация ООП и профстандартов (метод Decision Tree, обучающая выборка -- ООП, тестовая -- Профстандарты, значения нормализованы в части учета размера документов)

Table 6. Cross-classification of Core Education Program and professional standards (Decision Tree method, training sample -- Core Education Program, test -- Professional standards, values are normalized in terms of accounting for document size)

Профстандарт	Коэффициенты связи образовательных программ с профстандартами
	РАНХиГС	МЭИ	РГУП	УрФУ
ПрфСт 06.016_Руководитель проектов в области инфотехнологий_2021	0,025	0,000	0,053	0,321
ПрфСт 24.009_Спец по управлению проектами и программами в области производства электроэнергии атомэлектростанциями_2021	1,000	1,000	1,000	1,000
Профстандарт	Коэффициенты связи образовательных программ с профстандартами
	РАНХиГС	МЭИ	РГУП	УрФУ
ПрфСт 25.037_Спец по управлению проектами и программами в ракетно-космической промышленности 2021	0,138	0,000	0,326	0,137
ПрфСт 08.036_Спец по работе с инвестиционными проектами_2021	0,288	0,250	0,266	0,298
ПрфСт 10.015_Спец по организации архитектурно-строительного проектирования	0,200	0,500	0,155	0,047
ПрфСт 08.041_Спец в сфере управления проектами ГЧП 2021	0,300	0,000	0,169	0,294
ПрфСт 40.034_Спец по проектному управлению в области разработки и постановки производства П/П приборов и систем с использованием нанотехнологий	0,175	0,500	0,212	0,252

Таблица 7 Кросс-классификация стандартов/руководящих материалов и образовательных программ (Метод Decision Tree; обучающая выборка -- Стандарты и руководящие материалы, тестовая -- ОП, значения нормализованы в части учета размера документов)

Table 7. Cross-classification of standards/guidelines and educational programs (Decision Tree method; training set -- Standards and guidelines, test -- Education Program, values normalized in terms of accounting for document size)

ООП	IPMA 4.0 OCB	IPMA 4.0 ICB	COBHET Agile
РАНХиГС	1,000	0,167	0,569
МЭИ	0,000	1,000	0,872
РГУП	0,000	1,000	0,202
УрФУ	0,000	0,667	1,000

Интерпретируя эти данные, видим, что, например, развиваемая в ОП РАНХиГС компетентностная модель в большей мере корреспондируется с требованиями IPMA ОСВ и COBHET Agile, а ОП РГУП в наибольшей мере соответствует требованиям IPMA ICB. Дальнейший анализ и интерпретация получаемых результатов предполагают исследование и объяснение получаемых в ходе машинного анализа артефактов, но уже экспертным образом.



Заключение

Полученные результаты показывают, что задействование современных аналитических инструментов, реализующих технологии ИА, при относительно небольших затратах позволяет вполне успешно решать ряд задач проектирования компе- тентностных моделей ОП. В частности, для первичного выявления элементов компетенций, систематизации естественной структуры профессиональной деятельности на большом массиве данных, получаемых непосредственно с рынка труда. Другим полезным направлением является перекрестное сравнение различных моделей компетенций между собой с выявлением близости и конкретных различий.

Интеллектуальный анализ может найти применение и для решения метазадач. Например, на массиве компетентностных моделей достаточно большого объема уже разработанных ОП можно выявить общую кластерную структуру покрываемой ими профессиональной деятельности. И понять, насколько пересекаются образовательные программы разных вузов. Такой анализ может быть полезен, например, при конкурентном анализе. Можно попытаться определить степень покрытия полями компетентностных моделей ОП, совокупного поля компетентностных моделей профстандартов. И выявить лакуны. И так далее. Становится доступным и непрерывный мониторинг поля компетенций, что дает основу для усовершенствования используемых моделей.

Вместе с тем следует отметить, что некоторые полученные промежуточные результаты демонстрируют наличие не до конца разрешенных вопросов. Они касаются как охвата постановки задач, так и используемого инструментария ИА и интерпретации получаемых результатов. Например, в исследовании не опробовались перспективные нейросетевые технологии.

Требуют проработки вопросы оценки адекватности и точности получаемых машинным способом моделей. Двигаясь по этому пути, можно приближать использование технологий ИА в проектировании компетентностных моделей к полностью автоматическому режиму. На сегодняшнем уровне развития эта технология не может исключить экспертную оценку, реализуемую человеком. Однако роль технологий машинного обучения и дейтамайнинг может быть весьма значительной и заключаться в существенном сокращении размерности анализируемых данных. Они могут избавить эксперта, например, от необходимости сбора, просмотра и первичной группировки огромного количества первичных описаний профессиональных требований. Такие технологии позволяют автоматически генерировать обозримое поле рабочих гипотез, касающихся содержания компетентностных моделей.

Есть еще один принципиальный момент. Сам компетентностный подход как определенный вид формализации, своеобразной «компетентностной рационализации», имеет свои ограничения и недостатки и не может рассматриваться как доминирующий для описания квалитетов подготовки и профессиональной деятельности. Мы не имеем права сбрасывать со счетов социальные, этико-эстетические аспекты природы человека. А они часто остаются в общем поле общественного дискурса -- реализуются «по умолчанию» и не попадают в сферу формального представления. Таким образом, они могут выпадать и из поля машинной аналитики. Следовательно, более высокие оценочные и прогностические суждения могут быть достигнуты только при совместном использовании ИА с экспертной оценкой, проводимой человеком. Такой синтез должен сохранить, наряду с выгодами привносимыми целенормативным подходом, роль в проектировании компетентностных моделей гуманистической составляющей культурогенетического подхода. Тем не менее применение ИА может способствовать формированию более полного изоморфизма между системой квалитетов образовательных программ и системой квалитетов профессиональной деятельности.