Автоматизация учета и прогнозирования временных затрат сотрудников отдела управляющей документации на предприятии

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ

ВЫСШЕГО ОБРАЗОВАНИЯ

НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ

«ВЫСШАЯ ШКОЛА ЭКОНОМИКИ»

Факультет бизнеса и менеджмента

АВТОМАТИЗАЦИЯ УЧЕТА И ПРОГНОЗИРОВАНИЯ ВРЕМЕННЫХ ЗАТРАТ СОТРУДНИКОВ ОТДЕЛА УПРАВЛЯЮЩЕЙ ДОКУМЕНТАЦИИ НА ПРЕДПРИЯТИИ

Выпускная квалификационная работа

по направлению подготовки 38.03.05 бизнес-информатика

образовательная программа «Бизнес-информатика»

Жердер Марина Вадимовна

Москва 2019



ОГЛАВЛЕНИЕ

документация управляющий автоматизация учет

ВВЕДЕНИЕ

ГЛАВА I. АНАЛИЗ СОВРЕМЕННЫХ МЕТОДОВ АВТОМАТИЗАЦИИ ПРОЦЕССОВ УЧЕТА И ПРОГНОЗИРОВАНИЯ ВРЕМЕННЫХ ЗАТРАТ СОТРУДНИКОВ ПРЕДПРИЯТИЯ

1.1 Теоретические основы анализа методов учета и прогнозирования временных затрат сотрудников на предприятии

1.2 Исследования возможности использования полученных данных как входных условий системы массового обслуживания

ГЛАВА II. КЛАССИФИКАЦИЯ И АНАЛИЗ ВРЕМЕННЫХ ЗАТРАТ ПО РАБОТАМ, ВЫПОЛНЯЕМЫМ СОТРУДНИКАМИ ОТДЕЛА УПРАВЛЯЮЩЕЙ ДОКУМЕНТАЦИИ НА ПРЕДПРИЯТИИ

2.1 Классификация временных затрат по работам, выполняемым сотрудниками отдела управляющей документации на предприятии

2.2 Анализ имеющихся показателей временных затрат, построение модели и прогнозирование

2.3 Построение модели систем массового обслуживания для оценки потоков выполняемых работ сотрудников отдела управляющей документации на предприятии

ГЛАВА III. РАЗРАБОТКА РЕКОМЕНДАЦИЙ ПО АВТОМАТИЗАЦИИ ПРОЦЕССА УЧЕТА И ПРОГНОЗИРОВАНИЯ ВРЕМЕННЫХ ЗАТРАТ СОТРУДНИКОВ ОТДЕЛА УПРАВЛЯЮЩЕЙ ДОКУМЕНТАЦИИ НА ПРЕДПРИЯТИИ

3.1 Рекомендации по автоматизации процесса учета временных затрат сотрудников отдела управляющей документации - as-is

2.4 Рекомендации по автоматизации процесса учета временных затрат сотрудников отдела управляющей документации - to-be

ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЯ



ВВЕДЕНИЕ

Организация XXI века - сложная структурная единица, где бизнес -процессы неразрывно связаны с информационными системами. Путь на цифровизацию и автоматизацию бизнеса начался в развитых странах уже более нескольких десятилетий назад. При этом цифровая трансформация любого предприятия требует высокого уровеня прозрачности всех процессов для того, чтобы иметь возможность оценить их с точки зрения эффективности.

В последнее время широкую популярность получили такие методологии и практики как Agile и ему подобные гибкие системы управления, в том числе набирающий популярность DevOps, когда речь идёт про задачи разработки IT-продуктов. В общем случае целью использования любой методологии или практики является оптимизация процессов и повышение эффективности работы сотрудников. Поднимаются вопросы не только об использовании соответствующих технологических средств, например, Kanban досок, но и постановки правильной мотивации сотрудников, набора необходимых навыков сотрудников команды и практик улучшения обмена информацией в компании.

Вместе с тем поднимается и немаловажный вопрос об аудите работы сотрудников с двумя основными целями:

во-первых, определения эффективности использования тех или иных технических средств с точки зрения их влияния на скорость и качество выполнения рабочих процессов;

во-вторых, оценивания эффективности работы самих сотрудников и команд.

В первом случае оценивается влияние на процесс выполнения работы новой технологии или организационных изменений. Результаты анализа и оценки эффективности могут влиять на процесс принятия решения о продолжении использовании старых практик и процессов или же переход к новым.

Во втором случае оцениваются скорее практики взаимодействия между членами команды, распределения текущих задач или, например, реструктуризация рабочей команды и организации в целом. Оценка может влиять также на систему бонусов, выплачиваемых сотрудникам по итогам их деятельности, или способствовать продвижению по карьерной лестнице.

Вопрос выбора наиболее показательной метрики оценки эффективности является достаточно сложным, так как от выбора метрики зависит направление стратегии развития задач отдельно взятой команды или всего предприятия. Тем не менее, среди наиболее показательных выделяется такая метрика как временные рамки на выполнение задач, или SLA (Service Level Agreement). Метрика относится только к автоматизированным системам, так как до сих пор определение временных затрат на выполнение неавтоматизированных задач вызывает вопрос по поводу метода учёта временных показателей. Трудность заключается прежде всего в том, что не всегда ясно, по каким критериям оценивать уровень сложности работы и, соответственно, среднее время на выполнение определённого типа работ, если это непрограммируемый умственный труд.

Однако, в отдельных случаях расчёт трудозатрат работников по временным показателям для определённых видов работ возможен. В процессе стажировки в компании «Лаборатория Касперского» в отделе разработки технической документации IT-департамента, удалось определить зону для наиболее успешного внедрения системы учёта временных затрат на основании базы данных выполняемых задач. Благодаря имеющейся системе ведения заявок на каждый тип изменения, запрашиваемый на внесение в документацию, возможны сбор и обработка необходимых всех данных.

Таким образом, объектом исследования данной работы являются временные затраты сотрудников отдела управляющей документации на предприятии. Предметом являются рекомендации по автоматизации процесса учёта и прогнозирования временных затрат сотрудников отдела управляющей документации на предприятии.

В ходе исследования будут проверены следующие гипотезы:

1. Прогнозирование временных затрат сотрудников отдела могут быть входными условиями задачи прогнозирования и поиска наиболее эффективного числа сотрудников для решения прогнозируемых объёмов работ.

2. Автоматизация процесса учёта и прогнозирования временных затрат сотрудников отдела управляющей документации на предприятии может способствовать своевременному принятию решений по улучшению процесса управления.

Целью данной работы является разработка рекомендаций по автоматизации процесса учёта и прогнозирования временных затрат сотрудников отдела управляющей документации на предприятии для своевременного принятия решений по улучшению процесса управления.

В соответствии с поставленной целью, в работе решены следующие задачи:

Проведение анализа методов учёта и прогнозирования временных затрат сотрудников отдела управляющей документации на предприятии и возможности развития данных процессов.

Создание классификации временных затрат по типам работ, выполняемым сотрудниками отдела управляющей документации на предприятии.

Подготовка базы данных для анализа различных видов работ по временным затратам и проведение анализа различных показателей временных затрат.

Проведение анализа и получение статистических оценок и прогнозных данных по объёмам работ и временным затратам на них.

Подбор и разработка модели систем массового обслуживания для оценки потоков выполняемых работ сотрудников отдела

Разработка рекомендации по автоматизации процесса учёта и прогнозирования временных затрат сотрудников отдела управляющей документации на предприятии для своевременного принятия решений по улучшению процесса управления трудозатратами отдела.

В рамках данной работы будут рассмотрены существующие на рынке готовые продукты и их практики, предложено решение в рамках поставленных задач, а также предложены пути дальнейшей автоматизации системы учёта и прогнозирования временных затрат сотрудников.

Необходимо учесть следующие ограничения данной работы:

Использовались реальные данные по временным затратам различных видов работ, выполняемым сотрудниками отдела управляющей документации на предприятии.

Данные были предварительно обработаны для того, чтобы скрыть персональные данные.

Для решения поставленных задач исходные данные будут проанализированы с помощью средств автоматизации, выполненных на языке Python, построены прогнозы для классифицированных данных и на их основании описаны условия задачи системы массового обслуживания для нахождения оптимального числа сотрудников отдела. Приложение и предложения по автоматизации визуализированы с помощью Visio.

В главе 1 данной работы описаны теоретические основы анализа временных рядов и теории массового обслуживания. В главе 2 описаны результаты анализа данных и решения задачи нахождения оптимального числа сотрудников. В главе 3 представлено описание системы и предложения по ее дальнейшей автоматизации. Работа сожержит 55 страниц, включает 8 рисунков, 7 таблиц и 7 приложений.



ГЛАВА I. АНАЛИЗ СОВРЕМЕННЫХ МЕТОДОВ АВТОМАТИЗАЦИИ ПРОЦЕССОВ УЧЕТА И ПРОГНОЗИРОВАНИЯ ВРЕМЕННЫХ ЗАТРАТ СОТРУДНИКОВ ПРЕДПРИЯТИЯ

Анализ трудозатрат используется на предприятиях с двумя основными целями: контроль качества, или иначе, аудита, и для расчёта стоимости услуг или производимого продукта. Однако на оба эти требования работает одинаковый набор методов подсчёта KPI (Key Performance Indicators, показатели деятельности) трудозатрат: временные показатели и количественные.

Как правило, выбор той или иной метрики зависит от степени автоматизации процесса, по которому анализируются трудозатраты:

в работе с преобладающей доле ручного труда, например, какие-либо задачи, требующие креативного подхода и в целом большой вовлеченности людей в процесс.

в работе с преобладающей долей машинной трудоёмкости, например, автоматическая обработка задач, «конвейерный» тип производства [1].

Конечно, вести учёт временных затрат на обработку каждой единицы продукции (в нашем случае, задачи) не всегда оправданно, так как вызывает сложность определение самого метода учёта этих затрат. Иными словами, метод «индивидуального секундомера» не всегда применим, так как, чтобы учитывать трудозатраты, порой необходимы ещё большие ресурсные и финансовые вложения [2]. В таких случаях используют некий усреднённый показатель, например, рассчитывается суммарное нормативное время работы системы, участка или команды. Однако, сегодня, как правило, большинство IT-компаний используют инструменты Agile, такие как Jira или TFS, для ведения индивидуальных или командных досок с задачами, где можно примерно указывать время, потраченное на выполнение работы. В некоторых случаях, когда преобладает машинная (автоматизированная) доля работы, можно ожидать достаточно полную базу данных о временных затратах на выполнение действий. Такие знания, конечно, дают результаты точнее, чем когда время на выполнение задач записывается пост-фактум самими исполнителями.

В том случае, когда рабочий процесс целиком или хотя бы частично автоматизирован, и внедрены какие-либо временные показатели, работа может быть не только эффективно проанализирована, но и спрогнозирована. На сегодняшний день существует множество готовых программных продуктов и механизмов, как в области анализа данных, в частности, временных рядов, так и в области решения задачи о наиболее эффективном числе исполнителей. Например, из ряда аналитических продуктов, предоставляющих решения для анализа данных, от наиболее популярных компаний в сфере IT-разработи выделяют такие как Hitachi Vantara от компании Pentaho [3], Time Series от DataRobot [4] или Amazon Forecast компании Amazon [5, 6]. Сравнительная характеристика по некоторым срезам рассмотрена подробнее в таблице 1.

Таблица 1. Сравнительная характеристика решений анализа временных рядов

	Hitachi Vantara от Pentaho	Amazon Forecast	Time Series от DataRobot
Интеграция с различными системами	Любые данные, в том числе видео, «интеграция с любыми системами»	Только исторические данные	Любые сервисы, работающие с числовыми данными, анализ KPI конкретных сервисов
Визуализация	да	да	да
Встроенная аналитика	Использование машинного обучения, Pentaho	Использование машинного обучения, Amazon	Машинное обучение и искусственный интеллект
Стоимость	нет данных	$0.60 за 1,000 прогнозов	нет данных

Из плюсов перечисленных самых успешных решений: графика, удобный интерфейс, быстрое построение моделей и прогнозов, механизмы, построенные на машинном обучении и AI (artificial intelligence, искусственный интеллект), использование современных методов анализа, возможность интеграции с другими системами. Решение от DataRobot в 2018 году обошла решение от Google на соревнованиях среди IT-решений по распознаванию изображений и обработке информации [7]. Все три компании используют облачные хранилища данных. Также все три решения доступны для B2B сектора.

Однако, у этих решений есть также ряд минусов с точки зрения целей отдела. Во-первых, решения слишком широкие, то есть не весь объем функций интересен компании как заказчикам. Во-вторых, перегруженные функциями решения приводят и к повышенной стоимости как интеграции подобной системы, так и дальнейшей её поддержки.

Кроме этого, следует отдельно рассмотреть решения по задачам системы массового обслуживания, один из типов которых используется для нахождения эффективного числа сотрудников. Наиболее удачными решениями из всех доступных в сети являются SkipLino [8], Simio [9] и OMNeT++ [10]. Все три программы доступны для установки бесплатно, поддерживают интеграцию с другими системами. Однако, данные решения представляют собой программные приложения с открытым кодом, для интеграции которого с другими системами необходимо внесение доработок. Помимо этого, приложения являются по своей сути калькуляторами, которым необходимо направлять команды для начала расчётов (расчёт производится по нажатию кнопки), соответственно, данные решения нельзя отнести к полностью автоматическим. Тем не менее, программы позволяют задавать условия для симуляции ситуаций с очередью самыми различными способами и предоставляют хорошую визуализацию.

Однако, для нужд отдела вышеупомянутые решения также имеют некоторые недостатки, такие как перегруженность функциями и сложность настройки на интеграцию с другими системами, что затруднит интеграцию с мониторинговой системой по заявкам на разработку документов.

1.1 Теоретические основы анализа методов учета и прогнозирования временных затрат сотрудников на предприятии

Допустим, работа в организации или в отдельно взятой команде строится по принципам какой-либо гибкой методологии, и используются соответствующие программные приложения, позволяющие отслеживать потоки задач и время на их выполнение. Тогда, временные данные по выполнению задач можно рассматривать как временной ряд (ВР). Согласно определению, ВР - «последовательность упорядоченных во времени числовых показателей, характеризующих уровень состояния и изменения изучаемого явления за определённый период» [11].

Работая по «спринтам», которые могут быть суточными, недельными или любыми другими относительно короткими промежутками времени, члены команды фиксируют время в часах на выполнение задач в течение всего периода работы. Это может быть фиксация либо общего времени на выполнение одной задачи всеми членами команды, либо персональные планы каждого из участников. Это позволяет собрать данные по трудозатратам за определённый исторический период.

Есть, однако, несколько требований к временным данным для того, чтобы анализ ВР был применим. Во-первых, наблюдения должны быть собраны за достаточно длительный период, потому что чем дольше период сбора данных, тем более точным может быть модель, описывающая эти данные, и, соответственно, прогноз на её основании. Более точно минимальные рамки необходимого временного отрезка определить нельзя, так как сама природа данных часто влияет на структуру ВР, определяя минимальное число наблюдений для построения эффективных моделей.

Во-вторых, единицы измерений должны быть одинаковыми, то есть все задачи должны быть записаны либо в минутах, либо в часах, либо в днях. Чем точнее измеряется время, тем лучше, однако, когда измерением времени занимается сам работник, очень велика вероятность неточностей из-за человеческого фактора. Поэтому, достаточно приближенных измерений в часах или днях, в зависимости от рода задач.

В-третьих, временной шаг должен быть одинаковым для всех измерений, то есть запись наблюдений должна производится через равные промежутки времени, например, ежедневно, каждую неделю и т.д. Многие гибкие методологии наиболее часто предлагают проводить встречи или «стенд-ап»-ы раз в день или раз в неделю. На досках, соответственно, также ведутся записи за день или за неделю.

Помимо этого, сами данные по своей структуре должны быть стохастическими, независимыми, и с течением времени по законам теории вероятностей и которые можно представить в виде: x={}, t=, … , где x - выборка случайных величин, которые соответственно относятся к кому-то времени t [12].

Сам же процесс анализа ВР разделяется на несколько этапов. Прежде всего, необходимо провести описательный или, иначе, общий анализ ВР, включающий графическое представление ВР, изучение зависимостей между наблюдениями и их поведением. Затем, на основании общего анализа данные могут быть обработаны, например, сглажены с целью подготовки их для построения модели, либо же, если данные имеют нормальное распределение, не имеют выбросов, сезонной компоненты и других нежелательных показателей, могут использоваться для построения модели сразу. Для выбора достаточно эффективной модели, то есть имеющей достаточно маленькую погрешность, необходимо изучить некоторые компоненты поведения наблюдений во времени и затем подобрать модель и проверить её на тестовых данных, которые обычно составляют 20% от общего объёма наблюдений. И только третьим шагом строится прогноз и (или) предсказание ВР на основе построенной модели.

Одним из важнейших этапов анализа ВР является выявление закономерностей изменения показателей во времени (изучение динамики ВР). С учётом поведения показателей динамики ВР можно определить модель, которая будет достаточно точно определять объем работ в измеряемых единицах времени при определённых условиях, которые могут быть отражены в модели. При выявлении каких-либо закономерностей динамики данных, их особенности могут существенно повлиять на процесс принятия решений в предсказываемый промежуток времени.

Для того, чтобы описать динамику наблюдений во времени используют в основном четыре компоненты: тренд, сезонность, колеблемость и случайную компоненту. Под трендом понимают «характеристику процесса изменения явления за длительное время, освобождённую от случайных колебаний». Случайными колебаниями в свою очередь называют выбросы, или редкие наблюдения, которые сильно отличаются от средних показателей по всему ВР. Как правило, для определения тренда ВР требуется два шага: во-первых, сглаживание данных, во-вторых, описание тренда с помощью модели. Сглаживание применяется в том случае, когда данные могут содержать значительную погрешность [13]. Наиболее частым методом сглаживания является скользящее среднее, которое заменяет каждый элемент ряда простым или взвешенным средним из n окружающих элементов, где n - ширина сглаживающего «окна». Но когда ошибка измерения очень велика, используются такие методы как метод наименьших квадратов (МНК) или экспоненциально взвешенного сглаживания [14, 15]. Эти методы отфильтровывают шум и преобразуют данные в плавную кривую, которая не смещена выбросами.

Функция тренда, как правило, линейна, так как многие монотонные ВР могут быть адекватно аппроксимированы линейной функцией. При этом если имеется чёткая нелинейная составляющая, сначала необходимо преобразовать данные, чтобы удалить эту нелинейность. Часто математическое представление тренда возможно в одном из четырёх видов записи: полиномиальный (), экспоненциальный (), гармонический () и выражаемый логистической функцией

() [16].

Наиболее часто можно встретить первые два вида представления тренда, оценка параметров которых производится стандартным МНК.

Под сезонностью подразумевают склонность тренда ВР к определённому поведению (например, спаду или росту) в устойчивые временные отрезки, которые повторяются с определённой периодичностью, иначе - «сезоны». Например, в производстве сезонных товаров, таких как мороженое, продажи которого летом намного превышают продажи зимой, стоит ожидать повышенные трудозатраты в летнем периоде. Предполагается, что тренда и сезонности достаточно, чтобы описать динамику любых ВР, однако, нередко учитывают ещё два показателя для увеличения точности прогноза.

Сезонные закономерности временных рядов можно исследовать с помощью коррелограмм. Коррелограмма (автокоррелограмма) графически и численно отображает функцию автокорреляции (ACF), то есть коэффициенты последовательной корреляции (и их стандартные ошибки) для последовательных лагов в указанном диапазоне (например, от 1 до 30) [17]. Обычно в анализе ВР интересны только очень сильные и, следовательно, очень значимые автокорреляции.

Ещё один полезный метод изучения последовательных зависимостей - это проверка функции частичной автокорреляции (PACF) - расширенная автокорреляция, при которой удаляется зависимость от промежуточных элементов [17]. Другими словами, при расчёте PACF корреляции со всеми элементами в лаге частично распределены. Лаг - оператор «запаздывания», показатель переменной, сдвинутый назад по времени. Если задано значение лага 1 (то есть в пределах задержки отсутствуют промежуточные элементы), то частичная автокорреляция эквивалентна автокорреляции. В некотором смысле, частичная автокорреляция обеспечивает «более чистую» картину последовательных зависимостей для отдельных лагов, не смешанных с другими последовательными зависимостями.

Последовательная зависимость для определённого отставания от k может быть удалена путём дифференцирования ряда, то есть преобразования каждого i-го элемента ряда в его отличие от (i-k) -ого элемента. Есть две основные причины таких преобразований [16]. Во-первых, мы можем определить скрытый характер сезонных зависимостей ВР, так как удаление некоторых автокорреляций изменит другие автокорреляции, то есть может устранить их или сделать некоторые другие сезонности более очевидными. Во-вторых, можно сделать устраненить сезонные зависимости, то есть сделать серию стационарной, что необходимо для построения модели с помощью ARIMA и других методов.

Колеблемость, которую также иногда называют циклической компонентой, - это «отклонения уровней отдельных периодов времени от тенденции динамики (тренда)» [11]. Показателем описываются периоды подъёмов и спадов ВР без учёта выбросов.

Случайная компонента, или иначе шум - то, что находится «в остатке» и не учитывается перечисленными выше показателями [11, 12], но при этом влияет на ВР и его модель. Как правило, любые данные состоят из систематических наблюдений, которые могут быть описаны какой-либо моделью, и шума, который составляет случайные отклонения от смоделированного поведения. Конечно, чем меньше случайная компонента, тем точнее будет предсказание.

Изучив показатели динамики ряда и приведя его к нужному для моделирования виду, то есть приведя ряд к стационарному виду, можно переходить к построению модели. Наиболее частым способом является построение модели с помощью модели авторегрессии скользящего среднего (ARIMA, autoregressive integrated moving average) [18. 19]. Общая модель, представленная Боксом и Дженкинсом в 1976 году, включает в себя параметры авторегрессии, а также параметры скользящего среднего. Используются три типа параметров в модели: параметры авторегрессии или, иначе, порядок компоненты AR - p; количество проходов разности, или логов, порядок интегрированного ряда - d; параметры скользящего среднего, или порядок компоненты MA, - q. В обозначениях, введённых Боксом и Дженкинсом, модели обобщены как ARIMA (p, d, q).

Сам процесс построения модели методом ARIMA включает несколько этапов. Первым из них является определение, или иначе идентификация, типа параметров p, d и q и их значений. Основными инструментами, используемыми на этапе идентификации, являются графики ВР, коррелограммы автокорреляции (ACF) и частичной автокорреляции (PACF).

Мультипликативная сезонная ARIMA -- это обобщение и расширение метода ARIMA, где присутствует сезонная компонента. То есть, в дополнение к несезонным параметрам необходимо оценить сезонные параметры для определённого лага (установленного на этапе идентификации) [18, 19]. По аналогии с простыми параметрами появляются следующие: сезонная авторегрессия (ps), сезонная разность (ds) и сезонная скользящая средняя (qs). Например, модель (0,2,1) (0,1,1) описывает ВР, который не содержит параметров авторегрессии, содержт 2 параметра скользящего среднего и 1 параметр сезонности, а для параметров ряда, рассчитаных после него, существует отличие из-за сезонной авторегрессии один раз лагом 1, а один раз - сезонно. Сезонная задержка, или лаг, используемый для сезонных параметров, обычно определяется на этапе идентификации и должен быть явно указан.

Существует несколько различных методов оценки параметров. Все они должны давать очень похожие результаты. На этапе оценки параметров используется алгоритм минимизации функции (так называемый метод квазиньютона [20]), чтобы максимизировать вероятность точности модели наблюдаемого ряда, учитывая значения параметров. На практике это требует вычисления сумм квадратов (SS sums of squares) разницы между остатками. Различные методы были предложены для вычисления остатков: метод приблизительного максимального правдоподобия, обратный метод приблизительного максимального правдоподобия и метод точного максимального правдоподобия по Меларду (1984).

Помимо этого, для того чтобы модель была принята как достаточно достоверная, необходимо определить, что остатки, не вошедшие в описываемые компоненты, является не только белым шумом, но нормально распределены, линейны и гомоскедастичны.

Итак, после исследования параметров и построения модели можно сделать прогноз объемов трудозатрат на некоторый период вперёд. Как правило, за чем больший период имеются исторические данные на тем больший период прогноз будет достаточно достоверный.

Кроме того, достоверность прогноза также можно проверить на тестовых данных, как говорилось ранее. Например, из всей имеющейся выборки, для анализа и построения модели использовать 80% наблюдений, а остальные 20% использовать для построения проверяющей модели. Вторая, тестовая, модель не должна значительно отличаться от построенной на большей выборке данных и, соответственно, от прогноза.

1.2 Исследования возможности использования полученных данных как входных условий системы массового обслуживания

После получения прогноза ВР трудозатрат можно перейти к ещё одному вопросу учёта эффективности. Допустим, в команде есть некоторое число людей, у которых есть некоторая известная скорость решения входящий задач. Зная количество прогнозируемых входных заявок, можно рассчитать необходимое количество сотрудников для выполнения прогнозируемых нагрузок. Выполнение всего потока заявок можно считать успешным как при полном выполнении всех задач, так и при выполнении какой-то определённой доли от потока. По результатам решения данной задачи может быть выявлено, что на выполнение планируемых работ за прогнозируемый период необходима вся команда, работы не будут выполнены в срок или требуется дополнительная рабочая сила (новый сотрудник) или же задачи могут быть выполнены частью команды, а остальные её участники могут заниматься, например, непроектными задачами. Знание примерного необходимого количества сотрудников для выполнения определённой нагрузки на будущий период поможет повысить эффективность планирования распределения задач в отделе.

Исследованием подобного рода условий для нахождения времени решения некоторого количества входных задач одним или несколькими обрабатывающими точками занимается теория систем массового обслуживания. Обобщённое определение говорит, что система массового обслуживания (СМО) -- «система, которая производит обслуживание (обеспечивает исполнение) поступающих в неё требований (задач, заявлений)» [21]. Подразумевается, что обслуживание этих требований в СМО осуществляется некоторыми исполнителями (например, приборами или людьми) или, иначе, каналами, которыми могут считаться любые обрабатывающие и исполняющие заказы виды производственных ресурсов.

Типовыми задачами теории массового обслуживания является множество примеров реальной жизни, начиная от очередей в магазине, заканчивая распределением «большемасштабных вычислительных систем» [22]. Выделяется, однако, класс задач на автоматизированные системы управления (АСУ), к ряду которых относится решаемая в данной работе проблема.

Классическая задача СМО содержит от одного до бесконечного числа каналов, а также некоторое число входящих задач, которые при этом имеют пуассоновское распределение. Поступающие на обработку задачи могут требовать немедленного принятия их в работу, то есть быть срочными, либо же они могут находится некоторое время в режиме ожидания, или в «очереди». Исходя из требований к скорости начала обработки заявок СМО подразделяются на:

системы с потерями, в которых заявки, которые на данный момент не могут быть обработаны ни одним каналом по причине их занятости теряются и уже никогда не будут обработаны;

системы с ожиданием, в которых заявки остаются «в очереди», ожидать, когда какой-либо из каналов освободиться и сможет принять заявку в работу;

системы с конечной очередью, в который есть дополнительные требования по ограничению времени ожидания заявок в очереди или по ограничению допустимого числа заявок в этой очереди, при этом заявки, не соответствующие требованиям ограничений системы, теряются.

Сам процесс выбора заявок из очереди для обслуживания каналами может быть также разнообразен. Есть несколько известных принципов этого выбора, которые также называют дисциплины обслуживания:

FCFS/FIFO - first come, first served/first in, first out - пришедшая первой заявка обслуживается первой, то есть фактически работает привычный принцип очереди, например, в магазине.

LCFS/LIFO - latest came, first served last in first out - пришедшая последней обслуживается первой, что например можно видеть в электронных почтовых ящиках - письма, пришедшие последними находятся выше тех, что пришли раньше.

Кроме этого, популярен также принцип рандомного обслуживания, то есть заявки выбираются в случайном порядке.

Помимо этого, существует также несколько подходов к решению задач СМО. Эта разница описания изначальных условий заключается в определении типа показателей её эффективности, которые можно разделить на следующие группы:

Показатели, характеризующие систему в целом: число n занятых каналов обслуживания, число обслуженных (лb), ожидающих обслуживание или получивших отказ заявок (лc) в единицу времени.

Вероятностные характеристики: вероятность того, что заявка будет обслужена (Pобс) или получит отказ в обслуживании (Pотк), что все приборы свободны (p0) или определённое число их занято (pk), вероятность наличия очереди и т.д.;

Экономические показатели: стоимость потерь, связанных с уходом не обслуженной по тем или иным причинам заявки из системы, экономический эффект, полученный в результате обслуживания заявки, и т.д.

Наиболее часто в качестве основных критериев эффективности функционирования систем массового обслуживания в зависимости от характера решаемой задачи могут выступать:

вероятность немедленного обслуживания поступившей заявки (Робсл=Кобс /Кпост);

вероятность отказа в обслуживании или попадания в очередь поступившей заявки (Pотк=Котк/Кпост);

Очевидно, что Робсл + Pотк=1.

Прежде всего, для решения задачи СМО необходимо представить данные условия в математическом виде (в виде системы уравнений, описывающих условия задачи), а потому необходимо обратиться к требованиям математического описания СМО, чтобы обобщить требования с математической точки зрения.

СМО рассматриваются как некоторые физические системы с дискретными состояниями х0, х1, …, хn при непрерывном времени t [23, 24]. Число состояний n может быть конечным или бесконечным (n > ?). Система может переходить из одного состояния хi (i=1, 2, … ,n) в другое хj (j=0, 1,… ,n) в произвольный момент времени t. Чтобы показать правила таких переходов, используют схему, называемую графом состояний. Для типов, перечисленных выше систем графы состояний, образуют цепь, в которой каждое состояние (кроме крайних) связано прямой и обратной связью с двумя соседними состояниями. Это схема гибели и размножения. Удобно считать, что эти переходы происходят в результате действия каких-то потоков (потоков входных заявок, отказов в обслуживании заявок, потока восстановления приборов и т.д.). Если все потоки простейшие, распределённые пуассоновским способом, то протекающий в системе случайный процесс с дискретным состоянием и непрерывным временем будет марковским.

Входящий поток заявок называют простейшим, если он обладает следующими свойствами [21 - 24]:

Поток ординарен, то есть заявки поступают по одной (противоположность потоку, где задачи следуют группами).

Поток стационарен, когда вероятность попадания заданного числа событий на интервал времени t зависит только от длины интервала и не зависит от того, где на оси времени он находиться.

Поток не имеет последствий или пуассоновский, когда для двух непересекающихся интервалов времени ф1 и ф2 число заявок, попадающих на один из них, не зависит от того, сколько заявок в другом интервале.

Интервалы времени Т1, Т2,… между моментами t1, t2,… появления заявок случайны, независимы между собой и имеют распределение вероятностей f(t)=лe-лt, t?0, л=const, где л - интенсивность потока и представляет собой среднее число заявок, поступающих в очередь в единицу времени.

СМО разделяют также по количеству каналов. Самым простым вариантом задачи является «одноканальная СМО», в которой весь поток заявок обрабатывается только одним каналом.

В общем случае для различия СМО используется кодировка Кендалла [23]. И для одноканальных систем, она имеет вид A|B|m|n|S. A - функция распределения длины интервала между последовательно поступившими заявками, B - функция распределения случайного времени обслуживаниях заявок каналом, m - количество каналов в системе, n - число мест в очереди (если n=? в кодировке Кендалла, то параметр опускается), S - число потоков. Исходя из этих характеристик, системы подразделяются на две основные разновидности.

Первый вид СМО называется «Многоканальная система с отказами». Система состоит из одного узла обслуживания, содержащего m каналов, каждый из которых может обслуживать только одну заявку. Все каналы обслуживания имеют одинаковую производительность и для модели системы неразличимы. Если в момент поступления заявки в систему все каналы заняты, то заявка теряется, то есть покидает систему не обслуженной.

Второй вид систем называется «Смешанным» и разделяется на два типа. Первый тип - система, имеющая ограничение на длину очереди. Если в момент поступления заявки в систему все каналы заняты, то заявка не покидает систему, а занимает место в очереди. Заявка покидает очередь и уходит из системы, если в к моменту её появления в очереди уже ожидают n из n допустимых заявок (примем n- максимально возможное число мест в очереди, а k - число требований в очереди в момент t), то есть заявка покидает систему не обслуженной, если к моменту её поступления в систему заняты все каналы обслуживания и все места в очереди (k=n).

Второй вид смешанной системы -- «система с ограничением на длительность пребывания заявки в очереди». От предыдущей системы она отличается тем, что заявка в очереди может ожидать начала обслуживания лишь ограниченное время tож (чаще всего это случайная величина). Если её время ожидания истекло, то заявка покидает очередь и уходит из системы не обслуженной.

Алгоритм решения классической задачи СМО, или систему имеющую m каналов с отказами, впервые предложил Агнер Краруп Эраланг, в честь которого названы ключевые уравнения решения задач СМО [25]. Эрланг ещё в начале двадцатого века предложил несколько уравнений решений практической задачи массового обслуживания в области телефонии.

Прежде всего система описывается такими параметрами как:

t - время обслуживания каналом одной заявки

м - интенсивность потока, или количество заявок на входе

б - интенсивность нагрузки, которая рассчитывается как произведение t на м.

Pn - вероятность отказа заявке в обслуживании, рассчитываемая по формуле

,

где kt - число каналов от 0 до n: 0?kt?n.

P0 - вероятность того, что заявка будет обработана сразу, рассчитываемая по формуле:

Q - пропускная способность каналов, которая является обратным показателем для не обработанных заявок, или 1-Pn.

Задача с неизвестным числом каналов решается простым перебором значений k от 0 до такого n, когда пропускная способность достигнет желаемого уровня исполнения или пока в очереди будет оставаться меньше ограниченного возможного количества заявок. Например, ограничением по выполнению может быть требование выполнения 90% всех заявок или же 99%, при которых в очереди или не обслуженными не будет ни одной заявки. С другой стороны, можно ограничить очередь до, например, 30 заявок. Исходя из поставленных условий критерии Pn и Q будут показателями удовлетворения решения требованиям.

ГЛАВА II. КЛАССИФИКАЦИЯ И АНАЛИЗ ВРЕМЕННЫХ ЗАТРАТ ПО РАБОТАМ, ВЫПОЛНЯЕМЫМ СОТРУДНИКАМИ ОТДЕЛА УПРАВЛЯЮЩЕЙ ДОКУМЕНТАЦИИ НА ПРЕДПРИЯТИИ

В данной главе проводится классификация данных по типам работ и применяются методы языка Python для их агрегации. Основным пкаетом, использованном для реализации задач, является Pandas [26] как высокоуровненвая библеотека для анализа данных.

2.1 Классификация временных затрат по работам, выполняемым сотрудниками отдела управляющей документации на предприятии

Для того, чтобы определить классификацию временных затрат, необходимо сначала рассмотреть изначальные, «сырые» данные. Выгрузка отчёта из мониторинговой системы, где ведутся все заявки, сделана в октябре 2018 года. Изначально выгрузка данных представлена в таблице Excel, пример которой можно найти в Приложении 1 и которую прежде всего нужно подготовить для проведения анализа. В исходной таблице представлено достаточно много колонок с метаданными по каждой заявке, однако из исходной таблицы для решения поставленных задач интересны только следующие параметры:

краткое описание изменений (Summary)

дата последнего изменения (Last Modified Date)

дата закрытия задачи (Submit Date)

имя технического писателя (Last Name)

тип документа (Doc type)

сервис, для которого разрабатывается документ (Service)

статус, в котором находится документ (Status)

“Имя технического писателя” представляет собой одну или две буквы инициалов технических писателей, выполняющих работу по документации в компании.

“Описание изменений” может принимать всего три основных значения в зависимости от цели задачи по документации:

New, когда поставлена задача на разработку нового документа;

Review, когда поставлена задача на проведение значительных изменений в существующем документе, требующих определённого уровня согласования;

Minor changes, когда поставлена задача на внесение в документ незначительных правок и не требующая многоуровневого согласования.

В “типе документов” значения являются аббревиатурами названий типов документов, по которым поставлена задача. В колонке “Service” представлены аббревиатуры сервисов, для которых, разрабатывается документ. В колонке “Categorization” представлены две основные категории, к которой относится сервис: Technical Service и Business Service.

Для того чтобы подготовить данные для анализа, необходимо привести их к удобной структуре. Прежде всего, при распределении нагрузки имеет значение тип изменений (Summary), которые необходимо сделать. На выполнение каждого типа задач (New, Review, Minor changes) уходит разное количество времени.

Поскольку для решения поставленных задач был выбран язык Python, необходимо структурировать данные в удобную для работы структуру DataFrame, однако, сначала необходимо провести классификацию по типам работ над документами.

Для этого обратимся к другой структуре данных - dictionary [27]. Данный тип записи данных подразумевает запись неупорядоченной коллекции любого типа данных (объектов), к которым можно обратиться по уникальному ключу. То есть, каждому объекту может соответствовать только один ключ. При этом, однако, каждому ключу может соответствовать объект, который является, например, таким же словарём данных, где каждый ключ словаря соответствует какому-то другому объекту нижнего уровня. Таким образом образуется некая древовидная система в представлении данных, не ограниченная по размерам, однако, соблюдающая единственное правило - уникальность ключей во всем дереве.

В записи для структуры Python это схема представляется собой словарь (иначе, массив), где ключами являются даты Submit date, а значениями словари изменений Summary. В словарях изменений Summary ключами являются значения типов работ над документами (Review, New, Minor changes), а значениями являются словари типов документов, в которых свою очередь значениями являются списки сервисов, для которых поставлена задача по типу документа.

Структура данных в записи будет иметь следующий вид: {Submit date: {Summary: {Doc type: [Service, Last Name]}}}. Сумма количества документов рассчитывается по Doc type, что даёт количество заявок по типам изменений для определённого дня. То есть, например, в день 10.30.2018 было закрыто a заявок Review, b заявок Minor changes и c заявок New. Для примера приведена структура данных для одной даты на рисунке 2.1.1.

Рсунок 2.1.1 Пример структуры данных dictionary

Данная структура позволила провести классификацию всех заявок по типам работ с документами для каждой даты, то есть классифицировать временной ряд. Затем структура средствами Python переводится в более привычный и удобный для работы вид представления - массив данный (DataFrame) [28]. Подробнее преобразования можно найти в коде, представленном в Приложении 2.

Структура DataFrame является определённой двумерной структурой данных, используемой только в паке те (классе) Pandas. Эта запись данных по смыслу напоминает обычный двумерный массив, с возможностью задания названий колонкам и строкам - индексированием. Однако, основное преимущество данного способа записи данных заключается в возможности проведения любых арифметических действий сразу над несколькими или всеми строками, или столбцами.

2.2 Анализ имеющихся показателей временных затрат, построение модели и прогнозирование

Прежде чем приступать к анализу имеющегося временного ряда необходимо прежде проанализировать поведение самих «сырых» данных. Так как данные могут содержать пустые значения или выбросы, то есть наблюдения, которые сильно отличаются от остальных и которые можно отнести к случайным «сбоям», от них нужно заранее избавиться, то есть «очистить» данные. Для этого можно начать с построения графика временных рядов для трёх типов работ. Временные ряды из «сырых» данных представлены на рисунке 2.2.1.

Рисунок 2.2.1 Графическое представление классифицированных исходных данных.

Как легко можно заметить, данные по Minor changes работам до 2017 года находятся на 0. Это объясняется тем, что данный вид работ выделили для классификации позднее остальных двух. Поэтому имеет смысл работать с данными для этого типа только начиная с 2017 года.

Что же касается Review и New типов работ, можно заметить, что они в целом повторяют изменения друг друга, New всегда меньше, чем Review, но основные экстремумы приходятся примерно на одни и те же даты. Это может отражать наличие корреляции, на которую обязательно необходимо проверить данные при анализе. Помимо этого, может быть выявлена сезонность.

Прежде, чем перейти к анализу динамики ВР, необходимо сгладить данные. Используя способ скользящего среднего (rolling.mean()), избавляемся от выбросов (outliers) в наблюдениях [29].

Для анализа динамики данных используется анализ тренда и сезонной компоненты, строятся графики декомпозиции для каждого ВР по трём типам работ. В ходе анализа было выявлено, что тренд и годовая сезонность (зависимость показателя от месяца или сезона года) присутствуют во всех ВР. Построенные графики по сглаженным данным представлены в Приложении 3. Это говорит о том, что сгладить данные полностью и привести к их нормальному распределению не удалось. При этом, очевидно, исходя из условия присутствия сезонности, необходимо помнить, что построенная модель ARIMA будет являться мультипликационной ARIMA - SARIMA (sp, sd, sq), где s - параметр сезонности, учитываемый при выборе параметров p, d и q.

Непосредственно для построения модели прежде всего необходимо выбрать параметры p, d и q. Для этого подставляем сглаженные временные ряды в функцию подбора параметров, где параметры могут принимать значения от 0 до 2. Выбор статистической модели делается на основе максимального правдоподобия, а поэтому необходимо расчитать критерий Акаике. Наименьшее значение критерия соответствует наименьшим потерям, то есть модели с наибольшим правдоподобием.

Получаем, что для New наиболее точной будет модель с параметрами {0,1,1}{1,1,0,12}, для Review - {1,1,0}{1,1,0,12} и для Minor changes -{0,1,1}{1,1,0,12}, где в первой скобке параметры модели ARIMA, а во второй SARIMA (мультипликационной, с учётом годовой сезонности s=12).

Полученные модели ARIMA и SARIMA для типа работ New представлены в таблице 2.2.1.

Таблица 2.2.1 Модели для New

==========================================================================

coef std err z P>|z| [0.025 0.975]

--------------------------------------------------------------------------

ma.L1 1.0000 1.07e+04 9.34e-05 1.000 -2.1e+04 2.1e+04

ar.S.L12 -0.6274 0.185 -3.400 0.001 -0.989 -0.266

sigma2 1.4853 1.59e+04 9.34e-05 1.000 -3.12e+04 3.12e+04

==========================================================================

Из полученных значений для моделей, можно сделать вывод о том, что обе модели значимы, однако, в данном случае MA (модель moving avarage), значимая компонента модели ARIMA, будет более точной.

Полученные модели ARIMA и SARIMA для типа работ Review представлены в таблице 2.2.2.

Таблица 2.2.2. Модели для Review

==========================================================================

coef std err z P>|z| [0.025 0.975]

--------------------------------------------------------------------------

ar.L1 -0.0341 1.653 -0.021 0.984 -3.274 3.206

ar.S.L12 -0.6947 0.952 -0.730 0.465 -2.560 1.171

sigma2 7.7979 5.417 1.440 0.150 -2.819 18.415

==========================================================================

Из полученных значений для моделей по типу работ Review, можно сделать вывод о том, что обе модели значимы.

Полученные модели ARIMA и SARIMA для типа работ Minor changes представлены в таблице 2.2.3.

Таблица 2.2.3. Модели для Minor changes

==========================================================================

coef std err z P>|z| [0.025 0.975]

--------------------------------------------------------------------------

ar.L1 0.0009 1.390 0.001 0.999 -2.724 2.726

ar.S.L12 -1.2020 8.196 -0.147 0.883 -17.267 14.863

sigma2 12.1778 7.273 1.674 0.094 -2.076 26.432

Из полученных значений для моделей по типу работ Minor changes, можно сделать вывод о том, что, как и для Review, обе модели значимы.

Однако, приведённых показателей недостаточно, чтобы судить о достаточной степени точности модели. Для проверки моделей на достоверность необходимо обратиться к анализу остатков. Для этого необходимо обратить внимания на среднеквадратичные отклонения трёх ВР, построить коррелограммы и функции распределения, для сравнения со средним. Не рисунке 2.2.2. приведены графики анализа остатков для модели общей нагрузки, построенной на основании данных для всех трёх типов работ. Графики для всех типов работ представлены в Приложении 4.

Рисунок. 2.2.2 Графический анализа остатков для модели общей нагрузки

Исходя из подобных полученных графиков для каждой модели по типам работ можно сделать вывод о том, что модели не идеальны, что заметно по неравномерным колебаниям остатков на левых верхних графиках и по небольшим отклонениям от нормального распределения на гистограммах (правом верхнем). Однако, несмотря на это, все модели имеют достаточный уровень прогнозируемой способности, а показатели анализа остатков входят в допустимую норму. Кроме того, при наложении смоделированных временных рядов на реальные показатели заметно совсем не большое отклонение, что также демонстрирует пригодность полученных моделей для прогнозирования. Графики сравнения представлены в Приложении 5.

Итак, после построения моделей и проверки их на достоверность можно переходить к прогнозу. На графиках 2.2.3. - 2.2.5. представлены графики для каждого типа работ.

Рисунок 2.2.3 Прогноз для работ типа New

Рисунок 2.2.3 Прогноз для работ типа Review

Рисунок. 2.2.3 Прогноз для работ типа Minor changes

В числовом виде полученные прогнозные данные по количеству документов каждого типа на три будущих месяца можно представить в виде таблицы 2.2.4.

Таблица 2.2.4 Прогноз нагрузки для трёх типов работ на 3 месяца.

Дата	Всего	New	Review	Minor changes
2018-11-01	47.623534	3.550521	21.388538	20.000243
2018-12-01	48.956868	4.968765	21.642034	19.798273
2019-01-01	44.290201	3.596131	20.263099	19.730950

По данным прогноза можно сделать вывод о том, что по двум из трёх типов работ, New и Review, ожидались снижения, а по Minor changes - стабилизация.

Построение модели систем массового обслуживания для оценки потоков выполняемых работ сотрудников отдела управляющей документации на предприятии

Полученные прогнозные данные по количеству документов на три месяца можно теперь представить как условия для задачи СМО. Имея для каждого типа работ спрогнозированный входящий поток, то есть количество предполагаемых заявок, можно описать три входящих потока, то есть по отдельности решить задачи СМО для трёх типов работ. В данном условии количество каналов - сотрудников, обрабатывающих заявки по документации, - неизвестно. Найдя количество сотрудников, необходимое для обработки 90% всех заявок для каждого из типа работ, можно рассчитать общее число сотрудников для всех заявок.

Для начала нужно описать имеющуюся систему СМО. Спрогнозированные объёмы работ по заявкам создают входящий поток, который обрабатывается каналами. Не обработанные заявки возвращаются в очередь. Будем считать, что на вход каналы берут заявки по принципу FCFS. Схема данной СМО представлена на рисунке 2.3.1.