Технологии больших данных: анализ и выбор решения для реализации проекта

Комплекс продуктов Exalytics X4-4 предназначен для применения возможностей формирования отчетов, анализа данных. Он поддерживает новые версии продуктов для бизнес-анализа и управления эффективностью, предлагаемых компанией Oracle, обеспечивая быстрое получение экономического эффекта.

1.2.2 Аппаратно-программный комплекс SAP HANA

SAP HANA - это гибкий многоцелевой и независимый от источника данных программный комплекс на базе технологии «in-memory», который объединяет компоненты программного обеспечения SAP, оптимизированные для аппаратных средств. Этот комплекс включает в себя набор интегрированных компонентов программного обеспечения SAP, базу данных HANA, приложения для управления данными и жизненным циклом, поддержку нескольких интерфейсов на базе отраслевых стандартов. Дополнительно, в него сходит также SAP HANA Studio - удобный в использовании инструмент для администрирования и моделирования. В соответствии с моделью поставки программного комплекса SAP, осуществляется предварительная установка операционной системы и программного обеспечения SAP и возможно использование определенного опыта для конфигурации программного обеспечения SAP HANA для оптимизации производительности. Благодаря сочетанию технологий OLAP и OTLP в базе данных HANA создается унифицированный ракурс данных, полученных из систем обработки транзакций, систем анализа и принятия решений [15]. Аналитические и оперативные приложения реального времени, в том числе и планирование, могут выполняться совместно с другими операциями.

Традиционные системы управления базами данных предназначены для оптимизации производительности аппаратных средств с ограниченной оперативной памятью. Главным узким местом для них являются запись на диск и чтение с диска. При реализации комплекса большое внимание уделялось оптимизации доступа к диску, в частности путем минимизации числа страниц диска, которые требуется считать в оперативную память во время обработки. База данных SAP HANA построена на базе идеи, что требуемый объем памяти (теоретический предел объема памяти для 64-битных систем составляет примерно 18 миллиардов гигабайт), а чтение с жесткого диска и запись на него не являются ограничениями. Вместо оптимизации доступа к жесткому диску для чтения и записи база данных HANA оптимизирует обмен данными между кэш-памятью процессора и оперативной памятью. SAP HANA представляет собой распределенную систему управления данными с массовым параллелизмом, вся работа которой осуществляется в оперативной памяти, дополнительно реализованы функции хранения данных по строкам и по столбцам и поддержка многослойной архитектуры

SAP HANA служит платформой для разработки будущих аналитических и оперативных приложений, использующих технологию «in-memory». Такая база данных может повысить производительность существующих SAP-приложений. К примеру, приложения, использующие Open SQL, могут работать с SAP HANA без внесения каких-либо изменений. Новые приложения, разработанные специально для SAP HANA и работающие на этой базе, имеют высокую производительность бизнес-процесса и аналитических сценариев. Принципы разработки приложений, оптимизированных для параллельной обработки по технологии «in-memory», позволяют использовать преимущества, которые предоставляются новой логикой управления корпоративными данными и разработкой приложений, чтобы в полной мере использовать результаты прогресса в аппаратных технологиях [16]. База данных HANA управляет информацией в рамках многоядерной архитектуры, распределяя данные по всем ядрам с помощью функций горизонтального и вертикального масштабирования с целью обеспечения максимально полного распределения оперативной памяти.

В рамках сценария горизонтального распределения база данных SAP HANA осуществляет масштабирование, не ограничиваясь рамками одного сервера, позволяя объединять несколько серверов в один кластер. Большие таблицы можно распределить по нескольким серверам с помощью алгоритмов кругового обслуживания, хеширования, секционирования по диапазонам (как по отдельности, так и в сочетаниях). SAP HANA содержит функции для выполнения запросов и обеспечения безопасности транзакций, распределенных по нескольким серверам.

Одной из основных проблем и причин низкой производительности традиционных реляционных базы данных является блокировка данных во время обновлений. SAP HANA избегает этой проблемы и обеспечивает высокий уровень параллельности благодаря использованию только добавляемых записей данных (дельта данных). Вместо того чтобы создавать новые записи в таблицах, дельты вставляются как совершенно новые значения в существующие записи, хранящиеся в столбцах. Используя колоночные хранилища данных, база данных HANA может обеспечить высокую степень сжатия, недостижимую для традиционных баз данных. Анализ систем клиентов компании SAP показал, что только 10% атрибутов в одной финансовой таблице использовались в выражениях SQL, что позволило уменьшить фактический объем данных, требующих доступа, с 35 гигабайтами в традиционной реляционной системе управления базами данных до 800 мегабайтами в колоночном хранилище (более 2% от объема при традиционном хранении). Как показывает этот пример, большая степень сжатия достигается для разреженных данных, чем для компактных данных.

Консоль администрирования программы SAP HANA Studio предоставляет единую среду поддержки для мониторинга системы, резервного копирования и восстановления, а также регистрации пользователей [17]. В случае сбоев работы центра обработки данных по чрезвычайным ситуациям: вследствие пожара, нарушения энергоснабжения, землетрясения и т. п., а также отказов оборудования, например отказа узла, платформа HANA поддерживает принцип «горячего резервирования» на базе синхронного копирования с помощью резервного центра обработки данных, включая резервные базы данных. Это является дополнением концепции «холодного резервирования», которая использует резервную систему в одном ландшафте SAP HANA и в которой обход отказа инициируется автоматически.

SAP HANA представляет собой базу данных, совместимую с концепцией ACID, которая поддерживает атомарность, непротиворечивость, изоляцию и целостность транзакций. В дополнение к функциям восстановления для оперативного анализа данных (OLAP) база HANA предоставляет функции восстановления транзакций для оперативной обработки транзакций (OLTP) с помощью консоли администрирования программы SAP HANA Studio. В настоящее время реализована поддержка процессов: возврат к состоянию на момент последнего резервного копирования данных; возврат к состоянию на момент последнего и предыдущего резервного копирования данных; возврат к последнему состоянию до сбоя и восстановление состояния на определенный момент времени.

Регистрация пользователей поддерживается с помощью функций аутентификации, безопасности на базе ролей, аналитической авторизации с помощью аналитических привилегий, что обеспечивает безопасность аналитических объектов на базе набора значений атрибутов. Программный комплекс SAP HANA можно включить в ландшафт, чтобы ускорить оперативную отчетность и организацию хранилищ данных, не разрушая существующий ландшафт информационных систем. Благодаря использованию подхода на базе параллелизации, база данных справляется с современными вызовами, связанными с ростом объемов данных, хранением резервных данных, скоростью вычислений, временем ожидания информации и дополнительной агрегацией данных на витринах данных. Платформа HANA поддерживает три типа витрин данных:

оперативные витрины данных для оперативной отчетности в реальном времени;

гибкие витрины данных для направлений бизнеса, в которые пользователи могут добавлять свои данные и модели данных;

витрины данных с архитектурой на уровне хранилища корпоративных данных, поддерживающие данные из различных источников.

1.2.3 Решения компании IBM

Технологии анализа больших данных являются прекрасным дополнением к средам хранения больших данных. Множество применений включает в себя, например, анализ web-ресурсов с формированием отчетов о ситуациях до отслеживания и прогнозирования поведенческих закономерностей с целью автоматизации выявления угроз безопасности и политик противодействия таким ситуациям. Решения компании IBM для бизнес-анализа, совместимые с множеством платформ, позволяют получать ценные знания в различных по сложности распределенных вычислительных средах. Эти решения содержат мощные инструменты, помогающие владельцам информационных сред и системным администраторам успешно использовать технологи больших данных.

Решения IBM для бизнес-анализа снабжают системы больших данных практичными и эффективными средствами извлечения знаний из структурированных и неструктурированных данных. Кроме того, они приносят компаниям экономический эффект, позволяя анализировать и использовать информацию из множества различных источников для получения новых знаний. Результатом такого анализа являются продуктивные, стимулирующие, вдохновляющие и впечатляющие знания, которые можно использовать для совершенствования процессов принятия решений и понимания возможностей повышения эффективности.

IBM предоставляет возможности поиска по огромным объемам неструктурированной и структурированной информации, называемой большими данными, и извлечения из них ценных наборов данных, в реальном времени. Для нахождения информации по какой-либо теме (например, при сопоставлении реляционных баз данных, поиске новостных статей по научной теме, исследовании научной компетенции) производится соотношение различных наборов множеством способов. Ценность решений IBM для анализа больших данных заключается в том, что позволяют выполнять качественное и количественное соотнесение набора переменных с результатами прогноза для какого-либо сценария на основе моделей [18]. Например, человек в ходе анализа возможных результатов в первую очередь исключает несвязные последовательности событий. Однако технологии IBM для бизнес-анализа больших данных могут выполнять масштабное моделирование, начиная с желаемого результата и находя требуемую последовательность событий.

При проведении причинно-следственного анализа пользователь может ввести в компьютер последовательность событий для определения итогового результата, однако этот результат может отличаться от желаемого. В конечном счете, наиболее эффективным подходом для пользователя является использование желаемого результата в качестве отправной точки и применение технологий анализа больших данных для определения требуемой последовательности событий.

У компании IBM имеются технологии анализа и прогнозирования для изучения одной из ключевых областей, оказывающих влияние на финансовые результаты организаций, -- финансового планирования и управления эффективностью. В идеале система, способная извлекать закономерности из многих петабайтов (10¹⁵) информации в средах больших данных.

Платформа IBM Big Data состоит из четырех основных компонентов:

IBM InfoSphere BigInsights - платформа, основанная на программном обеспечении с открытым кодом Apache Hadoop, для хранения и обработки полу-структурированной и неструктурированной информации [19];

IBM InfoSphere Streams - платформа для обработки потоковых данных;

IBM Pure Data (Netezza) - программно-аппаратный комплекс, предназначенный для быстрого и глубокого анализа больших объемов структурированных данных;

IBM Watson Explorer - инструментальное средство для визуализации, позволяющее осуществлять поиск среди разнородной информации.

Решения IBM для анализа больших данных с помощью высокоскоростных средств автоматизации обеспечивают потенциально неограниченные возможности для роста производительность, агрегируют и компилируют широкий спектр информационных отчетов для конечных бизнес-пользователей. Преимущество решений IBM заключается в том, что они позволяют дополнить базовые возможности организации в области бизнес-анализа финансовыми процессами на основе больших данных. Эти решения в реальном времени формируют динамичные прогнозы для управления финансами, планированием и эффективностью с использованием моделей, определяющих отклонения, альтернативы и сценарии.

Важными характеристиками решений IBM являются эффективность, экономичность развертывания и использования, что позволяет аналитическим решениям IBM поддерживать наиболее развитые (финансовые услуги и розничная торговля) секторы бизнеса в реализации инициатив по использованию больших данных. Например, отрасль финансовых услуг предоставляет петабайты данных на чрезвычайно высокой скорости, а работающие в ней компьютеры выполняют квадриллионы (10¹⁵) операций с плавающей запятой каждую секунду. Подобные отрасли готовы к устойчивому росту, а аналитические решения IBM готовы масштабироваться до объемов больших данных, чтобы предоставлять надежную, значимую информацию, позволяющую реализовать новые возможности развития бизнеса.

Понимание закономерностей в данных находит применение в различных типах анализа:

анализ рынка позволяет прогнозировать развитие рыночных сегментов, а также определять возможности для расширения бизнеса и освоения вертикальных рынков;

анализ продуктов включает в себя принятие решений на основе фактов, помогает определять и развивать линейки продуктов, повышать уровень осведомленности о торговой марке и разрабатывать сервисные предложения;

анализ клиентов представляет собой применение алгоритмов к поведению клиентов и позволяет определять целевые группы и совершенствовать управление взаимоотношениями с клиентами;

анализ эффективности поддерживает совершенствование операций и внедрение инноваций на основе ключевых показателей эффективности, помогает выявлять возможности для повышения продуктивности и прибыльности.

анализ информации -- в организациях, ориентированных на данные (таких как новостные компании) обеспечивает соответствие ИТ-решений целям бизнеса и улучшенное прогнозирование для совершенствования операций во всех аспектах бизнеса.

Значительное преимущество аналитических решений IBM заключается в возможности выполнять вычисления в оперативной памяти в дополнение к возможностям визуального изучения данных и предиктивного анализа [20]. Объединяя передовые технологии, компании-заказчики могут повышать прибыль, продуктивность и осваивать новые деловые возможности. В сочетании с такими же экономичными вычислениями в оперативной памяти технологии IBM для анализа больших данных позволяют построить решение для анализа больших данных с достаточно конкурентоспособной ценой. Таким образом, аналитические приложения IBM позволяют построить единую аналитическую платформу управления большими данными в распределенных вычислительных средах.

1.3 Обобщенная характеристика технологий Big Data

Для осуществления первой задачи данной работы был проведен проведение подробный анализ семи наиболее распространённых технологий работы с Большими данными, выявлены их положительные и отрицательные стороны, сферы применения и особенности проектирования систем на специальных платформах.

Касательно технологии MapReduce необходимо отметить, что системы, разработанные на данной платформе, отличаются высокими характеристиками отказоустойчивости и масштабируемости функциональности. Несомненно, изначально развитие данной технологии было направлено на обработку текстовой разрозненной информации, но уже существуют разработки, которые являются прецедентами обработки больших объемов данных заведомо структурированной информации.

Стоит отметить гибкость при хранении всех видов данных в системах на платформе Hadoop, также они характеризуются надежностью и кроссплатформенностью. Возможность масштабирования функциональности такая же, как и у MapReduce. В большинстве уже имеющих проектах на платформе Hadoop системы работают с большими объемами технической информации (технический протоколы систем, истории поисковых запросов, контент соц.сетей), предоставляя новые функции анализа данных. С реализации на Hadoop имеются единичные проекты, анализирующие транзакционные данные (системы предприятий).

Для многих систем, имеющих источники данных различного типа, не всегда подходит реляционная модель данных. Технология NoSQL позволяет разработать различные модели данных и их модификации, которые будут отражать специфику разрабатываемого проекта (документа, наборы полей, графы, связи «ключ-значение»). Подобная реализация базы данных подходит для задач построения сложных запросов, однако многие системы, уже разработанные на данной технологии, являются противоречивыми решениями, не смотря на свою простоту разработки и администрирование.

Четвертая из исследованных технологий - язык программирования R. Задачи, решаемые посредством данного языка, нашли применения в сфере разведочного анализа, высокоуровневой графики и статистики. Не смотря на универсальность языка, решение обычных алгоритмических задач часто усложняется в подобной реализации. Проекты, разработанные на данной технологии, сначала были реализованы как отдельные пакеты по статистике, после чего были интегрированы в целевые системы. Однако не во всех проектах возможна интеграция с функцией публикации отчетов и доступа к графике среды R. При этом важно отметить, что среда языка R не представляет собой базу данных.

Относительно аппаратно-программных решений, можно выделить три наиболее известных поставщиков: SAP, Oracle и IBM. Компания Oracle имеет более 80ти приложений с функциональностью по аналитическим задачам и управлению эффективностью предприятия. Инструментальные средства уже содержат в себе инструментальные панели и бизнес-сценарии, которые необходимо донастроить под конкретный проект. Решения Oracle Exalytics в большей мере применяются в гетерогенных информационных средах, которые могут быть размещены в различных базах данных, а также разработаны другими поставщиками.

Продукт компании SAP - платформа HANA предназначена для разработки аналитических систем, построенных на

SAP HANA служит платформой для разработки будущих аналитических и оперативных приложений, использующих технологию «in-memory».

Одной из основных проблем и причин низкой производительности традиционных реляционных базы данных является блокировка данных во время обновлений. SAP HANA избегает этой проблемы и обеспечивает высокий уровень параллельности благодаря использованию только добавляемых записей данных (дельта данных).

Программный комплекс SAP HANA можно включить в ландшафт, чтобы ускорить оперативную отчетность и организацию хранилищ данных, не разрушая существующий ландшафт информационных систем.

оперативные витрины данных для оперативной отчетности в реальном времени;

витрины данных с архитектурой на уровне хранилища корпоративных данных, поддерживающие данные из различных источников

IBM предоставляет возможности поиска по огромным объемам неструктурированной и структурированной информации, называемой большими данными, и извлечения из них ценных наборов данных, в реальном времени. Для нахождения информации по какой-либо теме

У компании IBM имеются технологии анализа и прогнозирования для изучения одной из ключевых областей, оказывающих влияние на финансовые результаты организаций, -- финансового планирования и управления эффективностью. В идеале система, способная извлекать

Решения IBM для анализа больших данных с помощью высокоскоростных средств автоматизации обеспечивают потенциально неограниченные возможности для роста производительность, агрегируют и компилируют широкий спектр информационных отчетов для конечных бизнес-пользователей. Преимущество решений IBM заключается в том, что

Важными характеристиками решений IBM являются эффективность, экономичность развертывания и использования, что позволяет аналитическим решениям IBM поддерживать наиболее развитые (финансовые услуги и розничная торговля) секторы бизнеса в реализации

Значительное преимущество аналитических решений IBM заключается в возможности выполнять вычисления в оперативной памяти в дополнение к возможностям визуального изучения данных и предиктивного анализа [20]. Объединяя передовые технологии, компании-заказчики могут повышать прибыль, продуктивность и осваивать новые деловые возможности. В



2. Анализ среды внедрения проекта «Бюджетное планирование и отчетность»

2.1 Описание бизнес-процессов бюджетирования в группе компаний нефтегазового сектора

Одна из исследовательских задач данной работы состоит в том, чтобы подробно изучить предметную область реализации проекта - группу компаний нефтяного сектора - и определить бизнес-процессы, которые нуждаются в автоматизации. Проект представляет собой внедрение единой системы управлением бюджета на одном из дочерних обществ организации, а после выполнение тиражирования системы на все остальные дочерние компании.

Для реализации и поддержки финансовой модели бюджетирования требуется определение бюджетного регламента, который будет четко описывать организационную схему всего процесса финансового планирования и сдачи отчетности в группе компаний нефтегазового комплекса. Следовательно, целесообразно определить форматы описания бюджетной системы и форм отчетности.

Бюджетная система группы предприятий - совокупность процессов, функций и бюджетных регламентов, определяющих последовательность, закономерности, сроки и ответственных (конкретных физических лиц или отделов, департаментов) за расчеты бюджетов, формирование отчетов, анализ исполнения бюджетов и принятие решений.

Процессы и функции бюджетирования - обособленные виды деятельности, связанные с планированием, учетом, анализом и контролем финансово-экономических показателей деятельности всей группы организаций. В компоненты бюджетирования входят два раздела: компании-объекты, по которым ведется бюджетирование, а также совокупность планов и отчетов системы бюджетирования.

Набор объектов бюджетирования, который принят в группе компаний, месте внедрения, составляет более 80 дочерних организаций и зависит от нескольких факторов, в том числе и от информации, используемой руководителями компании для принятия решений. При принятии решения о распределении финансовых ресурсов между направлениями деятельности головной организации холдинга, необходимо знать оценку финансово-экономической эффективности каждого направления деятельности, поэтому в число объектов бюджетирования должны входить бизнес-направления [21]. Для эффективного управления руководство группы компаний ведет планирование и контроль в разрезе центров финансового учета.

В объекты бюджетирования крупного нефтегазового холдинга входят:

транспортировка нефти и нефтепродуктов по трубопроводной системе (территория РФ и за её пределами);

диагностика, профилактика, аварийно-восстановительные работы;

обеспечение охраны окружающей среды в районах, где проходит трубопроводная система;

структурные звенья компании - дочерние организации;

центры финансового учета (ответственные лица, отделы, департаменты);

проекты компании (инвестиционные проект, научно-исследовательские работы).

В перечислении выше указан возможный набор объектов бюджетирования. Конкретный набор объектов бюджетирования определяется под каждый конкретный проект, исходя из поставленных целей в соответствии с принципом целесообразности усложнения системы бюджетирования [22]. Планируется на начальной стадии внедрения системы бюджетирования ограничиться только финансовыми бюджетами. Внедрение системы финансового планирования и контроля сначала будет произведено в одной из дочерних организаций, минимальное количество пользователей в которой - 160 человек. В дальнейшем архитектура бюджетной системы будет усложнена и проект тиражирован на три следующих дочерних организации - вторая очередь внедрения - число функциональных пользователей составит 970. По завершению всех разработок проект предполагается внедрить во всех дочерних обществах группы компаний - ориентировочно к подключению 6600 пользователей.

Требуемые формы и отчеты бюджетной системы: налоги (18 форм), мастер-бюджеты (8 отчетов), ГПО (12 форм), финансы (8 форм), инвестиции (7 форм), функциональные бюджеты (14 отчетов), эксплуатация и обеспечение (8 форм), персонал (9 форм), энергия (2 формы). Обобщенная схема бизнес-процесса по бюджетированию представлена в нотации UML на рисунке 1.

Рисунок 1 - Бюджет организации

Бюджет организации представляет собой финансовый документ, составленный в систематизированной форме на заданном промежутке времени из плановых или фактических значений статей бюджета.

В соответствии с представленными объектами бюджетирования на предприятии планируются к составлению следующие бюджеты:

операционные бюджеты - бюджеты бизнес-направлений включают в себя: бюджеты подразделений и центров финансового учета (ЦФО), а так же бюджеты проектов;

финансовые бюджеты включают: бюджет доходов и расходов (БДР), бюджет движения денежных средств (БДДС), бюджет по балансовому листу (Бюджет БЛ - прогнозный баланс).

Бюджеты бизнес-направлений (БП) составляются по всем направлениям деятельности и содержат все необходимые бюджетные статьи и сводную информацию для оценки их финансово-экономической эффективности, принятия решений о дальнейшем их развитии и финансировании[23].

Бюджеты подразделений составляются по каждому департаменту головной организации в соответствии с действующей в группе компаний организационной структурой. Бюджеты центров финансовой ответственности составляются по каждому из дочерних организаций в соответствии с действующей финансовой структурой. Бюджеты бизнес-процессов составляются по каждому выделенному бизнес-процессу в группе компаний, но для каждого центра финансовой ответственности характерный набор бюджетов. Например, часть дочерних организаций занимается только транспортировкой нефти, другая часть - только транспортировкой нефтепродуктов. Ряд дочерних компаний выполняет сервисные функции (деление по зонам обслуживания).

Бюджет продаж включает в себя информацию о планируемых объемах реализации в натуральных и стоимостных показателях. Бюджет коммерческих расходов содержит информацию о планируемых расходах, связанных с транспортировкой нефти и нефтепродуктов или иных услуг в объемах, заложенных в бюджете продаж [24].

Бюджеты проектов составляются по каждому инвестиционному проекту любой из организаций всей группы. Это могут быть проекты, напрямую связанные с основной деятельностью компании и поэтому проводимыми на регулярной основе. Все проекты, в том числе и научно-исследовательские, являются основным объектом планирования и контроля, поэтому необходимо будет вести бюджетирование максимально детализировано.

Финансовые бюджеты - это консолидированные бюджеты компании, отчеты, «собирающие» данные из других форм. Финансовые бюджеты строятся по компании в целом или по конкретным дочерним обществам, т.е. по центрам финансовой ответственности, по которым можно рассчитать окончательный результат. Финансовые бюджеты имеют единые форматы для всех дочерних организаций.

Относительно форматов операционных бюджетов, то для них не существует утвержденных стандартных форматов. Каждая компания выбирает удобный для себя формат операционных бюджетов. Методология системы управления бюджетом для группы компаний - функционального заказчика - была разработана аудиторской компанией KPMG в 2015 году.

Для всех бюджетных форм и отчетов необходима реализация вариаций (дополнительных отчетов) - для возможности проведения план-факт анализа. На многих российских предприятиях, в том числе и для исследуемой группы компаний, процесс финансового планирования и контроля организован таким образом, что планированием занимается один отдел в организации - планово-экономический, а отчетную информацию подготавливает другой отдел, как правило, бухгалтерский. Дополнительно плановая и отчетная информация готовится совершенно в разных форматах. Это порождает проблемы консолидации и сверки отчётности.

Отчет по результатам бюджетного анализа - финансовый документ, представляющий в систематизированной форме на заданном интервале времени основные выводы об эффективности исполнения бюджета и предложения по корректировке исходных гипотез и предположений на будущие периоды.

Одним из главных документов является регламент системы бюджетирования. Это комплекс документов, представляющий в систематизированной форме описание функций финансово-экономического планирования, учета, анализа и контроля [25], действующих в исследуемом нефтегазовом холдинге.

Методология реализуемой системе управления бюджетированием затрагивает все отделы и службы компании, не только финансовые службы как обычно бывает принято, т.е. все дочерние общества и отделы внутри них будут задействованы в процессе бюджетирования. Следовательно, для эффективного функционирования системы бюджетирования необходимо иметь высокоразвитые организационные процедуры внутри компании, поддерживаемые соответствующей организационной документацией [26]. Регламенты бюджетирования разделяют на временные и организационные документы.

Временной регламент бюджетирования в группе компаний - функциональном заказчике - включает в себя временные регламенты планирования учеты и анализа бюджетов всех дочерних организаций. Организационный регламент бюджетирования включает в себя аналогичные по направлениям организационные регламенты.

Факторы, которые могут повлиять на архитектуру бюджетной системы компании:

организационная структура холдинга;

схема организации финансовых отношений и обязательств внутри организаций;

финансовая модель системы бюджетирования.

Для компаний с проектной организационной структурой, которой является исследуемая группа предприятий, используются прозрачная схема организации бизнес-процессов, поскольку отсутствует массовое поточное производства, планирование бюджетов идет от расчета показателей по отдельным направлениям и проектам, их последующей консолидации и формированием сводной финансовой отчетности.

Проектная архитектура бюджетирования используется в компаниях, подобных государственным, например, организациях, занимающихся оказанием услуг в различных областях деятельности: юридические, туристические, консультационные услуги, строительные компании [26]. По каждому строительному объекту, туристическому проекту, новому нефтепроводу обычно составляется свой план, бюджет, состав работ и т.д.

Следует отметить, что для целей бюджетирования не требуется детальное описание бизнес-процессов, достаточно иметь обобщенную модель, которая позволяет видеть картинку финансовых потоков по функциональным направлениям [27]. Закономерно, от точности моделирования бизнес-процессов зависит качество расчета бюджета по выбранной финансовой модели. Поэтому при выборе методологии бизнес-процессов был сделан упор на следующий принцип: финансовая модель бизнес-процессов не должно быть построена с точностью, превышающей точность финансовой модели бизнес-процесса, с которого начинается расчет финансовой модели бюджетирования.

В данном случае, для исследуемой компании-заказчика, разработанная компанией KPMG методология позволяет детализировать финансовую модель по каждому из имеющихся бизнес-направлений. Следовательно, это приводит к усложнению расчетов, изменению форматов бюджетов, регламента бюджетирования и в конечном итоге ожидается разработка и внедрение большого проекта с корпоративной информационной системой на выходе, которая будет включать в себя все аспекты предложенной методологии и будет способна поддерживать работу нескольких тысяч пользователей.

Детальное изучение предметной области разработки и внедрения проекта является одной из ключевых задач исследования, поскольку позволяет иметь полноценное представление о бизнес-процессе управления бюджетом, который действует в организации, месте внедрения. Разработка корпоративной системы управления бюджетированием сама по себе не является уникальным проектом, однако аспект реализации на платформе Big Data усложняет выбор средств реализации. В связи с этим на примере группы компаний, занимающейся транспортировкой нефти и нефтепродуктов, были исследованы структура бюджета организации и бизнес-процесс управления, который требуется автоматизировать посредством внедрения новой системы, а также подробная информация о специфике система позволяет обозначить критерии и требования к средствам реализации функциональности.

2.2 Критерии и требования к реализации проекта «Бюджетное планирование и отчетность»

Полное наименование разрабатываемой системы - корпоративная информационная система «Бюджетное планирование и отчетность» группы компаний, занимающейся транспортировкой нефти и нефтепродуктов. Назначением системы является обеспечение автоматизации процесса бюджетного управления всех организаций системы (нефтегазового холдинга) с дальнейшей передачей данных в корпоративную информационную систему «Бюджетный пакет» в рамках подсистемы согласования данных финансовых центров ответственности.

Целями проекта являются:

создание единого технологического и методологического решения для обеспечения процесса сбора и обработки данных по срезам данных (факт, план, прогноз) для подготовки консолидированной финансовой и управленческой отчетности, в том числе по бизнес-сегментам, направлениям деятельности и всем дочерним обществам;

создание инструментария для поддержки технических решений процесса мониторинга выполнения бюджетного управления, оценка эффективности по бизнес-сегментам, направлениям и дочерним обществам.

Ожидаемым результатом проекта является повышение эффективности принятия управленческих решений при достижении указанных целей проекта.

Достижение целей проекта должно позволить создать предпосылки для следующих улучшений:

ускорения бизнес-процессов по подготовке управленческой отчетности за счет сокращения времени на ежемесячный сбор данных, сокращения количества итераций проверок данных для обеспечения их качества, сокращения сроков создания ежемесячных управленческих отчетов, сокращения длительности процессов обработки данных, улучшения возможности своевременного реагирования на изменения модели бизнеса, исключение необходимости сверки между управленческой и финансовой отчетностью [28];

повышения качества данных за счет автоматизации процессов трансформации, консолидации, применения единых подходов к пересчету данных по плану, факту и прогнозным данным;

снижения трудоемкости подготовки управленческой информации;

повышения эффективности принятия управленческих решений.

Подготовка и выпуск корпоративной управленческой отчетности в настоящее время осуществляется в корпоративной системе «Бюджетный пакет», содержащей фактические и плановые данные по финансовому и управленческому учету.

Ввиду ограниченности текущего функционала и отсутствия при текущей методологии возможности нивелирования недостатков бизнес-процессов в период декабря 2015 по декабрь 2016 должны быть организованы работы по реализации решения, позволяющего улучшить бюджетное планирование в группе компаний. Реализуемая система должна соответствовать следующим требованиям и поддерживать нижеперечисленные уровни обработки данных:

уровень сбора данных (компонент предназначен для обеспечения сбора данных показателей отчетности при помощи отчетных форм или загрузок текстовых файлов, а также выполнения проверок введенных данных в автоматическом и ручном режиме);

уровень трансформации, консолидации (компонент реализует набор алгоритмов по реклассификации и формированию корректировочных проводок в соответствии с утвержденной методологией с целью построения корпоративной и консолидированной сегментной отчетности [29]);

уровень отчетности (компонент обеспечивает формирование преднастроенных корпоративных и пользовательских форм отчетности);

уровень хранения данных (обеспечивает хранение значений показателей и значений аналитик в непротиворечивом виде).

Схема взаимосвязей между корпоративными информационными системами в исследуемой группе компаний отражена на рисунке 2.

Рисунок 2 - Интеграция проекта БПиО с существующими КИС

Одно из основополагающих требований - интеграция с корпоративной информационной системой «Бюджетный пакет» (КИС БП), реализованной на платформе SAP BW 7.4, SAP BPC 10.0. Требуется передача данных для подсистемы согласований в финансовых центрах ответственности. После загрузки данных в системы «Бюджетное планирование и отчетность», «Бюджетный пакет», «Финансовая хозяйственная деятельность» (ФХД), данные агрегируются и проходят сверку внутригрупповых оборотов в системе «Консолидированный бюджетный пакет», после чего загружаются в конечную систему «Корпоративное хранилище данных».

Рисунок 3- Целевая архитектуры системы

Согласно утвержденной руководством департамента информационных технологий головной организации группы компаний целевой архитектуре система «Бюджетное планирование и отчетность» должна быть реализована на базе платформы программного обеспечения класса BI, на информационном хранилище, основанном на СУБД Oracle. При трехкомпонентной архитектуре: клиент - сервер приложений - сервер хранения. Ландшафт систем - трехсистемный, состоящий из систем разработки, тестирования и продуктивной системы.

Архитектура платформы должна быть достаточно гибкой и допускать модификации, без коренных структурных изменений, развитие конфигурации используемых средств и наращивание функций и ресурсов в соответствии с расширением функций применения [30].

Одно из основополагающих технических требований состоит в том, что все основные модули платформы должны предполагать возможность функционирования как на базе одного сервера, так и на базе группы серверов с возможностью распределения компонентов системы по серверам в соответствии с нагрузкой. Планируется использование терминальной фермы Citrix XenApp для эксптуатации системы функциональными пользователями. Для систем всего ландшафта должны быть предусмотрены две схемы работы терминальных серверов - рисунки 4 и 5.

Рисунок 4 - Сервер Citrix для системы разработки (толстый клиент)

Рисунок 5 - Терминальная ферма Citrix для систем тестирования и продуктивной системы (тонкий клиент)

Для будущего проекта «Бюджетное планирование и отчетность» планируется интеграция с уже внедренной системой «Бюджетный пакет» на уровне консолидации данных. Также предполагаются внутренние операции агрегирования данных и логики проверки корректности расчетов. Работа пользователей будет заключаться в ручном вводе информации в бюджетные формы, а также загрузке данных через плоские файлы. В связи с этим в информационном хранилище системы «Бюджетное планирование и отчетность» необходимо выделить следующие уровни данных:

уровень сбора, хранения, архивации для детальных данных,

агрегация и сверка,

консолидация информации;

Вследствие высокой нагрузки на работу системы по причине большого количества продуктивных пользователей, а также разнообразия форм отчетности и порождаемой ими логики расчетов и взаимосвязей, целесообразно иметь в системе несколько моделей данных, работающих на платформе технологии обработки Big Data, которая будет выбрана в качестве инструментов реализации. Поэтому на всех уровнях хранилища разрабатываемой системы будет необходимо поддерживать работу с двумя моделями данных:

«оперативная» - модель данных, в которой происходит трансформация и консолидация фактических и прогнозных данных текущего года;

«перспективная» - модель данных, в которую вносятся изменения для трансформации и консолидации плановых данных следующих лет.

Требование к проекту относительно хранения даных по временным периодам состоит в необходимости иметь возможность загружать информацию как в форматах по-периодам, так и нарастающим итогом. Для различных наборов показателей модели данных «Бюджетное планирование и отчетность» может быть определен разный формат сбора данных. Данные на этот уровень могут быть введены как непосредственно через формы ввода, так с использованием файлов загрузки типа CSV в формате данных, соответствующем разрабатываемой модели данных (для подобного рода функциональности необходима предварительная операция валидации загружаемых данных).

В системе «Бюджетное планирование и отчетность» уровень сбора, хранения, архивации и отчетности для детальных данных должен обеспечить хранение, проверку, очистку и преобразование данных, хранящихся в форматах по-периодам и нарастающим итогом. Посроение отчетности будет осуществляется средствами выбранного инструментального или аппаратного решения для реализации проекта.

Требование по долгосрочности хренения данных заключается в том, чтобы в разрабатываемой системе на всех уровнях была обеспечена доступная для отчетности архивация оперативных данных с целью поддержания высокой производительности на оперативных срезах данных. Оперативный срез данных - информация за 1 год.

При проведении работ с использованием дополнительных языков программирования (при выборе аппаратного средства реализации), разработки должны осуществляться исходя из требования по минимизации работ программирования с использованием локальных разработок [31], которые:

не модифицируют стандартную функциональность процессов в системе;

используют специальные точки расширения существующей функциональности;

не изменяют стандартные объекты, закрытые поставщиком аппаратного средства к изменению сторонним разработчиком.

Требование по изменениям стандартной функциональности и стандартных объектов аппаратных средств разработки осуществляется только при согласованном решении. Сформированная единая методологическая база по кросс-системному финансовому учету требует меппинга между смежными системами и осуществляется в рамках работ по методологии.

Требования к производительности компонентов системы приведены ниже в таблице 1. Данные требования должны быть обеспечены предоставляемыми в выбранной технологии реализации или аппаратного решения средствами.

Таблица 1 - Требования системы к производительности

Операция	Максимальное время выполнения	Данные в разрезе одного общества/компании в целом
Загрузка данных детального уровня с использованием файла в требуемом формате	3 мин.	Одно общество - один файл
Загрузка значений одной аналитики	1 мин.	-
Обновление данных «простого» отчета	1 мин.	-
Обновление данных «сложного» отчета	3 мин.	-
Запись данных «простого» отчета	30 сек.	-
Запись данных «сложного» сложного	1 мин.	-
Валидация данных	2 мин.	-
Пересчет валют	30 сек.	-
Копирование данных на уровень агрегации	1 мин.	-
Трансформация	5 мин.	Для одного общества
Трансформация (по всему периметру дочерних обществ)	30 мин.	Группа компаний в целом
Копирование данных на уровень консолидации	10 мин.	Группа компаний в целом
Консолидация	5 мин.	Для одного общества
Консолидация (по всему периметру дочерних обществ)	30 мин.	Группа компаний в целом
Гибкий отчет (время отклика, при количестве строк не более 5000, количестве столбцов не более 10)	4 мин.	-
«Простой» отчет	1 мин.	(открытие и автоматическое обновление) - для всех срезов данных
«Сложный» отчет	3 мин.

«Простым» отчетом или формой называется файл, имеющий в своем составе количество листов до трех, включая технические листы, количество OLAP запросов к хранилищу данных до пяти.

«Сложным» отчетом или формой называется файл, имеющий в своем составе количество листов более трех, количество OLAP запросов к хранилищу данных превышающих число пять.

С целью проверки соответствия реализованного функционала по представленным выше требованиям в рамках этапа «Пусконаладочные работы и интеграционное тестирование» выполняется нагрузочное тестирование. По результатам данного тестирования должны быть представлены рекомендации к составу инфраструктуры, с перечнем изменений в количественных характеристиках технического оборудования, вариантам распределения нагрузки, изменению настроек и разработок, которые должны быть проведены по итогам нагрузочного тестирования с целью увеличения производительности компонентов систем «Бюджетное планирование и отчетность». Удовлетворение данных требований должно гарантировать высокую производительность системы с учетом массового многопользовательского режима работы. Уровень конфиденциальности информации, обрабатываемой в системе «Бюджетное планирование и отчетность», реализуемый с помощью выбранной технологии или аппаратного средства, не должен приводить приводит к повышению максимального уровня конфиденциальности информации в разрабатываемой информационной системе.

Максимальная категория конфиденциальности информации, обрабатываемой в рамках автоматизируемых бизнес-процессов - конфиденциальная информация. Внедряемая функциональность должна отвечать требованиям разграничения полномочий пользователей и требованиям безопасности корпоративной системы, для которой определены следующие характеристики:

проект «Бюджетное планирование и отчетность» является системой с одной серверной группировкой;

максимальная категория конфиденциальности информации, обрабатываемой в системе - конфиденциальная информация;

доступ к функционалу и данным многопользовательский, требуется реализация системы разграничения доступа;

необходимо обеспечение защиты от несанкционированного доступа на уровне не ниже установленного требованиями, предъявляемыми к классу защищенности 1Г АС по классификации действующего руководящего документа Гостехкомиссии России «Автоматизированные системы. Защита от несанкционированного доступа к информации. Классификация автоматизированных систем и требования по защите информации» (1992 г.);

Уровень защищённости от несанкционированного доступа информационной системы и средств вычислительной техники не должен меняться в ходе проекта. В рамках проекта для решения должна быть разработана матрица доступа, а также составлен регламент предоставления полномочий, где каждой роли присваиваются права на вызов определённых функций решения применительно к заданным объектам решения. Доступ к системе должен осуществляться только с рабочих станций, входящих в состав сегментов сети группы компаний, аттестованных для обработки информации конфиденциального характера или оборудованных персональными комплексами защиты информации. Передача по сети конфиденциальной информации операторам, осуществляющим взаимодействие с системой (файлы с данными для загрузки и т.п.), должна быть реализована с использованием общего FTP-ресурса либо посредством механизмов обмена файлами, предусмотренных в выбранной технологии или аппаратного средства для реализации проекта.

Дополнительно в проекте «Бюджетное планирование и отчетность» должно быть обеспечено следующее:

целостность, конфиденциальность и доступность данных при их сборе, обработке, хранении и предоставлении;

аутентификация и авторизация пользователей;

контроль доступа к данным и модулям;

протоколирование действий пользователей и администраторов системы, в том числе и на уровне бизнес-логики;

разграничение полномочий пользователей и технических специалистов системы.

Требования по обеспечению следующих процессов сбора и обработки данных для консолидированной финансовой и управленческой отчетности, в том числе:

сбор плановых, прогнозных и фактических показателей;

проверка, преобразование, загрузка, хранение, контроль статусов операций загрузки и проверки данных;

трансформация;

консолидация;

анализ данных;

формирование отчетности.

Общесистемные требования к проекту:

Корпоративная информационная система «Бюджетное планирование и отчетность» должна соответствовать концепции построения целостной архитектуры: единое хранилище для всех видов данных, включая метаданные и настройки, единая технология автоматизации бизнес-процессов.

Система должна предоставлять пользовательские интерфейсы на русском и английском языке, включая все виды отчетности.

Функциональность системы должна поддерживать мультивалютность при формировании отчетности, при внесении данных с использованием ручного ввода, при загрузке файла CSV в формате разработанных моделей данных. В системе должна быть возможность перевода показателей из базовой в любую валюту на уровне отчетов с помощью курсов пересчета, а также для иностранных компаний, входящих в периметр консолидации, должен быть обеспечен пересчет из валюты компании в функциональную валюту - рубль РФ.

Проект «Бюджетное планирование и отчетность» должна сопровождать актуализированная, комплектная документация, обеспечивающая квалифицированную эксплуатацию и возможность развития функциональности системы.

Проект должен обеспечивать совместимость компонентов программного обеспечения решения с существующими и утвержденными в группе компаний серверными приложениями и приложениями рабочих мест пользователей. Требования по совместимости и существующие ограничения, включая технические, должны быть доведены компанией-исполнителем до компании-заказчика как требования к конфигурации рабочих мест и инфраструктуре - необходимо предоставление матрице совместимости серверного приложения/клиентского места (при необходимости требуется приложить сертификаты совместимости).

В связи со сложностью отчетных форм, использующих одновременно данные разных уровней хранилища системы «Бюджетное планирование и отчетность» и в связи с общей сложностью моделей данных необходимо уделить особое внимание обеспечению производительности и поддержанию эргономики системы.

Также в системе должны поддерживаться следующие версии данных:

факт;

план и корректировка - 2 или более версий, включая утвержденный план на будущий календарный год;

прогноз - 4 или более версий (для каждого квартала).

По всем вышеперечисленным требованиям к функциональности и техническим аспектам проекта, можно сделать вывод о многокритериальности выбора, который необходимо осуществить. Подводя итог по данному разделу, все указанные требования в сжатом виде целесообразно представить в единой таблице:



Таблица 2 - Требования к проекту «Бюджетное планирование и отчетность»

Наименование требования	Краткое описание	Значимость (по 10ти бальной шкале)
Уровни обработки данных	- сбор и хранение данных; - трансформация и консолидация; - отчетность.	9
Характеристики архитектуры системы	- гибкость; - модификации без коренных изменений; - возможность наращивания функций и ресурсов.	10
Работа на серверах	- на одном сервере; - на базе серверов с распределением компонентов системы по нагрузке;	8
Количество моделей данных	2 (оперативная и перспективная модели данных)	9
Временной параметр хранения	- по периодам; - нарастающим итогом.	7
Формат ввода данных	- ручной ввод; - загрузка из локальных файлом формата CSV.	9
Долгосрочность хранения	- 10 лет; - оперативный срез данных - 1 год.	9
Производительность	См.таблицу 1	9
Полномочия пользователей	- жесткое разграничение полномочий пользователей	10
Мониторинг процессов бюджетирования	- контроль статусов операций бюджетирования	9
Хранилище данных	Хранение всех видов данных: Операционные, метаданные, настроечные таблицы, проч.	9
Мультивалютность	Пересчет валют в режиме реального времени

Подобные документы

• Проектирование информационной технологии АРМ

  Технико-экономическая характеристика предметной области. Обоснование необходимости и цели использования информационных технологий для решения задачи. Выбор технологии проектирования, разработка АРМ. Расчет показателей экономической эффективности проекта.
  
  дипломная работа [2,8 M], добавлен 11.03.2010
  

• Технологии извлечения знаний из больших баз данных

  Data Mining как процесс поддержки принятия решений, основанный на поиске в данных скрытых закономерностей (шаблонов информации). Его закономерности и этапы реализации, история разработки данной технологии, оценка преимуществ и недостатков, возможности.
  
  эссе [36,8 K], добавлен 17.12.2014
  

• Разработка модуля бизнес-процесса отдела по работе с клиентами и склада на основе конфигурации базовой модели "1С"

  Характеристика деятельности ООО "ЖилРемСтрой", его организационная структура. Разработка проекта автоматизации бизнес-процессов предприятия с помощью программы "1С". Контрольный пример реализации проекта. Расчет экономической эффективности автоматизации.
  
  дипломная работа [3,7 M], добавлен 29.01.2013
  

• Сетевая технология реализации заказа технологического оборудования для проекта Лада-Гранта

  Анализ задачи модернизации и размещения технологического оборудования. Существующая модель предметной области. Выбор методологии разработки сетевой технологии и архитектуры. Выбор языка и среды программирования. Информационное моделирование интерфейса.
  
  курсовая работа [4,3 M], добавлен 22.12.2011
  

• Сетевая технология автоматизации процесса продаж продукции фирмы Rep’S

  Описание деятельности фирмы Rep’S, анализ существующих процессов. Разработка новой технологии продаж продукции. Выбор архитектуры для реализации информационной системы. Выбор программного обеспечения. Оценка эффективности разработанного проекта.
  
  курсовая работа [1,8 M], добавлен 18.12.2011
  

• Бизнес-кейс внедрения программы управления корпоративными данными

  Определение программы управления корпоративными данными, ее цели и предпосылки внедрения. Обеспечение качества данных. Использование аналитических инструментов на базе технологий Big Data и Smart Data. Фреймворк управления корпоративными данными.
  
  курсовая работа [913,0 K], добавлен 24.08.2017
  

• Финансовый анализ эффективности работы предприятия в программе Project Expert

  Особенности составления бизнес-плана нового производства по указанным исходным данным с использованием компьютерных технологий. Методы формирования графика окупаемости проекта. Характеристика полученной отчетности. Анализ эффективности инвестиций проекта.
  
  контрольная работа [2,9 M], добавлен 21.09.2010
  

• Автоматизация коммерческой деятельности ТЦ Гипермаркет

  Разработка проекта по созданию базы данных для автоматизации коммерческой деятельности ТЦ Гипермаркет. Исследование заданной предметной области и выбор наиболее существенных атрибутов. Построение концептуальной инфологической модели предметной области.
  
  курсовая работа [889,4 K], добавлен 04.04.2011
  

• Создание базы данных для организации

  Анализ предметной области создания программы организации, предоставляющей услуги проката DVD и CD дисков. Описание информационных процессов, обоснование необходимости автоматизации. Разработка приложения, среда реализации и пользовательский интерфейс.
  
  курсовая работа [43,6 K], добавлен 23.03.2010
  

• Информационные ресурсы Интернет, относящиеся к области бизнеса и коммерции

  Основы работ с базами данных. Некоторые сведения о типах данных. Интерфейс БД. Текстовые, сетевые, реляционные базы данных. Проектирование баз данных. Анализ предметной области и запросов к БД. Выбор языка манипулирования данными.
  
  курсовая работа [43,4 K], добавлен 06.10.2006
  

• главная
• рубрики
• по алфавиту
• вернуться в начало страницы
• вернуться к началу текста
• вернуться к подобным работам