Технологии больших данных: анализ и выбор решения для реализации проекта

8

Наименование требования

Краткое описание

Значимость (по 10ти бальной шкале)

Совместимость с иным программным обеспечением

Совместимость компонентов с уже существующим серверными приложениями и программным обеспечением на рабочих местах пользователей

9

Версионность

Поддержка нескольких версий бюджетов (отдельные срезы данных, разграничение бюджетных кампаний)

9

Значимость выделения критериев реализации проекта позволяет упростить выбор средств работы с Большими данными для разработки данного проекта. Исследование предметной области проекта, а также углубленное изучение бизнес-процесса, предназначенного к автоматизации, на примере реальной организации, позволило сформировать четкие требования к будущей системе управления бюджетом. Особое внимание уделено производительности системы, поскольку обработка Больших данных предполагает быстрое и эффективное получение результатов вне зависимости от предметной области проекта.

3. Применение технологий Big Data

3.1 Обоснование выбора средств разработки проекта

Для реализации корпоративной информационной системы «Бюджетное планирование и отчетность» в исследуемой группе компаний основной задачей было определить наиболее подходящую систему бюджетирования с возможностью реализации на платформе обработки Big Data. На основе представленной в пункте 2.2 таблице критериев составлена таблица всех рассмотренных в данной работе технологий обработки Больших данных в процентном соотношении к сформированным требованиям и сложности реализации. Процент, указанный в таблице ниже означает возможность исполнения заданного требования данными средствами разработки - исследуемой технологией.

Таблица 3 - Соотношение технологий Big Data с требованиями проекта «Бюджетное планирование и отчетность»

Среди исследованных технологий и аппаратных средств имеются три основных поставщика систем бюджетирования:

IBM Cognos TM1,

Oracle EPM (Hyperion),

SAP Business Planning and Consolidation.

Разработка полноценной системы управления бюджетом с хранилищем данных на основе технологий обработки Больших данных - Hadoop, MapReduce, NoSQL или с помощью языка R - подразумевает создание проекта с нуля: разработка и хранилища данных в том числе. В силу нецелесообразности выбора такого пути реализации, его дороговизны и большого срока разработки и внедрения, компанией-заказчиком было акцентировано внимание на предпочтение аппаратных средств реализации данного проекта.

В силу того, что одно из основных требований к реализации отчетности в данной системе бюджетирования - интеграция с MS Excel Office, необходимо было выбрать между двумя наиболее популярными аппаратными комплексами - Oracle Hyperion и SAP BPC.

Был рассмотрен комплекс, Oracle Exalytics, который спроектирован с высокой степенью оптимизации и включает в себя лидирующую в отрасли платформу для бизнес-анализа Oracle BI Foundation Suite и реляционную СУБД с обработкой данных в оперативной памяти in-memory, оптимизированную для аналитических задач [33].

Такая архитектура позволяет Oracle Exalytics обеспечивать максимально возможную производительность и масштабируемость при упрощенном развертывании системы и достаточно низкой стоимости эксплуатации. Oracle TimesTen In-Memory Database for Exalytics является новой версией в отрасли реляционной СУБД с обработкой данных в оперативной памяти, специально предназначенной для решения аналитических задач. Новая поддержка агрегационных OLAP-запросов, встроенные аналитические функции и сжатие по столбцам данных позволяют комплексу обеспечивать практически мгновенный отклик на запросы к большим наборам данных.

В настоящее время компания Oracle поставляет более 80 предварительно настроенных аналитических приложений и инструментов для управления эффективностью предприятия, которые могут работать на Oracle Exalytics без каких-либо дополнительных настроек или изменений [34]. В том числе и приложение Oracle Hyperion Planning для интегрированного бизнес-планирования, бюджетирования и прогнозирования с использованием более детальных данных и возможностью масштабирования для поддержки большего числа пользователей с более коротким и точным циклом планирования.

Решение по системам бюджетирования от компании SAP имеет следующие основные преимущества с учетом установки платформы SAP BPC на хранилище Business Warehouse с использованием SAP HANA в качестве основной базы данных:

высока производительность пользователей благодаря интуитивно понятному интерфейсу, а также знакомые офисные приложения способствуют более рациональному использованию рабочего времени - непосредственная интеграция с пакетов MS Office.

«бесшовная» интеграция с классическими бухгалтерскими приложениями (Microsoft Office, Adobe) [35]. Знакомый интерфейс упрощает пользовательское освоение системы, минимизирует требования к обучению персонала и повышает уверенность руководства компании в том, что их сотрудники будут эффективно работать с начала внедрения системы;

хранилище данных решения SAP BW on HANA позволяет работать с данными из единого хранилища, которое может быть интегрировано как с транзакционными системами SAP, так и с системами других поставщиков [36]. База данных также позволяет использовать информацию в реальном времени, предоставляя доступ к ним через гибкую отчетность в среде Excel и Web. При изменении данных, отчеты и планы также обновляются в режиме реального времени. Поскольку сохраняются и консолидируются лишь измененные данные, обновление данных происходит наиболее оперативно.

База данных HANA поддерживает новое поколение приложений, называемых «акселераторами программного комплекса», которые ускоряют существующие приложения SAP Business Suite с помощью параллельного подхода, в рамках которого SAP HANA разворачивается вместе с SAP-приложениями. Данные акселераторы используют базу HANA в качестве вспомогательной базы данных, сохраняя существующий пользовательский интерфейс приложений. Таблицы базы данных, которые требуются для акселератора, копируются в базу данных SAP HANA. Доступ к данным приложения осуществляется через скопированные таблицы в базе HANA, а не через основную базу данных на сервере приложений.

При развертывании хранилища SAP Business Warehouse на платформе HANA объекты в базе данных, которые выступают в роли поставщиков данных в определении запроса, выполняются в базы данных HANA, чтобы воспользоваться преимуществами технологии «in-memory» и функциональностью машинных вычислений. Этот сценарий включает также приложение SAP BusinessObjects Planning and Consolidation (версию для SAP NetWeaver), которое используется для реализации систем управления бюджетом [37].

Реализации проекта «Бюджетное планирование и отчетность» для организации-заказчика и тиражирования системы в дочерних организациях было выбрано аппаратное решение SAP BPC 10.1 на платформе SAP BW HANA вследствие наиболее полного соответствия требованиям проекта и необходимости разработки двух моделей данных и интеграции с уже внедренными SAP-системами в группе компаний.

Программный комплекс SAP BPC 10.1 имеет возможность реализации двух моделей (кубов) данных: Embedded и Classic. В Таблице 2 приведены характеристики и преимущества обеих моделей:

Таблица 2 - Анализ возможностей моделей данных SAP BPC 10.1

Таблица 2 была составлена по результатам опроса экспертов компаний SAPRUN и Deloitte Touche Tohmatsu. При анализе данных таблицы, можно сделать вывод, что имеется некоторое преимущество стандартной модели, в первую очередь связанное с надежностью решения и рисками, которые могут повлиять на сроки проекта. Для минимизации проблем в обязательном порядке предполагается включать экспертизу SAP в рамки проекта.

Помимо вышеуказанных сложностей, при реализации форм ввода в модели Embedded возникает проблема с механизмом блокирования данных при одновременной работе нескольких пользователей с одним срезом данных. При большом количестве пользователей это может представлять проблемы и сложности для группы технической поддержки проекта (например, дополнительные работы по снятию блокировок), как следствие - торможение бюджетной кампании. Для решения проблемы совместных блокировок, экспертами компаний предлагается пересмотреть подход к организации процесса формирования бюджетных данных, что может повлечь непонимание и/или отторжение со стороны функционального заказчика, поскольку уже запущен ряд информационных систем с устоявшимся подходом к работе с бюджетными формами.

К преимуществам Embedded модели можно отнести ее перспективность с точки зрения развития и намерения компании SAP развивать на платформе HANA решения по планированию. Однако на текущий момент в ближайшей перспективе эти возможности могут быть не задействованы в проекте. В силу наличия технологических и функциональных рисков, связанных с Embedded моделью рассмотрен вопрос о гибридном внедрении. Функционал ввода данных и отчетов будет реализован на стандартной модели - Classic, при этом отдельные функции, связанные с выполнением расчетов, формированием аналитической отчетности, интеграции, расчетом себестоимости будут реализованы с применением Embedded. Технические особенности о реализуемых компонентах с применением данной модели требуют уточнения на этапе прототипа проекта. Окончательное решение об использовании возможностей модели Embedded будет принято по итогам оценки прототипа.

3.2 Сроки реализации проекта аппаратными средствами SAP BPC 10.1 on HANA

Помимо концепции будущей системы бюджетирования, в рамках решения задачи разработки проекта «Бюджетное планирование и отчётность» должен быть разработан план внедрения системы бюджетирования в компании. Этот план должен учитывать результаты прогнозов экспертов и технических требований к будущей системе бюджетного управления, которые зафиксированы в методологии бюджетирования, разработанной компанией KPMG для организации-заказчика. Дополнительно имеется важный фактор, который обязательно должен быть учтен при составлении плана проекта - трудовые ресурсы, которые компания готова выделить для реализации проекта и ресурсы, планируемые на оплату работы консалтинговой компании-подрядчика.

Утвержденные сроки реализации проекта представлены на рисунке 1 - Этапы и сроки разработки проекта «Бюджетное планирование и отчетность»:

Рисунок 1 - Сроки и этапы реализации проекта

Первый этап проекта «Подготовка прототипа и демонстрация» по длительности занимает 4,5 месяцев, утвержденные сроки 15.12.15 - 30.04.16 г. На данном этапе выполняются работы по выявлению всех возможных рисков, связанных с реализацией системы бюджетирования, и разработка способов их предотвращения. Дополнительно составляются шаблоны форм ввода и отчетов (план-факт и гибкая отчетность), производится расчет количества ресурсов, необходимых для выполнения проекта. Предположительно, от компании-заказчика будет выделен один руководитель проекта, два технических специалиста по функциональности SAP BPC (работа в full-time режиме) уровня архитектор и ведущий консультант, один ABAP-программист (занятость на проекте в человеко-днях по необходимости привлечения). Требования к составу проектной команды от компании-подрядчика с консалтинговыми услугами более точно будут утверждены по завершению данного этапа, предположительный состав: не менее двух специалистов уровня архитектор, не менее трех специалистов уровня ведущий консультант и не менее пяти специалистов уровня консультант. Все требуемые технические консультанты должны быть с релевантным своей позиции опытом работы с надстройкой SAP BPC 10.0 (опыт работы с SAP BPC 10.1 on HANA приветствуется). Кроме этого выполняются работы по утверждению архитектуры проекта, производится разработка технической документации проекта синхронизация по проработке требований интеграции с уже существующими в компании корпоративными информационными системами по смежной функциональности и назначению.

Следующий этап реализации - «Технорабочий проект» планируется к проведению с 01.05.16 - 31.08.16 г, продолжительность - 4 месяца. На данном этапе должны быть совершены все технические настройки и разработки системы бюджетирования по принятой методологии. Допускается привлечение функционального заказчика для принятия решений по спорным вопросам, возможным в ходе реализации тех или иных функциональности. Все подобные уточнения и доработки методологии бюджетирования должны быть зафиксированы в сопровождающей документации проекта. По мере реализации требуемого функционала разработки в своей очередности должны быть перенесены по транспортной системе запросов (ландшафту проекта) в систему предварительного тестирования - подготовка к следующему этапу проекта. Помимо технических работ и операций администрирования будущей системы бюджетирования, на данном этапе проекта должны производиться доработка технической документации и планирование начала работ по проектированию сопровождающих документов для группы технической поддержки системы.

Третий этап проекта «Бюджетное планирование и отчетность» - «Пусконаладочные работы и нагрузочное тестирование». При успешном завершении технорабочего проекта и результатам предварительной проверки функциональности при транспортном переносе в систему предтестирования, планируется провести пусконаладочные работы и предпродуктивные испытания в период с 01.09.16 по 31.12.16 (длительность этапа - 4 месяца).

Объем массива детальных данных для проведения нагрузочного тестирования должен составлять объем данных, характерный для продуктивной системы для всего периметра бюджетирования группы компаний и не менее чем за 2 года. Тестирование разрабатываемой системы управления бюджетом с указанным объемом данных проводится для всех уровней обработки данных. Кроме этого, на данном этапе производится поиск и обучение специалистов технической поддержки (до четырех человек), дорабатывается регламентная документация по сопровождению системы. Допускается привлечение специалистов технической поддержки к нагрузочному тестированию. На данном этапе возможно проведение бюджетной кампании - «Прогноз 2017 г» в дочернем обществе, являющимся первой очередью внедрения системы «Бюджетное планирование и отчётность». Предполагается привлечение будущих специалистов технической поддержки к сопровождению первой бюджетной компании в первой очереди внедрения проекта.

Начало этапа «Опытная эксплуатация» планируется с января 2017 года и продлится 5 месяцев - по 31.05.17 включительно. Помимо работы специально обученной группы технической поддержки необходима организация техподдержки компании-подрядчика (до трех человек не ниже уровня консультант SAP BPC).

Во время этапа должны быть исправлены все ошибки реализации системы бюджетирования, протестирована интеграция с проектом КИС «Бюджетный пакет» в рамках функциональности согласования данных финансовых центров ответственности. Все ошибки реализации системы, а также пожелания функционального заказчика, не требующих трудозатрат более, чем один человека-день устраняются в по установленном регламенту внесения изменений в систему и фиксируются протоколом. За время опытной эксплуатации планируется провести тиражирование системы «Бюджетное планирование и отчетность» на остальные дочерние общества группы компаний - вторая и третья очередь внедрения. Предположительное количество пользователей после третьей очереди - 6600 человек. При высоком потоке обращений во время бюджетной кампании (более чем 20 обращений на одного специалиста технической поддержки) допустим подбор и обучение дополнительных специалистов. Во время опытной эксплуатации основной упор должен быть сделан на проверку ввода фактических данных за 2017 год - ввод начнется с 1го февраля 2017 г (данные за январь).

Последний этап разработки системы «Бюджетное планирование и отчетность» - «Приемочные испытания и переход в продуктивную эксплуатацию». Приблизительные даты этапа: 01.06.17 - 30.06.17 (продолжительность - 1 месяц). За время приемочных испытаний подразделению эксплуатации корпоративных информационных систем компании-подрядчика (сервисного дочернего общества) должны быть предоставлена и согласована вся техническая и сопровождающая документация по проекту. Специалисты группы технической поддержки данного проекта по бюджетированию принимают систему в продуктивную эксплуатации и далее осуществляют самостоятельное сопровождение и администрирование системы. Дополнительно рекомендуется заключение договора технической поддержки с компанией-подрядчиком, выполнившей проект в целях более высоко уровня оказания услуг по сопровождению новой системы.

Заключение

На практике при реализации проектов возникает потребность в инструментах обработки больших данных от особенностей бизнеса, которые после накопления больших массивов структурированной и разрозненной информации, требуют поиска решений и инструментов для их анализа.

Особенностью применения технологий Больших данных для систем с неструктурированными данными является принятие обоснованных решений в условиях неопределенности схемы анализа, актуальность применения исследованных в данной работе технологий - Hadoop, MapReduce, NoSQL, R - проекты, в которых заложен поиск неочевидных закономерностей.

В классических решениях уровня Business Intelligence - аппаратных средствах - заранее определены шаблоны схем анализа данных. Компании-поставщики BI-решений аккумулируют в разработанных инструментальных средствах лучшие практики. В силу специфики выбранного проекта (система бюджетирования в крупном нефтегазовом холдинге) в качестве примера определения наилучших средств реализации основным критериям соответствовали именно аппаратные средства обработки Больших данных.

Актуальность данной работы состоит в том, чтобы к многообразию технологий разработки проектов на платформе Больших данных применить единообразный подход по формированию требований. По итогам данной выпускной квалификационной работы были исследованы четыре наиболее распространенных технологий обработки Больших данных и три компании-поставщика инструментальных средств, имеющих наибольшее количество внедрений и опыта на мировом рынке.

Для определения значимых требований и критериев отбора, было проведено подробное исследование сферы внедрения будущего проекта и детально описан бизнес-процесс управления бюджетом в крупном нефтегазовом холдинге. По полученной группе критериев была оценена значимость каждого в реализации проекта. Для всех семи платформ разработки был определен процент реализации по каждому из сформированного требования. Технология, имеющая наибольший проект возможности исполнения, является наилучшим выбором для реализации исследуемой предметной области и текущего проекта.

После обоснования решения о технологии реализации, был проведен подробный анализ возможностей средств SAP BPC on HANA и составлен график сроков проекта. Надстройка SAP Business Planning and Consolidation позволяет построить систему по утвержденной архитектуре с максимальным соответствием разработанной методологии. В свою очередь платформа обработки Больших данных HANA устраняет потребности в специализированных базах данных, укоряет работу отчетности, оптимизирует структуру хранения данных, и тем самым предотвращая быстрое разрастание системы. Следовательно, данное решение по реализации для выбранного проекта внедрения системы управления бюджетом в крупном холдинге, является наиболее подходящим и укладывается в заявленные компанией-заказчиком, сроки исполнения.

Значимость данного исследования для сферы управления проектами заключается в том, что подобная реализация первична и проработаны все возможные варианты реализации для выбора наилучших средств разработки, внедрения и тиражирования. На данный момент в IT-сфере не существует продуктивной системы управления бюджетированием, разработанной на платформе Big Data, потому данное исследование и будущая реализация могут выступать как первая практика принятия подобных решений.

Список использованной литературы

1. Статья «Большие данные (Big Data)» [Электронный ресурс] // URL: http://www.tadviser.ru/index.php/Статья:Большие_данные_(Big_Data) (Дата обращения: 26.02.2016)

2. Черняк, Леонид Большие Данные -- новая теория и практика/ Открытые системы. СУБД. -- М.: Открытые системы, 2011. -- № 10.

3. Моррисон, Алан. Большие Данные: как извлечь из них информацию. Технологический прогноз. Ежеквартальный журнал (выпуск 3), российское издание, 2010.

4. Сергей Кузнецов, статья MapReduce [Электронный ресурс] // URL: http://citforum.ru/database/articles/dw_appliance_and_mr/3.shtml (Дата обращения: 04.03.2016)

5. Уайт, Том. Hadoop. Подробное руководство Hadoop: TheDefinitiveGuide. -- 2-е. -- СПб.: Питер, 2013.

6. Metz, Cade. HowYahooSpawned Hadoop, the Future of Big Data, Wired, October 18, 2011.

7. Мартин Фаулер, Прамодкумар Дж. Садаладж. NoSQL: новая методология разработки нереляционных баз данных. -- М.: «Вильямс», 2013.

8. Gaurav Vaish. Getting Started with NoSQL. -- Packt Publishing, 2013.

9. Dan McCreary, Ann Kelly. Making Sense of NoSQL: A guide for managers and the rest of us. -- Manning Publications, 2013.

10. Статья «Необходимо ли изучать язык R» [электронный ресурс] // URL: http://www.ibm.com/developerworks/ru/library/bd-learnr/ (Дата обращения: 04.03.2016)

11. Prickett Morgan, Timothy Oracle tucks R stats language into database, -- Manning Publications, 2012.

12. Статья «Oracle Business Intelligence Foundation Suite» [электронный ресурс] // URL: http://www.codecdss.co.uk/solutions/business-intelligence-solution/oracle-business-intelligence-foundation-suite/ (Дата обращения: 15.03.2016)

13. Статья «Oracle launches Exalytics, an appliance for big data» [электронный ресурс] // URL: https://gigaom.com/2011/10/02/oracle-exalytics-attacks-big-data-analytics/ (Дата обращения: 17.03.2016)

14. Андрей Пивоваров, «Oracle для больших данных», Конференция «Oracle Big Data & BI Forum», Москва, февраль 2014.

15. Сухобоков А. А. Лахвич Д. С. Влияние инструментария Big Data на развитие научных дисциплин, связанных с моделированием, Наука и образование: научное издание МГТУ им. Н.Э. Баумана, 2005.

16. Статья «Gain unprecedented insight with Hadoop and the SAP HANA platform for Big Data» [электронный ресурс] // URL: http://www.sap.com/solution/big-data/software/hadoop/index.html (Дата обращения: 21.03.2016)

17. Владимир Андреевич Поборцев, «Sap Hana в контексте тенденций развития информационных технологий», Математика и информационные технологии в нефтегазовом комплексе, 2014.

18. Статья «Получение ценных знаний с использованием решений IBM для анализа больших данных» [электронный ресурс] // URL: http://www.ibm.com/developerworks/ru/library/ba-insightsanalyticsbigdata/ (Дата обращения: 27.03.2016)

19. Статья «Бизнес-анализ больших данных» [электронный ресурс] // URL: http://www.ibm.com/developerworks/ru/library/ba-big-data-bi/ (Дата обращения: 30.03.2016)

20. Статья «Big data in the cloud» [электронный ресурс] // URL: http://www.ibm.com/developerworks/library/bd-bigdatacloud/index.html URL: http://www.ibm.com/developerworks/ru/library/ba-big-data-bi/ (Дата обращения: 02.04.2016)

21. Хруцкий В.Е., Сизова Т.В., Гамаюнов Внутрифирменное бюджетирование. Настольная книга по постановке финансового планирования - М.: Финансы и статистика, 2003.

22. Компания Инталев, Методическое руководство «5 шагов к процессному управлению», Санкт-Петербург, 2002.

23. Николаева С.А., Шебек С.В. Корпоративные стандарты: от концепции до инструкции, практика разработки. - М: Книжный мир, 2002. - 333с.

24. Бурцев В.В. Методологические основы коммерческого бюджетирования, журнале "Управленческий учет" №1, 2006

25. Шаховская Л.С., Хохлов В.В., Кулакова О.Г. Бюджетирование: теория и практика. -- М.: КНОРУС, 2009

26. Хруцкий В.Е., Хруцкий Р.В. Системы бюджетирования. Семь шагов по эффективной постановке бюджетирования. -- М.: Финансы и статистика, 2007.

27. «Экспресс-метод оптимизации бизнес-процессов», Журнал «Финансовый директор», №1 2003

28. Дугельный А.П. Бюджетное управление предприятием /А. П. Дугельный, В. Ф. Комаров. - [2-е изд.]. - М.: Дело, 2007.- 430, с.

29. Масленченков Ю.С. Практика бюджетирования на предприятиях России: практ. пособие /Ю. С. Масленченков, Ю. Н. Тронин. - М.: БДЦ-пресс, 2006.- 391, с.

30. Ермакова Н.А. Бюджетирование в системе управленческого учета /Н. А. Ермакова. - М.: Экономистъ, 2006.- 187 с.

31. Статья «Бюджетирование как инструмент эффективного финансового планирования» [электронный ресурс] // URL: http://delovoymir.biz/ru/articles/view/?did=12600 (Дата обращения: 06.04.2016)

32. Статья «Работа с Big Data: основные области и возможности» [электронный ресурс] // URL: http://www.marketing.spb.ru/lib-research/methods/Big_Data.htm (Дата обращения: 08.04.2016)

33. Статья «Oracle начинает продажи Oracle Exalytics In-Memory Machine» [электронный ресурс] // URL: http://www.olap.ru/home.asp?artId=1604 (Дата обращения: 10.04.2016)

34. Статья «Oracle Hyperion Planning» [электронный ресурс] // URL: http://cpm.korusconsulting.ru/products/oraclehp/ (Дата обращения: 10.04.2016)

35. Статья «SAP HANA: технический обзор» [электронный ресурс] // URL: http://www.ospcon.ru/files/media/SAP_HANA_TechnicalOverview.pdf (Дата обращения: 15.04.2016)

36. Статья «BPC 10.1 Classic vs Embedded Version» [электронный ресурс] // URL: http://asknadeem.com/index.php/2015/10/24/bpc-10-1-classic-vs-embedded-version/ (Дата обращения: 15.04.2016)

37. Статья «Продукт SAP BPC (BusinessObjects Planning and Consolidation)» [электронный ресурс] // URL: http://www.tadviser.ru/index.php/Продукт:SAP_BPC_-_BusinessObjects_Planning_and_Consolidation (Дата обращения: 16.04.2016)

Размещено на Allbest.ru