Технологія Big Data: сутність, можливості для бізнесу

Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

Технологія Big Data: сутність, можливості для бізнесу

Шкирта Ігор Миколайович

Анотації

В останні роки спостерігається величезне зростання обсягу даних, що є ключовим фактором сценарію Великі Дані (Big Data). Big Data вимагають нової високопродуктивної обробки. Стаття присвячена огляду технології Big Dataта її особливостей. Досліджується виникнення терміну «Великі Дані», основні підходи науковців до його тлумачення та приклади з реальної практики розвинутих країн по її впровадженню. Обґрунтовано, що концепція Big Data є перспективним напрямком дослідження для різних сфер економіки України, що відкриває нові можливості для ведення бізнесу та управління економікою. Описано особливості класифікації методів і технологій аналітики Великих даних, які класифікуються з урахуванням функціональних зв'язків та формальної моделі цієї інформаційної технології. В статті розглядаються основні поняття, зв'язані з Big Data, основи і принципи роботи з методами і підходами великих даних. Аналізуються тенденції на сучасному ринку послуг і продуктів, а також в яких випадках можуть застосовуватись подібні технології, і чому великі дані, незважаючи на дороговизну, все більше набирають популярності. Big Data - соціально-економічний феномен, що пов'язаний із появою нових технологічних можливостей для аналізу величезної кількості даних. Мета статті: розглянути поняття Big Data та з'ясувати, яким чином застосування Великих даних створює цінність для бізнесу. Методи дослідження: для досягнення поставленої мети використовувались методи системного аналізу щодо формулювання концептуальної моделі Великих даних. Наукова новизна полягає в розв'язанні актуального наукового знання щодо розроблення засобів організації та інтеграції інформаційних ресурсів Big Data. Модель даних «сутність-характеристика» дозволяє опрацьовувати структуровані і частково-структуровані дані. Інтеграція даних з джерел з наперед невідомою структурою даних за рахунок визначення пари «сутність-характеристика» дає змогу підвищити ефективність аналізу Великих Даних. Практичне значення отриманих результатів полягає у вдосконаленні алгоритмів інтеграції інформаційних ресурсів за допомогою попереднього визначення структури джерел даних, їх узгодження і узагальнення. Уніфікація алгоритмів опрацювання даних дозволяє збільшити релевантність відповіді користувачеві. Втілення технологій Big Data дає змогу якісно й оперативно отримувати користь із величезного масиву інформації. З їх допомогою державні структури й представники бізнесу оптимізують різні процеси, а кінцеві споживачі отримують якісні послуги. Активне долучення науковців до методології впровадження інформаційно-технічної концепції Big Data є стратегічним напрямком подальшого розвитку Великих даних. Подальше дослідження останніх дозолить їх використовувати у процесах прийняття рішень і процесах управління ризиками, що неминуче виведе економіку на якісно новий, вищий щабель.

Ключові слова: «Великі дані», технології, джерела даних, інформація, система.

Огромный рост объема данных наблюдается в последние годы, что является ключевым фактором сценария Больших Данных (Big Data). Big Dataтребуют новой высокопроизводительной обработки. Статья посвящена обзору технологии «большие данные» (Big Data) и её особенностей. Исследуется возникновения термина «Большие Данные», основные подходы ученых к его толкованию и примеры из реальной практики развитых стран по ее внедрению. Обосновано, что концепция Big Dataявляется перспективным направлением исследования для различных сфер экономики Украины, что открывает новые возможности для ведения бизнеса и управления экономикой. Описаны особенности классификации методов и технологий аналитики Больших данных, которые классифицируются с учетом функциональных связей и формальной модели этой информационной технологии. В статье рассматриваются основные понятия, связанные с Big Data, основы и принципы работы с методами и подходами больших данных. Анализируются тенденции на современном рынке услуг и продуктов, а также в каких случаях могут применяться подобные технологии, и почему Большие Данные, несмотря на дороговизну, все больше набирают популярность. Big Data- социально-экономический феномен, связанный с появлением новых технологических возможностей для анализа огромного количества данных. Цель статьи: рассмотреть понятие Big Dataи выяснить, каким образом применение Больших данных создает ценность для бизнеса. Методы исследования: для достижения поставленной цели использовались методы системного анализа относительно формулировки концептуальной модели Больших Данных. Научная новизна заключается в решении актуального научного знания разработки средств организации и интеграции информационных ресурсов Big Data. Модель данных «сущность-характеристика» позволяет обрабатывать структурированные и частичноструктурированные данные. Интеграция данных из источников с заранее неизвестной структурой данных за счет определения пары «сущность-характеристика» позволяет повысить эффективность анализа Больших Данных. Практическое значение полученных результатов заключается в совершенствовании алгоритмов интеграции информационных ресурсов с помощью предварительного определения структуры источников данных, их согласования и обобщения. Унификация алгоритмов обработки данных позволяет увеличить релевантность ответа пользователю. Воплощение технологий Big Dataпозволяет качественно и оперативно получать пользу из огромного массива информации. С их помощью государственные структуры и представители бизнеса оптимизируют различные процессы, а конечные потребители получают качественные услуги. Активное приобщение ученых к методологии внедрения информационно-технической концепции Big Dataявляется стратегическим направлением дальнейшего развития Больших Данных. Дальнейшее исследование последних позволит их использовать в процессах принятия решений и процессах управления рисками, неизбежно выведет экономику на качественно новый, более высокий уровень.

Ключевые слова: «Большие данные», технологии, источники данных, информация, система.

Keywords: Big Data, technologies, data sources, information, system.

Постановка проблеми. Сучасне суспільство переживає черговий бум інформаційних технологій, який цього разу пов'язаний із швидким, експоненціальним зростанням обсягів інформації. Так, за оцінкою аналітиків компанії IBS «увесь світовий об'єм даних» у 2020 році прогнозовано складатиме 4044 Зб (1 Зб = 270 байт), а в 2025 році цей об'єм збільшиться ще в 10 разів [1]. При цьому частина структурованої інформації зростає не зовсім так стрімко. Основну частину приросту обсягів інформації складають неструктуровані або частково структуровані дані. В зв'язку з цим, через значні обсяги, для обробки і зберігання даних не обійтись без спеціального апаратно-програмного забезпечення. З іншого боку, класичні алгоритми обробки даних виявляються неефективними при їх застосуванні для розв'язання задач з неструктурованими даними.

Для вирішення вищевказаних задач зусиллями декількох найбільших світових компаній індустрії інформаційних технологій було розпочато розробку абсолютно нових підходів щодо проблеми обробки і зберігання інформації з метою отримання корисних знань, в результаті чого отримано систему нових засобів і методів для аналізу даних великих обсягів та слабої структурованості. Ця система отримала назву «Великі дані» (Big Data).

Аналіз останніх досліджень і публікацій. Термін Big Data введений доктором з інформатики університету Берклі Кліффордом Лінчем [2] у 2008 році. Фундаментальним дослідженням у сфері Big Data присвячені роботи В. Майер-Шенбергера та К. Кук'єра [3], Ж.-П. Дейкса [4]. Можливості використання Big Data розглянуто також в працях дослідників з України та країн СНД. Дослідженню сучасних баз даних, які використовують технології Big Data, присвячені роботи Н. Шаховської, Ю. Болюбаш та О. Верес [5]. Л. Черняк досліджує концепцію Big Data в цілому [6]. Питанням впровадження Big Data в електронному уряді присвячені праці Р. Ускенбаєвої [7-8].

Відсутність в науковій літературі досліджень інформаційних технологій аналізу, обробки і зберігання даних методами Big Data.

Мета статті (постановка завдання). Мета статті полягає у розкритті сутності моделі Big Data, дослідження моделі для оптимізації бізнес-процесів.

Big Data в інформаційних технологіях - це набір методів та засобів опрацювання структурованих і неструктурованих різнотипних динамічних даних великих обсягів з метою їх аналізу та використання для підтримки прийняття рішень.

Визначальними характеристиками Big Data є обсяг (volume, в сенсі величини фізичного обсягу).

Характерною особливістю технології Big Data є опрацювання різнотипної інформації з різних джерел інформації: структурованих, частково структурованих, неструктурованих.

Моделлю даних називається сукупність засобів опису структур даних для певного додатку або класу додатків. Це поняття поєднує в собі типи і структури даних, систему операцій та засоби опису обмежень [10]. Особливостями моделі структурованих даних є, з одного боку, накладання на дані заздалегідь відомих обмежень за типом і довжиною атрибутів, а, з іншого, структура даних є відомою і визначена за допомогою схеми даних. Це може приводити до певних труднощів при роботі з даними, наприклад, в плані модифікації моделі під вимоги, що змінилися з плином часу. Прикладом моделі структурованих даних є реляційна система керування базою даних (СКБД).

Неструктуровані дані, на відміну від структурованих даних, позбавлені визначеної структури, що, тим самим, ускладнює побудову їх моделі. До неструктурованої інформації належать текстові файли різноманітних документів, електронні листи, sms-повідомлення, відеокліпи, цифрові зображення, аудіофайли та ін. За допомогою певних методів аналізу ці дані можуть виявитись дуже швидкість (velocity, в сенсі швидкості приросту та необхідності високошвидкісної обробки й одержання результатів), різноманіття (variety, в сенсі можливості одночасної обробки різних типів структурованих і частково структурованих даних). Відомі також ще дві ознаки великих даних - це вартість (veracity, в сенсі економічного ефекту, який технологія забезпечує користувачам) та достовірність (value, в сенсі якості зібраних даних, що можуть значно відрізнятися) [9].

Для ефективної роботи з Big Data необхідні комплексні рішення моніторингу, структурування, фільтрації та пошуку ієрархічних зв'язків. Використання Big Data дозволяє спостерігати за значною множиною змінних та, на основі наданої інформації, виявляти глобальні тренди та висновки щодо стратегії різних ситуацій.

Рис. 1. Класифікація технології Big Data

інформаційний економічний технологічний

Інформативними із-за наявності в них так званих «прихованих знань». Останні можуть бути отримані за допомогою інтелектуального аналізу даних - Data Mining. Data Mining - це процес підтримки прийняття рішень, що базується на пошуку в «сирих» даних прихованих закономірностей, раніше невідомих, нетривіальних, практично корисних та доступних інтепретації знань, необхідних для ухвалення рішень в різних сферах людської діяльності [11].

При побудові моделі частково структурованих даних слід враховувати особливості структурованих і неструктурованих даних. До основних проблем, які мають місце при роботі із частково структурованими даними можна віднести:

1) наявна ступінь їх коректності потребує врахування при побудові моделі засобів для оцінювання їх достовірності; 2) схема даних може не в повній мірі відповідати оброблюваним даним або її відсутність унеможливлює їх інтерпретацію; 3) частина атрибутів може бути відсутня або в невповній мірі задовольняти умови коректності щодо них.

За думкою більшості експертів, прискорення стрімкого зростання об'єму даних є об'єктивною реальністю. Мобільні пристрої, соціальні мережі, бізнес-інформація, дані вимірювальних пристроїв - це тільки частина видів джерел, які здатні генерувати гігантські обсяги інформації. За даними досліджень IDC Digital Universe на поточний рік кількість даних в світі сягне позначки 40 Зб ( ~ 5200 Гб на кожного жителя планети). На рис.2 наведено графік зростання збору цифрової інформації в США. У 2025 році прогнозоване значення обсягів цифровізації відповідно до лінійного наближення сягатиме позначки 14 Ексабайт, що вдвічі перевищуватиме показник поточного року.

Рис. 2. Зростання збору цифрової інформації в США

Рис. 3. Економічний потенціал «великих даних» для країн ЄС-28 до 2020 року [12, 13]

Значну частину інформації створює гігантська мережа пристроїв робототехніки, які взаємодіють з іншими мережами даних, наприклад, сенсорів та інтелектуальних пристроїв. Подібні темпи росту кількості даних в світі призведуть до десятикратного збільшення кількості віртуальних і фізичних серверів завдяки розширенню і створенню нових Data-центрів. В зв'язку з цим зростає потреба в ефективному використанні і монетизації цих даних. А оскільки, використання Big Data в бізнесі вимагає чималих інвестицій, то ефективність бізнесу можна підвищити за рахунок скорочення витрат і/або збільшення обсягу продажів.

Інші застосування технології Big Data в різних сферах:

- енергетика (вплив погодних умов на генерацію енергії), аналіз даних від «розумних» датчиків, дослідницькі інфраструктури для ефективного використання енергії в будівлях;

- транспорт (вплив погоди і трафіку на доставку і споживання палива);

- E-Commerce (аналіз поведінки і купівельних моделей, інтеграція каналів взаємодії, моделювання поведінки клієнтів);

- наука (Великого Адронного колайдера, пан'європейська інфраструктура для оцінювання якості при тестуванні наноматеріалів, антизлочинна і антикорупційна обсерваторія);

- callcenter (аналіз розшифрувань розмов для розумінні поведінки клієнтів);

- телекомунікації (аналіз операцій та збоїв мережі);

- фінанси (рішення з ризиків, аналіз думки клієнтів, боротьба з відмиванням грошей);

- ІТ (аналіз логів від різних транзакційних систем).

Це далеко не повний перелік галузей застосування технологій Big Data. Сьогодні сфера їх застосування надзвичайно широка, а з часом вона тільки зростатиме. Тому необхідно враховувати, що велике значення Big Data зумовлене результатами обробки й аналізу, а не самими даними або їх обсягами.

Використання Big Data має великий потенціал в різних областях економіки. Макроекономічна модель (рис. 3) дозволила вченим спрогнозувати очікуваний економічний ефект за секторами економіки. Результати спільного дослідження агентства demosEUROPAі Варшавського інституту економіки [12, 13] засвідчують, що до поточного року Big Data можуть збільшити ВВП Європи на 1,9%, що є еквівалентом річного зростання в ЄС.

Тенденції стрімкого розвитку інформаційно-комунікаційних технологій і залучення всіх форм економічної діяльності в роботу в умовах розвитку інформаційного суспільства торкнулося і України. Сфера інформаційних технологій є однією з небагатьох сфер, яка показує відчутний ріст в економіці. Україна зберігає статус одного з найбільших центрів ІТ- аутсорсингу в світі і продовжує входити в десятку лідерів з розробки програмного забезпечення.

Технології Big Data можуть бути корисними для розв'язання таких основних задач:

- маркетинг і збільшення продажів;

- прогнозування ринкової ситуації;

- ефективне сегментування клієнтів;

- вдосконалення продуктів і послуг;

- прийняття більш ґрунтовних управлінських і оперативних рішень на основі аналізу Big Data;

- підвищення рівня продуктивності праці;

- ефективна логістика;

- моніторинг стану основних фондів;

- оптимізація портфелю інвестицій.

Серед розробників інструментарію для роботи з Big Dataтакі відомі компанії - Oracle, Microsoft, SAP, IBM.

Для збору і обробки Великих Даних використовуються різні технології:

- Масова паралельна обробка (MPP);

- MapReduce- обчислювальна парадигма, запропонована компанією Google;

- Обробка складних подій - обробка інформації у режимі онлайн з різних джерел; обробка даних залежить від часу;

- Hadoop- проект компанії Apache Software Foundation, що реалізує парадигму Map Reduce;

- RDBMS (Relational Database Management System) - система для керування базами даних, що базується на реляційній моделі;

- Cassandra- альтернатива для Hadoop HDFS, база даних, виконана як NoSQL;

- Hive- файлове сховище, автором якого є компанія Facebook;

- NoSQL - системи керування базами даних на основі цієї парадигми, що зовсім різняться від системи керування реляційними базами даних, оскільки не використовують мову запитів SQL.

Не дивлячись на значні зрушення у сфері машинної обробки даних до цього часу і в майбутньому, не можна обійтись без спеціалістів Data Science, здатних професійно досліджувати дані та формулювати задачі, зрозумілі відповідно до алгоритму аналізу. Такі спеціалісти повинні володіти наступними групами компетенцій: ІТ-грамотністю, математичними та статистичними знаннями, бути обізнаними у предметній області застосування попередніх груп навичок, зокрема, знання математики, математичного аналізу, математичної статистики, теорії ймовірностей; знання англійської мови; володіння основними мовами програмування, в яких наявні компоненти для роботи з великими масивами даних (Java (Hadoop), C++ (BigA RTM, Vowpel Wabbit, XG Boost), Python (Matplotlib, Numpy, Scikit, Skipy)); володіння статистичними інструментами - SPSS, MATLAB, SAS Data Miner, Tableau; знання законів розвитку бізнесу; економічні знання.

Data Scientist, як вчений, займається не тільки збором і аналізом даних, але й вивчає їх у різних контекстах та під різними кутами. Важлива і особлива якість фахівців Великих Даних - це бачення логічних зв'язків в складній системі зібраної інформації, і на основі кількісного аналізу розробка ефективних бізнес - рішень. У сучасному конкурентному і надзвичайно динамічному світі, у постійно зростаючому потоці інформації DataScientistє незамінним для керівництва в плані прийняття правильних бізнес-рішень.

Втілення технологій Big Data дає змогу якісно й оперативно отримувати користь із величезного масиву інформації. З їх допомогою державні структури й представники бізнесу оптимізують різні процеси, а кінцеві споживачі отримують якісні послуги. Адекватне використання отриманих знань дозволить вирішувати широке коло завдань - від задоволення нових потреб людини в результаті появи і розвитку нових технологій до вирішення глобальних проблем збереження навколишнього середовища, розв'язання завдань бізнесу стосовно генерації прибутку.

Як показує досвід країн Європи, США, Канади, найбільш ефективні рішення Big Data відкривають нові перспективи для розвитку компаній у фінансовій, в тому числі, банківській сфері та страхуванні, транспортній, логістичній, паливно-енергетичній, аграрній сферах, в органах державного управління та ін.

Активне долучення науковців до методології впровадження інформаційно-технічної концепції Big Data є стратегічним напрямком подальшого розвитку Великих даних. Подальше дослідження останніх дозолить їх використовувати у процесах прийняття рішень і процесах управління ризиками, що неминуче виведе економіку на якісно новий, вищий щабель.

Література

1. https://www.it.ua/knowledge-base/technology-innovation/big-data-bolshie-dannye.

2. Clifford Lynch. Big data: science in the petabyte era. Nature. - 2008, 455. - P. 1-50.

3. Майер-Шенбергер, В. Большие данные. Революция, которая изменит то, как мы живем, работаем и мыслим / В. Майер-Шенбергер, Кеннет Кукьер; пер. с англ. Инны Гайдюк. - М.:Манн, Иванови Фербер, 2014. - 240 с.

4. Dijcks, Jean-Pierre. Big Data for the Enterprise [Електроннийресурс] // Oracle. - October, 2011. - Режимдоступу: http://Big Datawithorade-521307.pdf

5. Шаховська, Н. Б. Організація великих даних у розподіленому середовищі / [Н. Б. Шаховська, Ю. Я. Болюбаш, О. М. Верес] // Наукові праці ДонНТУ. Серія: обчислювальна техніка та автоматизація. - 2014. - №2 (27). - С. 147-155.

6. Черняк Л. Большие Данные - новая теория и практика [Електронний ресурс] // Открытые системы. СУБД. - М.: Открытые системы. - 2011. - № 10. - Режим доступу:http://www.osp.ru/os/ 2011/10/13010990/

7. Ускенбаева, Р. К. Задачи создания больших данных - Big Data/ Р. К. Ускенбаева, Ж. Б. Кальпеева, А. Касымова // Вычислительные и информационные технологии в науке, технике и образовании: международная конференция. - Усть-Каменогорск: ВКГТУ им. Д. Серикбаева, 2013. - С. 209-213.

8. Uskenbaeva, R. K. Tasks of resources provision of distributed computer system's functionality / R. K. Uskenbayeva, A. A. Kuandykov, A. U. Kalizhanova. - Dubai, World Academy of Science, Engineering and Technology. - 2012. - Iss.70. - P. 580-581.

9. Zikopoulos, P. Harness the power of big data the IBM big data platform / P. Zikopoulos, K. Parasuraman, T. Deutsch, J. Giles, D. Corrigan // McGraw Hill Professional, New York, NY. - 2012. - Режим доступу: http://books.google.com/books?id=HhSON OxOCQoC

10. Липинсон, С. CloudComputing: информация и процессы [Електронний ресурс] / С. Липинсон // Открытые системы. - 2008. - № 11. - Режим доступу: http://www.osp.ru/os/2008/08/1858076073/ _p2.html.

11. Барсегян, А. А. Анализ данных и процессов / А. А. Барсегян, М. С. Куприянов, И. И. Холод, М. Д. Тесс, С. И. Елизаров. - 3-е изд. перераб. и доп. - Спб.: БХВ-Петербург, 2009. - 512 с.

12. Sonia Buchholts, Maciej Bukowski, Aleksander Sniegoski. Big & Open Data in Europe: A growth engine or a missed opportunity? // Report commissioned by demosEUROPA - Centre for European Strategy Foundation within the «Innovation and entrepreneurship» programme. - Warsaw, Mdruk, 2014. - 116 p.

13. Зибарева, О. В. Актуалізація концепції «великі дані» (англ. «Big Data») в умовах поширення інформаційного суспільства [Електронний ресурс] / О. В. Зибарева, І. П. Кравчук // Економіка. Управління. Інновації. - 2015. - № 1. - Режим доступу: http://nbuv.gov.ua/UJRN/eui_2015_1_15.

Размещено на Allbest.ru