Перспективность использования технологий Big Data в современной потребкооперации

Размещено на http://allbest.ru

10

Перспективность использования технологий Big Data в современной потребкооперации

Л.Г. Кудрявцева, А.А. Шурупов

Аннотация

Ключевые слова: информационные технологии, большие данные, BIG DATA.

Abstract

Perspectives of using Big Data technologies in modern consumer cooperation

The article give voice about the concept of the term Big Data, the possible sources of Big Data, the basic principles of working with them. The possibility of their use in the cooperative sector of the economy is considered.

Keywords: information technologies, big data, BIG DATA.

Современная экономика вступила в принципиально новый этап своего развития - этап цифровизации, то есть этап перехода к цифровой экономике. Ключевым фактором цифровой экономики [1] является обработка цифровых данных большого объема и обработка результатов их анализа. Она позволяет повысить эффективность деятельности в таких сферах как производство, хранения, торговля, доставка и обслуживание. Это чрезвычайно важно для предприятий потребкооперации в условиях конкурентной борьбы.

Из документа Минфина, определяющего актуальность и цель национального проекта РФ «Цифровая экономика» на период с 2019 по 2021 гг. следует, что создание устойчивой и безопасной информационно-телекоммуникационной инфраструктуры высокоскоростной передачи, обработки и хранения больших объемов данных, доступной для всех организаций и домохозяйств является приоритетным и основополагающим [2]. экономика кооперация big data цифровизация

Рассмотрим подробнее, что понимают под большими данными и какова их роль.

В настоящее время сложилось общепринятое понятие BIG DATA (с англ. Большие данные).

Это понятие включает в себя определенные подходы и различные методы, предназначенные для обработки больших объемов данных, как структурированных, так и неструктурированных. Эти данные, как правило, очень разнятся по содержанию. В результате использования методов обработки BIG DATA человек получает результаты достаточно эффективные при постоянном росте поступающих данных, которые могут имеют свойство распределенности по многочисленным узлам компьютерной сети [3].

Такая компьютерная среда рассматривается как более эффективная альтернатива давно эксплуатируемым базам данных, системам управления, а также используемым инструментам и методам для перевода необработанной информации в удобную, осмысленную форму. Эта альтернатива сформировалась к началу двадцать первого века.

В русскоязычной среде помимо термина BIG DATA используется понятие «большие данные». К настоящему времени существует общепринятое суждение, что большие данные представляют из себя совокупность нескольких технологий, применяющихся для совершения трех операций.

Первая операция служит для обработки объемов данных, которые по размеру превосходят «стандартные» сценарии. Вторая операция предназначена для работы с большими объемами быстро поступающих данных. И третья операция применима для работы со структурированными и слабо структурированными данными, которые ориентированы на разный уровень потребления в узлах электронно-вычислительной сети. Другими словами, в больших данных предполагается ориентация алгоритмов на обработку информации плохо структурированной.

Иначе говоря, понятие BIG DATA включает в себя не только большой объем самих данных, но и их возможности по совместимости с разными способами переработки информации.

Понятие «большие данные» может быть отнесено как к небольшого размера наборам данных (например, статья в журнале), так и к огромным массивам данных, которые присутствуют в глобальных сетях.

Средства работы с большими данными могут быть использованы, например, в транспортных организациях для приема и переработки GPS сигналов, или в торговых организациях для переработки данных о перемещении товаров и покупках, или в библиотечных фондах для оцифровывания книг, а также в банковском деле для получения информации о действиях клиентов, или обработки информации от датчиков приборов.

Несомненно, что число источников информации стремительно растет, поэтому требуются все новые технологии их обработки.

Однако несмотря на то, что такого рода задачи уже давно решаются, востребованными технологии «больших данных» стали только тогда, когда число пользователей Интернета резко выросло, появилось множество сообществ пользователей, соответственно, резко увеличилось и количество создаваемых ими сообщений. И когда их количество превысило 1000000, остро встала необходимость в обработке невероятно огромного количества совершаемых ими операций [4]. Действия пользователей превратились в непрерывный поток данных, и эти данные, правильно интерпретированные и переработанные системой «больших данных», должны быть доступны каждому пользователю оперативно по мере поступления запросов.

Под термином Big Data подразумевается не только большой объем информации, ее разнообразность и потребность в быстрой обработке, но кроме того определенный набор методов и процессов, необходимых для решения этих задач.

Один из методов использует кластер высокопроизводительных машин, который обрабатывает большие объемы данных с помощью системы распределенных вычислений.

Имеющимися в настоящее время традиционными инструментами невозможно обработать все объемы неоднородной и быстро поступающей цифровой информации. Анализ больших данных делает возможным видеть явные и скрытые закономерности, чего не может сделать человек, что позволяет оптимизировать все сферы жизни: от производства и телекоммуникаций до государственного управления. Фактически, BIG DATA - это альтернатива традиционным системам управления данными.

Изначально идея «больших данных» зародилась в 1970-е годы в век больших машин. В это время появились очень сложные научные вычисления, и в обработке нуждались большие объемы данных. Однако технические характеристики компьютеров были ограничены и не позволяли проводить необходимые вычисления.

Непосредственно термин «Большие данные» впервые появился в британском научном журнале «Nature» в 2008 году. Специальный номер журнала был посвящен рассмотрению роли данных в электронной науке. В статьях этого номера была предпринята попытка ответить на вопрос «Как технологии работы с большими объемами данных могут повлиять на будущее науки?» [5].

Рост интереса к большим данным был вызван резким увеличением объемов информации, причем, в основном, неструктурированных данных. Объемы росли по экспоненциальному закону. Поэтому, все более актуальными становились вопросы корректной интерпретации информационных потоков. Практическое решение этих вопросов сплошь и рядом сталкивалось с проблематикой обработки количественно и структурно качественно увеличивающегося потока информации.

Если до начала нового века большие данные были интересны только крупным компаниям и специальным научно-исследовательским центрам, то с его наступлением средний и малый бизнес также получил доступ к анализу

Одновременно с этим развиваются технологии хранения данных и растут вычислительные мощности машин. В 2008 большие данные - это петабайты (1 петабайт приблизительно равен 1000 терабайт), но предполагалось, что вскоре придется оперировать с эксабайтами (1 эксабайт приблизительно равен 1000 000 терабайт).

Появилось опасение, что возможностей для работы с этими гигантскими массивами данных просто не будет из-за дороговизны и сложного вычислительного аппарата.

И действительно, к 2010 году на домашних ПК хранилось уже 6 эксабайтов данных, а у корпораций было 7 эксабайтов данных [5].

Таким образом человечество путем накопления данных в формате «все обо всем» шаг за шагом приближается к ликвидации информационного вакуума. После чего, возможно, наступит эра тотального контроля.

Генерация больших данных в современном мире давно и успешно производится в следующих отраслях:

- сбор данных метеонаблюдений в масштабах Земли;

- архивация непрерывно поступающих данных с измерительных устройств промышленных объектов;

- в сетях сотовой связи информация о местонахождении абонентов;

- для заинтересованных потребителей производится сбор информации с устройств аудио регистрации и видео регистрации;

- систематизация информации о движении денежных потоков в банковском и биржевом секторах;

- сбор данных сканирования земли с помощью летательных аппаратов и из космоса;

- массивы сообщений из социальных сетей.

BIG DATA начали проявлять себя во все возрастающем количестве сфер деятельности человека. Это, в первую очередь, государственное управление, научно-исследовательская деятельность и коммерческий сектор.

Например, большие данные и геолокация [6]. Основные вызовы для геоиндустрии в настоящее время - полнота и богатство контента, качество, точность данных и, пожалуй, наиболее сложный из всех - актуальность информации. А именно, обновление карты в режиме реального времени пока не под силу ни одному из игроков на рынке.

В ближайшем будущем геолокационную индустрию ждут большие перемены, и эти перемены будут связаны в первую очередь с достижениями в области BIG DATA.

Современные технологии уже позволяют собирать информацию о ситуациях на дорогах при помощи десятков тысяч автомобилей, снабженных сенсорами, и передавать ее в облако для дальнейшего транслирования пользователям. Чем больше автомобилей - тем больше охват и детализация области сбора данных.

К настоящему времени выделяют три основных подхода, имеющих принципиальное значение, к работе с большими данными.

Масштабируемость по горизонтали. Она открывает возможность иметь в системе сколько угодно данных. И, таким образом, система для обработки Big Data будет меть свойство расширяемой совокупности данных. Если вырастает объем данных, то соответственно увеличивается и количество средств обработки в кластере, при этом система продолжает устойчиво функционировать.

Устойчивость к возможному отказу Hardware или сбою программного обеспечения. Из принципа масштабируемости по горизонталиследует, что в одном кластере может быть очень много машин. Какая-то часть всех машинпостепенно начнет ломаться. Такие ситуации должны учитываться при работе с большими данными, и их надо без последствий преодолевать.

Локальность данных. Этот принцип является важнейшим в деле разработки решений Big Data. Большое количество информации в децентрализованных системах расположено на огромном количестве машин. При этом физически определенные данные находятся на одном сервере, но обрабатываются на другом. Непосредственно обработка информации требует б'ольших расходов, чем необходимо для передачи данных. Следовательно, и хранение, и обработку данных надо производить на одной и той же машине [4]. Все современные разработки для действий с большими данными имеют в основе рассмотренные выше подходы. Практическая же реализация возможна с помощью специально разработанных средств и методов обработки данных.

Классическим методом является MapReduce [7]. Парадигма Парадигма (с греч., пример, модель, образец) - совокупность фундаментальных научных установок, представлений и терминов, принимаемая и разделяемая научным сообществом и объединяющая большинство его членов. MapReduce была представлена компанией Google в 2004 году в статье «MapReduce: Simplified Data Processing on Large Clusters».

Она представляет собой модель децентрализованной обработки данных и предназначена для обработки больших объемов информации на компьютерных кластерах. Для этого данные нужно представить в виде записей, сделанных определенным образом.

Рис. 1. Модель MapReduce

На рис. 1 представлена взятая из [7] иллюстрация модели MapReduce.

Существует три стадии обработка данных в модели MapReduce [4]:

Первая стадия: Map. Эту функцию определяет пользователь Предварительная обработка входных данных осуществляется функцией map(). На один из компьютеров (главный узел) поступают входные данные задачи, затем данные делятся на части и передаются рабочим узлам (другим компьютерам) для подготовительной обработки.

Аналогичная операция используется в функциональных языках программирования. Собственно функция Map() применяется только к одной входной записи, в результате чего появляется большое количество пар ключей со значениями. Пользователь сам определяет содержимое ключа и значения. Далее данные с одинаковыми ключами попадают в один и тот же экземпляр функции Reduce.

Следующая стадия обработки - Shuffle. Как правило, она проходит незаметно для пользователя. На этой стадии выходные данные функции Map разбиваются на группы. Каждая группа соотносится с одним ключом выхода стадии Map и является входом на стадию Reduce.

В практических задачах эта стадия - самая тяжелая, поскольку именно здесь происходит сортировка данных. К счастью, в некоторых задачах можно опустить стадию Shuffle.

Заключительная стадия Reduce Reduce (Свертка списка) - в программировании - это функция высшего порядка, которая производит преобразо-вание структуры данных к единственному значению при помощи заданной функции.. На ее вход попадает группа, сформированная на стадии Shuffle. Для отдельной группы вычисляется окончательный результат (при этом функция Reduce задается пользователем).

Итоговым результатом MapReduce-задачи является огромное число значений, полученных функцией Reduce(), т.е. решением задачи, которая изначально формулировалась.

В связи с непрерывным ростом количества данных, с которыми приходится иметь дело в крупных компаниях, интерес к технологиям Big Data резко увеличивается. Обработка данных, накопленных компаниями, становится все сложнее и дороже, хотя она необыкновенно важна для многих организаций. Растет необходимость в математиках с IT-образованием для решения таких задач.

Например, Департамент информатизации Москвы [5] набирает специалистов, способных анализировать и работать с данными. В Москве уже собрана статистика о каждой группе людей и даже о каждом человеке по большому количеству критериев. Все данные хранятся в классических системах управления базами данных, из которых надо получать нужную информацию.

Другая трудность при работе с большими данными связана с тем, что как бы разработчики ни добивались увеличения пропускной способности линий связи и увеличения объемов хранилищ информации, всегда будут появляться источники (например, физические эксперименты), которые будут производить информации больше, чем можно передать.

По закону Мура происходит постоянный рост производительности одновременно работающих вычислительных систем, соответственно растут скорости сетей передачи данных. Полученные данные необходимо быстро извлекать с электронного носителя и сохранять.

По мнению ИТ-издания TAdviser (крупнейшая в России база знаний о технологиях, ИТ-проектах и профессионалах отрасли, на основании этих данных профессиональные аналитики издания ежегодно составляют детальные обзоры различных секторов ИТ-рынка) интерес к теме BIG DATA закономерно велик, хотя отечественный рынок BIG DATA находится на начальной стадии развития [5].

Не случайно издательство «Открытые системы» в 2017 году в шестой раз проводило форум BIG DATA, посвященный обсуждению опыта, актуальных задач, этапов становления отрасли больших данных в России, достижениям компаний и организаций, которые строят бизнес, основанный на данных [8].

Внедрением технологий класса Big Data занимается компания DIS Group. Специалисты компании создают решения по детальной проработке технических аспектов применения этих технологий, а также определению их места в инфраструктуре возможных пользователей.

Одна из крупнейших фирм, работающая в области IT- технологий, IBM предлагает решения для больших данных:

- Модуль IBM Spectrum Scale - хранилище объектов и файлов с горизонтальным масштабированием, использующий эффективные методы управления хранением бесструктурных данных, в том числе находящихся в облаке, а также больших данных.

- Модуль IBM Cloud Object Storage - масштабируемая подсистема для организации вторичного облачного хранилища данных с различными вариантами применения (масштабирование производительности или емкости от нескольких терабайт до эксабайт).

- Модуль IBM Elastic Storage Server, позволяющий обрабатывать большие данные непосредственно в корпоративном хранилище.

В 2018 году в Москве прошла Конференция по большим Данным и искусственному интеллекту «Big Data Moscow 2018», посвященная техническим докладам в областях больших данных, высоких нагрузок, обработки и анализа данных и машинного обучения [9].

В 2019 году предстоит Международная конференция по большим данным Big Data Days 2019 [10]. На конференции среди прочих вопросов планируется обсудить методы машинного обучения для обнаружения аномалий, использование искусственного интеллекта для анализа и обработки данных, создание облачных приложений, управляемых событиями, машинное обучение в музыке и искусстве. Кроме докладов будут проведены мастер-классы.

Одновременно с повышением интереса к большим данным стремительно вырос интерес к «машинному обучению».

Под термином «Машинное обучение (англ. machine learning, ML)» понимается класс методов искусственного интеллекта, характерной чертой которых является не прямое решение задачи, а обучение в процессе применения решений множества сходных задач.

Для построения таких методов используются средства математической статистики, численных методов, методов оптимизации, теории вероятностей, теории графов, различные техники работы с данными в цифровой форме [11].

Какой язык программирования лучше всего подходит для машинного обучения? Это, во-первых, Питон. Python стоит на первом месте в списке всех языков разработки из-за своей простоты. Во-вторых, это язык R. R является одним из наиболее эффективных языков и сред для анализа и обработки данных в статистических целях. А также это языки Lisp, Пролог, Ява.

Самым тесным образом с большими данными связан «интернет вещей». Огромное количество информации, генерируемой различного вида датчиками, всевозможными расходомерами, оборудованием на заводах, умным транспортом передается от машины к машине, а потом исследуется и обрабатывается людьми [5].

Направление больших данных и машинного обучения на сегодняшний день является одним из самых развивающихся и перспективных.

В связи с тем, что кооперативный сектор играет существенную роль в структуре национальной экономики, важно понять, как наиболее эффективно использовать применительно к нему методы и технологии системы обработки больших данных. Объективной основой для такого использования является существующая структура первичных поставщиков продукции и услуг в систему кооперации.

Если рассматривать сельское хозяйство, то выясняется, что сбор фактов по технологическим операциям, который происходит в поле, - очень непростая задача. Обычно эти данные собираются и записываются вручную. Хотя существует программное решение, с помощью которого можно получить идентификацию этих параметров.

Далее возникает вопрос, как обработать информацию, полученную с техники. Информацию обычно получают из трех источников: 1С, Excel и датчики. Поэтому, самая сложная задача для агропредприятия - это поиск специалистов, способных применять IT-технологии в сельском хозяйстве. Возникает целый ряд проблем: недостаток IT-специалистов, приспособленных к агрономической сфере, нехватка грамотных агрономов, способных работать на вычислительных машинах, невысокая квалификация специалистов, призванных работать на новом оборудовании. Быстрое и грамотное решение этих проблем приведет к успеху всего процесса цифровой трансформации сельского хозяйства в нашей стране [12].

За последние десятилетия более чем в два раза сократилось количество работников в сельском хозяйстве (по данным Росстата). И только автоматические системы смогут поднять сельскую местность и сохранить там производство.

Вместе с ростом числа разработок в сфере автоматизации сельхозпроизводства растет и сам рынок этого оборудования, увеличивается спрос на устройства «интернета вещей». Согласно существующей «дорожной карте» внедрения высоких технологий в сельское хозяйство в 2019 году примерно треть российских хозяйств будут использовать интернет и большие данные [13].

Индивидуальность первичных поставщиков продукции и услуг, как производителей, и огромное количество точек производства на территории России в совокупности создают все предпосылки для успешного использования системы больших данных. Для этого надо провести оценку потенциальной базы применения и определить тенденции развития кооперативных и рыночных систем, работающих с населением.

В результате будет определена степень их влияния на экономику, а также уровень удовлетворения социально необходимых потребностей людей. Все типы кооперативов: коллективные, частные, государственные, публичные, фирменные, корпоративные, предпринимательские, некоммерческие могут эффективным образом быть втянуты в BIG DATA. При этом их форма организации в разных секторах экономики и социальной сферы не окажет существенного влияния на применимость используемых инструментов. Как отмечается специалистами Организации экономического сотрудничества и развития (ОЭСР) [14] в ближайшие годы большое влияние на развитие экономической и социальной сфер деятельности во всем мире будут оказывать кооперативные и самоорганизующиеся структуры.

Применительно к тенденциям развития экономики нашей страны по имеющимся оценкам экспертов значительное улучшение результатов социально-экономического развития страны и ее регионов может произойти в результате скоординированного сотрудничества отдельных структур между собой, а также с государственными и частными предприятиями.

Список используемых источников

1. Халин В.Г., Чернова Г.В. Цифровизация и ее влияние на российскую экономику и общество: преимущества, вызовы, угрозы и риски // Управленческое консультирование. - 2018. - № 10. - С.46-63.

2. Основные направления бюджетной, налоговой и таможенно-тарифной политики на 2019 год и на плановый период 2020 и 2021 годов (утв. Минфином России). Текст документа приведен в соответствии с публикацией на сайте https://www.minfin.ru по состоянию на 02.10.2018. [Электронный ресурс] // СПС Консультант плюс. - URL: http://www.consultant.ru/ document/cons_doc_LAW_ 308390/4b8af8bcbffd0a58fc980c11f6e5d2fb12304cf0/.

3. Протасов С. Что такое Big Data? [Электронный ресурс]. - URL: https://postnauka.ru/ faq/46974.

4. Big Data от А до Я. Часть 1: Принципы работы с большими данными, парадигма MapReduce [Электронный ресурс]. - URL: https://habr.com/ru/company/dca/blog/267361/.

5. Большие_данные (Big_Data) [Электронный ресурс]. - URL: http://www.tadviser.ru/ index.php/.

6. Большие данные вокруг нас: о прошедшей конференции Big Data Moscow 2018 и о будущем больших данных [Электронный ресурс]. - URL: https://12news.ru/doc16370.html.

7. Джеффри Дин, Санджай Гемават. MapReduce: упрощенная обработка данных на больших кластерах [Электронный ресурс]. - URL: https://research.google.com/archive/ mapreduce.html.

8. Издательство «Открытые системы» [Электронный ресурс]. - URL: http:// ospcon.osp.ru/bigdata.

9. Big Data Moscow 2018 [Электронный ресурс]. - URL: https://bigdatadays.ru/2018.

10. Big Data Days 2019 [Электронный ресурс]. - URL: https://bigdatadays.ru/ru/.

11. Машинное_обучение [Электронный ресурс]. - URL: https://ru.wikipedia.org/wiki/.

12. Давлетшин Ирек, Трофимов А. Цифровой передел. Преимущества и риски цифро- визации сельского хозяйства. // Агротехника и технологии. - 2018. - № 5. - С. 21-25.

13. Дашковский И. Под контролем. Искусственный интеллект следит за порядком на агропредприятиях. // Агротехника и технологии. - 2019. - № 1. - С. 3-7.

14. Столярова А. Н. Кооперативный сектор в структуре национальной экономики [Электронный ресурс]. - URL: https://cyberleninka.ru/article/v/kooperativnyy-sektor-v-strukture- natsionalnoy-ekonomiki

References

1. Halin V.G., Chernova G.V. Cifrovizaciya i ee vliyanie na rossijskuyu ekonomiku i obshchestvo: preimushchestva, vyzovy, ugrozy i riski // Upravlencheskoe konsul'tirovanie. - 2018. - № 10. - С. 46-63.

2. Osnovnye napravleniya byudzhetnoj, nalogovoj i tamozhenno-tarifnoj politiki na 2019 god i na planovyj period 2020 i 2021 godov (utv. Minfinom Rossii). Tekst dokumenta priveden v sootvetstvii s publikaciej na sajte https://www.minfin.ru po sostoyaniyu na 02.10.2018. [Elektronnyj resurs] // SPS Konsul'tant plyus. - URL: http://www.consultant.ru/ cons/cgi/ online.cgi?req= doc&base=LAW&n= 308390&fld=134&dst=1004 26,0&rnd=0.8157045612703653#09389955885473682.

3. Protasov S. Chto takoye Big Data? [Elektronnyy resurs]. - URL: https://postnauka.ru/ faq/46974.

4. Big Data ot A do Ya. Chast 1: Printsipy raboty s bolshimi dannymi. paradigma MapReduce [Elektronnyy resurs]]. - URL: https://habr.com/ru/company/dca/blog/267361/.

5. Bolshiye_dannyye (Big_Data) [Elektronnyy resurs]. - URL: http://www.tadviser.ru/index.php/.

6. Bolshiye dannyye vokrug nas: o proshedshey konferentsii Big Data Moscow 2018 i o budushchem bolshikh dannykh [Elektronnyy resurs]. - URL: https://12news.ru/doc16370.html.

7. Dzheffri Din. Sandzhay Gemavat. MapReduce: uproshchennaya obrabotka dannykh na bolshikh klasterakh [Elektronnyy resurs]. - URL: https://research.google.com/archive/ mapreduce.html.

8. Izdatelstvo «Otkrytyye sistemy» [Elektronnyy resurs]. - URL: http://ospcon.osp.ru/ bigdata.

9. Big Data Moscow 2018 [Elektronnyy resurs]. - URL: https://bigdatadays.ru/2018.

10. Big Data Days 2019 [Elektronnyy resurs]. - URL: https://bigdatadays.ru/ru/.

11. Mashinnoye_obucheniye [Elektronnyy resurs]. - URL: https://ru.wikipedia.org/wiki/.

12. Davletshin Irek, Trofimov A. Cifrovoj peredel. Preimushchestva i riski cifrovizacii sel'skogo hozyajstva. // Agrotekhnika i tekhnologii. - 2018. - № 5. - С. 21-25.

13. Dashkovskij I. Pod kontrolem. Iskusstvennyj intellekt sledit za poryadkom na agropredpriyatiyah. // Agrotekhnika i tekhnologii. - 2019. - № 1. - С. 3-7.

14. Stolyarova A. N. Kooperativnyy sektor v strukture natsionalnoy ekonomiki [Elektronnyy resurs]. - URL: https://cyberleninka.ru/article/v/kooperativnyy-sektor-v-strukture- natsionalnoy-ekonomiki.

Размещено на Allbest.ru