Что такое большие данные

С развитием новых технологий, совершенствованием различных датчиков и устройств возможность собирать большое количество информации (о перемещении, разговорах, запросах в интернете, покупок и т.д.) не представляет особой сложности. Объем этих данных невероятно огромен.

Что же такое большие данные? Для того чтобы ответить на этот вопрос, давайте рассмотрим простой случай: Вы заходите в магазин за продуктами, чтобы купить самое необходимое. Давайте теперь посмотрим со стороны на ваши действия: Вы идёте, допустим, сначала за овощами, потом перемещаетесь в другой отдел, смотрите, выбираете, берёте продукт, затем идёте на кассу. Довольно обычная и знакомая каждому из нас ситуация. Но какие выводы можно сделать о Вашем перемещении? Почему Вы остановились в определённом отделе, а другой просто прошли мимо?

Теперь представьте, что перемещение Вашей тележки было ежесекундно записано, то есть создано пространственно-временное соответствие вашего передвижения по магазину. Если записывать эти данные в обычные столбцы, то, можно представить, сколько придётся вводить данных по Вашему перемещению. Сколько Вы обычно времени проводите в магазине? Допустим, минут 10-15. А теперь представьте, что каждые 5 секунд с тележки считывается её положение. Тогда, в одну минуту будет записано 12 таких положений, 2 минуты - 24, 10 минут - 120. А теперь представьте, что считываются положения всех тележек в магазине на протяжении всего дня, каждую секунду, на протяжении всего года. Именно для таких ситуаций и была придумана технология Big Data, в переводе означающая - Большие Данные.

Данная технология позволяет не только хранить огромные объёмы информации, но также и подразумевает определенный анализ, если поставлены какие-то цели. В настоящий момент в России данная технология почти не используется, за исключением банковской сферы.

Обычно о Больших Данных говорят в том случае, когда объём информации настолько велик, что вручную его считать практически невозможно, как и хранить эту информацию на обычных дисках или флэшках, и для этого используют огромные сервера. В качестве примера, давайте соберём данные с одного человека про его покупки за один месяц в определённом магазине - будет большая таблица. Если же собирать такого рода информацию со всех покупателей всей сети магазинов, то одной флэшкой уже не точно обойдёшься. Это как раз пример применения Больших данных.

Цели и задачи исследования

Как можно использовать эти данные во благо общества? Для оптимизации прибыли, улучшения качества жизни людей, обслуживания, транспортного сообщения и т.д. Все же в первую очередь сферой применения является маркетинг. Казалось бы, что может быть проще, чем просто посмотреть, какие зависимости существуют в рассматриваемой области и понять, при каких условиях достигается оптимизация в нужном аспекте. Проблема заклюпочается в том, что большая часть этих данных не используется для улучшения нашей жизни, проводится мало исследований, подсчетов, поисков различных зависимостей интересующих характеристик, которые помогли бы нам заметно улучшить текущие проблемы в любой сфере общества.

У нас появилась возможность поработать с Большими данными с целью выявления какой-то новой эмпирической зависимости. Эти данные содержат информацию, собранную в магазине и характеризующую покупательское поведение.

Объектом нашего исследования является этот магазин, а предметом - выявление взаимосвязи прибыли магазина и характеристик движения покупателей в нем. Целью является максимизация прибыли. Для достижения своей цели разобьем исследование на ряд задач, а точнее вопросов, ответы на которые помогут приблизиться к выявлению зависимости.

· Как много времени в среднем человек проводит в магазине?

· Какое расстояние проходит человек в магазине за один визит?

· Сколько в среднем покупают товаров?

· Как быстро человек перемещается?

· Как соотносится время, проведенное в магазине и количество купленного товара?

· Каким образом можно описать найденную зависимость?

Гипотеза

Предположим, что скорость, с которой человек перемещается по магазину, является фактором, который оказывает однозначное влияние на количество приобретенного товара.

Из логических рассуждений можем предположить, что когда человек намерен совершить покупку, скорость его передвижения по магазину уменьшается, он начинает присматриваться к товару, проверять срок годности, читать состав и т.д. То есть его внимание концентрируется на определенном продукте, который он впоследствии возможно приобретет. А возможно, не приобретет и тогда время, потраченное на промедление, не принесет никакой пользы производителю товара, вызвавшего интерес.

Проведем исследование, чтобы понять, каким образом влияет скорость передвижения покупателей на количество товаров, проданных в магазине и, соответственно подтвердить или опровергнуть нашу гипотезу.

1. Обзор литературы

покупатель магазин потребитель

Технология Big Data в настоящий момент только начинает развиваться. В нашей стране только ведущие компании начинают присматриваться к возможности ее использования для решения своих практических, производственных и коммерческих задач. В связи с этим в России пока мало источников, на которые можно было бы опереться при исследовании данной проблематики. Существуют авторы и исследователи из других стран, которые продвинулись в изучении этой области. В своей статье мы опирались на их мнения и исследования.

Исследования покупательского поведения получили широкое распространение за последние 25 лет. С увеличением конкуренции в сфере товаров и услуг и ростом потребностей населения, подобный анализ стал необходим для получения различных преимуществ перед конкурентами. Предлагались различные модели исследования. Например, Burke (1996) эмпирически установил, что «лабораторные данные могут точно прогнозировать долю рынка бренда и чувствительность потребительских цен, наблюдаемую в супермаркете». Его данные показали, что продажи виртуальных магазинов тесно коррелируют с продажами в реальных магазинах. Таким образам появилась возможность исследовать потребности покупателей в интерактивной 3D модели и применять потом на практике в конкретных магазинах.

С развитием новых технологий, в частности радиочастотной идентификации, исследователи получили возможность детальнее отслеживать покупательское поведение в магазине. Данные, полученные с помощью RFID (radio frequency identification), благодаря высокой частоте сканирования имеют большую ценность для исследования покупательского поведения.

Исследования при помощи больших данных провел Sorenson(2003). Он изучал модели покупок у потребителей с таблицей статистики покупки и времени пребывания в разных местах в фактическом продуктовом магазине. В 2005 году Jeffrey S. Larson, используя RFID, получил массив данных, который впоследствии разделили на различные конфигурации кластера для коротких, средних и длительных поездок. Полученные три набора кластеров идентифицируют в общей сложности 14 «типов канонических путей», которые характерны для путешествий в продуктовом магазине. Также подобные исследования проводили Loebbecke(2005), Yada(2009). В 2009 году была написана статья TSP в Нью-Йоркском университете было проведено исследование, в котором ставились в сравнение траектория движения покупателя в магазине и оптимальная траектория, по которой он мог бы двигаться, приобретая те же самые товары. Подсчет соотношений порядкового отклонения и путевого между двумя траекториями, привел к достаточно четкому диапазону значений, описывающему покупательское поведение.

2. Материалы и методы