Анализ методов оценки значимости рекламного канала при кросс-канальных коммуникациях в интернет-магазине

Анализ понятия кросс-канальной коммуникации и атрибуции. Атрибуция, основанная на прохождении воронки пользователем. Методология выбора модели атрибуции и оптимизации бюджета. Разработка и применение оптимальной модели атрибуции к интернет-магазину.

Рубрика Маркетинг, реклама и торговля
Вид дипломная работа
Язык русский
Дата добавления 30.08.2016
Размер файла 2,1 M

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Размещено на http://www.allbest.ru/

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ

«НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ

«ВЫСШАЯ ШКОЛА ЭКОНОМИКИ»

Факультет бизнеса и менеджмента
Анализ методов оценки значимости рекламного канала при кросс-канальных коммуникациях в интернет-магазине
Выпускная квалификационная работа - МАГИСТЕРСКАЯ ДИССЕРТАЦИЯ
по направлению подготовки Бизнес-информатика
образовательная программа «Электронный бизнес»
Кузнецова Ксения Геннадиевна
Научный руководитель
к.т.н., доцент кафедры инноваций и бизнеса в сфере ИТ
М.М. Комаров
Москва 2016

Оглавление

коммуникация атрибуция интернет магазин
Введение
1. Обзор существующих моделей атрибуции
1.1 Понятие кросс-канальной коммуникации и атрибуции
1.2 Обзор стандартных моделей атрибуции
1.3 Атрибуция на основе данных в Google Analytics 360 Suite
1.4 Атрибуция, основанная на прохождении воронки пользователем
1.5 Атрибуция, основанная на анализе «жизни» пользователя
1.6 Атрибуция, основанная на марковской цепи
2. Методология выбора модели атрибуции и оптимизации бюджета
2.1 Выбор модели атрибуции
2.2 Методология оптимизации бюджета методом атрибуции
3. Применение модели атрибуции к интернет-магазину
3.1 Описание интернет-магазина
3.2 Определение оптимальной модели атрибуции
3.3 Оптимизация бюджета методом атрибуции
Заключение
Список использованной литературы

Введение

Российский рынок интернет-рекламы в 2016 году продолжает расти [1]. Агентство ZenithOptimedia прогнозирует рост объема рекламы в Интернете на 8%, доход составит 100,52 миллиарда рублей. Рост бюджетов на рекламу ведет за собой развитием в области теории оптимизации бюджета.

Появляются новейшие способы интернет-рекламы, в связи с этим растет цепочка взаимодействия клиента с сайтом. Если раньше цепочка могла состоять из двух-трех звеньев, то сейчас число звеньев может доходить до десятков. Например, пользователь может увидеть контекстную рекламу сайта, перейти по ссылке, затем через некоторое время вспомнить о бренде, ввести поисковый запрос и перейти на сайт через поисковую систему и только тогда совершить конверсию.

Особенно острый вопрос в магазинах высокой ценовой категории, где время принятие решения может доходить до нескольких месяцев, следовательно, и цепочек взаимодействия может быть огромное количество. Как тогда оценить, какой же канал приносит большую прибыль, а в какой не стоит вкладываться?

Эти вопросы решают модели атрибуции, определению источника трафика, благодаря которому совершена конверсия. 77% опрошенных агентств используют атрибуции при оптимизации бюджета и определение эффективных каналов [2].

Среди различных моделей атрибуций, наиболее распространенной является модель «Взаимодействие по последнему клику», когда вклад засчитывается только последнему каналу, с помощью которого выполнено целевое действие (но только 14% маркетологов признают эту модель эффективной [2]. Ведь если действие засчитывается только последнему каналу, то следует вывод, что все остальные каналы не эффективны, хотя понятен тот факт, что присваивать все очки только одному каналу, при том, что количество звеньев в цепочке может доходить до нескольких десятков, неправильно.

Определение наиболее точной модели атрибуции - неоднозначный вопрос. Стандартные модели атрибуции не четко отражают эффективность каналов, поэтому появляются более сложные модели на основе данных о пользователе.

Цель данной работы - исследование существующих моделей атрибуции и разработка алгоритма принятия решения об оптимальной модели атрибуции. Модель должна не только справедливо оценивать вклад канала, но и быть понятной пользователю. Если это готовый инструмент, который автоматически оценивает эффективность (под эффективным каналом мы понимаем тот канал, с помощью которого целевое действие достигается большее количество раз), он должен быть или бесплатный, или окупать затраты на его использование. Применение атрибуции - способ оптимизации бюджета, таким образом, обнаружив справедливую модель, оптимизация бюджета будет корректной.

Важный вопрос, который задают маркетологи, когда именно следует отходить от стандартных моделей и использовать сложные модели атрибуции. На данный вопрос ответа нет, поэтому необходимо исследовать этот вопрос и дать на него ответ, что также подтвердит актуальность исследования.

Если говорить о новизне исследования, то немногие авторы, эксперты освещают этот вопрос. Из экспертов, которые когда либо публиковали труды на данную тему, выступали на конференциях, мы можем выделить Мирослав Пинкас (руководитель отдела интернет-маркетинга и развития интернет-продаж компании «Эльдорадо»), Владислав Флакс [3] (основатель аналитической компании OWOX), Авинаш Каушик [4] (автор блога об интернет-маркетинге kaushik.net). Тем не менее, данная тема не исследована достаточно глубоко. Литературы на тему атрибуции не так много, поэтому основные источники информации - статьи в Интернете, презентации и записи с конференций, кейсы компаний.

Задачи работы на тему «Анализ методов оценки значимости рекламного канала при кросс-канальных коммуникациях в интернет-магазине» следующие:

- провести обзор стандартных моделей атрибуции;

- обозначить недостатки стандартных моделей атрибуции;

- провести обзор сложных моделей атрибуции;

- сравнить обнаруженные модели атрибуции и разработать алгоритм принятия решения об оптимальной модели атрибуции;

- применить алгоритм атрибуции к интернет-магазину;

- оптимизировать рекламный бюджетом методом атрибуции.

Таким образом, предметом исследования являются алгоритм принятия решения об оптимальной модели атрибуции. Под оптимальной моделью мы понимаем ту модель, которая подходит интернет магазину с точки зрения объема продаж магазин, целей рекламной кампании, видов рекламы.

В результате исследования мы определим наиболее объективную модель, которая может применяться маркетологами для корректной оптимизации бюджета.

1. Обзор существующих моделей атрибуции

1.1 Понятие кросс-канальной коммуникации и атрибуции

Конверсия - ключевой параметр оценки эффективности рекламного канала. Термин «конверсия» в переводе с латинского означает «обращение, перевод».

Под конверсией в интернет-маркетинге подразумевают целевое действие [5], т.е. заказ или звонок.

Другие различные типы конверсий:

- регистрация на сайте;

- заполнение формы;

- просмотр заданного количества страниц;

- клик по баннеру/ссылке;

- подписка на рассылку.

Различают макроконверсию и микроконверсию [6]:

- макроконверсия - главное целевое действие (покупка);

- микроконверсия - действие, которое является целью составной макроконверсии (подписка на рассылку, регистрация).

Несмотря на огромное множество показателей эффективности, главным показателем являются конверсии, так как под конверсией мы понимаем продажу.

Пользователь может совершить конверсию, придя из различных каналов. В литературе чаще всего источники переходов делят по терминологии из Google Analytics [7]:

- cpc - поисковая реклама (реклама в поисковых системах Google, Яндекс, Mail и др.);

- organic - бесплатный поиск (переход из поисковых систем, органической выдачи);

- referral - переход с других сайтов;

- direct - прямой переход;

- social - социальные сети.

Но это лишь очень узкая классификация. В интернет-маркетинге существует огромное количество рекламных сетей, инструментов и т.д. Новые виды рекламы появляются настолько быстро, что в литературе сложно найти актуальные список всевозможных источников трафика. Еще летом 2013 года социальная сеть Facebook впервые запустила такой формат рекламы, как видеореклама, но этот вид рекламы стремительно растет. Так, по результатам исследования компании Nanigans, в 2015 году темп прироста бюджета рекламодателей именно по видеорекламе - 41% [8].

Проанализировав большое количество литературы, полная классификация актуальных видов интернет-рекламы не была найдена.

Например, Ромат Евгений в учебнике о рекламе использовал следующую классификацию по принципу размещения и характеру воздействия [9]:

- медийная реклама (баннерная);

- контекстная реклама (реклама на страницах-партнеров рекламных систем «Яндекс», Google);

- поисковая реклама (реклама на сайтах поисковых систем, которая учитывает поисковый запрос пользователя);

- рубричная интернет-реклама (реклама в каталогах).

Данная классификация не совсем корректная, так как, во-первых, рубричная реклама - понятие из традиционной рекламы, которое не совсем применимо к онлайн, во-вторых, важное значение имеет таргетированная реклама - реклама, которая направлена на определенный сегмент аудитории [10].

Мы дадим собственную классификацию платных рекламных каналов, также основываясь на принципах размещениях и правилах показа:

- контекстная реклама - реклама на основе поискового запроса, интереса пользователя;

- медийная реклама - баннерная реклама;

- таргетированная реклама - реклама, нацеленная на определенный сегмент аудитории;

- контентая реклама - скрытая реклама в виде статьи, обзора, рекомендации;

- мобильная реклама - реклама на мобильных устройствах (мы отделили отдельно данный вид, так как в рекламных сетях мобильной рекламы

- видеореклама - рекламные видеоролики.

Для источников переходов, которые могут являться бесплатными каналами мы также дадим классификацию, дополнив Бабаева А.:

- переходы с других сайтов;

- переходы из социальных сетей;

- переходы из поисковых систем;

- переходы из почты.

На рисунке 1 мы представили платные и бесплатные источники переходов. Стоит отметить, что бесплатным мы отметили те каналы, размещение на которых подразумевается бесплатно, при переходе не взимается плата. Но в каждый этот канал вкладывают бюджеты для большей эффективности и отдачи. Например, для продвижения в поисковых системах заказывают такую услугу, как SEO (search engine optimization, оптимизация под поисковые системы), для ведения сообществ в социальных сетях заказывают SMM (social media marketing, продвижение в социальных сетях).

Чтобы еще показать разнообразие видов рекламы в Интернете, рассмотрим карту рынка интернет-рекламы в России, разработанную ассоциацией IAB (версия от 14 мая 2016 года) [11]. Мы видим, что даже в сегменте «Ретаргетинг» представлено более 20 рекламных систем, в сегменте видеорекламы - 14 систем, мобильной рекламы - 20 систем. При этом на данной карте отображены не все рекламные системы (рисунок 2).

Рисунок 1

Ассоциация IAB также провела исследование российского рынка интернет-рекламы «Digital Advertisers Barometer 2015» [12], который представлял собой опрос крупнейших рекламодателей. На рисунке 3 представлен ответ респондентов на вопрос, какой вид рекламы они используют для продвижения бренда. Из десяти вариантов ответа самый популярный - контекстная или поисковая реклама (используют 90% опрошенных). Но для нас важно то, что по диаграмме понятно, что используется не один вид рекламы (сумма процентов по всем вариантам больше 100).

При всем многообразии источников, для того, чтобы более точно определить, с какого именно источника пришел посетитель, используются utm-метки. Utm-метка - специально подготовленный набор символов, указываемый в адресе страницы, на которую ссылается реклама после вопросительного знака [13]. Уникальный адрес ссылки делает возможным отслеживание не только отдельного канала, но и отслеживание отдельной кампании, объявления и т.д.

Рисунок 2

Уникальный адрес ссылки делает возможным отслеживание не только отдельного канала, но и отслеживание отдельной кампании, объявления и т.д.

Так как существует множество каналов, по которым пользователь может прийти на сайт, существует кросс-канальных коммуникаций.

Кросс-канальная коммуникация - коммуникация с сайтом через различные каналы. То есть когда пользователь первоначально приходит через один источник, а затем возвращается на ресурс через другие.

Кросс-канальное взаимодействие в рамках текущей конкуренции - уже необходимость, как отмечают эксперты (директор по маркетингу Nexage Виктор Миллиган [14], Джон Майерс [15] и др.). Необходимо удержать пользователя и вернуть на сайт любыми способами для достижения конечной цели.

Рисунок 3

Ассоциированные конверсии - конверсия, которая совершается в рамках цепочки переходов.

То есть достаточно редкий случай, когда пользователь совершил покупку при первом переходе на сайт.

На рисунке 4 представлена возможная цепочка переходов пользователя (инструмент многоканальные последовательности Google Analytics).

Рисунок 4 пример цепочки переходов

На данном рисунке мы видим, что сначала пользователь увидел сайт в социальной сети (Social Network) и перешел на него, затем, через некоторое время, вернулся на сайт через прямой переход, после этого попал сайт через поисковую систему (возможно, что запомнил название сайта и сделал запрос в поисковой системе), далее перешел на сайт через другой ресурс (возможно, увидел статью/баннер о магазине) и снова через некоторое время вернулся на сайт через прямой переход и совершил конверсию. Как мы видим, таких конверсий - 767.

Это один лишь из примеров возможных цепочек перехода, длина цепи (количество звеньев-источников) - 5 каналов. На рисунке 5 представлен скриншот из Google Analytics, на котором мы видим, что длина цепочек может быть намного больше.

Рисунок 5

На рисунке 6 представлены возможные цепочки.

Атрибуция - определение источника трафика, благодаря которому совершена конверсия [16].

Это очень важный момент в оптимизации рекламного канала, так как необходимо четкое понимание, какой же канал приносит большее количество лидов (лид - заявка, конверсии), покупателей, т.к. это означает, что именно в данный канал необходимо вкладывать средства. И, наоборот, не стоит расширять бюджет на каналы, которые не приносят дохода.

Рисунок 6

Но атрибуция важна и для того, как утверждает Гарри Голд [17], чтобы понимать путь покупателя, его логику. С этим утверждением согласны 79% маркетологов [18] (согласно исследованию Rakuten Attribution).

Для того, чтобы определить, какой же канал самый результативный, используют модели атрибуции, которые мы рассмотрим далее.

Вывод: в данной главе мы рассмотрели, какие виды источников трафика на сайт существует. В условиях жесткой конкуренции необходимо использовать несколько каналов для взаимодействия с пользователем, что и называется кросс-канальной коммуникации. Но при множестве каналов, становится важным такое понятие, как атрибуция - определение источника трафика, благодаря которому достигнуто целевое действие. В следующей главе мы рассмотрим модели атрибуции, которые определяют наиболее эффективные источники трафика при кросс-канальной коммуникации.

1.2 Обзор стандартных моделей атрибуции

Модель атрибуции - правило или набор правил, определяющих принцип распределения ценности конверсии среди точек взаимодействия на пути конверсии. Различные модели дают разные данные о конверсиях в каналах, источниках трафика [19].

Уровни атрибуций [20]:

- O2S (Online 2 Store) - пользователь сначала увидел сайт, затем перешел в оффлайн;

- AMS (Across Multiple Screens) - цепочка взаимодействия таких каналов, как ТВ, компьютер, планшеты, телефоны, т.е. атрибуция между устройствами;

- ADC (Across Digital Channels) - взаимодействия между различными онлайн-каналами (SEO, контекстной рекламы, социальными сетями и т.п.)

В рамках исследования по теме ВКР мы будем анализировать уровень ADC. Для анализа более высоких уровней необходима более сложная аналитика и соответствующие инструменты, которые могут отследить пользователя офлайн-онлайн и между различными устройствами (это возможно с помощью User ID Google Analytics Premium).

Рассмотрим основные стандартные модели атрибуции на уровне ADC, которые можем разделить на 2 типа:

- 100% присвоение конверсии каналу (или single touch [21]);

- Частичное присвоение конверсии каналу.

Под стандартными моделями атрибуции мы понимаем, во-первых, модели атрибуции, которые можно применить в Google Analytics. Во-вторых, которые просты с точки зрения арифметических вычислений.

Сначала рассмотрим самые простые модели, со стопроцентным присвоением ценности конверсии каналу. В скобках указаны английские названия моделей и альтернативные, встречающиеся в литературе.

По модели «Последнее взаимодействие» (Last-click Model,Post-clik, последний переход) - 100% ценности конверсии последнему каналу, с которым взаимодействовал пользователь перед целевым действием [22]. Предыдущая история визитов, каналы не учитываются.

Таким образом, мы узнаем, какой именно канал подтолкнул к покупке. Математическое представление - формула 1, где Cз - величина конверсии звена (от 0 до 1), i - порядковый номер звена в цепочке, n - количество звеньев в цепи.

(1)

Данная модель используется по умолчанию в популярном сервисе «Яндекс.Метрика» и других инструментов веб-аналитики (за исключением Google Analytics).

В справке Google Analytics данную модель рекомендуют использовать, когда применение решение о покупке (или другом целевом действии) не занимает большой промежуток времени. Но правильней будет утверждение, что данную модель имеет смысл использовать при небольшом количестве рекламных каналов (1-2) или же малом количестве звеньев в цепочке (что и подразумевает тот факт, что пользователь совершил покупку практически сразу). То есть данная модель подойдет, во-первых, интернет-магазинам, которые предлагают товары низкого ценового сегмента, повседневных товаров. Также отлично подойдет данная модель для тех компаний, которые расширяют клиентскую базу путем сбора e-mail, например, предлагая бесплатным семинары.

Модель «Последний непрямой клик» (Last Non-Direct Click, последний непрямой переход) - то же самое, что и последнее взаимодействие, но игнорируются прямые переходы. Используется по умолчанию в отчетах Google Analytics. Её используют 54% маркетологов (данные из гида по Google Analytics 360). При том, что только 14% считают её эффективно. Данная модель более справедлива, чем предыдущая, так как из-за того, что в модели «Последний переход» мы учитываем прямые переходы, теряется заслуга платных каналов, но вероятность того, что именно благодаря другим каналам пользователь узнал о сайте близка, к 1. Рассмотрим пример взаимодействия из двух звеньев: пользователь впервые узнал о сайте благодаря контекстной рекламе, запомнил название сайта и через некоторое время снова зашел на сайт, но уже напрямую, в первой модели заслуги контекстной рекламы были бы проигнорированы, но во втором случае - момент, что пользователь узнал о сайте именно благодаря контекстной рекламе, будет учтен.

Математически представим в виде формул 2 и 3. Формула 2 - последнее звено не является прямым переходом, формула 3 - является. Cз - величина конверсии звена (от 0 до 1), i - порядковый номер звена в цепочке, n - количество звеньев в цепи.

(2)

(3)

Рекомендации к применению аналогичны - модель уместна, когда решение о покупке не занимает длительное время, количество звеньев в цепочке взаимодействия минимально.

Модель «Первое взаимодействие»(Firtst Click, первый переход) - 100% присваивается первому каналу. В основном используют, когда цель рекламной кампании - повышение узнаваемости бренда. В формуле 4 отобразили математическую формулировку. Cз - величина конверсии звена (от 0 до 1), i - порядковый номер звена в цепочке, n - количество звеньев в цепи.

(4)

Модель «Первое взаимодействие», по мнению экспертов компании Ingate [24], оптимально использовать в сегменте B2B (когда продавец и покупатель являются организациями), чтобы понимать, откуда же клиенты узнали о компании.

Модель является полностью противоположностью «Последнему клику», поэтому главный недостаток - мы узнаем только откуда покупатель узнал о сайте, но не учитываем, какой именно канал подтолкнул к покупке.

Далее рассмотрим модели с частичным присвоением конверсии каналу, которые более сложны при расчете.

Линейная модель - всем каналам в последовательности присваивается одинаковая ценность (формула 5). Используется, когда важна каждая цепочка взаимодействия с покупателем. Например, когда запущено одновременно сразу несколько рекламных каналов и нам в короткий срок необходимо установить, какие каналы возвращают на сайт пользователя. То есть здесь не столько важен конечный результат, сколько именно точки касания.

(5)

Недостаток модели - мы присваиваем одинаковую роль всем каналам, хотя большую сыграли именно первый (благодаря которому пользователь узнал о сайте) и последний (который мотивировал к покупке).

Модель «С учетом давности взаимодействия» (Time Decay) - чем ближе к конверсии находится точка взаимодействия, тем более ценной она считается.

В справке Google Analytics рекомендуется использовать данную модель в краткосрочных кампаниях, чтобы именно оценить эффект от рекламной акции. Мы можем задать

По умолчанию период распада - 30 дней, но имеется возможность в настройках изменить период. По экспоненциальному распаду, всем каналы, с которыми взаимодействовал покупатель, присваивается 50% ценности, две недели - 25%. Максимальную ценность - каналу, с которым взаимодействие шло в день совершения целевого действия.

Формула более сложная (6), добавляются новые обозначения: t - время взаимодействия всей цепи (по умолчанию - 30 дней), T - период полураспада, ti - сколько прошло дней с момента первого взаимодействия.

(6)

Авинаш Каушик в одной из своей статьей об атрибуции [4] отметил, что эта модель лучше, чем по первому и последнему клику. Но недостаток - в данной модели слишком малое значение отдается первому каналу взаимодействия, благодаря которому произошло первое знакомство.

Модель атрибуции с привязкой к позиции (Position Based, U-curve) - ценность распределяется по 40% первому и последнему каналу и 20% - всем остальным. То есть по умолчанию используется правило Парето 80/20 (80% - первому и последнему, 20% - остальным). Но возможно расставить свои веса первому, последнему каналу и каналам между этими звеньями. Данная модель учитывает не только первое и последнее взаимодействие в равной степени, но и берет во внимание все остальные участвующие в цепи каналы.

То есть эта модель рекомендуется в тех случаях, когда важно и то, откуда пользователь узнал о сайте, благодаря какому каналу была совершена конверсия и какие каналы были посредники при достижении цели.

Мы рассмотрели стандартные модели атрибуции и основную информацию поместили в таблицу 1.

У каждой модели есть как свои преимущества, так и недостатки.

Таблица 1

Название модели

Иллюстрация

Описание

Достоинства

Недостатки

Последнее взаимодействие

100% последнему каналу

Оценивается именно то, какой канал в конечном счете подтолкнул к конверсии

Игнорируются остальные каналы; если последний канал - прямой переход, 100% ценности конверсии передается ему

Последнее непрямое взаимодействие

100% последнему каналу, не являющимся прямым

Оценивается именно то, какой канал в конечном счете подтолкнул к конверсии, исключается прямой переход

Игнорируются остальные каналы

Первое взаимодействие

100% первому каналу

Оценивается, благодаря какому каналу началось взаимодействие пользователя с сайтом

Игнорируются остальные каналы, в том числе которые привели к конечному целевому действию

Линейная модель

Всем моделям одинаковая ценность

Учитываются все каналы

Не учитываются заслуги каналов относительно достижения цели

С учетом давности взаимодействия

Чем ближе к конверсии находится точка взаимодействия, тем более ценной она считается.

Учитываются все каналы и оценивается заслуга каждого относительно достижения цели

Недостаточная оценка первого канала

С привязкой к позиции

40% первому и последнему каналу и 20% последним

В большей степени учитываются каналы, благодаря которому началось взаимодействие пользователя с сайтом и который в конечном счете подтолкнул к конверсии

Равнозначное оценивание каналов в промежутке между первым и последним

Аргументируем, почему необходимо от стандартных моделей перейти к более сложным:

- стандартные модели не учитывают вероятности перехода от одного источника к другому;

- все стандартные модели имеют недостатки;

- не учитывается вклад канала относительно воронки продаж (то есть при переходе с какого источника сессия завершилась визитом, а с какого - просмотром корзины и т.п.)

Для небольших интернет-магазинов, где результаты пересчета значительно не влияют на результат (при малом количестве каналов, звеньев в цепочке), использование стандартных моделей будет достаточным. Но в любом случае стоит отходить от модели «Последний переход» и использовать более сложные модели.

Вывод: стандартная модель атрибуции, последний переход, используется в основном маркетологи, но при этой модели игнорируется весь остальной путь пользователя, поэтому оптимизация бюджета на основе данной модели может привести к неправильным выводам. Помимо этой модели, существует еще пять стандартных моделей, три из которых оценивают вклад не только первого или последнего источника, но и других. Но все стандартные модели агрегируют поверхностные данные, не учитывают историю пользователя на сайте, вероятность перехода от одного источника к другому, поэтому необходимо использовать более сложные модели атрибуции.

1.3 Атрибуция на основе данных в Google Analytics 360 Suite

15 марта 2016 Google объявили о выпуске нового инструмента для маркетологов - Google Analytics 360 Suite. Данный инструмент - самый глубокий инструмент веб-аналитики из существующих на рынке.

Отличительная особенность - более тщательный и полный сбор данных о поведении пользователя, а также возможность импортировать данные.

Из шести инструментов (рисунок 6), входящих в Google Analytics 360 Suite (Google Optimize 360, Google Data Studio 360, Google Tag Manager 360, Google Analytics 360, Google Attribution 360), нам интересен именно продукт Google Attribution 360.

Ранее у Google имелся инструмент для поле глубокой атрибуции - Adometry, который умел даже оценивать атрибуции на уровне AMS (Across Multiple Screens) [26], но благодаря новому инструменту возможно не просто оценивать бюджет, но и его оптимизировать. То есть имеется бид-менеджер, который управляет ставками, в зависимости от эффективности канала, объявления.

Данный инструмент не подойдет для организаций, у которых малое количество данных или данные хаотичны (не организованы в единую систему). Google Attribution 360 подойдет для тех компаний, у которых настроены все рекламные каналы таким образом, чтобы их можно было объединить в одно целое. Кроме того, должен быть очень большой объем данных.

Модель, по которой считается вклад рекламного канала, её логика, является запатентованной и не расшифровывается, поэтому представить математическую модель мы не можем. На сайте, в справке, презентациях и других материалах Google Analytics описываются лишь общие черты [24]: используются самые современные алгоритмы, принимается во внимание каждое действие пользователя. То есть если в стандартных моделях учитывались только макроконверсии, то по данному алгоритму учитываются и микроконверсии.

Эффективность каналов рассчитывается тоже не в комплексе, но и учитываются отдельные кампании, объявления, слова.

Отличительная особенность и преимущество - учитываются абсолютно все данные. Поэтому эту модель и относят к виду data-driven - модели, основанной на данных о пользователе.

Еще очень важное преимущество, которое отличает Attribution 360 - возможность атрибуции не только онлайн, но и в офлайн. Инструмент оценки офлайн конверсий (offline conversion connector) позволяет оценить, как интернет-реклама повлияла на покупку в офлайн. Это очень важно, так как, по данным исследования PwC [25], 70% пользователей предпочитают покупать в офлайн товар после ознакомления в онлайн. Эта модель известна как ROPO (Research Online Purchase Offline). Это реализуется благодаря тому, что учитывается не только cookies, но и User ID, который присваивается каждому пользователю, данных из СRM-системы (или просто с помощью обычного импорта данных о клиентов), протоколе передачи статистических данных. User ID учитывается на всей цепочки взаимодействия, данные о пользователе дополняются и накапливаются.

Этот инструмент является мощным по причине, что способен учитывать не только клики по рекламе, но и просмотры. Это еще один вид атрибуции, атрибуция показов (view-through). Рассмотрим пример (рисунок 7). Пользователь увидел рекламу в Интернете, но не кликнул по ней, через некоторое время в поисковых системах начал искать данный сайт (товар) и совершил покупку. В простых системах веб-аналитики учитывать влияние таких рекламных каналов, с которым не взаимодействует пользователь с помощью клика, невозможно. Но Google Analytics 360 и Attribution 360 это возможно. Идет отслеживание не только кликов, но и движения курсора, видимая область экрана. Это важно особенно важно для видеорекламы и медийной рекламы.

Рисунок 7

Несмотря на то, что мы не можем построить математическую модель, алгоритм подсчеты представляет собой «черный ящик», необходимо было рассмотреть её в работе, так как является популярным и обсуждаемым инструментом.

На рисунке 8 представлен скриншот из Google Attribution 360. По горизонтали на диаграмме указаны каналы, зеленым - канал принес прибыль, красным - реклама принесла убытки.

Рисунок 8

Данный инструмент очень мощный, но продукт является платным. Стоимость Google Analytics 360 - от 150 000 долларов в год. Минимальный срок подписки - один год.

Посчитаем, каким компания окупится данный инструмент. В кейсах на сайте Google Analytics 360 минимальное увеличение прибыли после оптимизации с помощью данного инструмента - 19% (кейс компании Erwin Penland). Предположим, что именно эти 19% в месяц окупают использование продукта (стоимость месячной подписки - от 12 500 долларов). Поэтому минимальный размер изначальной прибыли, чтобы окупить данный продукт примерно 65 700 долларов.

Таким образом, продукт Google Analytics 360 и Google Attribution 360 будет полезен в следующих случаях:

- интернет-магазинам, размер ежемесячной прибыли которых - не менее 65 700 долларов в месяц;

- интернет-магазинам, имеющие большое количество магазинов в офлайн (то есть для кого важна атрибуция между офлайн и онлайн);

- интернет-магазинам, дающим рекламу на телевидении и радио.

Главный недостаток - высокая стоимость и непрозрачность расчетов.

Вывод: мы рассмотрели инструмент Google Attribution 360, который является мощнейшим инструментом среди аналогов. Он способен не только учитывать клики, но и просмотры рекламы, а также действия покупателя в офлайн. Но данный продукт дорогой, имеет смысл использовать данный продукт при больших оборотах, когда результаты оптимизации компании могут окупить стоимость подписки. Также будет полезен тем рекламодателям, для которых важно оценивать эффект онлайн-рекламы на офлайн.

1.4 Атрибуция, основанная на прохождении воронки пользователем

Атрибуция на основе воронки - разработка компании OWOX, алгоритм распределения ценности каналам является запатентованным.

Ключевая особенность и преимущество над стандартными моделями атрибуции - идет оценка вклада каждой сессии, до какого уровня воронки покупатель доходит в данной сессии.

Рассмотрим рисунок 9 [26]. Представлена цепочка взаимодействия из четырех звеньев - контекстная реклама (Paid Search), органическая выдача поисковых систем (Organic Search), медийная реклама (Display) и ретаргетинг (Retargeting). Когда пользователь увидел объявление контекстной рекламы, он только посетил сайта. Но запомнил сайт и чуть позже нашел его через поисковые системы. Во время этого визита пользователя заинтересовал товар, он посетил его карточку. Но покупка не была совершена. Еще через промежуток времени, пользователь увидел рекламный баннер, снова посетил сайт и уже добавил товар в корзину, но, опять же, заказ не оформил. И, наконец, спустя некоторое время, пользователь увидел объявление ретаргетинга и на этот раз совершил покупку.

Рисунок 9

Наибольшую ценность имеет тот канал, который довел покупателя до целевого действия (в данном случае, канал ретаргетинга внес наибольший вклад).

Но в модели Funnel Based Attribution (атрибуция на основе воронки) важное значение еще имеет вероятность перехода с одного этапа воронки на другой.

Для того чтобы определить вероятность перехода на следующий канал, можно использовать данные о прохождении воронки другими пользователями.

В Google Analytics в отчете Enhanced Ecommerce (раздел «Электронная торговля) представлены сегментированные по этапам воронки данных. То есть мы можем увидеть, сколько сеансов закончилось на том или ином этапе воронки. Например, по рисунку 10, мы можем увидеть, что из 15 сеансов, 12 пользователей (если все сеансы - уникальные пользователи) дошли до этапа просмотра товара, 7 - до добавления товара в корзину, 2 - оформления заказа и только 1 сеанс завершился покупкой.

Но нам в данном отчете наиболее интересно, какой процент посетителей перешли с одного этапа воронки на другой. Этот процент и учитывается как вероятность перехода на следующий шаг. Но так как чем сложнее переход пользователя на следующую ступень воронки, тем более значим канал (так как велика вероятность прерывания цепочки), ценность канала обратно пропорционален переходу на следующий шаг. В таблице 2 представлена логика распределения ценностей, на рисунке 11 отображение в виде диаграммы (вероятности рассчитаны на примере магазина, отличного от того, чья диаграмма воронки представлена на рисунке 9).

Чтобы расчет ценности был более понятен, на рисунке 12 изображена логика расчетов.

Рисунок 10

Таблица 2

Шаг

Пользователи (S)

Вероятность прохождения шага

(P)

Вероятность потери пользователя на данном шаге

(1-P)

Приоритет (I)

Цен-ность (Сз)

1

Визит

100%

100%

0%

5

2%

2

Просмотр товара

49%

49%

51%

4

32%

3

Добавление в корзину

7,80%

16%

84%

3

25%

4

Оформление заказа

3,40%

44%

56%

2

3%

5

Покупка

2,10%

62%

38%

1

38%

Рисунок 11

Рисунок 12

Инструмент OWOX Attribution - чуть менее мощный инструмент, чем Attribution 360 от Google. Основные компоненты, помимо самого сайта, которые используются представлены на рисунке 13:

- Google Analytics;

- импортированные данные из рекламных систем;

- CRM/ERP система;

- Google BigQuery (инструмент работы с большим количеством данных;

- Google Sheets (для вывода таблиц).

Рисунок 13

Данная модель атрибуции - более объективная, чем стандартные модели атрибуции. В частности, преимущества инструмента OWOX Attribution следующие:

- оценивается вклад каждой сессии перед заказом;

- учитываются отмененные заказы;

- учитываются продажи в физических магазинах;

- учитывается позиции в цепочке;

- логика расчетов прозрачна;

- возможность продуктовой атрибуции (атрибуции отдельных групп товаров);

- попадают данные всех заказах (в Google Analytics может не попадать информация до 20% заказов) [27].

Недостатки данной модели - недостаточная оценка первого канала. Так как именно с этого канала начинается цепочка взаимодействия.

Недостаток инструмента OWOX Attribution - высокая стоимость (1200 долларов в месяц), входит в пакет OWOX Enterprise (из трех вариантов пакетов - самый дорогой). Как и в случае с Attribution 360, необходимо, чтобы инструмент окупал себя. Оптимизировав бюджеты при помощи атрибуции, можно добиться увеличения продаж минимум на 10% (информация от специалистов компании OWOX). Таким образом, прибыль компании, которая окупит использование данного продукта, должна составлять не менее 12 000 долларов в месяц. То есть данный вариант не подойдет для средних и малых интернет-магазинов.

Вывод: OWOX Attribution - инструмент, в основе которого лежит модель атрибуции на основе прохождения воронки. Данный вид атрибуции имеет множество преимуществ, одно из главных - учитывается вклад рекламного канала относительно этапа воронки продаж, что отсутствует в стандартных моделях атрибуциях. Но данный инструмент не подходит для средних и малых интернет-магазинов, с прибыль менее 12000 долларов в месяц.

1.4 Атрибуция, основанная на анализе «жизни» пользователя

Из стандартных моделей, предусмотренных в Google Analytics, одна из наиболее интересных - «С учетом давности взаимодействия» (Time Decay), которая учитывает время взаимодействия с каналом.

Но и предыдущая модель, разработанная OWOX, представляет интерес, так как учитывает вероятность перехода на следующий шаг и этап воронки.

Андрие де Вириес разработал модель, вычисляемую в среде R [28], которая учитывает каждую итерацию (просмотр или клики), время для конверсии. Правильнее будет даже утверждение, что Вириес не разработал модель, а использовал встроенный в среду R пакет Survival и применил относительно атрибуции в маркетинге.

Фактически, данная модель - измененная модель «С учетом давности взаимодействия», но учитываются просмотры и вероятность того, что будет вероятность оттока.

В основе лежит оценка Каплана Мейера и модель Кокса.

На рисунке 14 представлен результат импорта данных и применения функций Каплана Майера и Кокса в среде R. Чем больший вклад канала - тем больше экспоненциальный коэффициент.

Рисунок 14

Недостаток данного метода - предварительно необходимо собрать массивный объем данных. Для интернет-магазина, у которого более 1000 посетителей в сутки, у каждого посетителя может быть несколько сессий, объем импортируемых данных будет слишком большой, в чем возникнет сложность.

Вывод: для вычисления атрибуции при кросс-канальных коммуникациях можно использовать не только инструменты веб-аналитики, но и среду программирования. Например, в данной главе был рассмотрен способ атрибуции в среде R, который основан на анализе выживаемости.

1.5 Атрибуция, основанная на марковской цепи

Как и в случае с атрибуцией, основанной на воронке продаж, разработанной компанией OWOX, в основе данной модели используется вероятность перехода с одного шаг на другой.

Переход пользователя с одного канала на другой мы можем представить в виде графа. Процесс перехода - случайный. Случайный процесс, происходящей в какой-либо системе, называется марковским [29]. Состояние и время - дискретно, поэтому мы можем назвать данный процесс марковской цепью.

Автор Кент Стонс, который опубликовал статью [30], в которой рассматривает цепь Маркова как способ атрибуции, представил схему перехода с одного канала на другой с учетом вероятности (рисунок 15).

Рисунок 15

Но нам нужно учитывать и другие состояния, так как помимо макроконверсии, пользователь проходит этапы микроконверсий. Поэтому на рисунке 16 мы представили пример графа. P - вероятность перехода с одного состояния на другое. Каждое состояние пронумеровано. Граф можно усложнить, добавив состояния согласно этапу покупки, но в данном случае мы упростили вариант и анализируем два критических состояния - пользователь ушел без покупки или совершил покупку.

По данному графу можем построить матрицу переходов (формула 7). Для того чтобы оценить, какой канал наиболее эффективен, нам необходимо определить вероятность того, что с этого канала мы перейдем в состояние 7 (визит завершится покупкой). Это самое важно действие. Но и важно наличие канала в цепи. То есть просуммировав вероятности нахождения канала в цепи, мы получим некую вероятность. Но переход к состоянию 7 мы будем ценить в 2 раза выше, так как это наиболее важная цель.

Рисунок 16

(7)

Вероятности имеет смысл определять именно для состояний каналов (в данном случае 1, 2, 3).

В Google analytics мы можем определить по модели последнего клика, сколько число сеансов завершилось состоянием 7. Вероятность Pi7 определяется как число визитов, в которых последнее посещение канала завершается состоянием 7 Ni7, к общему числу визитов N (формула 8).

(8)

Pi6 определяется как число визитов, которое заканчивается посещением канала Ni6, общему числу визитов N (формула 9).

(9)

Аналогичным образом мы определяем вероятность переходов с одного канала на другой, определяем другие вероятности. Оговоримся, что если различных цепочек больше 30 или количество звеньев в цепочке больше 30, то вычисления могут занять некоторое время. Но возможна обработка данных в программной среде (например, в R).

Как мы сказали выше, переход к состоянию 7, мы будем ценить в 2 раза выше, поэтому итоговый вес канала (Сi) мы будем определять по формуле 10, то есть перед Pi7 стоит коэффициент 2.

Наиболее эффективный канал по этой формуле - тот, который приносит конверсии и тот, который чаще всего участвует в цепочках (максимальный вес C). Это совершенно отличающаяся модель от предыдущих, но она также имеет справедливость существовать.

Вывод: интернет-магазин и источники переходов можно представить в виде графа, вершины графа - каналы и этапы покупки. Вершины графа - состояния. Пользователь переходит из одного состояния при определенной вероятности. Чтобы определить эти вероятности, можно взять данные о предыдущих переходах в Google Analytics. В данном разделе представлена формула, которая основывается на той теории, что самый эффективный канал - тот, который чаще всех участвует в цепочках и приводит к конверсиям (в формуле расчета веса канала переходу в состояние конверсии добавляется коэффициент). Данная атрибуция подойдет для небольших интернет-магазинов, но для крупных следует использовать другие, более прогрессивные инструменты.

Выводы к главе 1: в данной главе мы рассмотрели существующие и самые распространенные модели атрибуции, а также инструменты, изучили их достоинства и недостатки. Помимо классической модели «Последний переход» (и «Последний непрямой переход»), мы рассмотрели восемь моделей, четыре из которых не являются стандартными, предусмотренные в Google Analytics. Остается нераскрытым вопрос, когда следует уходить от классической модели атрибуции «Последний переход» и углублять в более сложные, методология определения модели атрибуции, а также разработка методологии атрибуции как способа оптимизации бюджета, представлены в следующее главе.

2. Методология выбора модели атрибуции и оптимизации бюджета

2.1 Выбор модели атрибуции

В первой части мы провели обзор существующих моделей атрибуции:

- последний переход;

- последний непрямой переход;

- первый переход;

- линейная модель;

- с привязкой к позиции;

- с учетом давности взаимодействия;

- Attribution 360 от Google;

- модель с учетом прохождения воронки продаж пользователем

- модель на основе анализа выживаемости;

- атрибуция, основанная на марковских цепях.

Справедливой модели не существует, так как в каждой модели имеются достоинства и недостатки. Но существует модель, которая наиболее полно решает задачу оптимизации рекламного бюджета.

Для каждого случая и задач - своя модель атрибуции. Например, атрибуция «Первый переход» - идеальна, если нам требуется узнать, откуда покупатель узнал о нас.

Мы сразу утверждаем, что модель «Последний переход» - самая необъективная из всех рассмотренных, так как очко присваивается и прямым переходам. Но фактом является то, что прежде чем пользователь узнал о сайте и вбил его название в адресную строку, он предварительно узнал о нем с помощью какого-либо другого канала. То есть всем владельцам интернет-магазинов и маркетологам мы рекомендуем отказаться от этой модели.

Вопрос, какую модель атрибуции следовать использовать и стоит ли отходить от модели «Последний непрямой переход», вопрос актуальный.

На основе анализа моделей, их преимуществ и недостатков, мы выделили следующие факторы, влияющие на принятие решение о том, какую модель атрибуции следует использовать:

- объем прибыли - этот показатель характеризует, окупится ли использование платного инструмента от компании Google или OWOX, так как стоимость подписки может не окупиться интернет-магазину;

- имеются ли магазины в офлайн - в некоторых случаях очень важно оценить, как интернет-реклама повлияла на продажи в физическом магазине, есть только один инструмент, который это реализует (Attribution 360);

- наличие рекламы на телевидении и радио - аналогично предыдущему пункту, оценить влияние ТВ-рекламы и рекламы на радио может только один инструмент (Attribution 360);

- важность показателя view-thru - если рекламодатель хочет оценить видеорекламы, баннерной рекламы, то есть той рекламы, которая влияет на принятие решении о покупке пользователя, даже если он не кликает по рекламе, следует использовать Attribution 360 или атрибуцию от компании OWOX;

- цели кампании - если цель рекламной кампании - брендинг, до достаточно использования атрибуции «Первый переход»;

- важность каждого касания - если для рекламодателя важно каждое взаимодействие, то однозначно следует использовать сложные модели атрибуции;

- срок рекламной кампании - если требуется оценить всплеск конверсий при короткой рекламной акции, небольшим интернет-магазинам подойдет модель «С учетом давности взаимодействия».

Факторы, влияющие на возможность применения модели:

- количество возможных цепочек взаимодействия - некоторые модели (например, метод атрибуции с помощью построения марковской цепи), сложно рассчитывать при большом массиве данных. Однако возможно использовать программные средства обработки данных.

- количество сессий - аналогично предыдущему пункту, при очень большом количестве сессий, посещаемости, некоторые методы ограничены в использовании.

Следующие факторы, учитывают, сильно ли изменится картина при применении атрибуции:

- количество используемых рекламных каналов - чем больше количество рекламных каналов, тем больше вероятность, что при переходе от модели «Последний переход» к другой, оценка каналов будет отличаться;

- количество звеньев в цепи - аналогично предыдущему пункту, чем больше звеньев в цепи, тем больше вероятность, что определение приоритета разными способами может повлиять на итоговый вклад канала;

- рекламный бюджет - если бюджеты маленькие, то экономия при применении атрибуции будет незначительной.

Перед нами встает задача из теории принятия решений. У нас есть набор факторов. Каждой альтернативе мы можем назначить вес, в зависимости от того, решает ли данную задачу модель, удовлетворяет ли условию.

Мы разделим этап принятия решений на несколько этапов:

1. Достаточность простейших моделей атрибуции - на этом на этапе определяем, достаточно ли простых моделей атрибуции.

2. Необходимость в платных инструментах - чем крупнее бюджеты, тем более сложный инструмент необходимо использовать.

3. Выбор атрибуции средней сложности.

Диаграмма первого этапа принятия решения представлена на рисунке 17. На этом этапе мы определяем, необходимо ли нам использовать сложные модели атрибуции. Здесь определяется либо модель «Последний непрямой переход», либо модель «Первый переход». Если по на этом этапе A или B больше 0, то переходим к этапу 2. Если меньше 0, то выбираем модель, набравшую больший итоговый вес.

Рисунок 17

Второй этап - мы оцениваем, необходимо ли использовать сложные инструменты. По нашей оценке моделей атрибуции, если компания может позволить использование платных продуктов, то, безусловно, следует ими пользоваться. Особенно если важно то, как офлайн влияет на онлайн и наоборот (рисунок 18).

Рисунок 18

Если F?4,5 - выбираем инструмент Attribution 360, если G?0,5 - инструмент OWOX. В следующих случаях переходим к этапу 3.

Этап 3 (рисунок 19) - процесс выбора из нескольких моделей, которые более сложные, чем «Последний переход» и «Первый переход», но их применение не подразумевает использование платных инструментов. На данном этапе мы выбираем модель, которая набрала наибольший вес.

Рисунок 19

Таким образом, резюмируем алгоритм определения оптимальной атрибуции M:

1. Первый этап (рисунок 16). Если A>0 или B>0, то выбираем M=max(A,B). Если A<0 и B<0, переходим к этапу2, атрибуции A и B исключаются.

2. Второй этап (рисунок 17). Если F?4,5 - выбираем инструмент Attribution 360. Если G?0,5, F<4,5 - выбираем E. Если G<0,5 и F<4,5, переходим в следующему этапу, E и F исключается.

3. Третий этап (рисунок 18). По результатам третьего этапа M=max (C, D, E, H, I).

В результате прохождения алгоритма мы определим оптимальную модель.

Вывод: в данной главе мы разработали алгоритм поиска оптимальной модели атрибуции на основе диаграммы принятия решения, методом анализа иерархий, учитывая различные параметры и их значимость.


Подобные документы

  • Виды стимулирования сбыта. Роль рекламы в современном обществе. Применение методов рекламного воздействия на аудиторию. Стандартные формы объединения брендов в процессе кросс-промоушн. Примеры Product Placement в отечественной и зарубежной практике.

    курсовая работа [47,0 K], добавлен 02.06.2015

  • Анализ Интернет-магазинов как систем электронной торговли. Структура и функциональные модули Интернет-магазина. Проектирование и разработка интерфейса сайта. Разработка структуры сайта Интернет-магазина. Проектирование логической модели базы данных.

    курсовая работа [2,2 M], добавлен 11.03.2019

  • Интернет - средство массовой коммуникации, его отличие от остальных СМИ. PR потенциал web-сайта на примере сайта "Ауди Центра Ростов". Использование Интернета как канала PR-коммуникации. Продвижение сайта - наиболее простой и рентабельный метод рекламы.

    курсовая работа [44,0 K], добавлен 11.12.2009

  • Феномен развития рекламного дискурса в среде интернет в его связке с усилением тенденции digital-маркетинговых стратегий. Механизмы, задействованные в создании рекламных текстов для сети интернет. Классификация каналов коммуникации в данной сфере.

    курсовая работа [46,0 K], добавлен 21.03.2016

  • Понятие кризиса и подходы к его изучению. Описание и раскрытие специфики кейсов, обоснование их выбора. Проведение онлайн-опроса для выяснения отношения потребителей к "вредным" ингредиентам и определение уровня атрибуции ответственности компаний.

    дипломная работа [1,8 M], добавлен 26.10.2016

  • Интернет-реклама: определение, специфические особенности, виды, функции. Технологии разработки текстового сообщения в сети Интернет. Ситуационный анализ ОАО "Улан-Удэнская Птицефабрика", разработка рекламной статьи в сети Интернет для данного предприятия.

    курсовая работа [400,3 K], добавлен 07.01.2013

  • Понятие и принципы осуществления, разработка маркетинговых коммуникаций для продвижения интернет-торговли. Методика исследования маркетинговой деятельности компании, разработка соответствующих коммуникаций, анализ и оценка их практической эффективности.

    курсовая работа [1,5 M], добавлен 19.11.2014

  • Назначение, функции, задачи бизнес-плана. Анализ предлагаемых на рынке вакансий необходимых для работы в интернет-магазине. Анализ маркетинга и потребительского спроса. Оценка экономической эффективности бизнес-плана. Разработка новых изделий, товаров.

    дипломная работа [1,6 M], добавлен 07.10.2015

  • Понятие Интернет-маркетинга и развитие коммуникационной составляющей Интернет-пространства. Классификация и сравнительный анализ использования методов продвижения организации в сети Интернет. Рекомендации по формированию стратегии Интернет-продвижения.

    дипломная работа [450,2 K], добавлен 08.03.2013

  • Определение понятия Интернет-маркетинга. Обзор разновидностей рекламы в сети Интернет. Разработка мероприятий по совершенствованию сетевой рекламы туристического бизнеса. Эффективность мероприятий комплекса интернет-маркетинга туроператора "Тез Тур".

    курсовая работа [125,3 K], добавлен 08.02.2016

Работы в архивах красиво оформлены согласно требованиям ВУЗов и содержат рисунки, диаграммы, формулы и т.д.
PPT, PPTX и PDF-файлы представлены только в архивах.
Рекомендуем скачать работу.