? объем потока данных превысил максимальную пропускную способность бесплатной версии сервиса. Необходимо экспортировать программу парсинга и в файле "Sitemap JSON" выставить время задержки данных. Везде, где есть фрагмент "delay":0" заменить нулевое значение на значение от 100 до 1000;

? активирована защита сайта от роботов и пауков. Необходимо зайти в интернет с другого ip адреса и продолжить работу.

При корректном ответе программа выводит на экран результаты, которые можно сохранить в CSV или скопировать прямо из окна браузера и вставить в Excel базу.

Приведение данных к стандартному виду осуществляется путем написания макроса Excel под каждый результат парсинга. Итоговая версия базы данных представляет собой:

? Базу рекламных размещений (рис. 10);

? Базу стоимости размещений (рис. 11).

Рисунок 10 База рекламных размещений

Рисунок 11 База стоимости размещений

Преимуществом такой организации данных является:

? привязка стоимости ко времени. В случае отсутствия даты в базе стоимости обращений, при ее смене пересчитывались бы и предыдущие значения, что некорректно;

? использование в качестве основного элемента поиска сайт, а не название жилого комплекса. У пользователя появляется возможность определения и анализа рекламируемых страниц, т. е. реклама не всегда может вестись на главную страницу объекта;

? наличие всего двух таблиц. При увеличении баз, Power BI не будет работать медленнее, т. е. скорость работы сервиса зависит в основном от количества дополнительных таблиц (справочников), а не от способа хранения информации (Excel, MongoDB и пр.) т. к. сервис загружает данные в собственное хранилище и только после строит отчет.

Таким образом, была организована простая в наполнении и поддержке база данных для сервиса мониторинга медийных площадок недвижимости.

СОЗДАНИЕ СИСТЕМЫ

Определив структуру базы данных сервиса, необходимо выделить модули, которые обеспечат систему нужным функционалом, а также детализировать элементы типов размещений и описать получение данных о стоимости размещений.

Для реализации системы необходимо создать микросервисы для сбора информации с медийных площадок недвижимости на базе Web Scraper. С помощью Web Scraper будет осуществляться сбор данных с ряда медийных размещений, которые будут сохраняться в отдельные базы данных (листы Excel или CSV файлы) по каждому из размещений.

У каждого типа медийного размещения будет написан свой Sitemap для извлечения данных, это необходимо для дальнейшего распределения затрат конкурентов на то или иное размещение. Прежде чем реализовать вышеописанное целесообразно обозначить откуда берется стоимость того или иного размещения, как часто она меняется и как определяются типы размещений в Web Scraper. Определение стоимости размещений происходит через официальную документацию медийной площадки или описанием менеджера на стороне агентства с учетом скидок и специфики размещений. На примере сайта Novostroy - M целесообразно рассмотреть типы рекламных размещений и методы их определения с помощью Web Scraper.

Типы рекламных размещений:

? ТГБ (текстово-графический блок) или спецпредложение. В данном случае все ТГБ находятся на одной странице (статические, многоэтапная пагинация);

? Баннер-закладка - это боковой закрепленный баннер, который раскрывается при наведении на него курсора мыши. Представляет собой картинку со ссылкой на рекламируемый сайт. В данном случае (статический, пагинация отсутствует);

? Баннер-parallax - это баннер в футере сайта с parallax - эффектом (динамический, пагинация отсутствует);

? Баннер-шапка - это закрепленный баннер в шапке сайта. (динамический, пагинация отсутствует). На рисунке 12 изображены все описанные типы размещений сайта Novostroy-M.



Рисунок 12 Типы баннеров на сайте Novostroy-M

Стоимости на медийных площадках недвижимости, как правило указываются за месяц. Сообщенная менеджером информация говорит о том, что в апреле спецразмещение (ТГБ) стоит 254 000 руб., баннер-шапка 210 000 руб., баннер-закладка 248 000 руб., баннер-parallax 165 300 руб.

После того, как определены стоимости каждого типа размещений, описаны размещения начинается стадия сбора данных. При работе с Web Scraper необходимо написать четыре программы для сбора каждого размещения отдельно. Так как расширение Web Scraper работает только с CSS-селекторами, то нужно создать карты селекторов (Sitemap) с элементами, из которых будет браться информация (рис. 13).

Рисунок 13 Sitemap размещения ТГБ на площадке Novostroy-M

Данную карту можно описать следующим образом:

? Система открывает страницу, откуда будет браться информация. В параметр _root задается страница начала сбора данных (рис. 14);

Рисунок 14 Определение стартовой страницы сбора данных

? Система загружает всю информацию о рекламных размещениях на исследуемой странице. В данном случае кликами на кнопку “Показать ещё” до тех пор, пока она не исчезнет. Система перестает загружать данные тогда, когда заканчивают появляться новые рекламные блоки и исчезает кнопка пагинации (рис 15).

Рисунок 15 Настройка загрузки всех пагинации

Также на шаге pagination задается определение блока ТГБ путем выбора элемента на панели визуализации CSS-селекторов. Пользователь описывает одно размещение как группу селекторов, а система осуществляет поиск и определяет автоматически все ТГБ со схожими параметрами. Если система не распознала часть ТГБ, то пользователь расширяет условия выбора в рамках функционала системы путем кликов на соответствующие элементы. Таким методом можно определить массив баннеров для сбора данных (рис. 16);

Рисунок 16 Выделение родительского элемента данных

? Пользователь описывает системе (вводит значение _parent_), что ранее выбранный CSS-селектор является родительским и именно с него будет браться основная информация. Это делается для того, чтобы при сборе данных все элементы одного рекламного баннера располагались в одной строке листа Excel. В противном случае, система соберет элементы данных вразнобой, и картинка не будет соответствовать заголовку, ссылке и описанию (рис. 17);

Рисунок 17 Настройка сбора всех элементов селектора

? Пользователь описывает системе, как нужно разделить группу селекторов на элементы при сборе данных. Он разбивает группу селекторов (parent) на потомков (child) к которым присваивается определенный тип объекта в группе: link, title, description, picture. Все элементы (child) должны являться частью селектора (parent), в ином случае при получении данных столбец с неверным селектором будет пустым (рис. 18).

Рисунок 18 Присвоения заголовку баннера типа элемента title

? В итоге получается таблица необходимых значений всех ТГБ на странице (рис. 19)

Рисунок 19 Итоговая таблица ТГБ размещений на странице

Для сбора данных при использовании сайтом динамических блоков рекламы будет использоваться тот же порядок действий, за исключением дополнительного параметра «reloading», при котором после прохождения всего цикла данные сохраняются, страница обновляется через заданное время и процесс запускается заново. Процесс может повторяться заданное в параметре количество раз, по окончании которого дубликаты удаляются и в лист сохраняются только уникальные значения. Данная функция не всегда работает корректно, поэтому возможно применение ручного обновления страницы.

С помощью Web Scraper будет осуществляться сбор данных с ряда медийных размещений, которые будут сохраняться в отдельные базы данных (листы Excel или CSV файлы) по каждому из размещений. На этом этапе обеспечивается сбор неподготовленной информации для наполнения будущего отчета в Power BI.

Поскольку у каждой медийной площадки свой формат данных, необходимо привести все данные к единому универсальному формату. Такой формат будет содержать необходимые поля для визуализации собранных данных. После конвертации данных с помощью макросов и сервиса пакетной проверки редиректов в универсальный формат, они будут объединены и сохранены в базе данных [37].

Итоговая база данных в виде двух Excel файлов или двух файлов из Google таблиц будет подключена к сервису визуализации данных Power BI, где будет построен итоговый отчет. Отчет должен:

? Иметь простой интерфейс. Внедрены основные интерактивные элементы (Поисковая строка, чек-боксы и пр.) сервисов оценки конкурентного окружения;

? Легко обновляемым и максимально автоматизированным. Базу может обновлять любой сотрудник на любом ПК с установленным расширением и загруженными в него Sitemap. Обновление базы займет не более одного рабочего дня для неподготовленного пользователя;

? Отображать детали баннеров (Заголовок, описание, картинка). Все картинки автоматически выгружаются на облако Microsoft OneDrive, тексты хранятся в БД;

? Давать возможность сравнения затрат конкурентов на медийную рекламу, а также понимание того, какие именно размещения покупают конкуренты на медийных площадках. Добавлен раздел “Бюджет на рекламу”, где возможно посмотреть затраты по конкурентам от месяца к месяцу, а также увидеть распределение бюджетов на каждый тип размещения;

? Возможность добавления в отчет иных данных о конкурентах, в том числе из иных БД. Встроенная функция в Power BI, отдельная разработка не требуется.

Итоговая схема работы системы представляет собой комбинацию традиционного подхода к визуализации данных и BI (рис. 20).

Рисунок 20 Схема работы системы

РЕЗУЛЬТАТЫ

ОПИСАНИЕ И АНАЛИЗ ПОЛУЧЕННЫХ РЕЗУЛЬТАТОВ

После проведенного анализа предметной области и реализации системы, был разработан сервис агрегации данных с медийных площадок недвижимости. В его основу легла техника визуализации данных с помощью BI системы - Power BI.

Сервис работает, имеет пошаговый алгоритм получения и визуализации данных с применением трех инструментов: сервиса сбора данных “Web Scraper”, Excel (обработка данных макросами, составление БД) и Power BI (визуализация данных). Удалось сделать решение, для поддержки которого необходимы лишь базовые знания Excel и двухдневное обучение основам HTML и работы с расширением Web Scraper.

Удалось реализовать следующие элементы:

? Интерфейс поиска конкурентов по доменному имени, срокам размещения (рис. 21);

Рисунок 21 Страница выбора конкурентов

? Визуализировать, полученные методом web scraping данные о медийных размещениях, а именно: место размещения, картинку, заголовок и описание текстово-графического блока (рис. 22);

Рисунок 22 Страница визуализации размещений

? Дашборд с расчетом и визуализацией маркетинговых затрат конкурентов на медийных площадках недвижимости (рис. 23).

Рисунок 23 Страница визуализации бюджетов размещений

Как видно, пользователю для изучения размещений конкурентов на медийных площадках недвижимости необходимо знать только домены конкурентов и выбрать необходимый период предоставления данных.

Практическая значимость сервиса достаточно весома. Отчет может показывать, какие типы размещений, изображения, заголовки, маркетинговые спецпредложения используют конкуренты исследуемого объекта в текущем месяце, а также за исторический период. Эти данные дают маркетологу понимание, где стоит размещаться в той или иной ситуации. Наблюдение за динамикой бюджетов позволит определить наиболее привлекательные площадки для застройщиков и целесообразность в налаживании коммуникаций и запуску тестовых размещений на этих площадках. Помимо решений медиапланирования данный сервис позволит потенциально экономить до 120 409 руб. ежемесячно на оплате труда сотрудников, которые занимались ручным сбором информации о размещениях конкурентов. Итоги работы представлены в таблице 7.

Таблица 7

Сводная таблица итогов работы

Параметр сравнения	Было	Стало
Постоянные издержки на получение данных	120 409 руб./мес.	12 090 руб./мес.
Скорость получения информации	0,5 часа/ 8 конкурентов	Менее 10 сек./ любые конкуренты, которые размещались в указанном периоде
Метод сбора	Ручной (скриншоты для отчетов по конкурентам)	Полуавтоматический (необходимо вручную обновлять ряд данных)
Полнота собираемых данных	5 типов размещений для Москвы и МО и 4 типа размещений для Санкт-Петербурга и ЛО	41 тип размещений для Москвы и МО и 23 типа размещений для Санкт-Петербурга и ЛО
Наличие исторических данных	нет	да
Данные по бюджетам	нет	да
Необходимые знания для поддержки системы	Excel + базовые знания поиска информации на сайте	Excel, базовые знания HTML, CSS, 3 часа обучения работы с программой Web Scraper
Выгрузка в Google Таблицы, Excel	да	да

Таким образом, текущая отчетность по медийным размещениям конкурентов приобрела стандартный вид с простым и понятным интерфейсом получения данных. Как дополнение, сервис также будет являться одним из преимуществ компании Media 108 при участии в тендерах.

ПРАКТИЧЕСКИЕ РЕКОМЕНДАЦИИ ПО РАСШИРЕНИЮ ФУНКЦИОНАЛА

Помимо выполнения всех поставленных задач, целесообразно описать возможные варианты улучшения сервиса, а также представить дорожную карту. Сервис можно дополнить возможностью анализа большего количества маркетинговых каналов и факторов, влияющих на спрос.

Продуктовые улучшения:

? Добавление новых возможностей фильтрации (по цене за м2, по сроку сдачи, локации и пр.);

? Возможность сравнения по средним ценам за м2, средневзвешенным ценам за лот и пр.;

? Отслеживание количества студий, однокомнатных, двухкомнатных, трехкомнатных и более лотов в продаже у каждого ЖК;

? Сбор УТП в контекстной рекламе по брендовым запросам ЖК, расчет бюджетов на контекстную рекламу (данные сервиса SpyWords, умноженные на поправочный коэффициент);

? Сбор рекламных размещений в соц. сети FaceBook;

? Дашборд с аналитикой работы конкурентов в базах недвижимости;

? Отчет по транспортной доступности и окружению ЖК;

? Репутационный анализ (сбор данных со страниц с отзывами топ 10 Яндекса и Google и представление результатов в виде ссылок на эти страницы);

? Визуализация данных пульса продаж и проверка корреляции с маркетинговыми текстами, бюджетами, ценой и пр. факторами

Технические улучшения:

? Полная автоматизация системы, переписывание на Python;

? Ежедневное обновление данных и их перезаписывание;

? Переход на микросервискую архитектуру.

На данный момент в сервисе реализовано отслеживание сорока четырех типов медийных размещений, среди самых популярных медийных площадок в Москве и Санкт-Петербурге. Они имеют совокупную аудиторию более пятнадцати миллионов уникальных посетителей в месяц [38]. Web scraping других медийных площадок был осложнен рядом факторов, которые ранее уже были описаны в данной работе. Тем не менее, ограничение типов размещений в основном ограничением по времени создания сервиса. Стоит отметить, что увеличение количества типов медийных размещений, а также количества площадок является хорошей точкой роста и развития для программы. Дело в том, что чем больше медийных размещений будет собрано в базу и обработано сервисом, тем точнее будет анализ данного рекламного канала. В перспективе можно будет добавить больше медийных размещений путем увеличения количества карт сайта. Например, таких лидеров рынка, как Avito, Cian, Яндекс Недвижимость и других. Использование современных технологий разработки позволит значительно расширить функционал приложения путем не только добавления новых дашбордов, но и статистическим анализом извлеченных значений. Например, проведение многокритериального анализа, создание предиктивной аналитики.

НОВИЗНА И ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ ИССЛЕДОВАНИЯ

Отличительной особенностью среди всех сервисов конкурентного анализа в сети интернет является то, что:

? Информация актуализируется без значительных задержек по времени;

? Исправлять ошибки работы системы и сбора данных может сотрудник с базовыми знаниями Exсel, CSS;

? Сервис работает с медийными площадками недвижимости без API.

Недостатком сервисов, которые основываются на методах web scraping является возможные блокировки со стороны сайтов - доноров, зависимость от структуры CSS - селекторов. Как правило, такие проблему блокировки можно решить путем подключения к сайту с другой точки доступа или с помощью proxy-сервера. Проблему зависимости от CSS решается программно, а в случае с текущим решением возможно ручное добавление ряда информации. Помимо ручного добавления зачастую можно воспользоваться формулами Excel. На ряде проектов схожей направленности присутствуют такие проблемы, как: отсутствие возможности изучить рекламу одной страницы сайта (если это многостраничный сайт застройщика), при поломке сервиса необходимо обращаться с дорогостоящим программистам, любые доработки стоят значительных средств. Большинство пользователей, которые заходят на подобные сайты, редко возвращаются или пользуются им повторно. Это объясняется тем, что сервис был спроектирован таким образом, чтобы охватить весь рынок, а значит собрать и обработать огромное количество данных, что приводит к значительной задержке получения данных или их значительной неточности.

Примером может послужить российский проект SpyWords, позиционирующий себя, как эффективный инструмент для анализа конкурентов в контекстной рекламе и поиске. Суть сервиса заключается в том, чтобы проанализировать ряд доменов по уровню бюджета, ключевых слов в контекстной рекламе, поиске и пр. Пользователь, единожды работавший с сервисом, может не заметить значительных проблем, однако после двух - трех проверок, становится очевидны недостатки системы и появляется недоверие к данным, особенно после как, пользователь проанализирует собственный ресурс и увидит расхождения в 2-6 раз по отношению к реальным показателям.

Иначе дело обстоит с сервисом оценки конкурентного окружения застройщика на медийных площадках недвижимости. Дело в том, что природа медийных размещений избавляет систему от данных недостатков. Благодаря тому, что контент у большинства площадок обновляется раз в месяц, а стоимости размещений в основном фиксированные и меняются только от от месяца к месяцу, то такая экосистема сразу теряет необходимость обновления чаще, чем раз в месяц, а также появляются вполне объективные данные о бюджетах и, что немаловажно детализация сайтов ЖК до уровня посадочной страницы. Соответственно, сервисы, которые используют для сбора и анализа редко обновляемые маркетинговые каналы, становятся более точными, а скорость предоставления данных конечному пользователю - приемлемой. Именно это и дает преимущество перед всеохватывающими веб ресурсами конкурентного анализа, ограниченных детализацией и скоростью получения информации. Пользователь гораздо больше будет доверять подобному сайту, поскольку сможет на личном примере убедиться в точности и скорости предоставления информации. Изучение активности застройщиков на медийных площадках недвижимости станет доступным не только в текущем моменте, но и за исторический период. Аналитик сможет провести исследования зависимостей спроса и торговых предложений, выявить наиболее популярные рекламные площадки, а также посмотреть какие именно страницы рекламируют конкуренты. На момент написания работы разработанный сервис не имеет аналогов в свободном доступе.



ЗАКЛЮЧЕНИЕ

В результате выполнения выпускной квалификационной работы был реализован сервис оценки конкурентного окружения застройщика на медийных площадках недвижимости. При этом была достигнута основная цель данной работы. Стоит отметить, что были решены все поставленные задачи, а именно:

? рассмотрена предметная область и рынок сервисов оценки конкурентного окружения в сети интернет в России;

? изучены решения оценки конкурентного окружения и выделены основные детали и минусы;

? проанализированы сервисы визуализации информации, выбрано решение (Power BI);

? определена потребность в разработке системы и дано экономическое обоснование;

? выбраны популярные медийные площадки в тематике недвижимость для сбора данных (Novostroy-M, Pronovostroy и пр.);

? разработан сервис сбора данных с тематических площадок недвижимости;

? создана визуализация собранных данных;

? описаны практические и экономические результаты разработки системы, обозначены пути дальнейшего совершенствования.

Данная система состоит из ряда отдельных зависимых друг от друга узлов, где данные переходят из одного этапа в другой последовательно. Это сервис сбора данных Web Scraper, Excel c настроенными макросами под каждое размещение с целью приведения данных в стандартный вид и системой визуализации Power BI. Сервис представляет собой три дашборда, которые можно использовать с помощью браузера или отдельно установленной программы Power BI Desktop. Разработанный программный комплекс, сочетающий в себе средства для визуализации и сбора данных с медийных площадок недвижимости, не имеет аналогов в online источниках на момент написания работы. Преимуществами проекта является то, что обслуживать систему сможет сотрудник с базовыми знаниями CSS и Excel, что делают затраты на поддержание сервиса минимальными (1 рабочий день младшего аналитика в месяц), а также то, что система имеет высокую точность данных из-за специфики работы медийных площадок. Благодаря интуитивно понятной навигационной панели можно анализировать значительное число конкурентов в рамках затрат, рекламируемых страниц и маркетинговых акций в течении всего исторического периода с момента запуска сервиса. Несмотря на то, что сервис представляет собой готовый к использованию продукт, существует ряд способов для его улучшения.

Во-первых, возможны улучшения с точки зрения готового продукта, а именно: увеличение количества дашбордов, выстраивание полноценной системы конкурентного анализа ЖК, а также возможности создания предиктивного анализа.

Во-вторых, технические улучшения, а именно: полная автоматизация системы, переписывание на Python, ежедневное обновление данных (в случае добавления ряда новых дашбордов).

Также стоит отметить, что с помощью добавления в систему новых типов медийных размещений, точность работы сервиса увеличится. Таким образом, у проекта существует значительный потенциал для развития и роста, тем более в такой высокобюджетной сфере, как маркетинг недвижимости.



СПИСОК ИСПОЛЬЗУЕМЫХ ИСТОЧНИКОВ

1. The World's Largest Public Companies [Электронный ресурс] / Forbes, 2018 - URL: forbes.com/global2000/list (Дата обращения 02.02.2019).

2. Mayer-Schцnberger V., Cukier K. Big Data: A Revolution That Will Transform How We Live, Work, and Think // Eamon Dolan, Mariner Books. 2014. Reprint edition.

3. Almunia J., Competition in Digital Media and the Internet, London, 2010.

4. Striy L., Orlovskiy B. Market of communication and Internet services: research of competitive environment, Macroeconomics: Development of productive forces and regional economy. // Technology audit and production reserves -- № 5/5(37), pages 20 - 24, 2017.

5. Best High Tech companies to work for DUN'S 100, 2016.

6. Jackson. D. M., Case: How to analyze competitors using Similar WEB // Seperia, 2018 [Электронный ресурс] - URL: seperia.com/blog/competitive-intelligence-tool-reviews/similarweb (Дата обращения 14.03.2019).

7. Notess, Greg R "The Wayback Machine: The Web's Archive". (March-April 2002). Online. 26: 59-61 - via EBSCOhost.Grosso W. Java RMI. First Edition. O'Reilly and Associates, USA, 2001.

8. McCarthy К. Archive.org's Wayback Machine is legit legal evidence, US appeals court judges rule. McCarthy, 2018 [Электронный ресурс] - URL: theregister.co.uk/2018/09/04/wayback_machine_legit/ (Дата обращения 15.03.2019).

9. Kumar K., Liu J., Lu Y., Bhargava B., “A survey of computation offloading for mobile systems,” Mobile Networks and Applications, vol. 18, no. 1, pp. 129-140, 2013.

10. Горбачев С. Конкурентный анализ на рынке недвижимости с применением Яндекс.Wordstat, AdIndex 2016 [Электронный ресурс] - URL: adindex.ru/publication/analitics/100380/2016/12/16/156702.phtml (Дата обращения 15.03.2019).

11. Yannacopoulus D., Panagiotis P. Evaluating Websites and Web Services: Interdisciplinary Perspectives on User Satisfaction [текст] // ISBN 978-1-4666-5132-6, р. 333 pages.

12. Баранов А. Прогноз возврата инвестиций в интернет-маркетинг. Настольная книга маркетолога. Взгляд практика. // Москва. РИОР, 2016 г. ISBN- 978-5-369-00776-1, 171 с.

13. Kallio, A. “Automated web store product scraping using node.js” Master of Science Thesis, Tampere: Tampere University of Technology, 2015.

14. W3C Recommendation, “HTML 5.2”, [Электронный ресурс], URL - http://www.w3.org/TR/html/. (Дата обращения 26.03.2019).

15. Ryan M., Web Scraping with Python: Collecting More Data from the Modern Web [Text] // O'Reilly Media, Inc., 2018 г., ISBN 978-1-491-998557-1.

16. Hagge P. Algorithms for Web Scraping. // Technical University of Denmark, 2015.

17. Lawson R. Web Scraping with Python // Packt Publishing Ltd., UK 2015 г., ISBN 978-1-78216-436-4.

18. Beyond Weber's Law: A Second Look at Ranking Visualizations of Correlation. Matthew Kay and Jeffrey Heer, 2015.

19. Mathews L. Google Docs OCR. [Электронный ресурс] - URL: https://support.google.com/docs/?hl=ru#topic=1382883 (Дата обращения 26.03.2019).

20. Мастицкий С.Э., Шитиков В.К. Статистический анализ и визуализация данных с помощью R. [Электронный ресурс] - URL: http://r-analytics.blogspot.com (Дата обращения 26.03.2019).

21. Evelson, B. and Nicolson, N. “Topic Overview: Business Intelligence”.[Электронный ресурс] - URL: www.forrester.com/report/Topic+Overview+Business+Intelligence/-/E-RES39218 (Дата обращения 26.03.2019).

22. Zheng, G., Zhang, C., and Li, L. Bringing business intelligence to health information technology curriculum. - [текст], Journal of Information Systems Education, 25(4), 2014 г

23. Chiang, A. What Is a Dashboard? - [Электронный ресурс] - URL: www.dashboardinsight.com/articles/digital-dashboards/fundamentals/what-is-a-dashboard.aspx (Дата обращения 26.03.2019).

24. Parenteau, J., Sallam, R.L., Howson, C., Tapadinhas, J., Schlegel, K., and Oestreich, T. W. Magic Quadrant for Business Intelligence and Analytics Platforms. - [Электронный ресурс] - URL: http://get.tableau.com/gartner-magic-quadrant-2016.html (Дата обращения 27.03.2019).

25. Будуев А. Справочник DAX функций для Power BI и Power Pivot [Электронный ресурс] - URL: https://biprosto.ru/files/spravochnik-dax-funkcij-dlya-power-bi-i-power-pivot.pdf (Дата обращения 02.04.2019).

26. Данные опроса топ-менеджмента компании Media 108 (2018) [Электронный ресурс] - URL: https://docs.google.com/forms/d/1v4zbEYFTgEHLrPQgEt5IrX3SacZHr5P5mXFhpOS_1T4/edit#responses (Дата обращения 29.03.2019).

27. Bobriakov I. A Comparative Analysis of Top 6 BI and Data Visualization Tools in 2018 [Электронный ресурс] - URL: https://www.kdnuggets.com/2018/02/comparative-analysis-top-6-bi-data-visualization-tools-2018.html (Дата обращения 02.04.2019).

28. Klipfolio. Главная страница [Электронный ресурс] - URL: https://www.klipfolio.com (Дата обращения 02.04.2019).

29. Tableau Online. [Электронный ресурс] / Tableau. - URL: https://www.tableau.com/products/cloud-bi (Дата обращения 02.04.2019).

30. Power BI Service and Mobile April 2019 feature summary. [Электронный ресурс] / Блог по Microsoft Power BI - URL: https://powerbi.microsoft.com/ru-ru/blog/ (Дата обращения 02.04.2019).

31. Barometer Advertisers Digital 2018. [Электронный ресурс] / IAB Russia - URL: https://iabrus.ru/www/doc/research/IAB_Barometer_2018_1.pdf (Дата обращения 02.04.2019).

32. Reichheld, Frederick F. One Number You Need to Grow. Harvard Business Review (December 2003).

33. Paul W., Neil T., Phillip E., Pfeifer David J. Marketing Metrics: The Definitive Guide to Measuring Marketing Performance. Upper Saddle River, New Jersey: Pearson Education, Inc., 2015 г. ISBN 0-13-705829-2.

34. Галкин Д., CES 2.0: новая метрика для оценки клиентского опыта [Электронный ресурс] / CES 2.0 - URL: https://oktell.ru/academy/press/cef-2-0-novaya-metrika-dlya-otsenki-klientskogo-opyta/ (Дата обращения 24.03.2019).

35. Iseminger D. Create and manage relationships in Power BI Desktop [Электронный ресурс] / Microsoft Docs - URL: https://docs.microsoft.com/ru-ru/power-bi/desktop-create-and-manage-relationships (Дата обращения 25.03.2019).

36. Mikheev O. Ajax programming with Struts 2 [Электронный ресурс] / JavaWorld - URL: https://www.javaworld.com/article/2077756/ajax-programming-with-struts-2.html (Дата обращения 25.03.2019).

37. Power Query - обзор и обучение [Электронный ресурс] / Microsoft 2019 - URL: https://support.office.com/ru-ru/article/power-query (Дата обращения 23.04.2019).

38. Unique visitors [Электронный ресурс] / SimilarWeb - URL: https://pro.similarweb.com/#/dashboard/7fe7d44d-7f5b-4671-8d77-3038bbc32660 (Дата обращения 03.04.2019).

39. Easily check status codes, response headers, and redirect chains [Электронный ресурс] / Bulk URL HTTP Status Code, Header & Redirect Checker | httpstatus.io - URL: https://httpstatus.io (Дата обращения 16.05.2019).



ПРИЛОЖЕНИЕ. ТЕКСТ ПРОГРАММЫ

Sitemap_Novostroy-M

{"_id":"novostroy-mv1","startUrl":["https://www.novostroy-m.ru/vse_spetspredlogenia"],"selectors":[{"id":"pagination1","type":"SelectorElementClick","parentSelectors":["_root"],"selector":"div.col-lg-3","multiple":true,"delay":"5000","clickElementSelector":"div.ta_c div.def_btn","clickType":"clickMore","discardInitialElements":true,"clickElementUniquenessType":"uniqueHTML"},{"id":"link","type":"SelectorLink","parentSelectors":["all-baner"],"selector":"div.p_20.pos_rel > a","multiple":false,"delay":""},{"id":"title","type":"SelectorText","parentSelectors":["all-baner"],"selector":"div.title_line.o_h.mb_8 > div","multiple":false,"regex":"","delay":"10"},{"id":"discription","type":"SelectorText","parentSelectors":["all-baner"],"selector":"div.description_adv_line.pos_rel.mb_4.fs_14.lh_20 > div.adv_text_item.o_h","multiple":false,"regex":"","delay":"10"},{"id":"picture","type":"SelectorImage","parentSelectors":["all-baner"],"selector":"div.image-wrap > img:nth-child(1)","multiple":false,"delay":"10"},{"id":"all-baner","type":"SelectorElement","parentSelectors":["pagination1"],"selector":"_parent_","multiple":true,"delay":0}]}

Sitemap_Novostroy-M_shapka

{"_id":"novostroy_m_peretazka","startUrl":["https://www.novostroy-m.ru/vse_spetspredlogenia"],"selectors":[{"id":"all_banner","type":"SelectorElement","parentSelectors":["_root"],"selector":"section.bgr_eaeaea","multiple":true,"delay":"100"},{"id":"link","type":"SelectorLink","parentSelectors":["all_banner"],"selector":"div > a","multiple":false,"delay":0},{"id":"title","type":"SelectorText","parentSelectors":["all_banner"],"selector":"ee","multiple":false,"regex":"","delay":0},{"id":"description","type":"SelectorText","parentSelectors":["all_banner"],"selector":"ee","multiple":false,"regex":"","delay":0},{"id":"image","type":"SelectorImage","parentSelectors":["all_banner"],"selector":"img","multiple":false,"delay":0}]}

Sitemap_Novostroy-M_paralax

{"_id":"novostroy_m_paralax","startUrl":["https://www.novostroy-m.ru/vse_spetspredlogenia"],"selectors":[{"id":"link","type":"SelectorLink","parentSelectors":["all_banner"],"selector":"_parent_","multiple":false,"delay":0},{"id":"title","type":"SelectorText","parentSelectors":["all_banner"],"selector":"1","multiple":false,"regex":"","delay":0},{"id":"description","type":"SelectorText","parentSelectors":["all_banner"],"selector":"1","multiple":false,"regex":"","delay":0},{"id":"image","type":"SelectorHTML","parentSelectors":["all_banner"],"selector":"_parent_","multiple":false,"regex":"","delay":0},{"id":"all_banner","type":"SelectorElement","parentSelectors":["_root"],"selector":"a.js-parallax-wrapper","multiple":true,"delay":0}]}

Sitemap_Avaho

{"_id":"avaho_v1","startUrl":["https://avaho.ru/specs/flats/"],"selectors":[{"id":"all_banner","type":"SelectorElement","parentSelectors":["_root"],"selector":"div.content__main > div.js-copy-block div.col-sm-12","multiple":true,"delay":"10"},{"id":"link","type":"SelectorLink","parentSelectors":["all_banner"],"selector":"div > a","multiple":false,"delay":0},{"id":"title","type":"SelectorText","parentSelectors":["all_banner"],"selector":"div.tgb-thumb__content > p","multiple":false,"regex":"","delay":0},{"id":"description","type":"SelectorText","parentSelectors":["all_banner"],"selector":"div.tgb-thumb__subtitle","multiple":false,"regex":"","delay":0},{"id":"image","type":"SelectorImage","parentSelectors":["all_banner"],"selector":"div.tgb-thumb__img-con > img","multiple":false,"delay":0}]}

Sitemap_Avaho_banner

{"_id":"avaho_banner","startUrl":["https://avaho.ru/novostroyka/"],"selectors":[{"id":"all_banner","type":"SelectorElement","parentSelectors":["_root"],"selector":"body > div.content-wrap.novostroyka > div > div.row.content > div.content__aside.col-lg-3.col-md-4.col-sm-12 > div > div.b-media-con > div, body > div.content-wrap.novostroyka > div > div.row.content > div.content__aside.col-lg-3.col-md-4.col-sm-12 > div > div.b-aside__media-con.hidden-xs.hidden-sm > div > div.h-hidden > div","multiple":true,"delay":"10"},{"id":"link","type":"SelectorLink","parentSelectors":["all_banner"],"selector":"a","multiple":false,"delay":0},{"id":"title","type":"SelectorText","parentSelectors":["all_banner"],"selector":"1","multiple":false,"regex":"","delay":0},{"id":"description","type":"SelectorText","parentSelectors":["all_banner"],"selector":"1","multiple":false,"regex":"","delay":0},{"id":"image","type":"SelectorImage","parentSelectors":["all_banner"],"selector":"img, a","multiple":false,"delay":0}]}

Sitemap_Dom-msk

{"_id":"dom_msk","startUrl":["https://www.dommsk.ru/flat"],"selectors":[{"id":"all banner","type":"SelectorElement","parentSelectors":["_root"],"selector":"#grid_ad > div","multiple":true,"delay":0},{"id":"link","type":"SelectorLink","parentSelectors":["all banner"],"selector":"#gridtgb > a","multiple":false,"delay":0},{"id":"title","type":"SelectorText","parentSelectors":["all banner"],"selector":"p.name","multiple":false,"regex":"","delay":0},{"id":"description","type":"SelectorText","parentSelectors":["all banner"],"selector":"p.descr","multiple":false,"regex":"","delay":0},{"id":"image","type":"SelectorImage","parentSelectors":["all banner"],"selector":"a img.lazyloading","multiple":false,"delay":0}]}

Sitemap_Mesto

{"_id":"mesto_spec_all","startUrl":["https://www.mesto.ru/"],"selectors":[{"id":"all_baner","type":"SelectorElement","parentSelectors":["_root"],"selector":"aside.aside div.slide-item div.tgb-item,

div.slide-item div.col3 div.tgb-item","multiple":true,"delay":0},{"id":"link","type":"SelectorLink","parentSelectors":["all_baner"],"selector":"a","multiple":false,"delay":0},{"id":"title","type":"SelectorText","parentSelectors":["all_baner"],"selector":"a","multiple":false,"regex":"","delay":0},{"id":"description","type":"SelectorText","parentSelectors":["all_baner"],"selector":"span","multiple":false,"regex":"","delay":0},{"id":"image","type":"SelectorImage","parentSelectors":["all_baner"],"selector":"img.lazyPromo","multiple":false,"delay":0}]}

{"_id":"mesto_soec_zacrep","startUrl":["https://www.mesto.ru/"],"selectors":[{"id":"all banner","type":"SelectorElement","parentSelectors":["_root"],"selector":"div.tgb.promoHas div.tgb-item","multiple":true,"delay":0},{"id":"link","type":"SelectorLink","parentSelectors":["all banner"],"selector":"_parent_","multiple":false,"delay":0},{"id":"title","type":"SelectorText","parentSelectors":["all banner"],"selector":"a","multiple":false,"regex":"","delay":0},{"id":"description","type":"SelectorText","parentSelectors":["all banner"],"selector":"span","multiple":false,"regex":"","delay":0},{"id":"image","type":"SelectorImage","parentSelectors":["all banner"],"selector":"img.lazyPromo","multiple":false,"delay":0}]}

Sitemap_Mesto_zakrep

{"_id":"mesto_spec_all_zakrep","startUrl":["https://www.mesto.ru/"],"selectors":[{"id":"all banner",

"type":"SelectorElement","parentSelectors":["_root"],"selector":"div.tgb.promoHas div.tgb-item","multiple":true,"delay":0},{"id":"link","type":"SelectorLink","parentSelectors":["all banner"],"selector":"a","multiple":false,"delay":0},{"id":"title","type":"SelectorText","parentSelectors":["all banner"],"selector":"a","multiple":false,"regex":"","delay":0},{"id":"description","type":"SelectorText","parentSelectors":["all banner"],"selector":"span","multiple":false,"regex":"","delay":0},{"id":"image","type":"SelectorImage","parentSelectors":["all banner"],"selector":"img.lazyPromo","multiple":false,"delay":0}]}

Sitemap_Novostroev

{"_id":"novostroev","startUrl":["http://novostroev.ru/promo_ads/all/"],"selectors":[{"id":"all banner","type":"SelectorElement","parentSelectors":["_root"],"selector":"div.tgb_promo","multiple":true,"delay":0},{"id":"link","type":"SelectorLink","parentSelectors":["all banner"],"selector":"a.complex__body","multiple":false,"delay":0},{"id":"title","type":"SelectorText","parentSelectors":["all banner"],"selector":"a > div.complex__header","multiple":false,"regex":"","delay":0},{"id":"description","type":"SelectorText","parentSelectors":["all banner"],"selector":"a > div.complex__tgb__text","multiple":false,"regex":"","delay":0},{"id":"Image","type":"SelectorImage","parentSelectors":["all banner"],"selector":"div > div > a","multiple":false,"delay":0}]}

{"_id":"novostroev_zakladka","startUrl":["http://novostroev.ru/promo_ads/all/"],"selectors":[{"id":"all baner","type":"SelectorElement","parentSelectors":["_root"],"selector":"body > div.container.page-wrapper > a","multiple":true,"delay":0},{"id":"link","type":"SelectorLink","parentSelectors":["all baner"],"selector":"_parent_","multiple":false,"delay":0},{"id":"image","type":"SelectorImage","parentSelectors":["all baner"],"selector":"#banner-image_1","multiple":false,"delay":0}]}

Sitemap_Pronovostroy

{"_id":"pronovostroy_spec_all","startUrl":["https://pronovostroy.ru/company/hotline/moskva-i-moskovskaya-oblast/"],"selectors":[{"id":"pagination1","type":"SelectorElementClick","parentSelectors":["_root"],"selector":"li.float-gallery__item","multiple":true,"delay":"1000","clickElementSelector":"a.float-gallery__next","clickType":"clickMore","discardInitialElements":true,"clickElementUniquenessType":"uniqueText"},{"id":"all_baner","type":"SelectorElement","parentSelectors":["pagination1"],"selector":"_parent_","multiple":true,"delay":0},{"id":"link","type":"SelectorLink","parentSelectors":["all_baner"],"selector":"div.object__content > b > a","multiple":false,"delay":0},{"id":"title","type":"SelectorText","parentSelectors":["all_baner"],"selector":"div.object__content > b > a","multiple":false,"regex":"","delay":0},{"id":"description","type":"SelectorText","parentSelectors":["all_baner"],"selector":"div.object__content > div > p","multiple":false,"regex":"","delay":0},{"id":"image","type":"SelectorImage","parentSelectors":["all_baner"],"selector":"div.object__img > a > img","multiple":false,"delay":0}]}

{"_id":"pronovostroy_zakrep","startUrl":["https://pronovostroy.ru/company/hotline/moskva-i-moskovskaya-oblast/"],"selectors":[{"id":"pronovostroy_zakrep","type":"SelectorImage","parentSelectors":["_root"],"selector":"div.topBox a img","multiple":true,"delay":0}]}

Sitemap_Restate_msk

{"_id":"restate_msk","startUrl":["https://msk.restate.ru/discount/"],"selectors":[{"id":"all banner","type":"SelectorElement","parentSelectors":["_root"],"selector":"div.tab-content.active a.geo1","multiple":true,"delay":0},{"id":"link","type":"SelectorLink","parentSelectors":["all banner"],"selector":"_parent_","multiple":false,"delay":0},{"id":"Title","type":"SelectorText","parentSelectors":["all banner"],"selector":"div.forgradient","multiple":false,"regex":"","delay":0},{"id":"Description","type":"SelectorText","parentSelectors":["all banner"],"selector":"p.t-first","multiple":false,"regex":"","delay":0},{"id":"image","type":"SelectorImage","parentSelectors":["all banner"],"selector":"img","multiple":false,"delay":0}]}

Sitemap_Restate_spb

{"_id":"restate-spb","startUrl":["https://spb.restate.ru/discount/"],"selectors":[{"id":"all banner","type":"SelectorElement","parentSelectors":["_root"],"selector":"div.tab-content.active a.geo1","multiple":true,"delay":0},{"id":"link","type":"SelectorLink","parentSelectors":["all banner"],"selector":"_parent_","multiple":false,"delay":0},{"id":"Title","type":"SelectorText","parentSelectors":["all banner"],"selector":"div.forgradient","multiple":false,"regex":"","delay":0},{"id":"Description","type":"SelectorText","parentSelectors":["all banner"],"selector":"p.t-first","multiple":false,"regex":"","delay":0},{"id":"image","type":"SelectorImage","parentSelectors":["all banner"],"selector":"img","multiple":false,"delay":0}]}

Sitemap_Move

{"_id":"move_spec_all_msk","startUrl":["https://move.ru/moskovskaya_oblast/specpredlozheniya/"],"selectors":[{"id":"all_banner","type":"SelectorElement","parentSelectors":["_root"],"selector":"#allspec-targeted div.allspec-thumbs__thumb","multiple":true,"delay":"100"},{"id":"link","type":"SelectorLink","parentSelectors":["all_banner"],"selector":"a.allspec-thumbs__thumb-preview","multiple":false,"delay":0},{"id":"title","type":"SelectorText","parentSelectors":["all_banner"],"selector":"strong","multiple":false,"regex":"","delay":0},{"id":"description","type":"SelectorText","parentSelectors":["all_banner"],"selector":"div.allspec-thumbs__thumb-text","multiple":false,"regex":"","delay":0},{"id":"image","type":"SelectorImage","parentSelectors":["all_banner"],"selector":"img.allspec-thumbs__thumb-preview-img:nth-of-type(1)","multiple":false,"delay":0}]}

Sitemap_Move_spb

{"_id":"move_spec_all_spb","startUrl":["https://spb.move.ru/leningradskaya_oblast/specpredlozheniya/"],"selectors":[{"id":"all_banner","type":"SelectorElement","parentSelectors":["_root"],"selector":"#allspec-targeted div.allspec-thumbs__thumb","multiple":true,"delay":"100"},{"id":"link","type":"SelectorLink","parentSelectors":["all_banner"],"selector":"a.allspec-thumbs__thumb-preview","multiple":false,"delay":0},{"id":"title","type":"SelectorText","parentSelectors":["all_banner"],"selector":"strong","multiple":false,"regex":"","delay":0},{"id":"description","type":"SelectorText","parentSelectors":["all_banner"],"selector":"div.allspec-thumbs__thumb-text","multiple":false,"regex":"","delay":0},{"id":"image","type":"SelectorImage","parentSelectors":["all_banner"],"selector":"img.allspec-thumbs__thumb-preview-img:nth-of-type(1)","multiple":false,"delay":0}]}

Sitemap_ Mirkvartir

{"_id":"mirkvartir_msk","startUrl":["https://www.mirkvartir.ru/%D0%9C%D0%BE%D1%81%D0%BA%D0%B2%D0%B0/%D0%9E%D0%B4%D0%BD%D0%BE%D0%BA%D0%BE%D0%BC%D0%BD%D0%B0%D1%82%D0%BD%D1%8B%D0%B5/"],"selectors":[{"id":"all_banner","type":"SelectorElement","parentSelectors":["_root"],"selector":"div.b-tgb-vertical:nth-of-type(n+2) a","multiple":true,"delay":"100"},{"id":"link","type":"SelectorLink","parentSelectors":["all_banner"],"selector":"_parent_","multiple":false,"delay":0},{"id":"title","type":"SelectorText","parentSelectors":["all_banner"],"selector":"big","multiple":false,"regex":"","delay":0},{"id":"description","type":"SelectorText","parentSelectors":["all_banner"],"selector":"span.right_text span","multiple":false,"regex":"","delay":0},{"id":"image","type":"SelectorImage","parentSelectors":["all_banner"],"selector":"img","multiple":false,"delay":0}]}

Размещено на Allbest.ru