Размещено на http://www.allbest.ru/

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ

«НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ

«ВЫСШАЯ ШКОЛА ЭКОНОМИКИ»

Факультет бизнеса и менеджмента

Выпускная квалификационная работа - МАГИСТЕРСКАЯ ДИССЕРТАЦИЯ

СЕРВИС ОЦЕНКИ КОНКУРЕНТНОГО ОКРУЖЕНИЯ ЗАСТРОЙЩИКА

НА МЕДИЙНЫХ ПЛОЩАДКАХ НЕДВИЖИМОСТИ

Калинин Константин Владимирович

Научный руководитель Старший преподаватель

Кафедры инноваций и бизнеса в сфере ИТ

Журихин С. А.

Москва 2019



ОГЛАВЛЕНИЕ

• ВВЕДЕНИЕ
• ЦЕЛИ И ЗАДАЧИ ИССЛЕДОВАНИЯ
• ТЕОРЕТИЧЕСКАЯ ЧАСТЬ
• ОБЗОР СУЩЕСТВУЮЩИХ РЕШЕНИЙ СЕРВИСОВ ОЦЕНКИ КОНКУРЕНТНОГО ОКРУЖЕНИЯ В СЕТИ ИНТЕРНЕТ
• WEB SCRAPING HTML САЙТОВ
• ОБЗОР РЕШЕНИЙ ВИЗУАЛИЗАЦИИ ДАННЫХ
• АНАЛИЗ ИССЛЕДУЕМОЙ ПРОБЛЕМЫ
• РАЗРАБОТКА СИСТЕМЫ
• ВЫЯВЛЕНИЕ ПОТРЕБНОСТИ В РАЗРАБОТКИ СИСТЕМЫ
• ВЫБОР ИСТОЧНИКОВ И ЭЛЕМЕНТОВ ДАННЫХ
• ОРГАНИЗАЦИЯ БАЗЫ ДАННЫХ
• СОЗДАНИЕ СИСТЕМЫ
• РЕЗУЛЬТАТЫ
• ОПИСАНИЕ И АНАЛИЗ ПОЛУЧЕННЫХ РЕЗУЛЬТАТОВ
• ПРАКТИЧЕСКИЕ РЕКОМЕНДАЦИИ ПО РАСШИРЕНИЮ ФУНКЦИОНАЛА
• НОВИЗНА И ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ ИССЛЕДОВАНИЯ
• ЗАКЛЮЧЕНИЕ
• СПИСОК ИСПОЛЬЗУЕМЫХ ИСТОЧНИКОВ
• ПРИЛОЖЕНИЕ. ТЕКСТ ПРОГРАММЫ


ВВЕДЕНИЕ

Все сферы жизни человека сильно менялись на протяжении исторического развития общества. Разные типы ресурсов ценились в каждый из этих периодов. Сейчас, в двадцать первом веке, во главе угла стоит информация. Владение информацией является основной ценностью в экономике, предпринимательстве, строительстве, рекламе и множестве других сфер. Как говорил владелец одного из самых крупных состояний в мире, Н.М. Ротшильд: «Кто владеет информацией, тот владеет миром».

В современном мире рейтинги капитализации возглавляют компании, в основе, бизнес модели которых обработка, поиск или продажа информации [1].

Второй особенностью повышения значимости информации является ее объем. Сегодня производится такое большое количество информации, что появился термин «информационный стресс». Объем данных, ежедневно потребляемых человеком, в несколько тысяч раз отличается по сравнению с тем, сколько потреблял человек пятьдесят лет назад. По данным IDC, количество информации удваивается каждые два года. Big Data - это технологии по работе с большим объемом данных, которые представляют собой набор качественно новых подходов в анализе информации и позволяют обрабатывать огромные массивы и находить закономерности [2].

Актуальность работы обусловлена проблемой сбора и анализа данных о затратах и рекламных размещениях конкурентов на рынке недвижимости. Зачастую большинство решений, связанных с определением затрат конкурентов и их рекламных посылов решается в ручном режиме. Значительные средства уходят на ручной сбор данных (120 409 руб./мес.), которые зачастую собираются только в моменте и посмотреть историю маркетинговых размещений и затрат не представляется возможным.

В первой главе выпускной квалификационной работы будет рассмотрен рынок сервисов оценки конкурентного окружения в сети интернет. Описаны цели и задачи, выполняемые данными сервисами. Обозначены основные особенности и общие черты, которые лягут в основу разработки будущей программы.

Во второй главе будет определена потребность в написании сервиса путем опроса заинтересованных лиц (будет опрошено 52 сотрудника: аккаунт-менеджеры, младшие специалисты, аналитики) с целью выявления общих проблем в работе с медийными площадками, определены трудозатраты сотрудников и экономический эффект от внедрения сервиса, далее будут определены источники получения данных, выбраны методы агрегации, хранения информации, описана логика работы системы, реализована визуализация данных.

В третьей главе будет представлен сервис оценки конкурентного окружения, описаны результаты и функционал программного решения, даны практические рекомендации применения результатов.



ЦЕЛИ И ЗАДАЧИ ИССЛЕДОВАНИЯ

Цель исследования: разработка сервиса агрегации и оценки конкурентного окружения застройщика на медийных площадках недвижимости.

Задачи исследования:

? проанализировать предметную область, рассмотреть рынок сервисов оценки конкурентного окружения в сети интернет в России;

? изучить решения и выделить основные детали и минусы;

? проанализировать сервисы визуализации информации, выбрать решение;

? проанализировать потребность в разработке системы и дать экономическое обоснование;

? выбрать популярные медийные площадки в тематике недвижимость для сбора данных;

? разработать сервис сбора данных с тематических площадок недвижимости;

? разработать визуализацию собранных данных;

? описать практические и экономические результаты разработки системы, обозначить пути дальнейшего совершенствования системы.

ТЕОРЕТИЧЕСКАЯ ЧАСТЬ

сервис интернет медийный недвижимость

ОБЗОР СУЩЕСТВУЮЩИХ РЕШЕНИЙ СЕРВИСОВ ОЦЕНКИ КОНКУРЕНТНОГО ОКРУЖЕНИЯ В СЕТИ ИНТЕРНЕТ

Электронная коммерция приносит большую часть доходов в интернет бизнесе, однако мы не можем игнорировать впечатляющий рост доли трафика на различные веб-сервисы, которые позволяют пользователям мгновенно получать необходимую информацию о конкурентном окружении online бизнеса.

Понимание динамики рынка сервисов оценки конкурентного окружения является сложной задачей. Они характеризуется инновационными бизнес-моделями, технологиями и сервисом, которые постоянно развиваются [3]. Количество функций в сервисах увеличивается год от года, продукты постоянно адаптируются под нужды рынка, что вызывает увеличение конкуренции [4].

Стоит рассмотреть наиболее популярные проекты мониторинга активности конкурентов.

Проект «SpyWords». Русскоязычный сервис по поиску ключевых слов. Среди его клиентов такие компании, как «ИНКОМ Недвижимость», «Coral Travel», kupivip.ru и т. д. Сервис позволяет анализировать запросы конкурентов в контекстной рекламе, сравнить позиции доменов конкурентов в поисковой выдаче Яндекс и Google. Одна из наиболее интересных особенностей - это возможность получить данные по бюджетам на контекстную рекламу за год, а также возможность сравнения до 20 доменов одновременно.

Недостатки сервиса: низкая точность данных (бюджеты могут отличаться не только итоговой суммой, но и соотношением между собой), данные обновляются раз в 2 месяца (в марте 2019 г., доступны данные только за январь 2019 г.), нельзя посмотреть затраты на рекламу определенной страницы (при анализе сайтов застройщиков можно увидеть только данные по домену).

Проект «SimilarWeb» вошел в список лучших компаний в сфере высоких технологий в 2016 г., где занял 13-е место, находится в одном ряду с Ebay, IBM [5]. Компания предоставляет сервис, который позволяет получить подробный отчет по любому сайту, в который входят: трафик, распределение по каналам трафика, анализ запросов и ключевых слов, по которым продвигаются конкуренты в SEO, анализ популярных сайтов по отраслям. Плюсом ко всему сервис дает широкие возможности при использовании бесплатной версии. Данные SimilarWeb не будут достоверными на 100% -- существует определенная погрешность, но в целом вы сможете проследить динамику и выявить лидеров отрасли [6].

Недостатки сервиса: низкая точность данных в разрезе распределения трафика по каналам, отсутствие данных по рекламным размещениям в Яндекс в основном представлена общая информация о сайтах, отсутствует детализация, доля платного трафика включает только трафик с контекстной рекламы Google, а трафик с Яндекс Директ учитывается в прямые переходы и смешивается с ними.

Проект «SEMruch» один из самых популярных сервисов по интернет-маркетингу. Он насчитывает уже 800 тысяч пользователей, среди которых такие известные компании, как Philips, PayPal, Forbes, Hyatt. Сервис позволяет провести поиск по ключевым запросам в поисковых системах, найти низкочастотные слова и обратные ссылки, позволяет определить конкурентов в социальных сетях. Особенность сервиса состоит в том, что он может определять бюджеты и показывать примеры медийных размещений в контекстно-медийной сети Google, сравнивать домены между собой.

Недостатки сервиса: низкая точность данных (бюджеты по РФ в большинстве случаев не рассчитываются), нельзя посмотреть затраты на рекламу определенной страницы (при анализе сайтов застройщиков можно увидеть только данные по домену), отображается только медийная реклама в сетях Google, сервис не принимает оплату тарифов из России (то есть никак нельзя получить полную версию сервиса).

«Топвизор» - это узкоспециализированный сервис, поисковой аналитики (разработан в РФ). Среди клиентов присутствуют такие компании, как: Adidas, Ikea, ЛитРес и др. Сервис может предоставлять данные по позициям сайта в Яндекс и Google и их динамике, собирать семантическое ядро сайта и помогать в его кластеризации, управлять ставками в контекстной рекламе Яндекс Директ, делать снимки поисковой выдачи, проводить технический анализ сайта, генерировать SiteMap, имеет возможность интеграции с системами аналитики и контекстной рекламой. Основная задача сервиса - это предоставление подробной информации владельцу сайта о позициях сайта в поиске и помощь в их улучшении.

Недостатки сервиса: ориентирован только на SEO, не может предоставить информации о конкурентах в медийной или контекстной рекламе, соц. сетях и пр. Нет данных по бюджетам конкурентов, стоимость выше, чем у аналогов.

«PR-CY» - сервис анализа сайтов для вебмастеров, оптимизаторов и копирайтеров.

Сервис позволяет сравнивать конкурирующие между собой домены по отсутствию или наличию важных элементов сайта, ускоряющих индексацию новых страниц, а также измерять и давать рекомендации по скорости загрузки. Сервис также осуществляет поиск конкурентов в соц. сетях. В основном сервис дает много полезной информации для разработчиков и SEO оптимизаторов сайтов, количество управленческой отчетности минимально.

Недостатки сервиса: ориентирован в основном на SEO, не может предоставить информации о конкурентах в медийной или контекстной рекламе. Отсутствуют исторические данные и динамика изменения позиций и добавления необходимых элементов на сайт среди конкурирующих доменов.

Проект «Wayback Machine» представляет собой зарубежный сервис, который позволяет отслеживать изменения в дизайне, контенте, и прочих видимых элементов страницы.

Изначально проект был создан для решения проблемы исчезновения информации с сайта при его изменении или закрытии. Создатели надеялись архивировать весь Интернет и обеспечить «универсальный доступ ко всем знаниям» [7]. Позже его даже применяли в судебных процессах в Америке [8]. Только с 2012-2013 г. сервис стал активно применяться в маркетинговых целях.

Недостатки сервиса: косвенное отношение к маркетинговому конкурентному анализу, возможность просматривать исключительно старые версии текущих сайтов конкурентов. Данные с ряда защищенных протоколов не сохраняются. Функционал и дизайн самого сайта значительно устарел, отсутствует возможность сравнения конкурентов на одной странице.

Проект «Fanpage Karma» преследует цель создания наглядной отчетности для SMM - специалистов, которые работают с сетью Facebook. Сервис предоставляет подробную информацию, по анализу только одной страницы. Отчет включает в себя содержание страницы, время постов, информацию о влиянии информации на сообщество подписчиков, теги и многое другое. Также имеется возможность визуализировать тренд охвата постов и проанализировать изменение количества подписчиков страницы.

Недостатки сервиса: отсутствие возможности поиска информации в ленте постов, незначительное расхождение с реальными данными по уровню вовлеченности пользователей. Отсутствует возможность подробного сравнения между нескольким конкурентами.

Проект «Yandex Wordstat» представляет собой сервис поисковой системы Яндекс с возможностью отслеживания количества показов тех или иных ключевых запросов в поисковой системе [9]. В основном может применяться с целью оценки уровня узнаваемости бренда в данной поисковой сети (рис. 1).



Рисунок 1 Динамика популярности бренда на основе Yandex Wordstat

Пользователь может наблюдать существенный рост известности Urban Group и потерю такой же доли у компании ЮИТ; «Центрстрой» также постепенно теряет свою позицию. Остальные компании остаются примерно на одном и том же уровне без существенных изменений [10].

Недостатки сервиса: оценка динамики известности бренда только в поисковой системе Яндекс, для составления отчета необходимо использовать сторонние программы (Excel, Power BI и пр.).

Показатели юзабилити в Интернете определяют, насколько полезным, удобным и доступным является веб-сайт (сервис) с точки зрения потребностей и ожиданий его целевой аудитории [11]. Как можно заметить, большая часть сервисов создана для конкретного типа аудитории: SEO оптимизаторов, управленцев, копирайтеров, веб-разработчиков.

Наиболее точными сервисами из выше рассмотренных являются: Топвизор, Yandex Wordstat, Fanpage Karma. Эта группа сервисов сконцентрирована на одной узконаправленной функции конкурентного анализа, что позволяет команде проекта акцентировать внимание на деталях и производить своевременные обновлениях сервиса.

К сервисам предоставляющую в большей степени управленческую отчетность в готовом виде можно отнести: SEMruch, SimilarWeb. Сайты создают понятные отчеты в режиме online.

Основными проблемами современных сервисов, бизнес модель которых строится на сборе, агрегации, визуализации данных состоят в следующем:

? недостаточная точность данных;

? недостаточность информации;

? несвоевременное обновление;

? сложность использования;

? отсутствие интеграций и возможности выгрузок в часто используемые форматы (Excel, CSV) [12].

В заключение стоит отметить, что каждый из сервисов обладает сильными и слабыми качествами. При разработке системы необходимо объединить все сильные стороны проектов по оценки конкуренции и минимизировать возможность появления проблем, свойственным объектам анализа.

WEB SCRAPING HTML САЙТОВ

HyperText Markup Language (HTML) является основным языком, используемым на веб-страницах. Он определяет разметку и содержание веб-страниц, однако не влияет на то, как веб-страница выглядит или функционирует. Первый стандарт HTML 2.0 был выпущен в 1995 году. В 1997 году была выпущена версия 3.2, которая была первой версией Консорциума World Wide Web (W3C). W3C выпустил HTML 4.0 в 1997 году и в 1999 году получил незначительное обновление до 4.01. В 2016 году была рекомендована к применению уже версия 5.1. Сегодня 5.1 является самым последним стандартом для HTML, который поддерживает большинство современных браузеров [13].

HTML состоит из мета-тегов и элементов, которые можно комбинировать для создания сложных документов. В HTML мета-теги строго названы и стандартизированы W3C, также HTML имеет строго определенные атрибуты для мета-тегов. Идентификационный класс (class) может быть использован для различения элементов, объединенных в группы.

Например, мета-тег <h2> определяет заголовок второго уровня. Код, расположенный ниже иллюстрирует надпись “Hello world!” в HTML [14].

1 <!DOCTYPE html>

2 <html>

3 <head>

4 <title>This is a title of the document</title>

5 </head>

6 <body>

7 <h2 id="greeting" class="message">Hello world!</h2>

8 </body>

9 </html>

Интернет - это самый обширный набор данных за всю историю человечества, который доступен бесплатно. Однако эти данные достаточно проблематично использовать для анализа, т. к. их необходимо собрать и привести в структурированный вид. Иными словами, данные необходимо извлечь с web-сайтов в некую базу данных для того, чтобы они могли быть полезными.

Процесс извлечения данных из веб-страниц известен как web scraping, который год от года становится более популярным, так как объем общедоступной информации в Интернете увеличивается год от года.

Web scraping в теории - это сбор данных в интернете с помощью любых средств, кроме программы, взаимодействующей с API или ручным способом. Чаще всего это достигается написанием автоматизированной программы, которая взаимодействует с сервером онлайн ресурса и запрашивает данные (обычно в форме HTML и других файлов, лежащих в основе веб-страницы), а затем анализирует эти данные для извлечения необходимой информации.

На практике web scraping включает в себя широкий спектр методов и технологий программирования, таких как анализ данных, анализ естественного языка и информационная безопасность [15].

Популярность web scraping сложно переоценить. Существуют учебники, курсы программирования, посвященные получению данных с веб страниц с помощью программ - парсеров. Язык разметки, используемый для структурирования данных на веб-страницах, может изменяться, например, при обновлении дизайна сайта или при обновлении страницы в браузере, по этой причине ряд программ для парсинга могут извлекать некорректные значения, однако современные решения позволяют быстро менять некорректно настроенные алгоритмы без значительных трудозатрат [16].

Одними из самых популярных языков программирования, используемых в получении данных с веб сайтов на HTML являются R (Rcurl, XML) и Python (BeautifulSoup, Lxml, регулярные выражения).

Beautiful Soup - популярный модуль для Python, который анализирует веб-страницу, а затем предоставляет удобный интерфейс для навигации по контенту сайта и сбора необходимой информации. Большинство веб-страниц не содержат абсолютно корректный HTML-код, а Beautiful Soup может автоматически привести его в валидный формат для извлечения данных [17]. В итоге используя любое модуль можно получить данные для загрузки в базу данных SQL, MongoDB и др. При использовании языка R получать данные несколько сложнее, т. к. он в основном предназначен для анализа данных и визуализации уже готовых баз данных. наиболее удобное решение - это подготовка данных с помощью BeautifulSoup или другого расширения на Python, а затем статистический анализ с помощью R. Одним из самых больших неудобств в использовании данных решений является необходимость знания хотя бы одного языка программирования.

Альтернативным решением для задачи сбора информации могут быть программы и расширения для браузеров. На сегодняшний день существует около 30 поддерживаемых командой разработчиков решений, которые в большей степени находятся за рубежом.

Import.io позволяет формировать собственные пакеты данных: нужно только импортировать информацию с определенной веб-страницы и экспортировать ее в CSV. Можно извлекать до тысячи строк данных с веб-страниц в минуту, без необходимости программирования, и создавать API согласно требованиям.

Недостатками сервиса является:

Отсутствие подробной информации о получении данных на сайтах с разными типами пагинации, отсутствие функции предварительного просмотра итоговых данных до парсинга, отсутствие визуализации вложенности элементов, однопоточность, ограниченный бесплатный функционал (до 5000 строк данных в день), отсутствие настройки пагинации данных, проблема с парсингом сайта на https, получение точных результатов требует подробных деталей, связанных с изучением HTML кода исследуемого объекта.

Webhose.io - это веб-приложение для браузера, использующее технологию парсинга данных основанную на языке программирования Python, которая позволяет обрабатывать объемы информации до 500 строк в минуту из таких источников, как источников с единственным API. Webhose предлагает бесплатный тарифный план за обработку 1000 запросов в месяц и 50 долларов за премиальный план, покрывающий 5000 запросов в месяц. Особенностью программы является ее направленность на сбор данных из dark net.

Недостатки сервиса:

Избыточное количество данных на входе, отсутствует возможность изначальной настройки необходимых элементов HTML из-за чего увеличивается время на обработку данных. Необходима загрузка дополнительных приложений.

CloudScrape - облачное решение для получения данных с web-сайтов, которое обеспечивает анонимный доступ к данным, предлагая ряд прокси-серверов, которые помогают скрыть идентификационные данные пользователя. Сервис хранит данные в течение 2 недель, затем их архивирует. Сервис предлагает 20 часов работы бесплатно, после чего он будет стоить 29 долларов в месяц.

Недостатки сервиса:

Необходимость загрузки страниц в сервис, сложные настройки, использование более 10 элементов сайта для получения данных. Временное ограничение бесплатной версии делает необходимым регистрироваться каждый раз заново т. к. время в работе считается с момента регистрации, а не с момента начала работы над проектом.

Web Scraper - это расширение для Google Chrome, позволяющее получать данные любых типов с сайтов и WEB - документов. Сервис имеет бесплатную версию в виде расширения для браузера, которая способна собирать данные из разных типов пагинаций, а также данные динамического контента. Особенностями программы является возможность визуального выбора элементов одного типа путем клика на сайте. Также сервис имеет ничем не ограниченный бесплатный функционал и возможность предварительного вывода информации, а соответственно и возможность тестирования сбора определенного элемента данных.

Недостатки сервиса:

Отсутствие proxy в бесплатной версии, невозможность парсинга ряда элементов с отсутствующими CSS-селекторами, получение данных только в формате CSV.

OutWit Hub - это дополнение Firefox с десятками функций извлечения данных. Инструмент может автоматически просматривать страницы и хранить извлеченную информацию в подходящем для пользователя формате. OutWit Hub предлагает простой интерфейс для извлечения данных по необходимости. OutWit позволяет получать любые веб-страницы п и создавать в панели настроек автоматические агенты для извлечения данных и их сохранения. Это один из самых простых бесплатных веб-инструментов по сбору данных, не требующих специальных знаний в написании кодов.

Недостатки сервиса:

Необходимость знания HTML, ручной поиск и подготовка группы CSS - селекторов для sitemap, старый интерфейс, отсутствие быстрой поддержки, проблемы парсинга сайтов на AJAX, сложные настройки пагинации парсинга.

Наиболее простым, понятным решением является сервис Web Scraper. Несмотря на его ограниченный функционал (получение данных только через CSS - селекторы и пр.) преимуществ значительно больше:

? Простой импорт и экспорт готовых шаблонов парсинга позволяет быстро настраивать работу при парсинге схожих сайтов;

? Решение уверенно работает со всеми протоколами (HTTP, HTTPS);

? Предпросмотр данных;

? Визуализация уровней данных;

? Подробное и понятное руководство (30 минут видео рассказывают 95% возможностей сервиса) и пр.

Самое главное - решение в полной мере собирает данные с основной части сайтов, на которых было протестировано.

ОБЗОР РЕШЕНИЙ ВИЗУАЛИЗАЦИИ ДАННЫХ

Визуализация - одна из важных компонент в предоставлении информации. Доказано, что корректно подобранная визуализация данных в сотни раз ускоряет восприятие информации по сравнению с чтением [18]. Основной задачей визуализации данных является максимальное сокращение времени восприятия информации без потери смысла. В данном разделе работы будут рассмотрены возможные методы визуализации данных (рис. 2).



Рисунок 2 Методы визуализации данных

Традиционные методы визуализации - это шаблонизированные методы, основанные на ручном сборе, стандартизации информации, с целью представления наглядных данных для принятия управленческих решений. Основными инструментами традиционного подхода являются программы Microsoft Office (Excel, PowerPoint). В 2008 году компания Google позволила расширить традиционный набор такими сервисами как: Google Таблицы, Google Презентации [19].

Преимущества традиционных методов визуализации:

? Часто являются обязательным требованием при приеме на работу;

? Простота обучения;

? Широкий спектр обучающих материалов.

Недостатки традиционных методов визуализации:

? Скорость работы (создание визуализаций);

? Ограничения в 10 тыс. строк информации в Google Таблицах;

? Значительные трудозатраты на подготовку однородной информации, подбор визуальных элементов и пр.

Традиционные методы являются простым инструментом визуализации данных с низкой скоростью работы и высокими затратами на подготовку отчетов.

Программирование - это метод визуализации информации, связанный с непосредственным написанием программ для сбора, структуризации и графической интерпретации данных.

Основными инструментами данного подхода является написание программ на языках Java Script, R, Phyton и пр.

Преимущества методов визуализации с помощью программирования:

? Возможность не только построения диаграмм, но и проведения глубокого анализа данных, выявление неочевидных закономерностей;

? Настройка визуализации информации в реальном времени, минимизация ручного труда и необходимости постоянного обновления данных;

? Объединение и обогащение данных из разных источников.

Недостатки методов визуализации с помощью программирования:

? Высокая стоимость разработки, поддержки, обновления и доработок решения;

? Необходимость программирования;

? Сложность обучения;

? Главным препятствием для русскоязычных пользователей при освоении языков программирования, безусловно, является то, что почти вся документация существует на английском языке [20].

Методы визуализации данных с помощью программирования являются самым эффективным и быстрым способом получения информации, однако имеют высокую стоимость реализации, а также необходимость постоянной поддержки системы.

Business Intelligence (BI) - это набор методов, процессов, приложений и технологий, которые собирают и преобразуют необработанные данные в значимую и полезную информацию, которая используется для обеспечения более эффективного стратегического, тактического и оперативного понимания и принятия решений с целью повышения эффективности бизнеса [21].

Общий процесс BI охватывает ряд подпроцессов или этапов, включая сбор данных, подготовку данных, хранение, анализ, представление и доставку данных [22]. На этапе визуализации данных результаты запроса или анализа представляются в понятных для пользователя форматах (таких как таблицы и диаграммы), которые отражают смысл данных и дают основу для принятия решений. Визуализация данных также включает в себя интерактивные запросы, которые помогают пользователям находить полезную информацию. В технологическом стеке системы BI включают различные формы и методы визуализации данных, а также взаимодействия с помощью отчетов (статические и интерактивные отчеты), цифровых панелей мониторинга и более сложных аналитических инструментов [23].

В последние несколько лет в индустрии бизнес-анализа быстро растет качество визуализации данных, что является тенденцией современного бизнес-анализа. В современной BI-аналитике делается акцент на автономную работу, то есть работу без привлечения разработчиков со знанием языков программирования [24].

Преимущества методов визуализации с применением BI систем:

? Возможность быстрого шаблонного построения визуальных объектов с возможностью быстрого изменения вводных;

? Возможность однокнопочной интеграции с большинством популярных систем аналитики, в том числе с высокоуровневыми языками программирования типа R;

? Возможность выгрузки данных в большинство популярных форматов (Excel, Pptx и пр.);

? Объединение и обогащение данных из разных источников;

? Относительная простота настроек (сложнее чем в традиционных методах, но проще чем в программировании);

? Высокая скорость обработки данных (по сравнению с традиционными методами).

Недостатки методов визуализации с применением BI систем:

? Необходимость знания внутренних языков систем (DAX и пр.);

? Умение работать с интеграторами данных, системами преобразования данных (Pentaho Spoon и пр.);

? Сложность обучения;

? В основном англоязычная документация [25].

Методы визуализации данных с помощью BI систем сравнимы по точности скорости работы с программными решениями, однако стоимость внедрения и сложность внедрения значительно ниже, также присутствует возможность изменения дашбордов без привлечения разработчика систем BI. Сравнение всех подходов к визуализации данных представлены в таблице 1, где 1 - это просто, дешево, быстро и пр., 5- сложно, дорого, долго и пр.

Таблица 1

Сравнение методов визуализации данных [26]

Подход	Сложность освоения	Средняя стоимость часа работы	Скорость получения отчетности	Влияние человеческого фактора
Традиционный	2	1	5	4
Программирование	5	5	1	2
BI системы	3	4	1	2

Таким образом BI системы являются лучшей альтернативой традиционному подходу в визуализации данных. Целесообразно рассмотреть несколько BI систем с целью дальнейшего применения в разработке системы.

QlikView - это BI платформа, где пользователь является получателем данных. Посредством автоматической связки релевантных данных сервис позволяет работать в качестве разработчика и исследователя. При перемещении блока информации из одной интерпретации данных в другую сохраняется ряд релевантных значений, который в дальнейшем может быть полезен. Чтобы сохранить гибкость к исследованию и визуализации данных, QlikView сохраняет и поддерживает связь между ними. Данная особенность облегчает обнаружение информации конечным пользователем, который ищет определенный массив с целью получения любых сопутствующих параметров, даже если происхождение элементов, применимых к поиску, никак не пересекается.

Особенностью сервиса является возможность автоматического распознавания связей между данными без предварительной подготовки, что в значительно ускоряет процесс создания отчетности. Платформа может на ходу проводить агрегирование данных, а это гораздо быстрее, чем делать это в два шага: сначала агрегировать, а затем уже доставать данные.

Детали использования:

Отчеты QlikView просты в навигации даже для обычных пользователей. Основной сложностью является создание отчетов, так как для этого требуется хорошие знания в области разработки, практика написания сложных запросов SQL, также присутствует необходимость изучения внутреннего языка сервиса (табл.2) [27].

Таблица 2

Особенности работы с QlikView

Со стороны:	Преимущества	Недостатки
Пользователя	+ Скорость создания графиков и таблиц + Отправка отчетов в удобных форматах (.pdf) + Легкость фильтрации данных	- Комбинирование некоторых типов данных, когда это не требуется - Без технической базы могут возникать трудности - Одно из самых дорогих решений на рынке с оплатой за отчеты и пользователей
Разработчика	+ Импорт данных из множества источников + Высокая скорость загрузки и обработки данных + Удобство при создании графиков и таблиц, фильтров отчетов	- Нестандартный синтаксис внутреннего языка - Трудности в реализации некоторых базовых функций - Сложности с использованием в качестве рабочего инструмента для всей компании

Klipfolio - это облачное решение для бизнес-аналитики, которое обеспечивает пользователя широким инструментарием визуализации данных и составления панелей мониторинга. Расположение в облаке позволяет сервису наиболее эффективно обрабатывать данные, дает возможность повышать строить отчеты в реальном времени, а не полагаться на модель периодической регрессии.

Klipfolio поддерживает подключение к различным источникам данных, как онлайн, так и офлайн. Из онлайн источников можно выделить ряд облачных хранилищ, включая Google Sheets, реляционные БД и другие службы. Возможности подключения охватывают такие инструменты, как Google Analytics, Trello и Twitter, а также маркетинговые инструменты, таких как Oracle Sales Cloud, Mixpanel и Radian6 Sales Marketing. присутствует возможность подключиться к собственному источнику данных с использованием API. Klipfolio поддерживает разнообразные типы автономных сервисов: MS Excel, CSV, XML, JSON и другие.

Детали использования:

В Klipfolio можно строить десятки различных типов графиков, включая круговые, гистограммы, диаграммы областей и еще множество различных комбинаций. Также, пользователь, владеющий HTML и CSS может создавать собственные, неповторимые визуализации, накладывая все необходимые компоненты на дашборд через WYSIWYG редактор, а более сложные элементы графиков можно добавить с помощью различных формул и функций (табл. 3) [28].



Таблица 3

Особенности работы с Klipfolio

Преимущества	Недостатки
+ Гибкий по части дизайна, интерфейса, совместимости + Качественная и быстрая поддержка + Поддержка API многих вариантов и форматов данных + Анализ данных в реальном времени + Простая интеграция сторонних приложений	- Сложность обучения даже простым вычислительным операциям - Все расчеты производятся путем написания формул, а не методом drag-and-drop, как у большинства конкурентов - Дополнительная плата за пользовательские стили визуализаций - нет функций для предиктивной аналитики и прогнозирования - Минимальная стоимость:1 235 руб./мес.

Tableau - сервис BI аналитики, который делает акцент на простоту использования.

Ключевое отличие Tableau от конкурентов заключается в его особой функции - смешивании данных, комбинировании данных из разных БД и источников. Также Tableau позволяет нескольким пользователям одновременно работать над отчетом в реальном времени. Еще, в платформе реализовано несколько способов того, как можно делиться отчетами:

1) публикуя их на сервере Tableau;

2) через e-mail Tableau Reader;

3) через доступ по ссылке. Такое разнообразие добавляет гибкости и снимает многие ограничения.

Детали использования:

Исключительно прост в использовании, он считается самым простым в использовании инструментом BI. Основным преимуществом Tableau является автоматическое обнаружение структурированных данных и отображение их с помощью диаграмм, графиков и других типов визуализации. Сервис достаточно прост для обычного бизнес-пользователя, однако при этом он такой же мощный, как инструмент разработчика (табл. 4) [29].

Таблица 4

Особенности работы с Tableau

Преимущества	Недостатки
+ Простая интеграция с Big Data платформами (Hadoop,Google BigQuery) + Большое количество встроенных коннекторов данных к популярным системам + Поддержка на мобильных платформах + Совместная работа над отчетами + Регулярные обновления + Большое количество видеоматериалов, курсов	- Необходимость предварительной обработки данных - Требует IT-Консультирования - Не может заменить специализированные приложения для создания финансовых отчетов на их поле - Узконаправленные и ограничивающие функции вычисления - Минимальная стоимость 32 500 руб./мес.

Power BI - это программное решение, разработанное и поддерживаемое Microsoft для нужд бизнес-аналитики. В основе Power BI лежит онлайн-сервис с возможностью визуализации данных. Сервис имеет множество коннекторов для подключения к разным источникам данных.

Детали использования:

Интерфейс понятен всем пользователям пользователей, знакомым с Windows (то есть почти всем), поэтому работа с Power BI интуитивно понятна. Многие элементы управления и визуализации имеют похожий дизайн с MS Excel и другими продуктами MS Office.

Визуализации создаются с использованием метода drag-and-drop (табл. 5) [30].



Таблица 5

Особенности работы с Power BI

Преимущества	Недостатки
+ Доступнее, чем главные конкуренты 600 руб./мес., есть бесплатная версия с ограничением по скорости обработки данных + Широкие возможности визуализации данных + Подключение практически любого источника данных + Интуитивно понятный интерфейс + Интеграция с множеством продуктов Microsoft	- Сложности с вычислением нестандартных выражений, необходимо изучать язык DAX и Power Pivot - Проблема с импортом большого количества строк (от 30 000 строк) - недостаточное количество инструментов обработки данных

Рассмотренные BI системы являются широко распространенными и зарекомендовавшими себя решениями, однако при предметном изучении систем было принято решение использовать Power BI по следующим причинам:

? Бесплатная версия решения ограничена только в скорости работы и объеме данных, что позволяет пользоваться всеми доступными функциями;

? Сервис способен обрабатывать URL изображений и выводить картинки на экран, даже если они хранятся на сторонних ресурсах;

? Удобно и быстро строить диаграммы и графики;

? Подробное русскоязычное руководство;

? Большая часть автоматической отчетности в компании Media 108 строится в Power BI, что облегчит поддержку работы системы.

Самое главное - решение в полной мере удовлетворяет итоговому техническому заданию проектных команд, что было протестировано на тестовой выборке данных.



АНАЛИЗ ИССЛЕДУЕМОЙ ПРОБЛЕМЫ

Проанализировав вышеперечисленные сервисы конкурентного окружения в сети интернет, web scraping программы и методы визуализации данных можно выделить одну общую черту. Дело в том, что они рассчитаны на общую массу отраслей. Нет ни одного решения, которое могло бы во всей полноте решить проблему одной отрасли полностью. Несмотря на то, что на сегодняшний день существует огромное количество сервисов мониторинга конкурентов, агрегации и визуализации данных все они нуждаются в значительных доработках.

Существующие сервисы конкурентного окружения могут показать лишь общую картину. Помимо этого, недостаточная точность и полнота предоставляемой информации не могут стать основой исчерпывающих выводов и гипотез аналитического исследования. Частота обновления данных остается крайне редкой, особенно в сервисах, ориентированных на российский рынок. Самым частым можно назвать обновление данных раз в два месяца, что говорит о невозможности делать своевременные выводы. Этого вполне может хватить, чтобы изучить историческую динамику и с помощью ретроспективного подхода предположить дальнейшее развитие ситуации, но в реальной маркетинговой кампании вряд ли такое приложение или сервис найдет активное применение.

С точки зрения систем web scraping сервисов наблюдается несовершенство в скорости и качестве сбора информации. Пользователю необходима практически каждый раз просматривать код каждого элемента данных, а зачастую получение определенных данных становиться в принципе невозможно. Это скорее проблема сервиса, а не его отраслевой ориентированности. Однако, при целенаправленной ориентации разработчики смогли бы предусмотреть определенные тонкости и доработать продукт под целевую аудиторию.

Системы BI отчетности одни из первых успешно внедряют в возможности визуализации данных отраслевую направленность. В рамках Microsoft Power BI аналитик может добавить ряд пользовательских визуализации из магазина, которые полностью бесплатны, однако они не всегда работают корректно и зачастую ориентированы на англоязычную аудиторию.

Одним из способов повышения качества сервисов оценки конкурентного окружения в сети интернет является их отраслевая ориентированность.

Во-первых, будет значительно автоматизирован сбор информации о размещениях, а соответственно снизятся трудозатраты аналитиков маркетингового отдела застройщика и агентства. Во-вторых, повышение качества данных и их логическая связь смогут дать поле для глубокого анализа интернет-маркетинга конкурентов, а это в среднем более половины рекламного бюджета застройщика [31]. Например, если отслеживать все креативные посылы конкурентов на медийных площадках и сравнивать их с пульсом продаж новостроек, то можно определить, насколько коррелирует уровень продаж с маркетинговыми посылами и бюджетами. Еще одним примером может стать исследование медийных размещений в зависимости от класса объекта и средней стоимости квадратного метра. Допустим необходимо выбрать типы размещений для ЖК комфорт класса, который только на старте продаж. Заранее определив конкурентов в локации аналитик может выяснить, где размещались конкуренты с похожими маркетинговыми текстами и сколько они тратят на рекламу, а также в первом приближении оценить эффективность размещений на этих площадках.



РАЗРАБОТКА СИСТЕМЫ

ВЫЯВЛЕНИЕ ПОТРЕБНОСТИ В РАЗРАБОТКИ СИСТЕМЫ

Прежде чем приступить к разработке системы необходимо выявить ее экономическую пользу для организации. Для решения этой задачи было проведено два опроса.

Цель первого опроса - провести исследование 3 метрик для оценки необходимости разработки системы и применимости будущего решения целевой аудитории продукта.

Для опроса было выбраны следующие метрики:

? NPS (Net Promoter Score) - это индекс лояльности клиентов в данном случае индекс лояльности сотрудников к текущему решению получении информации [32] (рис. 2);

Рисунок 2 Индекс лояльности сотрудников к текущему решению

? CSAT (Customer Satisfaction Score) - это средний показатель удовлетворенности клиентов (сотрудников) взаимодействием с компанией, отделом, текущем решением [33] (рис. 3);



Рисунок 3 Показатель удовлетворенности сотрудников текущим решением

? CES (Customer Effort Score) - метрика, цель которой собрать результаты, позволяющие судить о том, насколько клиенту быстро и легко получать необходимую информацию [34] (рис 4, рис. 5);

Рисунок 4 Измерение простоты получения данных

Рисунок 5 Измерение скорости получения данных

В целом от 50 до 60% опрошенных сотрудников не удовлетворены текущим методом сбора, скорости получения информации, а также советовали бы вновь пришедшим сотрудникам найти альтернативные методы получения данных о конкурентах с медийных площадок недвижимости. Только при оценке NPS наблюдается значительное преобладание удовлетворенности текущим способом сбора данных. Это объясняется тем, что сотрудники не имели в период опроса прототип будущей системы.

Цель второго опроса - определить потенциальную экономию трудозатрат при реализации системы. Для этого был составлен список всех сотрудников (52 человека), которые так или иначе собирают информацию о конкурентах с медийных площадок недвижимости и задан вопрос: «Сколько в месяц вы тратите часов на сбор информации о конкурентах на медийных площадках недвижимости?». После этого был проанализирован сайт по поиску работы hh.ru, откуда была рассчитана зарплата одного часа работы каждого специалиста (табл. 6).

Таблица 6

Трудозатраты сотрудников на сбор данных

№ Сотрудника	Должность	Стоимость часа работы	Кол-во часов в месяц	Стоимость работы в месяц
1	Помощник менеджера	238	25	5 952
2	Помощник менеджера	238	25	5 952
3	Младший аналитик	250	20	5 000
...	...	...	...	...
Итого		120 409

Затраты на разработку системы составят (по оценке директора по продукту) 297 000 руб. с НДС + ежемесячная поддержка 40 000 руб. с НДС. Время на разработку около 2,5-3 месяцев.

Реализация системы без привлечения сторонних разработчиков составит 62 000 руб. (оплата труда месяца работы младшего web-аналитика) + 18 600 (налоги ПФР, ФОМС, ФСС) + ежемесячная поддержка 9 300 руб. (3 дня работы младшего web-аналитика) + 2 790 налоги (налоги ПФР, ФОМС, ФСС). Время на разработку системы 1 месяц.

Итого:

1. 297 000 за разработку + 40 000 руб./мес. начиная с 3 месяца = 297 000 + 360 000 = 657 000 руб./год. Дисконтированный срок окупаемости при ставке дисконта 8% годовых ? 6 мес.

2. При применении работы сотрудника будет потрачено 213 590 руб./год. Дисконтированный срок окупаемости при ставке дисконта 8% годовых ? 2 мес.

Столь высокая разница в стоимости готового решения состоит в том, что при сборе данных будет использоваться бесплатное, полу-ручное решение для HTML сайтов - расширение браузера Web Scraper. Скорость написания парсеров значительно увеличится из-за отсутствия необходимости в ручном программировании.

ВЫБОР ИСТОЧНИКОВ И ЭЛЕМЕНТОВ ДАННЫХ

Источником данных для будущей системы будут порталы о недвижимости Москвы и Подмосковья, а также Санкт-Петербурга и Ленинградской области. Специфика работы с медийными площадками состоит в том, что клиент платит фиксированную стоимость за размещение рекламы в течении определенного периода (чаще всего 1 месяца). Список площадок был взят из медиа планов агентства и расширен путем анализа конкурентов заданных площадок. Таким образом, общее количество площадок составило 36, количество типов размещений - 64.

После определения источника открытых данных, необходимо выбрать, какие именно объекты и метрики будут лежать в основе сервиса. На порталах медийной рекламы текстово-графические блоки в основном состоят из четырех частей:

? Рекламная ссылка (атрибут href);

? Заголовок объявления (атрибут пользовательское значение);

? Описание (атрибут пользовательское значение);

? Картинка (атрибут src).

Помимо сбора информации с текстово-графических блоков целесообразно привязывать их к дате сбора информации, а также указывать стоимость статических размещений, чтобы отслеживать динамику затрат того или иного рекламодателя от месяца к месяцу.

После выделения необходимого перечня объектов из источника данных, необходимо обеспечить их сбор и загрузку в базу данных разрабатываемой системы. Для этого нужно привести данные к универсальному формату, который будет понятен сервису мониторинга медийных размещений конкурентов, а также будет един для всех размещений, получаемых с медийных площадок недвижимости. Сложность состоит в том, что формат данных разных площадок может значительно отличаться друг от друга. Проблемы при получении итоговых данных следующие:

? Наличие до пяти редиректов при переходе по рекламной ссылке (novostroy-m.ru);

? Отсутствие редиректа на рекламируемую страницу при переходе по рекламной ссылке как самостоятельной сущности (avaho.ru);

? Отсутствие адреса сайта в ссылке с изображением из-за чего картинка не отображается в системе (mirkvartir.ru, spb.mirkvartir.ru);

? Отсутствие атрибута src и замена группой атрибутов (novostroev.ru);

? Рекламные ссылки ссылаются на внутренние страницы медийной площадки (msk.restate.ru) и пр.;

Все эти проблемы, встречаемые при сборе данных, которые необходимо решать и в каждом отдельном размещении исправлять недостатки разными способами: ручная правка данных, использование макросов Excel, написанных под каждую отдельную площадку. Также целесообразно получать не просто рекламную ссылку, а ссылку рекламируемого сайта. Для этого необходимо воспользоваться сервисами пакетной проверки редиректов ссылок. Одним из самых эффективных и бесплатных решений в рунете является сайт Coolakov.ru (рис. 6).

Рисунок 6 Результат работы сервиса пакетной проверки редиректов

При анализе англоязычного сегмента интернета был обнаружен еще один сервис - httpstatus.io, который способен не только давать информацию по первой ссылке редиректа, но и по всей цепочке ссылок, по которым переходит пользователь при клике на объявление (рис. 7).

Рисунок 7 Результат работы сервиса httpstatus.io [39]

Таким образом, создание базы данных становиться сложной задачей, где каждый этап сбора и визуализации данных необходимо максимально автоматизировать.

ОРГАНИЗАЦИЯ БАЗЫ ДАННЫХ

При выборе формата хранения и базы данных необходимо было соблюсти следующие условия:

? поддерживать систему должен уметь любой сотрудник на случай увольнения разработчика;

? поддержка должна быть бесплатной (оплачивается только время работы сотрудника над БД);

? актуализация данных один раз в месяц;

? возможность делать выгрузки БД в Excel, Google Таблицы;

? Сервис должен стыковаться с общей системой визуализации данных в компании - Power BI.

Единственным решением, которое соответствовало критерию «Поддерживать БД должен уметь каждый» - это классический формат хранения данных в строках Ecxel.

Power BI использует реляционные базы данных и возможность создания нескольких типов связей:

? Многие к одному (*:1) - это наиболее распространенный тип, используемый по умолчанию. Это означает, что у столбца в одной таблице может быть несколько экземпляров значения, а у другой связанной таблицы, которую часто называют таблицей подстановки, есть только один экземпляр значения.

? Один к одному (1:1) - это означает, что столбец в этой таблице хранит только один экземпляр каждого значения, а у связанной таблицы также есть только один экземпляр каждого значения.

? Связи "многие ко многим". В составных моделях вы можете установить между таблицами связи "многие ко многим". Они избавляют от необходимости поддерживать уникальные значения в таблицах [35].

Исходя из этого принято решение сделать две таблицы: таблица с информацией о размещениях, которая будет обновляться ежемесячно, таблица с прайс листом каждого размещения, которая обновляется по мере изменения цен. Используемый тип связи - многие к одному.

Каждая медийная площадка, имеет свою специфику размещения рекламных блоков. Например, сайт «Новострой - М» имеет статический блок рекламных размещений с пагинацией. Пагинация - это намеренное сокрытие части контента с целью увеличения скорости загрузки страниц [36]. В данном случае пагинация представлена кнопкой «Показать еще», при клике на которую происходит загрузка скрытого контента (рис. 8).

Рисунок 8 Пример пагинации «Показать ещё»

Часть площадок имеют слайдеры с рекламой, например, чтобы увидеть все блоки рекламы на сайте «Проновострой» необходимо кликать (около 20 раз) на элемент слайд шоу до того момента, пока не перестанет появляться уникальный текст (рис. 9).



Рисунок 9 Слайдер, затрудняющий сбор рекламных объявлений

Эти и многие другие делали значительно затрудняют сбор данных и требуют значительных затрат на разработку системы, вопрос сбора данных без API медийных площадок является основным в текущей ситуации. В целях выбора инструмента получения данных был проведен анализ текущих решений сбора данных с открытых источников. Наиболее подходящим стало расширение для браузера Google Chrome - Web Scraper.

Основой для выбора решения стало следующее:

? возможность бесплатного использования;

? парсинг всех типов данных, которые видит пользователь при посещении сайта;

? простые инструкции и быстрое объяснения логики работы системы;

? наличие большого англоязычного форума;

? быстрый предпросмотр результатов и возможность копирования данных сразу в формат XLS без дополнительного преобразования из CSV формата.

Недостатком решения является только то, что встроенный функционал определения селекторов не всегда способен выбрать необходимое значение, из-за чего становятся необходимы знания HTML и ручной поиск необходимых селекторов.

В сообщении от сервиса Web Scraper можно увидеть следующее:

"No Data Extracted"

В результате чего сервис не извлекает никаких данных, хотя парсинг был настроен корректно. Проблемой может быть следующее: