Таргетированная реклама с использованием цифровых следов клиентов как фактор изменения онлайн-продаж в социальной сети Вконтакте

for item in df_wall.ix[ind, 'attachments_url'].split(','):

if item == '': labels_list.append(item)

else: labels_list.append(describe_image(item))

df_wall.ix[ind, 'attachments_labels'] = ';'.join(labels_list)

for ind in tqdm(df_wall.index[29000:]):

process_table(ind)

Parallel(n_jobs=2)(delayed(process_table)(i) for i in tqdm(df_wall.index[28930:]))

words = dict.fromkeys(list(set(itertools.chain.from_iterable(

df_wall.ix[:, 'attachments_labels'].fillna('').apply(lambda x: re.split(',|;', x))))))

for word in tqdm(words.keys()):

yandex_key = 'trnsl.1.1.20180226T201733Z.c61f9529d15695cd.56fff9ec48e9e9667b59cff7bf4985fcf2a17bbe'

url_translate = 'https://translate.yandex.net/api/v1.5/tr.json/translate?lang=' \

'en-ru&key={}&text={}'. \

format(yandex_key, re.sub('\s\s*', '%20', word))

words[word] = requests.get(url_translate).json()['text'][0]

df_wall.ix[:, 'attachments_labels'] = df_wall.ix[:, 'attachments_labels'].fillna('')

df_wall.ix[:, 'attachments_labels_rus'] = df_wall.ix[:, 'attachments_labels']

# кластеризация

from sklearn.cluster import KMeans

import random

from sklearn.metrics import calinski_harabaz_score

range_n_clusters = [20, 30, 40, 50, 60, 70, 80, 90, 100]

range_n_clusters = [5]

range_n_clusters = [15, 25, 35, 45]

cluster_labels = {}

for n_clusters in tqdm(range_n_clusters):

clusterer = KMeans(n_clusters=n_clusters, random_state=10)

cluster_labels[n_clusters] = clusterer.fit_predict(df_tfidf_22)

res = pd.DataFrame.from_dict(cluster_labels)

res.to_excel('df_tfidf_22_clustering.xlsx')

temp_df_22.to_excel('df_tfidf_22.xlsx')

res.to_excel('subs_clean_clustering.xlsx')

df.to_excel('subs_clean.xlsx')

df_wall_clean['2_clusters_clean'] = cluster_labels[2]

df_wall_clean['3_clusters_clean'] = cluster_labels[3]

df_wall_clean['4_clusters_clean'] = cluster_labels[4]

df_wall_clean['5_clusters_clean'] = cluster_labels[5]

df_wall_clean['6_clusters_clean'] = cluster_labels[6]

df_wall_clean['7_clusters_clean'] = cluster_labels[7]

df_wall_clean['8_clusters_clean'] = cluster_labels[8]

df_wall_clean['9_clusters_clean'] = cluster_labels[9]

df_clean.head()

df_clean = df.ix[df['corpus2'] != '', :]

df_clean['2_clusters'] = cluster_labels[2]

df_clean['3_clusters'] = cluster_labels[3]

df_clean['4_clusters'] = cluster_labels[4]

df_clean['5_clusters'] = cluster_labels[5]

df_clean['6_clusters'] = cluster_labels[6]

df_clean['7_clusters'] = cluster_labels[7]

df_clean['8_clusters'] = cluster_labels[8]

df_clean['9_clusters'] = cluster_labels[9]

vectorizer = TfidfVectorizer()

df_tfidf = vectorizer.fit_transform(df.ix[df['corpus2'] != '', 'corpus2'])

range_n_clusters = [2, 3, 4, 5, 6, 7, 8, 9, 10]

cluster_labels = {}

for n_clusters in tqdm(range_n_clusters):

clusterer = KMeans(n_clusters=n_clusters, random_state=10)

cluster_labels[n_clusters] = clusterer.fit_predict(df_tfidf)

df_clean.ix[:, ['id', 'description', 'name', 'corpus2', '2_clusters', '3_clusters',

'4_clusters', '5_clusters', '6_clusters', '7_clusters',

'8_clusters', '9_clusters']].to_excel('communities_clean_excel.xlsx')

df_clean.ix[:, ['id', 'description', 'name', 'corpus2', 'cluster']].to_excel('communities_clean_excel.xlsx')

df_clean.to_pickle('communities_clean.pickle')

Примеры таргетированных объявлений

1. Пост «журнал в красивом интерьере»

Загляните в сообщество самого Петербургского журнала о городе, дизайне и архитектуре!

Какой дизайн интерьера предпочитают Петербуржцы? Какие самые необычные дома можно встретить на улицах города?

Все это и не только вы найдете в Stories Magazine!

2. Пост для мужчин с журналом

Загляните в сообщество самого Петербургского журнала о городе и его собственном стиле!

В какие барбершопы заглянуть в этом месяце? Где провести идеальное свидание с девушкой?

Все это и не только вы найдете в Stories Magazine!

3. Обычный пост с журналом

Загляните в сообщество самого Петербургского журнала о городе и его собственном стиле!

Почему люди Северной столицы отличаются от жителей других городов? Чем они занимаются, куда ходят в свободное время, что их вдохновляет?

Все это и не только вы найдете в Stories Magazine!

Список кластеров по постам

Посты, содержащие:

0 кластер - Селфи девушек

1 кластер - Маникюр

2 кластер - Отдых за городом на природе

3 кластер ­- Искусство

4 кластер - Цифровой дизайн и реклама

5 кластер ­- Дизайн интерьера

7 кластер - Город и его архитектура

8 кластер - Одежда

9 кластер - Ссылки на другие ресурсы

10 кластер - Домашние животные

11 кластер - Очки и аксессуары

12 кластер - Праздники

13 кластер - Растения

14 кластер - Пейзаж

15 кластер - Путешествия

16 кластер - Черно-белые фотографии

17 кластер - Автомобили

Список кластеров по сообществам

1 кластер - DIY

2 кластер - Мужские журналы

3 кластер - Сообщества о кулинарии

4 кластер - Сообщества с музыкой

5 кластер - Сообщества о бизнесе

6 кластер - Сообщества городов

8 кластер - Сообщества о спорте

11 кластер - Сообщества с фактами

12 кластер - Сообщества с объявлениями

13 кластер - Сообщества с формате «Подслушано»

14 кластер - Сообщества ресторанов и кофеен

15 кластер - Сообщества с бесплатными предложениями

16 кластер - Сообщества фотографов

17 кластер - Сообщества о ремонте

19 кластер - Сообщества об искусстве

20 кластер - Сообщества об играх

22 кластер - Сообщества с картинками и небольшими текстовыми подводками

23 кластер - Сообщества о Санкт-Петербурге

24 кластер - Магазины

27 кластер - Женские форумы

29 кластер - Сообщества о работе

30 кластер - Сообщества с «душевными» постами

31 кластер - Салоны красоты

33 кластер - Блоги о путешествиях

34 кластер - Сообщества о дизайне

35 кластер - Сообщества о рекламе и продвижении

36 кластер - Сообщества о стиле

37 кластер - Сообщества о языках

38 кластер - Личные сообщества

39 кластер - Сообщества с юмором

44 кластер - Сообщества с услугами изготовления портретов по фотографиям

45 кластер - Сообщества с исключительно фото-контентом

46 кластер - Фото-батлы

47 кластер - Знакомства

40 кластер - Интимные сообщества

41 кластер - Сообщества о фильмах или сериалах

42 кластер - Сообщества о детях

43 кластер - Сообщества с цитатами

Описательная статистика

	Среднее	Стандартное отклонение	N
Покупка	,073695731	,261322760	2741
Отношение к алкоголю	2,75518672	,359722123	2741
Главное в жизни	4,37724551	,798371304	2741
Главное в людях	3,22327044	,658783384	2741
Политические предпочтения	4,22916667	,55300002	2741
Отношение к курению	2,44176707	,377953393	2741
Возраст	28,76	8,309	2741
Страна	19,8603420	2,44942249	2741
Занятость	2,27870968	,436307256	2741
Количество фотоальбомов	5,23211964	7,92331249	2741
Количество аудиозаписей	774,542135	746,162215	2741
Количество сообществ	292,776884	378,889207	2741
Количество подписчиков	309,328090	717,938059	2741
Количество друзей	529,261755	896,238978	2741
Количество фотографий	311,173021	696,570229	2741
Количество видеозаписей	270,790649	575,718716	2741
Семейное положение	3,76	,872	2741
Пол	1,26277372	,440140538	2741
Город проживания	161,24	41,975	2741
0 кластер постов	1,90368479	4,141185388	2741
Среднее количество просмотров в 0 кластере постов	156,603715	1617,87055	2741

Корреляция Спирмена

	Покупка	Город проживания
Среднее количество репостов в 14 кластере постов	Correlation Coefficient	,011	,052
	Sig. (2-tailed)	,577	,014
	N	2741	2290
Среднее количество лайков в 14 кластере постов	Correlation Coefficient	,103	,162
	Sig. (2-tailed)	,000	,000
	N	2741	2290
15 кластер постов	Correlation Coefficient	,115	,097
	Sig. (2-tailed)	,000	,000
	N	2741	2290
Среднее количество просмотров в 15 кластере постов	Correlation Coefficient	,060	,085
	Sig. (2-tailed)	,002	,000
	N	2741	2290
Среднее количество комментариев в 15 кластере постов	Correlation Coefficient	,008	,002
	Sig. (2-tailed)	,678	,931
	N	2741	2290
Среднее количество репостов в 15 кластере постов	Correlation Coefficient	,037	,017
	Sig. (2-tailed)	,053	,422
	N	2741	2290
Среднее количество лайков в 15 кластере постов	Correlation Coefficient	,091	,098
	Sig. (2-tailed)	,000	,000
	N	2741	2290
1 кластер постов	Correlation Coefficient	,090	,074
	Sig. (2-tailed)	,000	,000
	N	2741	2290
Среднее количество просмотров в 1 кластере постов	Correlation Coefficient	,020	,075
	Sig. (2-tailed)	,289	,000
	N	2741	2290
Среднее количество комментариев в 1 кластере постов	Correlation Coefficient	,018	,026
	Sig. (2-tailed)	,336	,211
	N	2741	2290
Среднее количество препостов в 1 кластере постов	Correlation Coefficient	,027	,037
	Sig. (2-tailed)	,164	,060
	N	2741	2290
Среднее количество лайков в 1 кластере постов	Correlation Coefficient	,080	,078
	Sig. (2-tailed)	,000	,000
	N	2741	2290

	Среднее количество лайков в 8 кластере постов	14 кластер постов
Среднее количество лайков в 12 кластере постов	Correlation Coefficient	,208	,238
	Sig. (2-tailed)	,000	,000
	N	2741	2741
15 кластер постов	Correlation Coefficient	,222	,232
	Sig. (2-tailed)	,000	,000
	N	2741	2741
Среднее количество просмотров в 13 кластере постов	Correlation Coefficient	,193	,203
	Sig. (2-tailed)	,000	,000
	N	2741	2741
Среднее количество комментариев в 13 кластере постов	Correlation Coefficient	,066	,058
	Sig. (2-tailed)	,000	,001
	N	2741	2741
Среднее количество репостов в 13 кластере постов	Correlation Coefficient	,119	,063
	Sig. (2-tailed)	,000	,000
	N	2741	2741
Среднее количество лайков в 13 кластере постов	Correlation Coefficient	,261	,256
	Sig. (2-tailed)	,000	,000
	N	2741	2741
Покупка	Correlation Coefficient	,081	,128
	Sig. (2-tailed)	,000	,000
	N	2741	2741
Город проживания	Correlation Coefficient	,102	,163
	Sig. (2-tailed)	,000	,000
	N	2741	2741
0 кластер постов	Correlation Coefficient	,485	,434
	Sig. (2-tailed)	,000	,000
	N	2741	2741
Среднее количество просмотров в 0 кластере постов	Correlation Coefficient	,390	,329
	Sig. (2-tailed)	,000	,000
	N	2741	2741
Среднее количество комментариев в 0 кластере постов	Correlation Coefficient	,177	,093
	Sig. (2-tailed)	,000	,000
	N	2741	2741
Среднее количество репостов в 0 кластере постов	Correlation Coefficient	,219	,197
	Sig. (2-tailed)	,000	,000
	N	2741	2741

	(I) Классы сообществ	(J) Классы сообществ	Значимость
Гохберг	4,00	1,00	,003
		2,00	,779
		3,00	,978
		5,00	1,000
		6,00	1,000
		7,00	1,000
		8,00	1,000
		9,00	,946
		10,00	,814
	5,00	1,00	,194
		2,00	1,000
		3,00	1,000
		4,00	1,000
		6,00	,763
		7,00	,953
		8,00	1,000
		9,00	,457
		10,00	,165
	6,00	1,00	,000
		2,00	,050
		3,00	,168
		4,00	1,000
		5,00	,763
		7,00	1,000
		8,00	1,000
		9,00	1,000
		10,00	1,000
	7,00	1,00	,000
		2,00	,044
		3,00	,214
		4,00	1,000
		5,00	,953
		6,00	1,000
		8,00	1,000
		9,00	1,000
		10,00	1,000

	(I) Классы сообществ	(J) Классы сообществ	Значимость
Гохберг	8,00	1,00	,013
		2,00	,726
		3,00	,947
		4,00	1,000
		5,00	1,000
		6,00	1,000
		7,00	1,000
		9,00	1,000
		10,00	1,000
	9,00	1,00	,000
		2,00	,042
		3,00	,109
		4,00	,946
		5,00	,457
		6,00	1,000
		7,00	1,000
		8,00	1,000
		10,00	1,000
	10,00	1,00	,000
		2,00	,001
		3,00	,008
		4,00	,814
		5,00	,165
		6,00	1,000
		7,00	1,000
		8,00	1,000
		9,00	1,000

Код программы на Python для получения итоговой таблицы

import pandas as pd

from tqdm import *

# чтение файлов

user = pd.read_excel('/home/nstasha/Videos/user_info.xlsx')

news = pd.read_excel('/home/natasha/Videos/новости кластеры.xlsx')

subs = pd.read_excel('/home/natasha/Videos/сообщества кластеры.xlsx')

subs_pickle = pd.read_pickle('/home/natasha/Videos/subscriptions_info.pickle')

# создание единой финальной таблицы

a = news.groupby(['user_id', 20]).agg({

20: ['count'],

'views': ['sum', 'mean'],

'comments': ['sum', 'mean'],

'reposts': ['sum', 'mean'],

'likes': ['sum', 'mean']

}).reset_index()

a.columns =['user_id', 'clusters', 'clusters_count',

'views_sum', 'views_mean', 'comments_sum', 'comments_mean',

'reposts_sum', 'reposts_mean', 'likes_sum', 'likes_mean']

df = pd.DataFrame({'user_id': []})

x = 0

for id_ in tqdm(list(set(news['user_id']))):

for ind in a.ix[a['user_id'] == id_, :].index:

df.ix[x, 'user_id'] = a.ix[ind, "user_id"]

df.ix[x, 'news' + str(a.ix[ind, 'clusters'])] = a.ix[ind, 'clusters_count']

# df.ix[x, 'news' + str(a.ix[ind, 'clusters']) + '_views_sum'] = a.ix[ind, 'views_sum'] df.ix[x, 'news' + str(a.ix[ind, 'clusters']) + '_views_mean'] = a.ix[ind, 'views_mean']

# df.ix[x, 'news' + str(a.ix[ind, 'clusters']) + '_comments_sum'] = a.ix[ind, 'comments_sum']

df.ix[x, 'news' + str(a.ix[ind, 'clusters']) + '_comments_mean'] = a.ix[ind, 'comments_mean']

# df.ix[x, 'news' + str(a.ix[ind, 'clusters']) + '_reposts_sum'] = a.ix[ind, 'reposts_sum']

df.ix[x, 'news' + str(a.ix[ind, 'clusters']) + '_reposts_mean'] = a.ix[ind, 'reposts_mean'] # df.ix[x, 'news' + str(a.ix[ind, 'clusters']) + '_likes_sum'] = a.ix[ind, 'likes_sum'] df.ix[x, 'news' + str(a.ix[ind, 'clusters']) + '_likes_mean'] = a.ix[ind, 'likes_mean']

x = x + 1

result = pd.merge(user, df, how='left', on=['user_id'])

subs.columns = ['index', 'description', 'id', 'name', 'corpus', 'corpus2', 'clusters']

subs = subs[['id', 'clusters']]

subs_pickle = subs_pickle[['user_id', 'id']]

s = pd.merge(subs_pickle, subs, how='inner', on=['id'])

a = s.groupby(['user_id', 'clusters']).agg({

'clusters': ['count']

}).reset_index()

a.columns =['user_id', 'clusters', 'clusters_count']

df = pd.DataFrame({'user_id': []})

x = 0

for id_ in tqdm(list(set(a['user_id']))):

for ind in a.ix[a['user_id'] == id_, :].index:

df.ix[x, 'user_id'] = a.ix[ind, "user_id"]

df.ix[x, 'subs' + str(a.ix[ind, 'clusters'])] = a.ix[ind, 'clusters_count']

x = x + 1

result = pd.merge(result, df, how='left', on=['user_id'])

result.to_pickle('user_result.pickle')

result.to_excel('user_result.xlsx')

Код программы для описания изображений на Python

import io

import os

# Imports the Google Cloud client library

from google.cloud import vision

from google.cloud.vision import types

os.environ["GOOGLE_APPLICATION_CREDENTIALS"] ='C:/Users/karakina_ns/Documents/N/My First Project-b2cd76d399df.json'

client = vision.ImageAnnotatorClient()

def describe_image(url):

image = types.Image()

image.source.image_uri = url

response = client.label_detection(image)

labels = ','.join([x.description for x in response.label_annotations])

return labels

Размещено на Allbest.ru