Рисунок J.1. Диаграмма последовательности "Поиск дубликатов"

Рисунок J.2. Диаграмма последовательности "Поиск дубликатов" (продолжение)

Рисунок J.3. Диаграмма последовательности "Поиск дубликатов" (продолжение)

Рисунок J.4. Диаграмма последовательности "Разметка данных для поиска дубликатов"

Приложение K. HTTP методы для микросервисов

Таблица K.1. Проектирование API для микросервисов

Микросервис работы с данными предоставляет лишь POST запросы для загрузки данных: /data/from_file, /data/add, /data/from_db, входными данными которых являются файл, объект и название коллекции из базы данных соответственно, а также параметры.

Приложение L. Технико-экономическое обоснование разработки

Технико-экономическое обоснование разработки модуля анализа для рекомендательной системы выполнено по методике CETIN, разработаной казахстанской ассоциаций IT-компаний.

Данная методика позволяет рассчитать трудоемкость разработки системы и ее стоимость. CETIN основывается на измерении функционального размера разрабатываемой системы. В ней определены пять функциональных единиц имерения: "C - Case", "E - Entity", "T - Tool", "I - Interaction", "N - Node".

Первым этапом при расчете трудоемкости является оценка функционального размера информационной системы.

Оценка функционального размера модуля анализа данных

На данном этапе производится подсчет каждой из функциональных единиц измерения: количество вариантов использования - C (диаграмма прецедентов), количество типов объектов - E (классы на диаграмме классов), количество свойст типов объектов - T (свойства классов), количество взаимодействий между типами объектов - I (отношения между классами), количество типов использования - N (типы узлов на диаграмме развертывания). На основе посторенной диаграммы прецедентов (рис. L.1) найдем величину C. Количество варинтов использования для модуля анализа равно 25. Следовательно, C равно 25. На рис. L.2 изображены типы и свойства объектов. На основе данной диаграммы получим следующие значения единиц измерения: E = 15 (количество классов), T = 33 (свойства всех классов, за исключением ссылок), I = 13 (количество связей).

На рис. L.3 изображена диаграмма с узлами системы. Получается, что N = 8 (2 БД, 4 микросервиса, диспетчер, клиент).

Рисунок L.1. Диаграмма прецедентов

Рисунок L.2. Типы и свойства объектов

Рисунок L.3. Узлы системы

Таблица L.1. Функциональный размер

Базовая трудоемкость рассчитываетя на основе оценки на каждой стадии разработки системы: бизнес-моделирование, управление требованиями, проектирование, реализация, тестирование, развертывание.

Базовая трудоемкость Sj стадии с номером j рассчитывается по следующей формуле:

Sj=1/165· [C*Sj (C) +E*Sj (E) +T*Sj (T) +I*Sj (I) +N*Sj (N)].

Sj (X) - значение нормативного коэффициента (приведены в приложении A к методике CETIN).

Для каждой стадии находим базовую трудоемкость:

Таблица L.2. Расчет базовой трудоемкости по стадиям

Расчет трудоемкости с учетом поправочных коэффициентов

Расчет поправочных коэффициентов основывается на частных поправочных коэффициентах (указаны в разделе A.2 прил. А).

Таблица L.3. Расчет поправочных коэффициентов

Расчет трудоемкости с учетом поправочных коэффициентов:

S=КП1*S1+КП2*S2+КП3*S3+КП4*S4+КП5*S5+КП6*S6

S = 0.87*9+0.84*6+0.93*17+0.9*15+0.96*14+0.86*3 = 7.83+5.04+15.81+13.5+13.44+2.58 = 58.2 человеко-месяцев

Трудоемкость равна 58.2 человеко-месяцев. Так как при расчете трудоемкости для каждого этапа полученное дробное значение в человеко-месяцах округлялось всегда в большую сторону, то в итоговом значении учтен риск непредвиденных обстоятельств.

Основываясь на математической модели, выведенной в CETIN, о зависимости срока разработки при командной работе от трудоемкости разработки, срок разработки составит 6 месяцев:

Таблица L.4. Зависимость срока разработки от трудоемкости

Экономическое обоснавание выполнено для разработки модуля анализа для рекомендательной системы. Следовательно, полученные величины будут относится не ко всей системе. Таким образом, можно выяснить, сколько будет стоить разработка именно модуля анализа, какая часть доходов и расходов от целого проекта будет принадлежать модулю анализа и какую роль он сыграет в окупаемости проекта.

Предположим, что в разработке системы будет участвовать команда из 7 человек, выполняющих роли: User Experience, Product Manager, Program Manager, Architector, Programmer, Tester, Release Manager.

В качестве вида регистрации компании выбрано ИП.

Наиболее выгодной схемой налогообложения в данном случае является УСН по статье доходов (так как расходы не являются существенными) со ставкой 6%.

Предположим, что для реализации проекта найден инвестор, который готов предоставить начальную сумму в размере 2 500 000 р. (данное число основано на прогнозируемых расходов на разработку - см. пункт "Расчет расходов") под 15% от полученной прибыли.

Расчет ставки дисконтирования

Расчет ставки дисконтирования выполнен с помощью метода WACC, который был выбран на основе следующих фактов:

1) отсутствие экспертов для метода экспертной оценки;

2) не ведется работа с акциями (поэтому модели Е. Фамы и К. Френча, М. Кархата, Гордона и рентабельность капитала не подходят);

3) отсутсвие необходимого опыта для выбора поправок для рисков (используются в CAMP и MCAMP);

4) достаточно данных для применения именно WACC.

Ставка дисконтирования рассчитывается по следующей формуле:

WACC= Re*E/ (E+D) + Rd* (1-t) *D/ (E+D), где

Re - 7,7% процентная ставка вклада "Новый уровень" на 6 месяцев в Сбербанке (http://www.sberbank.ru/ru/person/contributions/close_deposits/newlevel);

Rd - 15% процент, который необходимо возвращать инвестору;

D - 2 500 000 руб. вклад от инвестора

E - 500 000 р. вклад от команды

t - 6% налог, по УСН

Подставляем данные в формулу:

WACC= 0.077*0.17+ 0.15* (1-0.06) *0.83=0.013+0.117 = 0.13

Ставка дисконтирования равна 13%.

Расчет расходов

Разработка модуля анализа для универсальной рекомендательной системы требует следующих расходов:

1. Оформление юр. лица - ИП - 1000 р. - единоразово.

2. Аренда офиса - средняя цена небольших офисов на Авито - 20000 р. /мес.

3. Зарплата программисту - 30000 р. /мес.

4. Зарплата программному менеджеру - 25000 р. /мес.

5. Зарплата менеджеру продукта - 25000 р. /мес.

6. Зарплата релиз менеджеру - 25000 р. /мес.

7. Зарплата тестировщику - 25000 р. /мес.

8. Зарплата архитектору - 25000 р. /мес.

9. Зарплата User Experience - 25000 р. /мес.

10. Аренда 4 Azure серверов с характеристиками:

a. Сервер для микросервиса поиска дубликатов: 10 гб ОЗУ, 3 ядра, диск 100 гб - 7500 р. в месяц

b. Сервер для остальных микросервисов: 10гб ОЗУ, 4 ядра, диск 100 гб - 9500 р. в месяц

c. Сервер БД: 1 ядро, 16гб ОЗУ, 5тб - 10000 р. в месяц

d. Сервер для nginx: 10 гб ОЗУ, 1 ядро, диск 100 гб - 3500 р. в месяц.

11. Среда для программирования - PyCharm - около 10000 р. в год.

12. Налоги УСН - в первый год нет доходов - налоги не платятся. Последующие года - 6% от доходов.

13. Страховые взносы - 2.9% с зарплат сотрудников - 62640 р. в год.

Таким образом, расходы за первый год составят 2 839 640 р.

В последующие года зарплата работников будет увеличваться в среднем на 4%, также будет повышаться аренда офиса примерно на 7% (основано на статистических данных), аренда стоимости серверов в среднем увеличивается на 5%.

Рисунок L.4. Расчет расходов

Расчет доходов

Приложение M. Программа и методика испытаний

dupl_service. py

# - * - coding: utf-8 - *- from pymongo import MongoClient from flask import Flask, render_template, jsonify, request, Response, abort import configs import redis from app. process import Process from marking. marking import Marking from bson. json_util import dumps, loads from json import encoder from similarity_model. model_creation import ModelCreation from graph_formation. graph_creation import GraphFormation from graph_formation. grouping_graph import GraphGrouping app = Flask (__name__) connections = {} @app. route ('/processes/<name>/marking/<dataset>/<field>',methods= ["GET"]) def get_marking_pair (name, field, dataset):

m = Marking (connections ["redis"],connections ["mongo_db_dupl"],name) try:

o1,o2 = m. get_pair (field, dataset) except Exception as e:

return Response (response=dumps ({"error": {"code": 11,"message": str (e) }}), status=400, mimetype="application/json") return Response (response=dumps ({"obj1": o1, "obj2": o2}), status=200, mimetype="application/json") @app. route ('/processes/<name>/marking/new/<dataset>',methods= ["POST"]) def new_marking (name, dataset):

m = Marking (connections ["redis"],connections ["mongo_db_dupl"],name) try:

m. new_dataset (dataset) except Exception as e:

return Response (response=dumps ({"error": {"code": 12,"message": str (e) }}), status=400, mimetype="application/json") return Response (response=dumps ({"status": "OK"}), status=200, mimetype="application/json") @app. route ('/processes/<name>/marking_save/<dataset>',methods= ["POST"]) def save_marking_pair (name, dataset):

if not request. json:

abort (400) print (request. json) m = Marking (connections ["redis"],connections ["mongo_db_dupl"],name) try:

m. save_pair (request. json ["obj1"],request. json ["obj2"], request. json ["result"], dataset) except Exception as e:

return Response (response=dumps ({"error": {"code": 11,"message": str (e) }}), status=400, mimetype="application/json") return Response (response=dumps ({"status": "OK"}), status=200, mimetype="application/json") @app. route ('/processes/new',methods= ["POST"]) def new_process ():

print (request) if not request. json:

abort (400) name = request. json ["name"] data = request. json ["data"] fields = request. json ["fields"] process = Process (connections ["mongo_db_dupl"],connections ["redis"]) try:

process. new_process (connections ["mongo_db_group"],name, data, fields) except Exception as e:

return Response (response=dumps ({"error": {"code": 10,"message": str (e) }}), status=400, mimetype="application/json") return Response (response=dumps ({"status": "OK"}), status=200, mimetype="application/json") @app. route ('/processes/<name>/train/<dataset>/<model_name>',methods= ["POST"]) def new_model (name, dataset, model_name):

mc = ModelCreation (model_name,connections ["mongo_db_dupl"],name,dataset) try:

mc. new_model () except Exception as e:

return Response (response=dumps ({"error": {"code": 13,"message": str (e) }}), status=400, mimetype="application/json") return Response (response=dumps ({"status": "OK"}), status=200, mimetype="application/json") @app. route ('/processes/<name>/matrices/new',methods= ["POST"]) def new_matrix (name):

gf = GraphFormation (connections ["mongo_db_dupl"],request. json ["model_name"],connections ["redis"],name) try:

gf. new_distance_matrix_c (request. json ["matrix_name"], request. json ["bound"], request. json ["cluster"]) except Exception as e:

return Response (response=dumps ({"error": {"code": 14,"message": str (e) }}), status=400, mimetype="application/json") return Response (response=dumps ({"status": "OK"}), status=200, mimetype="application/json") @app. route ('/processes/<name>/matrices/<matrix>/<cluster>',methods= ["GET"]) def show_matrix (matrix, name, cluster):

gg = GraphGrouping (connections ["mongo_db_dupl"], name) objects = gg. get_duplicates_groups (matrix, cluster) return Response (response=dumps (objects), status=200, mimetype="application/json") @app. route ('/processes/<name>/group_matrix',methods= ["POST"]) def group_matrix (name):

gg = GraphGrouping (connections ["mongo_db_dupl"], name) try:

gg. group_duplicates (request. json ["group_name"],float (request. json ["bound"]),request. json ["matrix_name"]) except Exception as e:

return Response (response=dumps ({"error": {"code": 15,"message": str (e) }}), status=400, mimetype="application/json") return Response (response=dumps ({"status": "OK"}), status=200, mimetype="application/json") if __name__ == '__main__':

mongo_db = MongoClient (host=configs. DB_CONNECTION ["MONGODB_HOST"], port=configs. DB_CONNECTION ["MONGODB_PORT"]) mongo_db_dupl = mongo_db [configs. DB_CONNECTION ["MONGODB_DB_DUPL"]] connections ["mongo_db_group"] = mongo_db [configs. DB_CONNECTION ["MONGODB_DB_GROUP"]] connections ["mongo_db_dupl"] = mongo_db_dupl connections ["redis"] = redis. Redis (host=configs. REDIS_CONNECTION ["REDIS_HOST"], port=configs. REDIS_CONNECTION ["REDIS_PORT"], db=configs. REDIS_CONNECTION ["REDIS_DB"],decode_responses=True) app.run ()

marking. py

from pymongo import MongoClient from src. tokenizator import Tokenizator from src. pair_difference import PairDifference from numpy. random import choice, uniform from bson import ObjectId import random class Marking:

def __init__ (self, redis, mongo, process):

self. redis = redis self. mongo = mongo self. token = Tokenizator () self. pd = PairDifference (redis, process) self. process = process def get_pair (self, field, dataset):

train_dataset = self. mongo [self. process+"_marking_"+dataset] init_data = self. mongo [self. process] text_tagger = Tokenizator () number_of_clusters = self. mongo ["params"]. find_one ({"process": self. process}, no_cursor_timeout=True) ["clusters_count"] fields = self. mongo ["params"]. find_one ({"process": self. process}, no_cursor_timeout=True) ["fields"] elements = [0, 1] weights = [0.2, 0.8] while True:

c = random. randint (0, number_of_clusters) if choice (elements, p=weights) == 0:

p = uniform (0,0.4) else: p = uniform (0.5,1) field_type = "" for f in fields:

if f ["name"] == field:

field_type = f ["type"] break if field_type == "string":

data = init_data. find ({"cluster": c}, no_cursor_timeout=True) for obj in data:

tags1 = text_tagger. extract_tokens (obj [field]) for obj2 in init_data. find ({"cluster": c}, no_cursor_timeout=True):

if obj ["_id"] ==obj2 ["_id"]: continue tags2 = text_tagger. extract_tokens (obj2 [field]) max_tags = max ([len (tags1), len (tags2)]) if (len (set (tags1) & set (tags2)) / max_tags >= p) and (train_dataset. find ({"obj1": obj ["_id"], "obj2": obj2 ["_id"] }). count () ==0):

return obj, obj2 else:

data = init_data. find ({"cluster": c}, no_cursor_timeout=True) for obj in data:

for obj2 in init_data. find ({"cluster": c}, no_cursor_timeout=True):

if obj ["_id"] ==obj2 ["_id"]: continue if obj [field] ==obj2 [field]:

if obj! = None and obj2! = None:

return obj, obj2 def save_pair (self, obj1_id, obj2_id, result, dataset):

train_dataset = self. mongo [self. process + "_" + dataset] init_data = self. mongo [self. process] obj1 = init_data. find_one ({"_id": ObjectId (obj1_id) }) obj2 = init_data. find_one ({"_id": ObjectId (obj2_id) }) fields = self. mongo ["params"]. find_one ({"process": self. process}, no_cursor_timeout=True) ["fields"] sim = self. pd. get_difference (obj1,obj2,fields) sim ["obj1"] = obj1 ["_id"] sim ["obj2"] = obj2 ["_id"] sim ["is_dupl"] = result if train_dataset. find ({"$or": [{"obj1": obj1 ["_id"],"obj2": obj2 ["_id"] },{"obj2": obj1 ["_id"],"obj1": obj2 ["_id"] }] }). count==0:

train_dataset. insert (sim) def new_dataset (self, name):

if self. mongo ["datasets"]. find ({"name": self. process+"_marking_"+name}). count () ==0:

self. mongo ["datasets"]. insert ({"name": self. process+"_marking_"+name,"process": self. process}) else:

raise ValueError ('dataset with such name already exists')

pair_difference. py

import numbers from src. tf_idf import TfIdf from src. tokenizator import Tokenizator class PairDifference:

def __init__ (self, redis, process):

self. tfidf = TfIdf (redis, process) self. token = Tokenizator () self. process = process def get_difference (self, obj1, obj2, fields):

print (obj1) print (obj2) sim = {} for f in fields:

if f ["type"] =="string":

sim [f ["name"]] = self. tfidf. similarity_dq (self. token. extract_tokens (obj1 [f ["name"]], needs_stemming=True), self. token. extract_tokens (obj2 [f ["name"]], needs_stemming=True), f ["name"]) if f ["type"] == "number":

sim [f ["name"]] = abs (obj1 [f ["name"]] - obj2 [f ["name"]]) print (sim) return sim def get_arrays_el_dif (self, array1, array2, fields):

res = [] if len (array1) == len (array2):

for i in range (0, len (array1)):