Штучний інтелект в управлінні ризиками та визначенні об’єктів контролю для митного аудиту

Застосування методів машинного навчання та штучного інтелекту в управлінні ризиками. Визначення потенційних об’єктів контролю для проведення заходів митного аудиту митними органами. Модель класифікації об’єктів за допомогою методу логістичної регресії.

Рубрика Государство и право
Вид статья
Язык украинский
Дата добавления 04.12.2023
Размер файла 331,0 K

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Размещено на http://www.allbest.ru/

Штучний інтелект в управлінні ризиками та визначенні об'єктів контролю для митного аудиту

Г.Ю. Разумей, кандидат наук з державного управління, доцент кафедри; М.М. Разумей, кандидат наук з державного управління, старший викладач кафедри публічного управління та митного адміністрування, Університету митної справи та фінансів

У статті висвітлено можливості застосування методів машинного навчання та штучного інтелекту в управлінні ризиками та визначенні потенційних об'єктів контролю для проведення заходів митного аудиту митними органами України. Актуальність дослідження обумовлена стрімкою активізацією впровадження штучного інтелекту у всіх сферах суспільного життя для підвищення продуктивності та автоматизації процесів. Автори розглядають існуючі підходи щодо планування заходів митного аудиту за результатами застосування автоматизованої системи аналізу ризиків в митних органах. Разом з цим пропонуються нові підходи до аналізу великих даних та побудови моделей машинного навчання на конкретних прикладах щодо прогнозування порушень митного законодавства суб'єктами зовнішньоекономічної діяльності. Розглянуто модель класифікації об'єктів за допомогою методу логістичної регресії. Встановлено, що даний підхід дозволяє прогнозувати митні правопорушення за результатами тренування відповідної моделі на великому обсязі даних з точністю більше 85%.

При цьому модель зберігає потенціал для покращення точності прогнозів, за умови застосування додаткових методів підвищення ефективності роботи відповідного алгоритму. Розглянуто загальний підхід до побудову та застосування моделі «дереворішень», яка також здатна класифікувати нові об'єкти після тренування на великій кількості конкретних прикладів. Зазначається, що розглянуті методи машинного навчання для прогнозування правопорушень в митній справі не можна вважати штучним інтелектом у сучасному розумінні. Визначено, що за умови удосконалення розглянутих моделей за допомогою більш складних комплексних алгоритмів можна будувати значно ефективніші моделі і застосовувати їх на практиці в митних органах в управлінні ризиками як повноцінні алгоритми штучного інтелекту. Акцентовано увагу на тому, що для виявлення потенційних об'єктів контролю в рамках митного аудиту необхідним є формування повної та структурованої бази даних щодо зовнішньоекономічних операцій в митних органах.

Ключові слова: штучний інтелект, машинне навчання, управління ризиками, митний аудит, логістична регресія, дерево рішень, алгоритм, модель.

Artificial intelligence in risk management and determinations of control objects for customs audit

H.Yu. Razumei, M.M. Razumei.

The article highlights the possibilities of using machine learning and artificial intelligence methods in risk management and identification of potential control objects for conducting customs audit activities by the customs authorities of Ukraine. The relevance of the research is due to the rapid activation of the implementation of artificial intelligence in all spheres of social life to increase productivity and automate processes. The authors consider existing approaches to the planning of customs audit activities based on the results of the application ofan automated system of risk analysis in customs authorities. At the same time, new approaches to the analysis of big data and the construction of machine learning models based on specific examples of predicting violations ofcustoms legislation by subjects of foreign economic activity are proposed.

The object classification model using the logistic regression method is considered. It has been established that this approach allows predicting customs offenses based on the results of training the corresponding model on a large amount of data with an accuracy of more than 85%. At the same time, the model retains the potential to improve the accuracy offorecasts, subject to the application of additional methods of increasing the efficiency of the corresponding algorithm.

A general approach to the construction and application of a "decision tree" model, which is also capable of classifying new objects after training on a large number of specific examples, is considered. It is noted that the considered methods of machine learning for predicting offenses in customs affairs cannot be considered artificial intelligence in the modern sense. It was determined that if the considered models are improved with the help of more complex complex algorithms, it is possible to build significantly more effective models and apply them in practice in customs authorities in risk management as full-fledged algorithms of artificial intelligence. Attention is focused on the fact that in order to identify potential objects of control within the framework of the customs audit, it is necessary to form a complete and structured database on foreign economic operations in the customs authorities.

Key words: artificial intelligence, machine learning, risk management, customs audit, logistic regression, decision tree, algorithm, model.

штучний інтелект митний аудит управління

Постановка проблеми

Після виходу у світ добре відомої на сьогоднішній день моделі штучного інтелекту (далі - ШІ) Chat GPT, що використовує нейронні мережі для генерації тексту, стало цілком очевидним, що світ технологій та абсолютно усі сфери суспільного життя зазнають докорінних змін. ШІ у загальному розумінні продовжує дивувати і виявляти потужний потенціал, не до кінця зрозумілий навіть його творцям, для вирішення складних завдань, аналізу великих обсягів даних та автоматизації процесів. Не може залишатись осторонь цих революційних технологій і сфера державного управління, у тому числі митна справа. Слід зазначити, що успішна інтеграція ШІ у діяльність митних органів потребує належного правового регулювання і забезпечення конфіденційності та захисту персональних даних. Важливо забезпечити відповідність застосування ШІ нормативним вимогам та етичним принципам, що гарантуватимуть довіру громадськості і забезпечать ефективне використання цих технологій.

У той же час, сучасний технологічний стан митних органів України та сформовані протягом багатьох років інформаційні бази даних вже давно створили достатні умови для використання методів машинного навчання та ШІ у повсякденній аналітичній роботі митників, зокрема щодо виявлення потенційних порушень митного законодавства. Проте існуючі підходи та інструменти для дослідження великих даних працівниками митних органів України фактично не використовуються, як у зв'язку із особливостями накопичуваних даних, так і у зв'язку із відсутністю необхідних технічних компетенцій фахівців аналітичних підрозділів митниць.

Аналіз останніх досліджень і публікацій

Однією із визначальних передумов для розробки та застосування на практиці алгоритмів ШІ стало накопичення людством великих обсягів даних (Big Data) у структурованому електронному вигляді. Аналогічна ситуація склалася і в митних адміністраціях країн світу, коли величезні дані щодо зовнішньоторговельних операцій почали досліджуватись за допомогою сучасних інструментів обробки такої інформації. Тому більшість досліджень та публікацій, які стали основою для впровадження ШІ у митну справу, присвячені саме підходам до аналізу Big Data. Митниці США, Китаю, Японії, Сінгапуру, більшості країн ЄС вже давно досліджують і впроваджують у національні системи митного контролю технології ШІ.

Серед зарубіжних вчених, які присвятили свої роботи дослідженню аналітичній обробці великих обсягів статистичної інформації та ШІ в митній справі, слід відзначити таких фахівців, як: М. Арфауї, Д. Віддоусон, Р. Кін, К.-К. Лі, К. Парк, Т Солтсберг, А. Судармаді та ін.

Зокрема, авторами цікавої наукової праці з розробки нової методології моделей митного ризику є А. Гофман, С. Гратер, Ш.С. Вентер, Дж. Марі та Д. Лібенберг [1]. В роботі наводиться дослідження наборів даних, які можуть бути використані для точного визначення ризику вантажної партії, не перевіряючи її фізично. Чітка методологія аналізу таких даних мінімізує порушення торговельних потоків при зниженні митних ризиків до рівнів, що не перевищують встановлені граничні значення. У статті доводиться, що використання нейронних мереж створює спроможність системи до самонавчання, а найбільш вагомий вплив на результативність виявлення порушень мають такі параметри: вантажовідправник, країна походження, вид транспорту, класифікація товару.

Акцентуємо увагу на тому, що одним з найбільш фундаментальних проєктів з дослідження Big Data та застосування ШІ в митній справі є BACUDA, який запроваджено митною адміністрацією Корейської Республіки і просувається Всесвітньою митною організацією [2]. У рамках цієї ініціативи провідні фахівці з митної справи світового рівня демонструють результати власних досліджень та здобутки національних митниць за напрямом аналізу даних, машинного навчання та ШІ під час проведення регулярних воркшопів.

Також зазначимо, що питання застосування ШІ в митній справі, зокрема в частині управління митними ризиками, вітчизняними вченими на науковому рівні не розглядалось. У цьому контексті можна звернути увагу лише на окремі коментарі практикуючих митників О. Івашковича щодо перспектив використання ШІ за напрямом контролю класифікації товарів згідно УКТЗЕД [3] та С. Демченка щодо використання у діючій автоматизованій системі управління ризиками (далі - АСУР) технології «Fuzzy Logic» - алгоритмів нечіткої логіки, які дозволяють створювати профілі ризику довільної складності та враховувати позитивну і негативну історії попередніх митних оформлень товарів [4]. Хоча даний підхід безпосередньо не є ШІ у сучасному розумінні, він може бути використаний у побудові повноцінних інтелектуальних систем управління митними ризиками.

Мета статті - дослідити доступні митним органам України методи та практичну можливість застосування традиційних алгоритмів машинного навчання та ШІ щодо управління митними ризиками та аналітичного визначення суб'єктів зовнішньоекономічної діяльності (далі - ЗЕД) для проведення їх документальних перевірок у рамках митного аудиту.

Виклад основного матеріалу

Функціонування сучасної АСУР митних органів України здійснюється на основі електронних профілів ризику, в яких запрограмовані заздалегідь визначені комбінації індикаторів ризику, тобто прописані алгоритми спрацювання таких профілів. У даному випадку, звісно, не йде мова про будь-яку здатність такої системи визначати об'єкти контролю після митного оформлення в системі митного аудиту на основі самонавчання у розумінні машинного навчання.

Тим не менше, затверджений класифікатор [5] містить шість видів митних формальностей, що можуть бути визначені за результатами застосування системи управління ризиками за конкретною митною декларацією після завершення митного оформлення і передбачають розгляд питання про доцільність проведення документальної (виїзної чи невиїзної) перевірки дотримання законодавства України з питань державної митної справи щодо:

1) правильності визначення бази оподаткування, своєчасності, достовірності, повноти нарахування та сплати митних платежів;

2) обґрунтованості та законності надання (отримання) пільг і звільнення від оподаткування;

3) правильності класифікації згідно з УКТЗЕД товарів, щодо яких проведено митне оформлення;

4) відповідності фактичного використання переміщених через митний кордон України товарів заявленій меті такого переміщення та/або відповідності фінансових і бухгалтерських та інших документів підприємства;

5) законності переміщення товарів через митний кордон України;

6) перевірки правильності визначення митної вартості товарів.

Порядок виконання таких митних формальностей, як і всіх інших, затверджено відповідним наказом Міністерства фінансів України [6]. Тобто митні формальності щодо проведення перевірок після митного оформлення не є директивними для виконання саме у тому формулюванні, яке міститься у повідомленні в АСУР. Зазначений підхід є основним у контексті автоматизованого визначення учасників ЗЕД за допомогою АСУР для здійснення митного аудиту. Загальні законодавчі засади проведення митного аудиту, зокрема документальних перевірок дотримання вимог законодавства України з питань митної справи, визначені у статтях 345-355 Митного кодексу України [7].

Для прогнозування ризикових зовнішньоекономічних операцій на основі великого масиву статистичних даних і відповідно потенційних порушень митного законодавства в системі машинного навчання та ШІ існує практика побудови класифікаційних моделей із застосуванням логістичної регресії. Як відомо, логістична регресія - це статистичний метод для моделювання залежності між залежною змінною та однією або більше незалежними змінними шляхом використання логістичної функції. У цілому цей метод використовується для прогнозування ймовірності належності спостережень до однієї з двох або більше категорій. Зазначимо, що підхід із використанням методів машинного навчання та ШІ застосовується, як правило, у технологічно розвинених митних адміністраціях країнах світу, а також рекомендується Всесвітньою митною організацією.

Так, для побудови прогностичної моделі необхідно використовувати якісні дані великого обсягу. Для загальної характеристики підходу скористаємось набором даних з файлу «import_data.csv» щодо зовнішньоекономічних операцій по конкретним митним деклараціям із загальнодоступного хостингу «GitHub» [8]. Відкриємо даний файл у традиційному середовищі для обробки даних «Jupyter Notebook» і розглянемо структуру даних (рис. 1).

Рис. 1. Частина вихідного набору даних

Отже, дана таблиця містить більше 300 тис. записів, з яких наведено тільки п'ять перших, а також назви стовпчиків з такою інформацією: «date» - дата оформлення митної декларації, «country» - код країни експорту, «hs_code» - класифікаційний код імпортованого товару, «origin_country» - код країни походження, «quantity» - кількісні характер истики товару, «weight» - вагові характеристики товару, «amount» - загальна вартість товару, «tax» - податки, а також «result» - показник, який власне і має прогнозувати майбутня модель. На цьому вхідному етапі аналізу він приймає такі значення: «В» - блакитний колір індикації (ризики відсутні), «G» - зелений колір індикації (низький ризик), «Y» - жовтий колір індикації (середній рівень ризику), «Z» - індикацію не визначено та «R» - високий рівень ризику (критичний).

Перш за все необхідно очистити дані таким чином, щоб не залишилось комірок з пустими та/або нелогічними даними. Як правило, рядки з такими комірками просто видаляються, щоб вони негативним чином не впливали на загальну картину. Також проводяться інші маніпуляції при підготовці даних до побудови на їх основі прогностичної моделі, зокрема визначення коефіцієнтів кореляції Пірсона, нормалізація, трансформація та візуалізація результатів попередньої обробки даних.

У нашому випадку мітку «R» у стовпчику «result» замінимо на «1», а всі інші значення - на «0», що вказуватиме на наявність або відсутність порушення законодавства відповідно. Доцільно також зосередитись на аналізі товарів, класифікаційний код яких розпочинається на «87», адже за результатами перевірок саме таких товарів було виявлено найбільше порушень митного законодавства. Крім цього, для подальшої роботи з даними у якості незалежних змінних слід використовувати тільки кількісні характеристики, тобто дані у стовпчиках «quantity», «weight», «amount» та «tax». Далі, використовуючи мову програмування Python, будуємо модель логістичної регресії, тренуємо її на 80% даних і отримуємо прогнозні значення (1 або 0) у стовпчику «pred» (рис. 2).

Оцінюючи достовірність розробленої класифікаційної моделі, констатуємо, що її точність за класичними метриками [9-11] становить більше 85%, тобто як мінімум у 85 випадках із 100 модель правильно визначає, чи є порушення за даною митною декларацією чи такого порушення немає. Такий результат є досить високим показником, при тому що побудовану модель можна продовжувати покращувати за допомогою інших методів роботи з даними.

Рис. 2. Частина набору даних із прогнозними значеннями

Таким чином, маючи додаткову інформацію про порушення митного законодавства на підставі зроблених прогнозів, фахівцями підрозділів митного аудиту може бути більш детально розглянуто питання щодо доцільності проведення перевірок відповідних суб'єктів ЗЕД з урахуванням наявності інших індикаторів ризику за відповідними зовнішньоекономічними операціями. Звісно, модель не дає готових рішень чи інструкцій для безумовного виконання і, тим більше, не доводить провину окремо взятого учасника ЗЕД. На цьому етапі маємо лише результат обробки інформації, що видає комп'ютер з урахуванням численних прихованих зв'язків між даними, які могли залишитись без уваги навіть найбільш кваліфікованих експертів у сфері митної справи, адже можуть бути виявлені тільки за допомогою спеціальних обчислювальних інструментів.

Тепер розглянемо інший найпростіший приклад застосування алгоритму, який лежить в основі такої моделі як «дерево рішень», що також може вирішувати завдання класифікації. З метою загального розуміння принципів застосування даного алгоритму машинного навчання для планування заходів митного аудиту скористаємось невеликим обсягом даних, наведених у таблиці 1.

Таблиця 1. Набір даних з характеристиками суб'єктів ЗЕД

Підприємство

Період без перевірок

Наявність порушень

Підстави для митного аудиту

А

3,5 роки

Ні

Так

Б

5 років

Так

Так

В

2 роки

Так

Так

Г

1,5 років

Ні

Ні

Д

2,5 роки

Ні

Ні

Отже, наведений набір даних містить інформацію про тривалість періодів у роках, протягом яких не здійснювались заходи митного аудиту відносно окремих підприємств, а також інформацію про раніше виявлені факти порушень митного законодавства. Тому припустиму, що треба ініціювати перевірки суб'єктів ЗЕД, якщо виконується хоча б одна з таких умов:

1) підприємство не перевірялось на предмет порушень митного законодавства протягом останніх трьох років;

2) митні органи мають підтверджену інформацію про наявні факти порушення підприємством митного законодавства.

Таким чином, треба побудувати модель дерева рішень щодо відбору суб'єктів ЗЕД для перевірки за визначеними критеріями. Для цього програмний код відповідного алгоритму обирає одну вхідну характеристику і створює розгалуження за вказаними вище умовами. Потім у створених вузлах виникають інші розгалудження і так - до повного розподілу усіх об'єктів (підприємств) на два різних класи. Враховуючи, що набір даних мінімальний, а кількість критеріїв класифікації дорівнює двом, досить наглядно можна візуалізувати найбільш оптимальне «дерево рішень» [12, c. 328], за яким буде працювати правильно побудована з математичної точки зору модель класифікації підприємств (рис. 3).

Так, у залежності від обсягу вхідних даних, відповідний алгоритм за лічені секунди перебирає безліч варіантів побудови дерева рішень, оцінюючи оптимальність моделі за певними показниками. На виході маємо отримати результат, згідно якого умовні підприємства А, Б, В рекомендуються для проведення заходів митного аудиту.

Рис. 3. Схематичне представлення алгоритму «дерево рішень»

Слід відмітити, що навіть на такому найпростішому прикладі не одразу очевидно, яку характеристику (період без перевірок чи історію порушень) слід обрати на вході для того, щоб модель була оптимальною. Досить часто необхідно врахувати сотні параметрів і застосувати їх до величезної кількості вхідних даних. Саме для цього застосовуються сучасні інструменти дослідження даних, зокрема методи машинного навчання.

Але найважливішим є те, що після навчання такої моделі на великому наборі даних, натренована модель буде здатна класифікувати підприємства на визначені класи за вхідними характеристиками, яких взагалі не було у тренувальному наборі даних. Отже, модель дерева рішень вчиться розділяти об'єкти на конкретних прикладах класифікації, а відповідний процес у науці про дослідження даних називається «навчанням з учителем». Подальше удосконалення такої моделі і поступове покращення її метрик фактично створює інтелектуальну систему дослідження даних, що власне також може бути прикладом застосування ШІ в управлінні ризиками та визначенні об'єктів контролю для митного аудиту.

Висновки з дослідження і перспективи подальших розвідок у цьому напрямі

Для розгляду прикладу вирішення завдання бінарної класифікації щодо розподілу підприємств (об'єктів митного аудиту) на два різні класи (1 - є порушення законодавства або 0 - немає порушення) було використано модель логістичної регресії, яка є відносно тривіальною і не може вважатись моделлю ШІ. Але вона може бути використана і лягти в основу більш складних комплексних алгоритмів, які передбачають поєднання кількох слабких моделей для створення потужної моделі класифікації. Для цього використовують такі ансамблеві методи як Gradient Boosting та XGBoost Classifier, які показують високу точність і здатні виконувати складні завдання з наборами даних великого розміру.

Вони використовується для навчання моделі, яка спроможна класифікувати нові приклади на основі вхідних ознак, завдяки чому широко застосовуються у багатьох галузях для розпізнавання образів, аналізу великих даних тощо. Зокрема, на освітній он-лайн платформі «CLiKC!» Всесвітньої митної організації міститься цикл навчальних курсів з аналізу даних для митників країн-членів цієї організації, а тому також доступні і для посадових осіб митних органів України. У межах навчальних модулів цих курсів наводяться детальні інструкції щодо побудови, навчання, тестування та оцінки моделі машинного навчання «LITE DATE: Fraud Detection», яка здатна робити досить точні прогнози порушень митного законодавства на основі вхідних даних і відповідно може вважатись прикладом застосування ШІ у сфері управління митними ризиками.

Інший алгоритм класифікаційної моделі «дерево рішень» також здатен вирішувати аналогічні завдання класифікації і відноситься до методів машинного навчання, яке, як відомо, є підрозділом ШІ. Цей метод також часто використовується як основа для поєднання кількох алгоритмів, таких як Random Forest і Gradient Boosting, оскільки він здатен працювати зі змінними різного типу, легко інтерпретується і може виявляти нелінійні залежності у великих даних.

Разом із цим слід зазначити, що опанування самої методології побудови алгоритмів ШІ та набуття митниками необхідних компетенцій ще не гарантує ефективне застосування таких підходів на практиці. Обов'язковою умовою також є наявність зібраних даних щодо зовнішньоекономічних операцій, їх якісне опрацювання і приведення до необхідної структури. Мова йде про обробку сотень тисяч і навіть мільйонів записів, що потребує окремої організації роботи з акумулювання такої інформації для забезпечення належної точності моделей та, як наслідок, якості прогнозів, які будуть братись до уваги при плануванні документальних перевірок учасників ЗЕД у рамках проведення заходів митного аудиту.

Тому перспективи подальших розвідок та досліджень полягають вже у побудові більш складних моделей машинного навчання на основі реальних даних, що потребує вжиття додаткових заходів, зокрема щодо своєчасності та повноти внесення інформації до АСУР за результатами виконання митних формальностей як під час, так і після здійснення митного оформлення товарів.

Список використаних джерел

1. Hoffman A., Grater S., Venter W.C., Maree J., Liebenberg D. Designing a new methodology for customs risk models. World Customs Journal. 2019. Vol. 13 (1). Pp. 31-56.

2. Всесвітня митна організація: офіційний сайт.

3. Алекс Іва: персональна сторінка у Фейсбук.

4. Державна фіскальна служба України: офіційна сторінка у Фейсбук.

5. Про затвердження відомчих класифікаторів інформації з питань державної митної справи, які використовуються у процесі оформлення митних декларацій: наказ Міністерства фінансів України від 20.09.2012 № 1011. Про затвердження Порядку здійснення аналізу та оцінки ризиків, розроблення і реалізації заходів з управління ризиками для визначення форм та обсягів митного контролю: наказ Міністерства фінансів України від 31.07.2015 № 684.

6. Митний кодекс України: закон України від 13.03.2012 № 4495-VI.

7. Офіційний сайт «GitHub»: файл «import_data.csv».

8. Japkowicz N., Shah M. Evaluating learning algorithms: A classification perspective. Cambridge University Press. 2011. Vol. August.

9. Powers D. M. Evaluation: From Precision, Recall and F-Measure to ROC, Informedness, Markedness & Correlation. Journal of Machine Learning Technologies. 2011. Vol. 2(1). Pp. 37-63.

10. Sokolova M., Lapalme G. A systematic analysis of performance measures for classification tasks. Information Processing & Management. 2009. Vol. 45(4). Pp. 427-437.

11. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. Springer Series in Statistics. 2009. 764 p.

References

1. Hoffman A., Grater S., Venter W.C., Maree J., Liebenberg D. (2019), Designing a new methodology for customs risk models. World Customs Journal. Vol. 13 (1). Pp. 31-56.

2. World Customs Organization (2023), official site.

3. Alex Iva (2023), personal Facebook page. [Ukraine].

4. State Fiscal Service of Ukraine (2016), official Facebook page. [Ukraine].

5. MFU, Order of the Ministry of Finance of Ukraine (2012), Pro zatverdzhennya vidomchykh klasyfikatoriv informatsiyi z pytan' derzhavnoyi mytnoyi spravy, yaki vykorystovuyut'sya u protsesi oformlennya mytnykh deklaratsiy [Order of the Ministry of Finance of Ukraine «On the approval of departmental classifiers of information on state customs matters, which are used in the process of issuing customs declarations»], dated September 20, 2012 № 1011. [Ukraine].

6. MFU, Order of the Ministry of Finance of Ukraine (2015), Pro zatverdzhennya Poryadku zdiysnennya analizu ta otsinky ryzykiv, rozroblennya i realizatsiyi zakhodiv z upravlinnya ryzykamy dlya vyznachennya form ta obsyahiv mytnoho kontrolyu [Order of the Ministry of Finance of Ukraine «On the approval of the Procedure for risk analysis and assessment, development and implementation of risk management measures for determining the forms and scope of customs control»], dated July 31, 2015 № 684. [Ukraine].

7. VRU, Law of Ukraine (2012), Mytnyy kodeks Ukrayiny [Law of Ukraine «The Customs Code of Ukraine»], dated March 13, 2012 № 4495-VI. [Ukraine].

8. GitHub, official site: file «import_data.csv».

9. Japkowicz N., Shah M. (2019), Evaluating learning algorithms: A classification perspective. Cambridge University Press. Vol. August.

10. Powers D.M. (2011), Evaluation: From Precision, Recall and F-Measure to ROC, Informedness, Markedness & Correlation. Journal of Machine Learning Technologies. Vol. 2(1). Pp. 37-63.

11. Sokolova M., Lapalme G. (2009), A systematic analysis of performance measures for classification tasks. Information Processing & Management. Vol. 45(4). Pp. 427-437.

12. Hastie T., Tibshirani R., Friedman J. (2009), The Elements of Statistical Learning: Data Mining, Inference, and Prediction. Springer Series in Statistics. 764 p.

Размещено на Allbest.ru


Подобные документы

Работы в архивах красиво оформлены согласно требованиям ВУЗов и содержат рисунки, диаграммы, формулы и т.д.
PPT, PPTX и PDF-файлы представлены только в архивах.
Рекомендуем скачать работу.