Алгоритми машинного навчання (МН) та глибокого навчання (ГН) і їх використання в прикладних додатках

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Алгоритми машинного навчання (МН) та глибокого навчання (ГН) і їх використання в прикладних додатках

Бродкевич Володимир

Анотація

У цій статті автори роблять поточний огляд алгоритмів машинного навчання з метою пояснити принципи, на яких вони працюють та показати приклади рішень на їх основі. У статті розглянуто: основний смисл машинного навчання (МН), основні визначення терміну машинне навчання та подаються різні точки зору дослідників і розробників експертних організацій; моделі МН та наочне уявлення про них; процес навчання машин; глибоке навчання (ГН) та базові алгоритми глибоких нейронних мереж (згорткових нейронних мереж) як основи ГН; алгоритми машинного навчання в прикладних додатках.

Ключові слова: машинне навчання (МН), моделі МН, глибоке навчання (ГН), глибокі нейронні мережі, згорткові нейронні мережі ЗНМ, прикладні додатки.

В этой статье авторы делают текущий обзор алгоритмов машинного обучения с целью объяснить принципы, на которых они работают и показать примеры прикладных решений на их основе. В статье будет рассмотрено основные понятия машинного обучения, главные определения термина Машинное обучение и рассматриваются разные точки зрения исследователей и разработчиков, экспертных организаций; модели МО и представление о них; процесс обучения машин; глубокое обучение (ГО) и базовые алгоритмы глубоких нейронных сетей (сворачиваемых нейронных сетей) как основы ГО; алгоритмы машинного обучения в прикладных приложениях.

Ключевые слова: машинное обучение (МО), модели МО, Глубокое обучение ГО), глубокие нейронные сети, сворачиваемые нейронные сети СНС, прикладные приложения.

In this article the authors make the current review of machine learning algorithms in order to explain the principles on which they work and show examples of decisions based on them. The article will be considered: the main semantic of Machine Learning (ML), basic determination of the term Machine learning (ML) and different points of view on this of researchers and developers of expert organizations; Models of the ML and visual representation of them; Process of training of machines; Deep Learning (DL) and basic algorithms of deep neural networks as base of DL; Algorithms of machine learning in applied applications.

Key words: Machine Learning (ML), Deep Learning (DL), Deep artificial neural network, convolutional neural network CNN, applied applications.

Еволюція алгоритмів машинного навчання (МН)

Наука та технології, що на ній базуються мають постійний лідируючий вплив на трансформації в сучасному світі. Незаперечний їх вплив на життєві стандарти, добробут, здоров'я та безпеку життя.

В останні 10 років відбувається бурхливий розвиток аналітичних інформаційних систем нового типу. Необхідно відзначити, що піонерні розробки та проекти в напрямку розвитку новітніх інформаційних самонавчальних систем та передбачу- вальних (прогнозних) алгоритмів на основі моделі перцептронів були виконані українськими вченими під керівництвом академіка А. Г. Івахненко в Інституті кібернетики АН УРСР в 60-х роках минулого століття [3].

У їхній основі лежать технології штучного інтелекту, що імітують природні процеси, наприклад, діяльність нейронів мозку, так звані штучні ней- ронні мережі [9].

До наукомістких технологій, які займають уже зараз та постійно збільшують своє лідируюче становище в навколишньому життєвому середовищі є технології, що використовують машинне навчання.

Як визначається в основних джерелах машинне навчання (англ. machine learning, ML) -- це підга- лузь інформатики (зокрема, м'яких та гранульованих обчислень), яка еволюціювала з дослідження розпізнавання образів та теорії обчислювального навчання в галузі штучного інтелекту [1].

Артур Семюель в 1959 році визначив машинне навчання як «...галузь досліджень, яка дає комп'ютерам здатність навчатися без того, щоб їх явно програмували» [2]. Машинне навчання досліджує вивчення та побудову алгоритмів, які можуть навчатися з даних, і виконувати передбачувальний аналіз на них [3].

Такі алгоритми діють шляхом побудови моделі зі зразкового тренувального набору вхідних спостережень, щоб створювати керовані даними прогнози або ухвалювати рішення, виражені як виходи [4], замість того, щоб суворо дотримуватись статичних програмних інструкцій.

Машинне навчання та глибоке навчання

Більшість визначень машинне навчання ототожнюють з наукою про задіяння комп'ютерів до навчання і виконання дій, подібно як це роблять люди для покращення їх навчання протягом довгого часу в самостійному режимі, наповнення їх даними та інформацією у вигляді спостережень і реальної взаємодій з оточенням.

Глибоке вивчення (ГН) -- це такий тип машинного навчання, в якому модель навчається виконувати завдання класифікації безпосередньо з зображень, тексту або звуку. Глибоке вивчення, зазвичай, здійснюється за допомогою архітектури глибокої штучної нейронної мережі.

Термін «глибоко» означає кількість шарів в мережі -- чим більше шарів, тим глибша мережа. Традиційні нейронні мережі містять тільки 2 або 3 шари, в той час як глибока мережа може мати їх сотні.

Переваги глибокого навчання

Основною характеристикою, яка визначає перевагу ГН, є точність. Передовий інструментарій і новітні методи різко поліпшили алгоритми глибокого навчання. Ці технології досягли точки, де вони можуть перевершити людей в класифікації зображень, вигравати проти кращих гравців GO у світі, або увімкнути контрольованого голосом помічника від Microsoft Cortana, Amazon Echo® чи Google Home, або щоб знайти та завантажити конкретно цю нову пісню, яку ви захотіли прослухати.

Дослідники Каліфорнійського університету побудували передовий мікроскоп, що дає набір багатовимірних даних, які використовуються для тренування мережі глибокого навчання, щоб ідентифікувати ракові клітини в зразках тканини (рис. 1) [15].

Рис. 1. Приклад клітини тканини зараженої раком

Нижче перераховані три технологічні можливості, які дозволяють досягти необхідного ступеня точності [15].

1. Легкий доступ до масивів наборів помічених даних, таких як ImageNet, PASCAL VoC, що є доступними та зручними для навчання на багатьох різних типах об'єктів.

2. Збільшення обчислювальних потужностей -- графічні процесори (GPU) високої продуктивності прискорюють підготовку величезної кількості даних, потрібних для глибокого навчання, досягають скорочення навчального часу від тижнів до годин.

3. Попередньо треновані (Pretrained) моделі, побудовані експертами, такі як AlexNet, уміють перетреновуватись для виконання нових завдань по розпізнаванню та використовують технологію, названу «передача навчання».

Хоча AlexNet навчався на 1,3 мільйона образах з високою роздільною здатністю, для розпізнання 1000 різних об'єктів, але точну передачу навчання було досягнуто з набагато меншим набором даних.

Будова глибокої нейронної мережі

На приведеному рисунку (рис. 2) показано основні функціональні елементи глибокої нейронної мережі.

Глибока нейронна мережа поєднує в собі декілька шарів нелінійної обробки, за допомогою простих елементів, що діють паралельно і за принципом біологічної нервової системи.

Вона складається з вхідного шару, декількох прихованих шарів та вихідного шару. Шари з'єднані

Вхідний шар Приховані шари Вихідний шар

Рис. 2. Структурна модель глибокої нейронної мережі

через вузли, або нейрони, де кожен прихований шар використовує вихід попереднього шару як свій вхід.

Навчання глибоких нейронних мереж

Допустимо, у нас є набір зображень, де кожне зображення містить одну з чотирьох різних категорій об'єкта. Ми хочемо, щоб мережа глибокого навчання автоматично розпізнала, який об'єкт знаходиться в кожному зображенні. Ми позначимо зображення для того, щоб мати тренувальні дані для роботи мережі. Використовуючи ці дані навчання, мережа може потім почати вивчати особливості об'єкта і пов'язати їх з відповідною категорією. Кожен шар в мережі приймає дані з попередніх шарів, перетворює їх та передає його далі.

В мережі збільшується складність і детальність того, чому вона навчається від шару до шару. Необхідно відмітити, що мережа навчається безпосередньо з даних -- ми не маємо впливу на характеристики, що будуть вивчені.

Особливості згорткових нейронних мереж (ЗНМ)

Згорткова нейронна мережа ЗНМ (англ. convolutional neural network CNN, або ConvNet) є одним з найбільш популярних алгоритмів для глибокого навчання із зображеннями і відео.

Як і інші нейронні мережі ЗНМ складається з вхідного шару, вихідного шару і багатьох прихованих шарів між ними.

Ці шари налаштовані виконати одну з трьох видів операцій на даних: згортки, об'єднання або функції активації -- виправленої лінійної одиниці (англ. rectified linear unit -ReLU) [17].

ReLU як функцію активації вперше було продемонстровано в 2011р. для забезпечення кращої підготовки -- тренування глибоких мереж. Ця функція була кращою в порівнянні з тими, що широко використовувались до 2011 р. (логістичний сигмоїд, та гіперболічний тангенс [18]). На нинішній час (станом на 2018 р.) ReLU як функція активації є найбільш популярна для глибоких нейронних мереж.

Згорткові нейронні мережі -- ЗНМ, в машинному навчанні -- це клас глибинних штучних нейронних мереж прямого поширення, який особливо успішно застосовувався до аналізу візуальних зображень [12].

ЗНМ використовують різновид багатошарових перцептронів, розроблений так, щоб добитися використання мінімального обсягу попередньої обробки. Вони відомі також як інваріантні відносно зсуву (англ. shift invariant) або просторово інваріантні штучні нейронні мережі (англ. space invariant artificial neural networks, SIANN), виходячи з їхньої архітектури спільних ваг та характеристик інваріантності відносно паралельного перенесення [10].

Схема згорткових мереж була перенесена з моделей по аналогії з біологічними процесами [2], в яких схему з'єднання нейронів стимульовано організацією зорової кори тварин. Окремі нейрони кори реагують на стимули лише в обмеженій області зорового поля, відомій як рецептивне поле. Рецептивні поля різних нейронів частково перекриваються таким чином, що вони покривають усе зорове поле.

ЗНМ використовують порівняно мало попередньої обробки, в порівнянні з іншими алгоритмами класифікування зображень. Це означає, що мережа навчається з фільтрів, що в традиційних алгоритмах розроблялися вручну. Ця незалежність у конструюванні ознак від апріорних знань та людських зусиль є великою перевагою.

ЗНМ мають застосування в машинному навчанні в розпізнаванні зображень та відео, рекомендаційних системах [8], та обробці природної мови [10].

Рішення на основі МН і ГН, та їх застосування

Розвій технологій машинного навчання має потенціал для великого впливу на бізнес. Це величезна область, що швидко розвивається. За новою концепцією більшість МН є підмножиною штучного інтелекту (ШІ). Вони можуть вчитися і передбачити результати отримання матеріальної вигоди через рекомендаційні двигуни, ефективно застосовуватись у боротьбі зі спамом, використовуватись для виявлення шахрайства, загрози безпеці, захисті персоналізованої інформації та для багатьох інших завдань [8].

Приведем кілька прикладів які можна вказати як результат застосування глибокого навчання на практиці:

• банкомат не приймає підроблені банкноти;

• прикладний додаток на смартфоні дає миттєвий переклад вказівників на вулиці, підписаних іноземною для користувача мовою;

• автомобілі самостійного керування (або безпілотні) сповільнюються, коли вони наближаються до пішохідного переходу.

Глибоке навчання особливо добре підходить для прикладних додатків з ідентифікації, таких як:

• розпізнавання особи,

• переклад тексту,

• розпізнавання голосу,

• розвинутих систем допомоги водію -- навігаторів, у тому числі, класифікація вулиць, попередження та розпізнавання знаків дорожнього руху.

Побудова рішення на основі МН вимагає ретельного осмислення та тестування при виборі алгоритмів, виборі даних. Необхідно робити очищення даних а також тестування в живому середовищі.

Не існує простих рішень машинного навчання для випадків використання в унікальних і складних бізнес-процесах. Навіть для надзвичайно поширених випадків використання (рекомендації з маркетингу, прогнозування відтоку клієнтів) кожний з додатків відрізняються один від одного і вимагає виконання ітерацій та коригування.

Якщо компанія переходить до виконання МН проекту без ресурсів, що включають наявність достатнього досвіду та попередньої підготовки, вона може ніколи не досягти корисного результату.

Висновки

Алгоритми МН є переконливо привабливими для запровадження в різні сфери бізнесу. Налічується велика кількість проектів на основі технологій машинного навчання. Перед стартапами наразі постає питання -- починати бізнес-проект з початковим залученням технології МН чи починати його використовувати на більш пізній стадії розвитку бізнесу- зазначає Д. Фаджела [16]. Треба при цьому мати на увазі, що рентабельність інвестицій в МН вимагає копіткої роботи по налаштуванню і коригуванню.

Доктор Данко Ніколс університету Оклахоми у своїй статті [14] зазначає, що найбільш поширеними помилками, що роблять підприємства при використанні МН є те, що вони думають, що МН-рі- шення є одноразовий процес. Вони надсилають дані до вчених по даних (data scientists), і вчені по даних відсилають їм готові моделі. Насправді, на відміну від цього, знаходження хорошого МН-рішення -- це ітераційний процес, який включає в себе дослідження, проби і помилки, експериментування, консультування з бізнес-фахівцями і т.д. Твердження, що -- «МН ніколи не може стати товаром, та успіх МН сильно залежить від знань, навичок та самовідданості тих людей, які це роблять» виглядає досить переконливим.

Література

1. Вікіпедія [Електронний ресурс]. -- Режим доступу: https://uk.wikipedia.org/wiki/; https://en.wikipedia.org/ wiki/Arthur_Samuel

2. Samuel Arthur (1959-03-03). «Some Studies in Machine Learning Using the Game of Checkers». IBM Journal. 3(3): 210-229. doi:10.1147/rd.33.0210. Retrieved. -- 2011. С. 10-31.

3. Ивахненко А. Г. Самообучающиеся системы с положительными обратными связями. -- Киев: Изд-во АН УССР, 1963.

4. General-purpose technique sheds light on inner workings of neural nets trained to process language. Larry Hardesty | MIT News Office, September 8, 2017.

5. Machine Learning Algorithms for Business Applications -- Complete Guide. Gautam Narula [Електронний ресурс]. -- Режим доступу: https://www.techemergence.com/machine-learning-algorithm

6. A plan for spam. Paul Graham [Електронний ресурс]. -- Режим доступу: http://www.paulgraham.com/spam. html

7. [Електронний ресурс]. -- Режим доступу: https://www.indellient.com/learning-machine-learning/

8. Mahmud Ridwan Predicting Likes: Inside A Simple Recommendation Engine's Algorithms [Електронний ресурс]. -- Режим доступу: https://www.toptal.com

9. Нейронні мережі та нейрокомп'ютери як основа відтворення процесу мислення. Бродкевич В. М., Ремесло В. Я. / Міжнародний науковий журнал «Інтернаука». -- 2018. -- № 5.

10. Collobert, Ronan; Weston, Jason (2008-01-01). A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning. Proceedings of the 25th International Conference on Machine Learning. ICML `08 (New York, NY, USA: ACM). с. 160-167.

11. Convolutional Neural Networks (LeNet) -- DeepLearning 0.1 documentation. DeepLearning 0.1. LISA Lab.

12. Ciresan, Dan; Ueli Meier; Jonathan Masci; Luca M. Gambardella; Jurgen Schmidhuber (2011). Flexible, High Performance Convolutional Neural Networks for Image Classification. Proceedings of the Twenty-Second international joint conference on Artificial Intelligence-Volume Volume Two 2. -- p. 1237-1242.

13. Phil Simon (March 18, 2013). Too Big to Ignore: The Business Case for Big Data. Wiley. -- p. 89. ISBN978-1-118- 63817-0. (англ.)

14. Dr. Danko Nikolic -- PhD, University of Oklahoma -- Data Science and BD&A, Computer Sciences Corporation.

15. Introducing deep Learning with MATLAB. www.mathworks.com/

16. What is Machine Learning? Daniel Faggella [Електронний ресурс]. -- Режим доступу: https://www.techemer- gence.com/author/dan/

17. Hahnloser R., Seung H. S. (2001) Permitted and Forbidden Sets in Symmetric Threshold-Linear Networks. -- NIPS2001.

18. LeCun Yann, Bottou Leon, Genevieve B. Orr and Klaus-Robert Muller (1998). «Efficient BackProp» (PDF). In G. Orr and K. Muller. Neural Networks: Tricks of the Trade. Springer

Размещено на Allbest.ru