Автотегування та використання візуальних характеристик зображень в інтернет-маркетингу

Ключевые слова: визуальные рекомендации, глубинные нейронные сети, интернет-маркетинг, ResNet50, глу-бинные характеристики, “fine-tunning” нейронной сети, DeepFashion, тегирования.

AUTOTAGGING AND USING OF VISUAL CHARACTERISTICS
OF IMAGES IN INTERNET-MARKETING

Hnot T. автоматичний тегування товар

Internet-marketing is growing fast in today's world. More and more goods are sold through online resources. This causes of a production of the large amount of visual content, which plays one of the important roles when choosing a prod-uct by the customer. An ability to process all this content in an automated way will not only save business's money, but will also lead to increase in sales through effective recommendations. In this article, we have built models for images tagging using neural networks andfine-tunning. Also, we have developed an approach for extracting of recommendations based on the deep characteristics of images and nearest neighbors algorithm, as well as have compared deep characteristics calcu-lated with different models.

Keywords: visual recommendations, deep neural networks, Internet-marketing, ResNet50, deep characteristics, fine- tunning of neural network, DeepFashion, tagging.

Постановка проблеми. В сучасному світі є багато методів побудови рекомендацій для користувачів, починаючи з використання атрибутів товарів і закінчу-ючи аналізом оцінок товарів, проставлених користува-чами. В даному дослідженні ми пропонуємо включити в побудову рекомендацій також інформацію, отриману від обробки візуального контенту, для прикладу - з фотографій продуктів.

Візуальна інформація зберігається в пікселях зобра-жень. Але репрезентація зображення як піксельної матриці не є найкращим представленням характерис-тик зображення. Такі значення значною мірою зале-жать від позиції об'єкта на зображенні, освітленні, тощо. Кращим варіантом представлення зображення є використання «глибших» його характеристик, які можна отримати, використовуючи нейронні мережі.

Таким чином, маючи векторні представлення візу-ального контенту, система буде спроможна здійсню-вати пошук «потенційно цікавого» контенту для корис-тувача, базуючись на його минулих вподобаннях чи теперішньому зацікавленню.

Іншою важливою проблемою в онлайн-марке-тингу є тегування контенту. Теги відіграють важливу роль при пошуку потрібного продукту. А так як щодня інтернет-магазини поповнюються великою кількістю нових товарів, проставлення тегів потребує багато ручної роботи. З допомогою машинного навчання, цю рутину можна автоматизувати. У дослідженні пред-ставлено підхід до побудови класифікаторів зображень для прогнозування тегів, виходячи з умов досить малої розміченої навчальної вибірки.

Аналіз останніх досліджень і публікацій. В статті “Image-based Product Recommendation System with Convolutional Neural Networks” [1] автори розглянули питання пошуку в платформах онлайн-рітейлерів, які зазвичай використовують пошук за ключовими словами. Такий пошук є неефективним і в значній мірі залежить від продавця-покупця. У дослідженні автори представили «розумну» пошукову систему для онлайн-магазинів. Вона використовує зображення і на їх основі прогнозує інформацію про них у формі тего-вого описання. Рішення оформлене як дві нейронні мережі: перша прогнозує категорію, друга здійснює пошук подібних зображень. Було досягнуто точності системи близько 50% на даних з Amazon Dataset. На нашу думку, точність системи не є достатньо високою для достовірних прогнозів, а пошук подібних зобра-жень можна було здійснювати більш простішими спо-собами, досягаючи не гірших результатів.

У статті “Deep Learning based Large Scale Visual Recommendation and Search for E-Commerce” [2] автори комплексно підійшли до вирішення проблеми. Вони представили цілісне рішення для візуального пошуку і рекомендацій. Автори запропонували уніфіковане рішення у вигляді глибокої згорточної нейронної мережі VisNet для вивчення характеристик зображень в розрізі декількох семантичних гранулярностей.

В обох статтях автори працювали з досить вели-кими датасетами для побудови класифікатора. У дослі-дженні ми акцентуємо увагу на тому, що високоточні класифікатори для тегування зображень можуть бути побудовані з використанням не більше кількох сотень зображень на один клас. Більш того, ці класифікатори можуть бути використані і для продукування «глибо-ких» характеристик для рекомендацій.

Постановка завдання. Метою дослідження є побу-дова системи для автоматичної генерації тегів зобра-ження, а також пошуку найбільш подібних зображень на основі «глибинних» його характеристик.

Виклад основного матеріалу дослідження. Дані. При побудові алгоритмів було використано частину розмічених зображення з DeepFashion [3] датасету (46985 фотографій, 75% з яких було використано для навчання моделі) для навчання 46-класового класифі-катора одягу. DeepFashion датасет містить зображення і розмічені категорії одягу, до яких ці зображення можна віднести. На рис. 1 зображено декілька випадкових зображень з цього датасету.

Також для навчання моделей для прогнозування патернів одягу, довжини рукавів та кольору було заван-тажено 10850 фотографій з Google (табл. 1).

Для побудови рекомендацій (пошуку найбільш поді-бного) було використано всі фотографії з DeepFashion (290 тис.).

“Fine-tunning” для побудови класифікаторів.

“Fine-tunning” [4] - це підхід, який досить часто вико-ристовують для навчання нейронних мереж на кар-тинках при обмеженому наборі навчальної вибірки. Основна ідея такого підходу полягає у використанні натренованої моделі на подібній класифікаційній задачі (в нашому випадку - класифікаторі зображень). В цьому випадку можна зберегти ваги і ядра перших шарів нейронної мережі, які відповідають за розпізна-вання базових характеристик, а перенавчити останні, які безпосередньо здійснюють класифікацію. Є певні практики здійснення “fine-tunning”:

1. Поширеним є відрізання останнього шару навче-ної нейронної мережі і заміна його з softmax-шаром, релевантним до поставленої задачі. Після цього про-водять навчання нейронної мережі з новими даними.

2. При навчанні потрібно використовувати досить мале значення кроку (~в 10 разів в порівнянні з базо-вим навчанням). Так як ми очікуємо, що попередньо навчені ваги є досить непоганими, в порівнянні з випадковими ініціалізованими вагами, і ми не хочемо їх надто відхилити від оптимального значення дуже швидко і забагато.

3. Також часто «заморожують» ваги перших декількох шарів попередньо-натренованої мережі. Це робиться тому, що перші шари вловлюють загальні характеристики зображення, для прикладу криві і кути, які також релевантні до поставленої задачі і ми хочемо зберегти цю взаємодію ваг і ядер. Натомість, ми повинні зосередитися на навчанні характеристик, специфічних до нашого датасету, які виловлюються останніми шарами.

“Fine-tunning” використовують для навчання, коли немає достатньо даних, обчислювальних ресурсів чи часу. Найбільш точніші нейронні мережі навчаються на мільйонних датасетах протягом декількох днів, і це при умові, що присутні суттєві обчислювальні ресурси. При “fine-tunning” ми можемо використати вже ці навчені моделі, тільки «перенаправити» їх на іншу задачу.

Для “fine-tunning” потрібна базова навчена модель. В нашому дослідженні ми використали Res-Net50 [5] архітектуру, навчену на ImageNet датасеті (1000 класів зображень, 1.28 мільйонів розмічених картинок).

Для прогнозування тегів було побудовано 4 нейронні мережі (категорія одягу, патерн, довжина рукава та колір). Це було спричинено тим, що для різних харак-теристик були різні набори даних, тому не було можли-вості будувати спільну модель. Кожна з моделей була натренована подібним шляхом, донавчаючи Res-Net50.

Для класифікатора 46-категорій одягу був викорис-таний наступний підхід до “fine-tunning”:

1. Відрізати останній шар з 1000 неронами.

2. Додати два повносв'язні шари (256, 64 нейрони) з активацією RELU.

3. Додати вихідний шар з 46 можливими виходами, використовуючи SOFTMAX активацію.

4. Заморозити всі ваги, крім тільки що доданих.

5. Навчати нові ваги протягом 10 епох з оптиміза- тором ADAM.

6. Відморозити всі ваги.

7. “fine-tune” всі ваги протягом 10 епох з дуже малим навчальним кроком, як 0.001.

Точності, отримані для моделей для прогнозування тегів, наведені в табл. 2.

Досить низька точність моделі «Категорії» спри-чинена досить великим набором категорій, великим перекриттям категорій і тим, що велика кількість фотографій одночасно була розмічена в різні кате-горії. Щоб покращити точність прогнозу, був введе-ний поріг для кожної з моделей (якщо достовірність прогнозу менша за поріг, тобто прогноз недостат-ньо надійний, модель пропускає цей кейс і нічого не повертає). Остаточна точність моделей з введеними порогами наведена в табл. 3.

Нижче, на рис. 2 наведено приклади роботи сис-теми.

Система візуальних рекомендацій. Для здій-снення рекомендацій на основі візуального контенту, фотографії повинні бути представлені у векторному вираженні. Таким чином, знаючи, що користувачеві сподобався продукт, представлений фотографією а, ми зможемо порекомендувати йому продукти, представ-лені фотографіями a_jk, якщо dist(a_b a_j,.,k) -+ min, для будь-якого товару j,...,k.

Векторні представлення зображень можна отри-мати, використавши моделі для класифікацій. Передос-танні шари нейронної мережі, перед повносв'язними шарами, які здійснюють класифікацію, містять детальні характеристики зображення, важливі для

Таблиця 2. Точності моделей прогнозування тегів

Таблиця 3. Точність моделей з порогами

класифікації. І їх можна використовувати як числовий опис контенту. В нашому дослідженні ми використали активацію шару, розміщеного перед двома останніми шарами. Це 1000-елементний вектор.

Побудова моделі для рекомендацій була здійснена наступним чином:

1. Обчислено числові описові характеристики всіх зображень з датасету (290 тис.) на основі чотирьох побудованих моделей та об'єднано їх в один вектор. На виході - кожне зображення описане 4000-елементним вектором.

2. Для пошукового зображення проведено ана-логічні розрахунки для отримання 4000-елементний опис.

3. Обчислено Евклідову відстань від пошукового зображення до 290тис. з датасету і знайдено топ най-більш подібних, які і можна вважати хорошими пре-тендентами для рекомендацій.

Звісно, «глибинний» опис зображення можна про-вести і на основі тільки однієї моделі, але в такому випадку результат буде концентруватися на одну з характеристик як найважливішу, наприклад катего-рію одягу, частково ігноруючи колір, патерн тощо. На рис. 3 представлено порівняння моделей з використан-ням тільки категоріальної і моделі з використанням всіх чотирьох. Перший ряд зображень відповідає за 4000-елементний опис, 2-ий - за опис тільки за допо-могою категоріальної моделі. Зображення посортовані в порядку подібності до пошукового зліва направо.

Висновки з проведеного дослідження. Моделі класифікацій дозволяють будувати високоефективні механізми автотегування. В дослідженні показано, що ці моделі можна легко і швидко навчати на неве-ликих вибірках даних, використовуючи таку техніку як “fine-tunning”. За допомогою цих моделей можна також отримати «глибинний» опис візуального кон-тенту, який надалі можна використати в багатьох задачах. Однією з таких задач є рекомендаційна сис-тема. Більше того, опис, отриманий на комбінації різ-них моделей класифікацій є більш ефективний, так як дозволяє віднайти подібні продукти за багатьма характеристиками.

Размещено на Allbest.ru