Это гостевой пост от Jihye Park, специалиста по данным в MUSINSA.
МУСИНСА — одна из крупнейших онлайн-платформ моды в Южной Корее, обслуживающая 8.4 млн клиентов и продающая 6,000 модных брендов. Наш ежемесячный пользовательский трафик достигает 4 миллионов, и более 90% нашей демографической группы составляют подростки и молодые люди, чувствительные к модным тенденциям. MUSINSA является лидером платформы в стране с огромным объемом данных.
Команда MUSINSA Data Solution занимается всем, что связано с данными, собранными в магазине MUSINSA. Мы занимаемся разработкой полного стека от сбора журналов до моделирования данных и обслуживания моделей. Мы разрабатываем различные продукты на основе данных, в том числе службу рекомендаций по продуктам в реальном времени на главной странице нашего приложения и службу выделения ключевых слов, которая обнаруживает и выделяет такие слова, как «размер» или «уровень удовлетворенности», из текстовых обзоров.
Проблемы, возникающие при автоматическом просмотре изображений
Качество и количество отзывов клиентов имеют решающее значение для предприятий электронной коммерции, поскольку клиенты принимают решения о покупке, не видя продукты лично. Мы даем кредиты тем, кто пишет обзоры изображений на продукты, которые они приобрели (то есть обзоры с фотографиями продуктов или фотографиями, в которых они носят/используют продукты), чтобы улучшить качество обслуживания клиентов и повысить коэффициент конверсии покупок. Чтобы определить, соответствуют ли представленные фотографии нашим критериям кредита, все фотографии проверяются индивидуально людьми. Например, наши критерии гласят, что «Обзор стиля» должен содержать фотографии всего тела человека, который носит/использует продукт, а «Обзор продукта» должен давать полный снимок продукта. На следующих изображениях показаны примеры обзора продукта и обзора стиля. Разрешение загрузчиков было предоставлено для использования фотографий.
Ежедневно на платформу MUSINSA Store загружается более 20,000 XNUMX фотографий, требующих проверки. В процессе проверки изображения классифицируются как «упаковка», «продукт», «полная длина» или «половинная длина». Процесс проверки изображений полностью ручной, поэтому он отнимал очень много времени, а классификация часто выполняется разными людьми по-разному, даже с учетом рекомендаций. Столкнувшись с этой проблемой, мы использовали Создатель мудреца Амазонки для автоматизации этой задачи.
Amazon SageMaker — это полностью управляемый сервис для создания, обучения и развертывания моделей машинного обучения (МО) для любого варианта использования с полностью управляемой инфраструктурой, инструментами и рабочими процессами. Это позволило нам быстро внедрить автоматизированную службу проверки изображений с хорошими результатами.
Мы подробно расскажем о том, как мы решали свои проблемы с помощью моделей машинного обучения и при этом использовали Amazon SageMaker.
Автоматизация процесса проверки контрольного изображения
Первым шагом на пути к автоматизации процесса проверки изображений было ручное маркирование изображений, тем самым сопоставляя их с соответствующими категориями и критериями проверки. Например, мы классифицировали изображения как «снимок всего тела», «снимок верхней части тела», «снимок упаковки», «снимок продукта» и т. д. В случае с обзором продукта кредиты присваивались только за изображение продукта. Точно так же в случае Style Review кредиты были даны за снимок всего тела.
Что касается классификации изображений, мы в значительной степени зависели от предварительно обученной модели сверточной нейронной сети (CNN) из-за огромного объема входных изображений, необходимых для обучения нашей модели. Хотя определение и категоризация значимых функций изображений имеют решающее значение для обучения модели, изображение может иметь неограниченное количество функций. Поэтому использование модели CNN имело наибольший смысл, и мы предварительно обучили нашу модель более чем 10,000 XNUMX наборов данных ImageNet, а затем использовали трансферное обучение. Это означало, что позже наша модель могла быть более эффективно обучена с нашими метками изображений.
Коллекция изображений с Amazon SageMaker Ground Truth
Однако трансферное обучение имело свои ограничения, поскольку модель необходимо заново обучать на более высоких уровнях. Это означает, что ему постоянно требуются входные изображения. С другой стороны, этот метод работал хорошо и требовал меньше входных изображений при обучении на целых слоях. Он легко идентифицировал объекты на изображениях из этих слоев, потому что уже был обучен на огромном количестве данных. В MUSINSA вся наша инфраструктура работает на AWS, и мы храним загруженные клиентами фотографии в Amazon Simple Storage Service (S3). Мы распределили эти изображения по разным папкам на основе определенных нами меток и использовали Amazon SageMaker Ground Truth по следующим причинам:
- Более стабильные результаты – В ручных процессах одна ошибка инспектора может быть учтена при обучении модели без какого-либо вмешательства. С помощью SageMaker Ground Truth мы могли попросить нескольких инспекторов просмотреть одно и то же изображение и убедиться, что входные данные самого надежного инспектора были оценены выше для маркировки изображений, что привело к более надежным результатам.
- Меньше ручной работы – Автоматическая маркировка данных SageMaker Ground Truth может применяться с порогом достоверности, чтобы любые изображения, которые не могут быть уверенно помечены машиной, отправлялись для маркировки человеком. Это обеспечивает наилучшее соотношение стоимости и точности. Более подробная информация доступна в Руководство разработчика Amazon SageMaker Ground Truth.
Используя этот метод, мы сократили количество изображений, классифицированных вручную, на 43%. В следующей таблице показано количество изображений, обработанных за итерацию после того, как мы приняли Ground Truth (обратите внимание, что данные обучения и проверки представляют собой накопленные данные, а другие показатели относятся к каждой итерации). - Прямая загрузка результатов – При построении моделей в SageMaker мы могли загружать результирующие файлы манифеста, сгенерированные SageMaker Ground Truth, и использовать их для обучения.
Таким образом, категоризация 10,000 22 изображений потребовала 980 инспекторов в течение пяти дней и стоила XNUMX долларов.
Разработка модели классификации изображений с помощью Amazon SageMaker Studio
Нам нужно было классифицировать изображения для обзора как снимки всего тела, снимки верхней части тела, снимки упаковки, снимки продуктов и продукты по применимым категориям. Для достижения наших целей мы рассмотрели две модели: встроенную модель SageMaker на основе ResNet и модель MobileNet на основе Tensorflow. Мы протестировали оба на одних и тех же наборах тестовых данных и обнаружили, что встроенная модель SageMaker была более точной: 0.98 балла F1 против 0.88 в модели TensorFlow. Поэтому мы остановились на встроенной модели SageMaker.
Ассоциация Студия SageMakerПроцесс обучения на основе модели состоял в следующем:
- Импорт помеченных изображений из SageMaker Ground Truth
- Предварительная обработка изображений — изменение размера и увеличение изображений.
- Загрузите Встроенная модель Amazon SageMaker как образ Docker
- Настройка гиперпараметров с помощью поиска по сетке
- Применить трансферное обучение
- Повторная настройка параметров на основе показателей обучения
- Сохраните модель
SageMaker упростил обучение модели одним щелчком мыши и не беспокоился о подготовке и управлении парком серверов для обучения.
Для переключения гиперпараметров мы использовали поиск по сетке для определения оптимальных значений гиперпараметров, таких как количество обучающих слоев (num_layers
) и тренировочные циклы (epochs
) во время трансферного обучения повлияло на точность нашей модели классификации.
Обслуживание моделей с помощью SageMaker Batch Transform и Apache Airflow
Модель классификации изображений, которую мы построили, требовала рабочих процессов ML, чтобы определить, соответствует ли обзорное изображение кредитам. Мы установили рабочие процессы со следующими четырьмя шагами.
- Импортируйте изображения для просмотра и метаданные, которые должны проверяться автоматически.
- Выведите метки изображений (вывод)
- Определите, следует ли давать кредиты на основе предполагаемых ярлыков
- Сохраните таблицу результатов в рабочей базе данных.
Мы используем Воздушный поток Apache для управления рабочими процессами продукта данных. Это платформа планирования и мониторинга рабочих процессов, разработанная Airbnb, известная своими простыми и интуитивно понятными графиками веб-интерфейса. Он поддерживает Amazon SageMaker, поэтому легко переносит код, разработанный с помощью SageMaker Studio, в Apache Airflow. Существует два способа запуска заданий SageMaker в Apache Airflow:
- Использование операторов Amazon SageMaker
- . Операторы Python : Напишите функцию Python с помощью Amazon SageMaker Python SDK в Apache Airflow и импортируйте ее как вызываемый параметр.
Второй вариант давайте поддерживать наш существующий Python коды, которые у нас уже были в SageMaker Studio, и нам не требовалось изучать новые грамматики для операторов Amazon SageMaker.
Однако мы прошли через некоторые пробы и ошибки, так как впервые интегрировали Apache Airflow с Amazon SageMaker. Уроки, которые мы извлекли, были следующими:
- Бото3 обновление: для Amazon SageMaker Python SDK версии 2 требуется Boto3 1.14.12 или новее. Поэтому нам нужно было обновить версию Boto3 нашей существующей среды Apache Airflow, которая была 1.13.4.
- Наследование ролей и разрешений IAM: Роли AWS IAM, используемые Apache Airflow, должны были наследовать роли, которые могли запускать Amazon SageMaker.
- Конфигурация сети: для запуска кодов SageMaker с Apache Airflow его конечные точки должны быть настроены для сетевых подключений. Следующие конечные точки были основаны на регионах и сервисах AWS, которые мы использовали. Для получения дополнительной информации см. Сайт AWS.
api.sagemaker.ap-northeast-2.amazonaws.com
runtime.sagemaker.ap-northeast-2.amazonaws.com
aws.sagemaker.ap-northeast-2.studio
Результаты
Автоматизировав процессы проверки изображений для просмотра, мы получили следующие бизнес-результаты:
- Повышенная эффективность работы – В настоящее время 76% изображений категорий, к которым применялся сервис, проверяются автоматически с точностью проверки 98%.
- Последовательность в выдаче кредитов – Кредиты выдаются на основе четких критериев. Тем не менее, были случаи, когда баллы по сходным делам присваивались по-разному из-за различий в суждениях инспекторов. Модель ML применяет правила более последовательно и более последовательно в применении нашей кредитной политики.
- Уменьшение человеческих ошибок – Каждое вмешательство человека сопряжено с риском человеческих ошибок. Например, у нас были случаи, когда критерии обзора стиля использовались для обзоров продуктов. Наша модель автоматической проверки значительно снизила риск этих человеческих ошибок.
Благодаря использованию Amazon SageMaker для автоматизации процесса проверки изображений мы получили следующие преимущества:
- Создали среду, в которой мы можем создавать и тестировать модели с помощью модульных процессов. – Что нам больше всего понравилось в Amazon SageMaker, так это то, что он состоит из модулей. Это позволяет нам легко и быстро создавать и тестировать сервисы. Очевидно, сначала нам потребовалось некоторое время, чтобы изучить Amazon SageMaker, но после того, как мы узнали, мы могли легко применять его в своей работе. Мы считаем, что Amazon SageMaker идеально подходит для предприятий, которым требуется быстрое развитие услуг, как в случае с магазином MUSINSA.
- Собирайте надежные входные данные с помощью Amazon SageMaker Ground Truth – Сбор входных данных становится все более важным, чем само моделирование в области машинного обучения. Благодаря быстрому развитию машинного обучения предварительно обученные модели могут работать намного лучше, чем раньше, и без дополнительной настройки. AutoML также избавил от необходимости писать коды для моделирования ML. Поэтому возможность собирать качественные входные данные важна как никогда, и использование сервисов маркировки, таких как Amazon SageMaker Ground Truth, имеет решающее значение.
Заключение
В будущем мы планируем автоматизировать не только обслуживание моделей, но и обучение моделей с помощью автоматических пакетов. Мы хотим, чтобы наша модель автоматически определяла оптимальные гиперпараметры при добавлении новых меток или изображений. Кроме того, мы продолжим улучшать производительность нашей модели, а именно отзыв и точность, на основе ранее упомянутого метода автоматизированного обучения. Мы увеличим охват нашей модели, чтобы она могла проверять больше обзорных изображений, снижать затраты и достигать более высокой точности, что приведет к более высокой степени удовлетворенности клиентов.
Для получения дополнительной информации о том, как использовать Создатель мудреца Амазонки чтобы решить свои бизнес-задачи с помощью ML, посетите веб-страница продукта. И, как всегда, будьте в курсе последних Новости машинного обучения AWS здесь.
Содержание и мнения в этом сообщении принадлежат стороннему автору, и AWS не несет ответственности за содержание или точность этого сообщения.
Об авторах
Джихе Пак является специалистом по данным в MUSINSA, который отвечает за анализ и моделирование данных. Ей нравится работать с вездесущими данными, такими как электронная торговля. Ее основная роль — моделирование данных, но она также интересуется инженерией данных.
Сунгмин Ким является старшим архитектором решений в Amazon Web Services. Он работает со стартапами над архитектурой, проектированием, автоматизацией и созданием решений на AWS для нужд их бизнеса. Он специализируется на AI/ML и аналитике.
- '
- "
- 000
- 100
- 107
- 98
- дополнительный
- Airbnb
- Все
- Amazon
- Создатель мудреца Амазонки
- Amazon SageMaker - основа правды
- Amazon Web Services
- анализ
- аналитика
- апаш
- ПЛОЩАДЬ
- Автоматизированный
- AWS
- ЛУЧШЕЕ
- тело
- брендов
- строить
- Строительство
- бизнес
- бизнес
- случаев
- вызов
- классификация
- CNN
- код
- Сбор
- доверие
- Коммутация
- согласие
- содержание
- продолжать
- Конверсия
- сверточная нейронная сеть
- Расходы
- кредит
- кредиты
- опыт работы с клиентами
- Удовлетворенность клиентов
- Клиенты
- данным
- анализ данных
- ученый данных
- Демографическая
- Проект
- подробность
- развивать
- Застройщик
- Развитие
- Docker
- электронной коммерции
- Проект и
- Окружающая среда
- и т.д
- опыт
- Фэшн
- Особенности
- ФРС
- First
- Впервые
- ФЛОТ
- вперед
- полный
- функция
- Отдаете
- Цели
- хорошо
- сетка
- GUEST
- Guest Post
- методические рекомендации
- здесь
- Как
- How To
- HTTPS
- Людей
- IAM
- определения
- изображение
- IMAGEnet
- улучшение
- В том числе
- Увеличение
- информация
- Инфраструктура
- IT
- Джобс
- Корея
- маркировка
- Этикетки
- вести
- ведущий
- УЧИТЬСЯ
- узнали
- изучение
- загрузка
- обучение с помощью машины
- Метрика
- ML
- модель
- моделирование
- модульный
- Мониторинг
- а именно
- сеть
- нервный
- нейронной сети
- Новости
- онлайн
- Операционный отдел
- Мнения
- Опция
- Другое
- производительность
- Платформа
- Платформы
- сборах
- Точность
- Продукт
- Производство
- Продукция
- покупки
- Питон
- причины
- уменьшить
- Итоги
- обзоре
- Отзывы
- Снижение
- условиями,
- Run
- sagemaker
- SDK
- Поиск
- смысл
- Услуги
- выступающей
- просто
- So
- Решения
- РЕШАТЬ
- Южная
- Южная Корея
- специализируется
- Стартапы
- Области
- оставаться
- диск
- магазин
- представленный
- Поддержка
- Тинейджеры
- tensorflow
- тестXNUMX
- время
- инструменты
- трафик
- Обучение
- Тенденции
- суд
- ui
- Обновление ПО
- us
- объем
- Web
- веб-сервисы
- КТО
- слова
- Работа
- рабочий
- работает