Esta es una publicación invitada de Jihye Park, científica de datos de MUSINSA.
MUSINSA es una de las plataformas de moda en línea más grandes de Corea del Sur, atiende a 8.4 millones de clientes y vende 6,000 marcas de moda. Nuestro tráfico mensual de usuarios alcanza los 4 millones, y más del 90 % de nuestra demografía consiste en adolescentes y adultos jóvenes que son sensibles a las tendencias de la moda. MUSINSA es una plataforma líder en tendencias en el país, líder con cantidades masivas de datos.
El Equipo de Solución de Datos de MUSINSA se ocupa de todo lo relacionado con los datos recogidos en la Tienda MUSINSA. Realizamos un desarrollo completo, desde la recopilación de registros hasta el modelado de datos y el servicio de modelos. Desarrollamos varios productos basados en datos, incluido el Servicio de recomendación de productos en vivo en la página principal de nuestra aplicación y el Servicio de resaltado de palabras clave que detecta y destaca palabras como "tamaño" o "nivel de satisfacción" de las reseñas de texto.
Desafíos en el proceso de inspección de imágenes de revisión automática
La calidad y la cantidad de opiniones de los clientes son fundamentales para las empresas de comercio electrónico, ya que los clientes toman decisiones de compra sin ver los productos en persona. Damos créditos a aquellos que escriben reseñas de imágenes sobre los productos que compraron (es decir, reseñas con fotos de los productos o fotos de ellos usando/usando los productos) para mejorar la experiencia del cliente y aumentar la tasa de conversión de compra. Para determinar si las fotos enviadas cumplen con nuestros criterios de créditos, todas las fotos son inspeccionadas individualmente por humanos. Por ejemplo, nuestros criterios establecen que una "Revisión de estilo" debe contener fotos que muestren el cuerpo completo de una persona que usa el producto, mientras que una "Revisión de producto" debe proporcionar una imagen completa del producto. Las siguientes imágenes muestran ejemplos de una revisión de producto y una revisión de estilo. Se ha otorgado el consentimiento de los usuarios para el uso de las fotos.
Diariamente se suben a la plataforma MUSINSA Store más de 20,000 fotografías que requieren inspección. El proceso de inspección clasifica las imágenes como 'paquete', 'producto', 'longitud completa' o 'media longitud'. El proceso de inspección de imágenes es completamente manual, por lo que requería mucho tiempo y las clasificaciones a menudo las realizan diferentes personas, incluso con las pautas. Ante este desafío, utilizamos Amazon SageMaker para automatizar esta tarea.
Amazon SageMaker es un servicio completamente administrado para crear, entrenar e implementar modelos de aprendizaje automático (ML) para cualquier caso de uso con infraestructura, herramientas y flujos de trabajo completamente administrados. Nos permitió implementar rápidamente el servicio de inspección de imágenes automatizado con buenos resultados.
Entraremos en detalles sobre cómo abordamos nuestros problemas usando modelos ML y cómo usamos Amazon SageMaker en el camino.
Automatización del Proceso de Inspección de Imágenes de Revisión
El primer paso para automatizar el proceso de Inspección de revisión de imágenes fue etiquetar manualmente las imágenes, de modo que coincidieran con las categorías y los criterios de inspección apropiados. Por ejemplo, clasificamos las imágenes como "fotografía de cuerpo completo", "fotografía de la parte superior del cuerpo", "fotografía del embalaje", "fotografía del producto", etc. En el caso de una revisión del producto, los créditos se otorgaron solo por la imagen de la fotografía del producto. Asimismo, en el caso de una revisión de estilo, se otorgaron créditos por una toma de cuerpo completo.
En cuanto a la clasificación de imágenes, dependimos en gran medida de un modelo de red neuronal convolucional (CNN) preentrenado debido al gran volumen de imágenes de entrada necesarias para entrenar nuestro modelo. Si bien definir y categorizar las características significativas de las imágenes son fundamentales para entrenar un modelo, una imagen puede tener una cantidad ilimitada de características. Por lo tanto, usar el modelo CNN tenía más sentido, y entrenamos previamente nuestro modelo con más de 10,000 XNUMX conjuntos de datos de ImageNet, luego usamos el aprendizaje por transferencia. Esto significó que nuestro modelo podría entrenarse de manera más efectiva con nuestras etiquetas de imagen más adelante.
Colección de imágenes con Amazon SageMaker Ground Truth
Sin embargo, el aprendizaje por transferencia tenía sus propias limitaciones, porque un modelo debe ser entrenado recientemente en capas superiores. Esto significa que constantemente requería imágenes de entrada. Por otro lado, este método funcionó bien y requirió menos imágenes de entrada cuando se entrenó en capas completas. Identificó fácilmente las características de las imágenes de estas capas porque ya había sido entrenado con una gran cantidad de datos. En MUSINSA, toda nuestra infraestructura se ejecuta en AWS y almacenamos las fotos cargadas por los clientes en Servicio de almacenamiento simple de Amazon (S3). Clasificamos estas imágenes en diferentes carpetas según las etiquetas que definimos y usamos Amazon SageMaker Ground Truth por las siguientes razones:
- Resultados más consistentes – En los procesos manuales, el error de un solo inspector podría incorporarse a la capacitación del modelo sin ninguna intervención. Con SageMaker Ground Truth, podríamos hacer que varios inspectores revisaran la misma imagen y asegurarnos de que las entradas del inspector más confiable tuvieran una calificación más alta para el etiquetado de imágenes, lo que generaría resultados más confiables.
- Menos trabajo manual – El etiquetado de datos automatizado de SageMaker Ground Truth se puede aplicar con un umbral de puntuación de confianza para que cualquier imagen que no se pueda etiquetar con confianza por máquina se envíe para el etiquetado humano. Esto asegura el mejor equilibrio entre costo y precisión. Más información está disponible en el Guía para desarrolladores de Amazon SageMaker Ground Truth.
Con este método, redujimos la cantidad de imágenes clasificadas manualmente en un 43 %. La siguiente tabla muestra la cantidad de imágenes procesadas por iteración después de que adoptamos Ground Truth (tenga en cuenta que los datos de capacitación y validación son datos acumulados, mientras que las otras métricas son por iteración). - Cargar resultados directamente – Al crear modelos en SageMaker, podríamos cargar los archivos de manifiesto resultantes generados por SageMaker Ground Truth y usarlos para el entrenamiento.
En resumen, categorizar 10,000 22 imágenes requirió 980 inspectores cinco días y costó $XNUMX.
Desarrollo de Modelo de Clasificación de Imágenes con Amazon SageMaker Studio
Necesitábamos clasificar las imágenes de revisión como fotos de cuerpo completo, fotos de la parte superior del cuerpo, fotos de paquetes, fotos de productos y productos en categorías aplicables. Para lograr nuestros objetivos, consideramos dos modelos: el modelo integrado de SageMaker basado en ResNet y el MobileNet basado en Tensorflow. Probamos ambos en los mismos conjuntos de datos de prueba y descubrimos que el modelo integrado de SageMaker era más preciso, con una puntuación F0.98 de 1 frente a 0.88 del modelo de TensorFlow. Por lo tanto, nos decidimos por el modelo integrado de SageMaker.
El Estudio SageMakerEl proceso de entrenamiento basado en modelos fue el siguiente:
- Importe imágenes etiquetadas desde SageMaker Ground Truth
- Preprocesar imágenes: cambiar el tamaño y aumentar el tamaño de la imagen
- Cargue el Modelo integrado de Amazon SageMaker como una imagen de Docker
- Sintonice los hiperparámetros a través de la búsqueda en cuadrícula
- Aplicar el aprendizaje de transferencia
- Vuelva a ajustar los parámetros en función de las métricas de entrenamiento
- Guardar el modelo
SageMaker facilitó la capacitación del modelo con solo un clic y sin preocuparse por el aprovisionamiento y la administración de una flota de servidores para la capacitación.
Para el giro de hiperparámetros, empleamos la búsqueda en cuadrícula para determinar los valores óptimos de los hiperparámetros, como el número de capas de entrenamiento (num_layers
) y ciclos formativos (epochs
) durante el aprendizaje por transferencia había afectado la precisión de nuestro modelo de clasificación.
Servicio de modelos con SageMaker Batch Transform y Apache Airflow
El modelo de clasificación de imágenes que construimos requería flujos de trabajo de ML para determinar si una imagen de revisión calificaba para créditos. Establecimos flujos de trabajo con los siguientes cuatro pasos.
- Importe imágenes de revisión y metadatos que deben revisarse automáticamente
- Inferir las etiquetas de las imágenes (inferencia)
- Determinar si se deben otorgar créditos en función de las etiquetas inferidas
- Almacenar la tabla de resultados en la base de datos de producción
Estamos usando Flujo de aire Apache para gestionar flujos de trabajo de productos de datos. Es una plataforma de monitoreo y programación de flujo de trabajo desarrollada por Airbnb conocida por gráficos de interfaz de usuario web simples e intuitivos. Es compatible con Amazon SageMaker, por lo que migra fácilmente el código desarrollado con SageMaker Studio a Apache Airflow. Hay dos formas de ejecutar trabajos de SageMaker en Apache Airflow:
- Uso de operadores de Amazon SageMaker
- Usar Operadores de Python : escriba una función de Python con Amazon SageMaker Python SDK en Apache Airflow e impórtelo como un parámetro invocable
La segunda opción nos deja mantener nuestro Python existente códigos que ya teníamos en SageMaker Studio, y no requería que aprendiéramos nuevas gramáticas para los operadores de Amazon SageMaker.
Sin embargo, pasamos por algunas pruebas y errores, ya que era la primera vez que integramos Apache Airflow con Amazon SageMaker. Las lecciones que aprendimos fueron:
- actualización de Boto3: Amazon SageMaker Python SDK versión 2 requiere Boto3 1.14.12 o posterior. Por lo tanto, necesitábamos actualizar la versión Boto3 de nuestro entorno Apache Airflow existente, que estaba en 1.13.4.
- Herencia de roles y permisos de IAM: Los roles de AWS IAM utilizados por Apache Airflow necesitaban heredar roles que pudieran ejecutar Amazon SageMaker.
- Configuración de la red
: para ejecutar códigos de SageMaker con Apache Airflow, sus terminales debían configurarse para conexiones de red. Los siguientes puntos de enlace se basaron en las regiones y los servicios de AWS que usábamos. Para obtener más información, consulte el Sitio web de AWS.
api.sagemaker.ap-northeast-2.amazonaws.com
runtime.sagemaker.ap-northeast-2.amazonaws.com
aws.sagemaker.ap-northeast-2.studio
Resultados
Al automatizar los procesos de inspección de imágenes de revisión, obtuvimos los siguientes resultados comerciales:
- Mayor eficiencia laboral – Actualmente, el 76% de las imágenes de las categorías donde se aplicó el servicio son inspeccionadas automáticamente con una precisión de inspección del 98%.
- Constancia en la concesión de créditos. – Los créditos se otorgan en base a criterios claros. Sin embargo, hubo ocasiones en que los créditos se otorgaron de manera diferente para casos similares debido a diferencias en los juicios de los inspectores. El modelo ML aplica reglas de manera más consistente y con mayor consistencia en la aplicación de nuestras políticas de crédito.
- Reducción de errores humanos – Todo compromiso humano conlleva un riesgo de errores humanos. Por ejemplo, tuvimos casos en los que se utilizaron criterios de revisión de estilo para revisiones de productos. Nuestro modelo de inspección automática redujo drásticamente los riesgos de estos errores humanos.
Obtuvimos los siguientes beneficios específicamente al usar Amazon SageMaker para automatizar el proceso de inspección de imágenes:
- Establecimos un entorno donde podemos construir y probar modelos a través de procesos modulares. – Lo que más nos gustó de Amazon SageMaker es que consta de módulos. Esto nos permite construir y probar servicios fácil y rápidamente. Obviamente, al principio necesitábamos algo de tiempo para aprender sobre Amazon SageMaker, pero una vez que lo aprendimos, pudimos aplicarlo fácilmente en nuestras operaciones. Creemos que Amazon SageMaker es ideal para negocios que requieren rápidos desarrollos de servicios, como es el caso de la Tienda MUSINSA.
- Recopile datos de entrada confiables con Amazon SageMaker Ground Truth – La recopilación de datos de entrada se está volviendo cada vez más importante que el propio modelado en el área de ML. Con el rápido avance de ML, los modelos preentrenados pueden funcionar mucho mejor que antes y sin ajustes adicionales. AutoML también eliminó la necesidad de escribir códigos para el modelado ML. Por lo tanto, la capacidad de recopilar datos de entrada de calidad es más importante que nunca, y el uso de servicios de etiquetado como Amazon SageMaker Ground Truth es fundamental.
Conclusión
En el futuro, planeamos automatizar no solo el servicio de modelos, sino también el entrenamiento de modelos a través de lotes automáticos. Queremos que nuestro modelo identifique los hiperparámetros óptimos automáticamente cuando se agreguen nuevas etiquetas o imágenes. Además, seguiremos mejorando el rendimiento de nuestro modelo, es decir, las recuperaciones y la precisión, en función del método de entrenamiento automatizado mencionado anteriormente. Aumentaremos la cobertura de nuestro modelo para que pueda inspeccionar más imágenes de revisión, reducir más costos y lograr una mayor precisión, lo que conducirá a una mayor satisfacción del cliente.
Para obtener más información sobre cómo utilizar Amazon SageMaker para resolver los problemas de su negocio usando ML, visite el página web del producto. Y, como siempre, manténgase al día con las últimas Noticias de aprendizaje automático de AWS aquí.
El contenido y las opiniones de esta publicación pertenecen al autor externo y AWS no es responsable del contenido o la precisión de esta publicación.
Acerca de los autores
Parque Jihye es un científico de datos de MUSINSA responsable del análisis y modelado de datos. Le encanta trabajar con datos ubicuos como el comercio electrónico. Su función principal es el modelado de datos, pero también tiene intereses en la ingeniería de datos.
kim sung min es Arquitecto de Soluciones Sr. en Amazon Web Services. Trabaja con nuevas empresas para diseñar, automatizar y crear soluciones en AWS para sus necesidades comerciales. Se especializa en AI/ML y Analytics.
- '
- "
- 000
- 100
- 107
- 98
- Adicionales
- Airbnb
- Todos
- Amazon
- Amazon SageMaker
- Verdad fundamental de Amazon SageMaker
- Amazon Web Services
- análisis
- Analytics
- APACHE
- Reservada
- Confirmación de Viaje
- AWS
- MEJOR
- cuerpo
- marcas
- build
- Construir la
- negocios
- cases
- Reto
- clasificación
- CNN
- código
- El cobro
- confianza
- Conexiones
- consentimiento
- contenido
- continue
- Conversión
- red neuronal convolucional
- Precio
- crédito
- Créditos
- experiencia del cliente
- Satisfacción del cliente
- Clientes
- datos
- análisis de los datos
- científico de datos
- Demografía
- Diseño
- detalle
- desarrollar
- Developer
- Desarrollo
- Docker
- comercio electrónico
- Ingeniería
- Entorno
- etc.
- experience
- Moda
- Caracteristicas
- Fed
- Nombre
- primer vez
- FLOTA
- adelante
- ser completados
- función
- Diezmos y Ofrendas
- Goals
- candidato
- Cuadrícula
- Invitad@s
- Guest Post
- orientaciones
- esta página
- Cómo
- Como Hacer
- HTTPS
- Humanos
- AMI
- Identifique
- imagen
- ImagenNet
- la mejora de
- Incluye
- aumente
- información
- EN LA MINA
- IT
- Empleo
- Corea
- etiquetado
- Etiquetas
- Lead
- líder
- APRENDE:
- aprendido
- aprendizaje
- carga
- máquina de aprendizaje
- Métrica
- ML
- modelo
- modelado
- modulares
- monitoreo
- a saber
- del sistema,
- Neural
- red neural
- noticias
- en línea
- Operaciones
- Opiniones
- Optión
- Otro
- actuación
- plataforma
- Plataformas
- políticas
- Precisión
- Producto
- Producción
- Productos
- comprar
- Python
- calidad
- razones
- reducir
- Resultados
- una estrategia SEO para aparecer en las búsquedas de Google.
- Reseñas
- Riesgo
- reglas
- Ejecutar
- sabio
- Sdk
- Buscar
- sentido
- Servicios
- servicio
- sencillos
- So
- Soluciones
- RESOLVER
- Sur
- Corea del Sur
- se especializa
- Startups
- Zonas
- quedarse
- STORAGE
- tienda
- Subido
- soportes
- Adolescentes
- tensorflow
- test
- equipo
- tráfico
- Formación
- Tendencias
- juicio
- ui
- Actualizar
- us
- volumen
- web
- servicios web
- QUIENES
- palabras
- Actividades:
- flujo de trabajo
- funciona