Dette er et gæsteindlæg af Jihye Park, en dataforsker ved MUSINSA.
MUSINSA er en af de største online modeplatforme i Sydkorea, der betjener 8.4 millioner kunder og sælger 6,000 modemærker. Vores månedlige brugertrafik når 4 mio., og over 90 % af vores demografi består af teenagere og unge voksne, der er følsomme over for modetrends. MUSINSA er en trendsættende platformsleder i landet, der fører med enorme mængder data.
MUSINSA Data Solution Team engagerer sig i alt relateret til data indsamlet fra MUSINSA Store. Vi laver fuld stackudvikling fra logindsamling til datamodellering og modelservering. Vi udvikler forskellige databaserede produkter, herunder Live Product Recommendation Service på vores app's hovedside og Keyword Highlighting Service, der registrerer og fremhæver ord som "størrelse" eller "tilfredshedsniveau" fra tekstanmeldelser.
Udfordringer i processen med automatisere billedinspektion
Kvaliteten og kvantiteten af kundeanmeldelser er afgørende for e-handelsvirksomheder, da kunder træffer købsbeslutninger uden at se produkterne personligt. Vi giver kredit til dem, der skriver billedanmeldelser på de produkter, de har købt (det vil sige anmeldelser med billeder af produkterne eller billeder af dem, der bærer/bruger produkterne) for at forbedre kundeoplevelsen og øge købskonverteringsraten. For at afgøre, om de indsendte billeder opfyldte vores kriterier for kreditering, bliver alle billederne inspiceret individuelt af mennesker. For eksempel siger vores kriterier, at en "Styleanmeldelse" skal indeholde billeder, der viser hele kroppen af en person, der bærer/bruger produktet, mens en "Produktanmeldelse" skal give et fuldstændigt billede af produktet. De følgende billeder viser eksempler på en produktanmeldelse og en stilanmeldelse. Uploaders samtykke er givet til brug af billederne.
Over 20,000 billeder uploades dagligt til MUSINSA Store-platformen, som kræver inspektion. Inspektionsprocessen klassificerer billeder som 'pakke', 'produkt', 'fuld længde' eller 'halv længde'. Billedinspektionsprocessen er fuldstændig manuel, så det var ekstremt tidskrævende, og klassificeringer udføres ofte forskelligt af forskellige personer, selv med retningslinjerne. Stillet over for denne udfordring brugte vi Amazon SageMaker at automatisere denne opgave.
Amazon SageMaker er en fuldt administreret service til opbygning, træning og implementering af maskinlæringsmodeller (ML) til enhver brug med fuldt administreret infrastruktur, værktøjer og arbejdsgange. Det lod os hurtigt implementere den automatiske billedinspektionstjeneste med gode resultater.
Vi vil gå i detaljer om, hvordan vi adresserede vores problemer ved at bruge ML-modeller og brugte Amazon SageMaker undervejs.
Automatisering af Review Image Inspection Process
Det første skridt i retning af at automatisere billedgennemgangsinspektionsprocessen var manuelt at mærke billeder og derved matche dem til de relevante kategorier og inspektionskriterier. For eksempel klassificerede vi billeder som et "helkropsbillede", "billede af overkroppen", "pakkebillede", "produktbillede" osv. I tilfælde af en produktanmeldelse blev der kun givet kredit for et billede af et produktbillede. Ligeledes, i tilfælde af en Style Review, blev der givet kreditter for et helkropsskud.
Hvad angår billedklassificering, var vi i vid udstrækning afhængige af en forudtrænet konvolutionelt neuralt netværk (CNN) model på grund af den store mængde af inputbilleder, der kræves for at træne vores model. Selvom definition og kategorisering af meningsfulde funktioner fra billeder både er afgørende for at træne en model, kan et billede have et ubegrænset antal funktioner. Derfor gav det mest mening at bruge CNN-modellen, og vi fortrænede vores model med 10,000+ ImageNet-datasæt, derefter brugte vi transfer learning. Det betød, at vores model kunne trænes mere effektivt med vores billedetiketter senere.
Billedsamling med Amazon SageMaker Ground Truth
Transferlæring havde dog sine egne begrænsninger, fordi en model skal nyuddannes på højere lag. Det betyder, at det konstant krævede inputbilleder. På den anden side fungerede denne metode godt og krævede færre inputbilleder, når den blev trænet på hele lag. Det identificerede let funktioner fra billeder fra disse lag, fordi det allerede var blevet trænet med en enorm mængde data. Hos MUSINSA kører hele vores infrastruktur på AWS, og vi gemmer kundeuploadede billeder i Amazon Simple Storage Service (S3). Vi kategoriserede disse billeder i forskellige mapper baseret på de etiketter, vi definerede, og vi brugte Amazon SageMaker Ground Truth af følgende årsager:
- Mere ensartede resultater – I manuelle processer kunne en enkelt inspektørs fejltagelse føres ind i modeltræning uden nogen indgriben. Med SageMaker Ground Truth kunne vi få flere inspektører til at gennemgå det samme billede og sikre, at input fra den mest troværdige inspektør blev vurderet højere til billedmærkning, hvilket fører til mere pålidelige resultater.
- Mindre manuelt arbejde – SageMaker Ground Truth automatiseret datamærkning kan anvendes med en konfidensscoretærskel, så alle billeder, der ikke kan maskinmærkes sikkert, sendes til menneskelig mærkning. Dette sikrer den bedste balance mellem omkostninger og nøjagtighed. Mere information er tilgængelig i Amazon SageMaker Ground Truth Developer Guide.
Ved at bruge denne metode reducerede vi antallet af manuelt klassificerede billeder med 43 %. Følgende tabel viser antallet af billeder, der behandles per iteration, efter vi har vedtaget Ground Truth (bemærk, at trænings- og valideringsdata er akkumulerede data, mens de andre metrics er på per-iteration-basis). - Indlæs resultater direkte – Når vi bygger modeller i SageMaker, kunne vi indlæse de resulterende manifestfiler genereret af SageMaker Ground Truth og bruge dem til træning.
Sammenfattende krævede kategorisering af 10,000 billeder 22 inspektører fem dage og kostede $980.
Udvikling af billedklassificeringsmodel med Amazon SageMaker Studio
Vi var nødt til at klassificere anmeldelsesbilleder som helkropsbilleder, billeder af overkroppen, pakkebilleder, produktbilleder og produkter i relevante kategorier. For at nå vores mål overvejede vi to modeller: den ResNet-baserede SageMaker indbyggede model og Tensorflow-baseret MobileNet. Vi testede begge på de samme testdatasæt og fandt ud af, at den indbyggede SageMaker-model var mere nøjagtig med en 0.98 F1-score mod 0.88 fra TensorFlow-modellen. Derfor besluttede vi os for den indbyggede SageMaker-model.
SageMaker Studio-baseret modeltræningsproces var som følger:
- Importer mærkede billeder fra SageMaker Ground Truth
- Forbehandl billeder – billedstørrelse og forøgelse
- Indlæs Amazon SageMaker indbygget model som et Docker-billede
- Tune hyperparametre gennem gittersøgning
- Anvend overførselslæring
- Genindstil parametre baseret på træningsmålinger
- Gem modellen
SageMaker gjorde det ligetil at træne modellen med kun et enkelt klik og uden at bekymre sig om at klargøre og administrere en flåde af servere til træning.
Til hyperparameterdrejning brugte vi gittersøgning til at bestemme de optimale værdier af hyperparametre, som antallet af træningslag (num_layers
) og træningscyklusser (epochs
) under overførselslæring havde påvirket vores klassifikationsmodels nøjagtighed.
Modelservering med SageMaker Batch Transform og Apache Airflow
Billedklassificeringsmodellen, vi byggede, krævede ML-arbejdsgange for at afgøre, om et anmeldelsesbillede var kvalificeret til kreditering. Vi etablerede arbejdsgange med følgende fire trin.
- Importer anmeldelsesbilleder og metadata, der automatisk skal gennemgås
- Udled billedernes etiketter (inferens)
- Bestem, om der skal gives kredit baseret på de udledte etiketter
- Gem resultattabellen i produktionsdatabasen
Vi bruger Apache luftstrøm at administrere dataproduktarbejdsgange. Det er en arbejdsgangsplanlægnings- og overvågningsplatform udviklet af Airbnb kendt for enkle og intuitive web-UI-grafer. Det understøtter Amazon SageMaker, så det migrerer nemt koden udviklet med SageMaker Studio til Apache Airflow. Der er to måder at køre SageMaker-job på Apache Airflow:
- Brug af Amazon SageMaker Operators
- Ved brug af Python-operatører : Skriv en Python-funktion med Amazon SageMaker Python SDK på Apache Airflow og importer den som en kaldbar parameter
Den anden mulighed lad os vedligeholde vores eksisterende Python koder, som vi allerede havde på SageMaker Studio, og det krævede ikke, at vi lærte nye grammatikker for Amazon SageMaker Operators.
Men vi gennemgik nogle forsøg og fejl, da det var vores første gang, vi integrerede Apache Airflow med Amazon SageMaker. De erfaringer vi lærte var:
- Boto3 opdatering: Amazon SageMaker Python SDK version 2 kræves Boto3 1.14.12 eller nyere. Derfor var vi nødt til at opdatere Boto3-versionen af vores eksisterende Apache Airflow-miljø, som var på 1.13.4.
- IAM-rolle og tilladelsesarv: AWS IAM-roller brugt af Apache Airflow var nødvendige for at arve roller, der kunne køre Amazon SageMaker.
- Netværkskonfiguration: For at køre SageMaker-koder med Apache Airflow skulle dets endepunkter konfigureres til netværksforbindelser. Følgende endepunkter var baseret på AWS-regionerne og -tjenesterne, som vi brugte. For mere information, se AWS hjemmeside.
api.sagemaker.ap-northeast-2.amazonaws.com
runtime.sagemaker.ap-northeast-2.amazonaws.com
aws.sagemaker.ap-northeast-2.studio
Resultater
Ved at automatisere processer til inspektion af billeder opnåede vi følgende forretningsresultater:
- Øget arbejdseffektivitet – I øjeblikket inspiceres 76 % af billederne af de kategorier, hvor tjenesten blev anvendt, automatisk med en inspektionsnøjagtighed på 98 %.
- Konsistens i at give kreditter – Credits gives ud fra klare kriterier. Der var dog lejligheder, hvor der blev givet kreditter forskelligt for lignende sager på grund af forskelle i inspektørernes vurderinger. ML-modellen anvender regler mere konsistent med og større sammenhæng i anvendelsen af vores kreditpolitikker.
- Reducerede menneskelige fejl – Ethvert menneskeligt engagement indebærer en risiko for menneskelige fejl. For eksempel havde vi tilfælde, hvor Style Review-kriterier blev brugt til produktanmeldelser. Vores automatiske inspektionsmodel reducerede dramatisk risikoen for disse menneskelige fejl.
Vi opnåede følgende fordele specifikt ved at bruge Amazon SageMaker til at automatisere billedinspektionsprocessen:
- Etableret et miljø, hvor vi kan bygge og teste modeller gennem modulære processer – Det, vi kunne lide mest ved Amazon SageMaker, er, at det består af moduler. Dette lader os bygge og teste tjenester nemt og hurtigt. Vi havde selvfølgelig brug for lidt tid til at lære om Amazon SageMaker i starten, men når vi først havde lært det, kunne vi nemt anvende det i vores operationer. Vi mener, at Amazon SageMaker er ideel til virksomheder, der kræver hurtige serviceudviklinger, som i tilfældet med MUSINSA Store.
- Indsaml pålidelige inputdata med Amazon SageMaker Ground Truth – Indsamling af inputdata bliver stadig vigtigere end at modellere sig selv på ML-området. Med den hurtige udvikling af ML kan præ-trænede modeller præstere meget bedre end før, og uden yderligere tuning. AutoML har også fjernet behovet for at skrive koder til ML-modellering. Derfor er evnen til at indsamle kvalitetsinputdata vigtigere end nogensinde, og brugen af mærkningstjenester såsom Amazon SageMaker Ground Truth er afgørende.
Konklusion
Fremover planlægger vi at automatisere ikke kun modelservering, men også modeltræning gennem automatiske batches. Vi ønsker, at vores model automatisk identificerer de optimale hyperparametre, når nye etiketter eller billeder tilføjes. Derudover vil vi fortsætte med at forbedre ydeevnen af vores model, nemlig tilbagekaldelser og præcision, baseret på den tidligere nævnte automatiserede træningsmetode. Vi vil øge vores modeldækning, så den kan inspicere flere anmeldelsesbilleder, reducere flere omkostninger og opnå højere nøjagtigheder, hvilket alt sammen vil føre til højere kundetilfredshed.
For mere information om, hvordan du bruger Amazon SageMaker for at løse dine forretningsproblemer ved hjælp af ML, besøg produktwebside. Og hold dig som altid opdateret med det seneste AWS Machine Learning News her.
Indholdet og meningerne i dette indlæg er tredjepartsforfatterens, og AWS er ikke ansvarlig for indholdet eller nøjagtigheden af dette indlæg.
Om forfatterne
Jihye Park er en Data Scientist hos MUSINSA, der er ansvarlig for dataanalyse og modellering. Hun elsker at arbejde med allestedsnærværende data såsom e-handel. Hendes hovedrolle er datamodellering, men hun har også interesser i datateknik.
Sungmin Kim er Sr. Solutions Architect hos Amazon Web Services. Han arbejder med startups for at arkitekte, designe, automatisere og bygge løsninger på AWS til deres forretningsbehov. Han har specialiseret sig i AI/ML og Analytics.
- '
- "
- 000
- 100
- 107
- 98
- Yderligere
- Airbnb
- Alle
- Amazon
- Amazon SageMaker
- Amazon SageMaker Ground Truth
- Amazon Web Services
- analyse
- analytics
- Apache
- OMRÅDE
- Automatiseret
- AWS
- BEDSTE
- krop
- brands
- bygge
- Bygning
- virksomhed
- virksomheder
- tilfælde
- udfordre
- klassificering
- CNN
- kode
- Indsamling
- tillid
- Tilslutninger
- samtykke
- indhold
- fortsæt
- Konvertering
- indviklet neuralt netværk
- Omkostninger
- kredit
- Medvirkende
- Kundeoplevelse
- Kundetilfredshed
- Kunder
- data
- dataanalyse
- dataforsker
- Demografi
- Design
- detail
- udvikle
- Udvikler
- Udvikling
- Docker
- ecommerce
- Engineering
- Miljø
- etc.
- erfaring
- Mode
- Funktionalitet
- Fed
- Fornavn
- første gang
- FLÅDE
- Videresend
- fuld
- funktion
- Give
- Mål
- godt
- Grid
- Gæst
- gæst Indlæg
- retningslinjer
- link.
- Hvordan
- How To
- HTTPS
- Mennesker
- IAM
- identificere
- billede
- IMAGEnet
- forbedring
- Herunder
- Forøg
- oplysninger
- Infrastruktur
- IT
- Karriere
- korea
- mærkning
- Etiketter
- føre
- førende
- LÆR
- lærte
- læring
- belastning
- machine learning
- Metrics
- ML
- model
- modellering
- modulær
- overvågning
- nemlig
- netværk
- Neural
- neurale netværk
- nyheder
- online
- Produktion
- Udtalelser
- Option
- Andet
- ydeevne
- perron
- Platforme
- politikker
- Precision
- Produkt
- produktion
- Produkter
- køb
- Python
- kvalitet
- årsager
- reducere
- Resultater
- gennemgå
- Anmeldelser
- Risiko
- regler
- Kør
- sagemaker
- SDK
- Søg
- forstand
- Tjenester
- servering
- Simpelt
- So
- Løsninger
- SOLVE
- Syd
- Sydkorea
- specialiseret
- Nystartede
- Stater
- forblive
- opbevaring
- butik
- indsendt
- Understøtter
- Teenagere
- tensorflow
- prøve
- tid
- værktøjer
- Trafik
- Kurser
- Tendenser
- retssag
- ui
- Opdatering
- us
- bind
- web
- webservices
- WHO
- ord
- Arbejde
- workflow
- virker