Tämä on MUSINSA:n datatutkijan Jihye Parkin vieraspostaus.
MUSINSA on yksi Etelä-Korean suurimmista online-muotialustoista, joka palvelee 8.4 miljoonaa asiakasta ja myy 6,000 4 muotibrändiä. Kuukausittainen käyttäjäliikennemme saavuttaa 90 miljoonaa, ja yli XNUMX % väestötiedoistamme koostuu teini-ikäisistä ja nuorista aikuisista, jotka ovat herkkiä muotitrendeille. MUSINSA on trendejä luova alustajohtaja maassa, joka johtaa valtavia tietomääriä.
MUSINSA Data Solution -tiimi osallistuu kaikkeen, joka liittyy MUSINSA Storesta kerättyihin tietoihin. Toteutamme täyden pinokehityksen lokin keräämisestä tiedon mallintamiseen ja mallin hallintaan. Kehitämme erilaisia tietoihin perustuvia tuotteita, mukaan lukien Live Product Recommendation Service sovelluksemme pääsivulla ja Keyword Highlighting Service, joka havaitsee ja korostaa sanat, kuten "koko" tai "tyytyväisyystaso" tekstiarvosteluista.
Haasteet automaattisen tarkastelun kuvien tarkastusprosessissa
Asiakasarvioiden laatu ja määrä ovat kriittisiä verkkokauppayrityksille, sillä asiakkaat tekevät ostopäätökset näkemättä tuotteita henkilökohtaisesti. Annamme hyvityksiä niille, jotka kirjoittavat ostamistaan tuotteista kuva-arvosteluja (eli arvosteluja, joissa on kuvia tuotteista tai kuvia heistä käyttäessään/käyttäen tuotteita) asiakaskokemuksen parantamiseksi ja ostojen konversioprosentin lisäämiseksi. Ihmiset tarkastavat kaikki valokuvat yksitellen sen määrittämiseksi, täyttivätkö lähetetyt valokuvat hyvityskriteerimme. Esimerkiksi kriteerimme mukaan "tyyliarvioinnin" tulee sisältää kuvia, joissa näkyy tuotetta pitävän/käyttävän henkilön koko vartalo, kun taas "Tuotearvostelun" tulee tarjota täydellinen kuva tuotteesta. Seuraavissa kuvissa on esimerkkejä tuote- ja tyyliarvioinnista. Lataajien suostumus kuvien käyttöön on myönnetty.
MUSINSA Store -alustalle ladataan päivittäin yli 20,000 XNUMX valokuvaa, jotka vaativat tarkastuksen. Tarkastusprosessissa kuvat luokitellaan "pakkauksiksi", "tuotteiksi", "täyspituiksi" tai "puolipituiksi". Kuvantarkistusprosessi on täysin manuaalinen, joten se oli äärimmäisen aikaa vievää ja luokittelut tehdään usein eri yksilöillä eri tavalla, jopa ohjeiden mukaan. Tämän haasteen edessä käytimme Amazon Sage Maker automatisoidaksesi tämän tehtävän.
Amazon SageMaker on täysin hallittu palvelu koneoppimismallien (ML) rakentamiseen, kouluttamiseen ja käyttöönottoon kaikissa käyttötapauksissa täysin hallitulla infrastruktuurilla, työkaluilla ja työnkulkuilla. Sen avulla pystyimme toteuttamaan automaattisen kuvantarkastuspalvelun nopeasti hyvin tuloksin.
Käsittelemme yksityiskohtaisesti, kuinka ratkaisimme ongelmamme käyttämällä ML-malleja ja käytimme Amazon SageMakeria matkan varrella.
Tarkastelukuvan tarkastusprosessin automatisointi
Ensimmäinen askel kohti Image Review Inspection -prosessin automatisointia oli kuvien merkitseminen manuaalisesti ja siten niiden sovittaminen asianmukaisiin luokkiin ja tarkastuskriteereihin. Luokitimme kuvat esimerkiksi "kokovartalokuvaksi", "ylävartalokuvaksi", "pakkausotoksiksi", "tuotekuvaukseksi" jne. Tuotearvioinnissa hyvitykset annettiin vain tuotekuvasta. Samoin Tyyliarvioinnin tapauksessa krediittejä annettiin koko kehon laukauksesta.
Mitä tulee kuvien luokitteluun, riippuimme suurelta osin esiopetetusta konvoluutiohermoverkkomallista (CNN), koska mallimme harjoittamiseen vaaditaan valtava määrä syöttökuvia. Vaikka merkityksellisten ominaisuuksien määrittäminen ja luokittelu kuvista on kriittistä mallin koulutuksen kannalta, kuvassa voi olla rajaton määrä ominaisuuksia. Siksi CNN-mallin käyttäminen oli järkevintä, ja esiopetimme mallimme yli 10,000 XNUMX ImageNet-tietojoukolla, minkä jälkeen käytimme siirtooppimista. Tämä tarkoitti, että malliamme voitiin myöhemmin kouluttaa tehokkaammin kuvatarroillamme.
Kuvakokoelma Amazon SageMaker Ground Truth -sovelluksella
Siirto-oppimisessa oli kuitenkin omat rajoituksensa, koska mallia on koulutettava vasta korkeammilla kerroksilla. Tämä tarkoittaa, että se vaati jatkuvasti syöttökuvia. Toisaalta tämä menetelmä toimi hyvin ja vaati vähemmän syöttökuvia, kun sitä harjoitettiin kokonaisille tasoille. Se tunnistaa helposti ominaisuuksia näiden kerrosten kuvista, koska se oli jo koulutettu valtavalla datamäärällä. MUSINSA:lla koko infrastruktuurimme toimii AWS:llä, ja tallennamme asiakkaiden lataamia kuvia Amazon Simple Storage Service (S3). Luokittelimme nämä kuvat eri kansioihin määrittämiemme tarrojen perusteella ja käytimme Amazon SageMaker Ground Truthia seuraavista syistä:
- Tasaisempia tuloksia – Manuaalisissa prosesseissa yksi tarkastajan virhe voitaisiin syöttää mallikoulutukseen ilman väliintuloa. SageMaker Ground Truthin avulla voisimme saada useat tarkastajat tarkistamaan saman kuvan ja varmistamaan, että luotettavimman tarkastajan syötteet saivat korkeamman arvosanan kuvamerkinnöissä, mikä johtaa luotettavampiin tuloksiin.
- Vähemmän käsityötä – SageMaker Ground Truth -automaattista datamerkintää voidaan soveltaa luotettavuuspistekynnyksellä, jotta kaikki kuvat, joita ei voida luotettavasti merkitä koneella, lähetetään ihmisille. Tämä varmistaa parhaan tasapainon kustannusten ja tarkkuuden välillä. Lisätietoja on saatavilla osoitteessa Amazon SageMaker Ground Truth -kehittäjäopas.
Tällä menetelmällä vähennimme manuaalisesti luokiteltujen kuvien määrää 43 %. Seuraavassa taulukossa näkyy käsiteltyjen kuvien määrä iteraatiota kohden Ground Truthin käyttöönoton jälkeen (huomaa, että koulutus- ja validointitiedot ovat kertynyttä dataa, kun taas muut mittarit ovat peritaatioperusteisia). - Lataa tulokset suoraan – Kun rakennamme malleja SageMakerissa, voisimme ladata tuloksena olevat SageMaker Ground Truthin luomat manifestitiedostot ja käyttää niitä koulutukseen.
Yhteenvetona voidaan todeta, että 10,000 22 kuvan luokittelu vaati 980 tarkastajaa viisi päivää ja maksoi XNUMX dollaria.
Kuvien luokittelumallin kehittäminen Amazon SageMaker Studion kanssa
Meidän piti luokitella arvostelukuvat kokovartalokuviin, ylävartalokuviin, pakkauskuviin, tuotekuviin ja tuotteisiin soveltuviin luokkiin. Tavoitteidemme saavuttamiseksi harkitsimme kahta mallia: ResNet-pohjaista sisäänrakennettua SageMaker-mallia ja Tensorflow-pohjainen MobileNet. Testasimme molempia samoilla testiaineistoilla ja havaitsimme, että sisäänrakennettu SageMaker-malli oli tarkempi, 0.98 F1-pisteellä verrattuna TensorFlow-mallin 0.88:aan. Siksi päätimme käyttää sisäänrakennettua SageMaker-mallia.
- SageMaker Studio-pohjainen mallikoulutusprosessi oli seuraava:
- Tuo merkittyjä kuvia SageMaker Ground Truthista
- Kuvien esikäsittely – kuvien koon muuttaminen ja lisääminen
- Lataa Amazon SageMaker sisäänrakennettu malli Docker-kuvana
- Viritä hyperparametrit ruudukkohaun avulla
- Käytä siirtooppimista
- Säädä parametrit uudelleen harjoitusmittareiden perusteella
- Tallenna malli
SageMaker teki mallin kouluttamisesta helppoa yhdellä napsautuksella ja huolehtimatta palvelinkaluston toimittamisesta ja hallinnasta koulutusta varten.
Hyperparametrien kääntämiseen käytimme ruudukkohakua hyperparametrien optimaalisten arvojen määrittämiseen harjoituskerrosten lukumääränä (num_layers
) ja harjoitussyklit (epochs
) siirron aikana oppiminen oli vaikuttanut luokitusmallimme tarkkuuteen.
Mallin tarjoilu SageMaker Batch Transformin ja Apache Airflown avulla
Luomamme kuvien luokittelumalli vaati ML-työnkulkuja sen määrittämiseksi, oliko arvostelukuva hyvityskelpoinen. Loimme työnkulkuja seuraavilla neljällä vaiheella.
- Tuo arvostelukuvat ja metatiedot, jotka on tarkistettava automaattisesti
- Päättele kuvien tarrat (päätelmä)
- Selvitä, pitäisikö hyvitykset antaa pääteltyjen tarrojen perusteella
- Tallenna tulostaulukko tuotantotietokantaan
Käytämme apache-ilmavirta hallita tietotuotteiden työnkulkuja. Se on Airbnb:n kehittämä työnkulun ajoitus- ja seurantaalusta, joka tunnetaan yksinkertaisista ja intuitiivisista verkkokäyttöliittymäkaavioista. Se tukee Amazon SageMakeria, joten se siirtää SageMaker Studiolla kehitetyn koodin helposti Apache Airflow -ohjelmaan. On kaksi tapaa suorittaa SageMaker-töitä Apache Airflowssa:
- Amazon SageMaker -operaattoreiden käyttäminen
- Käyttäminen Python-operaattorit : Kirjoita Python-funktio Amazon SageMaker Python SDK:lla Apache Airflow -sovelluksella ja tuo se kutsuttavana parametrina
Toinen vaihtoehto antaa meille säilyttää olemassa oleva Python koodit, jotka meillä oli jo SageMaker Studiossa, eikä se vaatinut meidän opetella uusia kielioppeja Amazon SageMaker Operatoreille.
Kävimme kuitenkin läpi yrityksen ja erehdyksen, sillä se oli ensimmäinen kerta, kun integroimme Apache Airflown Amazon SageMakeriin. Opimme:
- Boto3 päivitys: Amazon SageMaker Python SDK versio 2 vaaditaan Boto3 1.14.12 tai uudempi. Siksi meidän piti päivittää Boto3-versio olemassa olevasta Apache Airflow -ympäristöstämme, joka oli 1.13.4.
- IAM Roolin ja lupien periytyminen: Apache Airflow:n käyttämät AWS IAM -roolit tarvittiin periäkseen roolit, jotka voisivat suorittaa Amazon SageMaker -sovelluksen.
- Verkkoasetukset: Jotta SageMaker-koodeja voidaan suorittaa Apache Airflow -sovelluksella, sen päätepisteet oli määritettävä verkkoyhteyksiä varten. Seuraavat päätepisteet perustuivat käyttämiimme AWS-alueisiin ja -palveluihin. Lisätietoja on kohdassa AWS-verkkosivusto.
api.sagemaker.ap-northeast-2.amazonaws.com
runtime.sagemaker.ap-northeast-2.amazonaws.com
aws.sagemaker.ap-northeast-2.studio
tulokset
Automatisoimalla katsastuskuvan tarkastusprosessit saimme seuraavat liiketoimintatulokset:
- Lisääntynyt työn tehokkuus – Tällä hetkellä 76 % kuvista luokista, joissa palvelua haettiin, tarkastetaan automaattisesti 98 %:n tarkastustarkkuudella.
- Johdonmukaisuus luottojen antamisessa – Opintopisteet jaetaan selkein kriteerein. Joissakin tapauksissa hyvitykset myönnettiin kuitenkin eri tavalla samanlaisista tapauksista tarkastajien arvioiden erojen vuoksi. ML-malli soveltaa sääntöjä johdonmukaisemmin ja johdonmukaisemmin luottokäytäntöjemme soveltamisessa.
- Vähentynyt inhimillinen virhe – Jokaiseen inhimilliseen toimintaan liittyy inhimillisten virheiden riski. Meillä oli esimerkiksi tapauksia, joissa tuotearvosteluissa käytettiin Style Review -kriteerejä. Automaattinen tarkastusmallimme pienensi dramaattisesti näiden inhimillisten virheiden riskiä.
Saimme seuraavat edut erityisesti käyttämällä Amazon SageMakeria kuvien tarkastusprosessin automatisointiin:
- Perustimme ympäristön, jossa voimme rakentaa ja testata malleja modulaaristen prosessien kautta – Pidimme eniten Amazon SageMakerista, että se koostuu moduuleista. Näin voimme rakentaa ja testata palveluita helposti ja nopeasti. Tarvitsimme luonnollisesti jonkin aikaa oppiaksemme Amazon SageMakerista aluksi, mutta opittuamme voimme helposti soveltaa sitä toimintaamme. Uskomme, että Amazon SageMaker on ihanteellinen yrityksille, jotka vaativat nopeaa palvelukehitystä, kuten MUSINSA Storen tapauksessa.
- Kerää luotettavia syöttötietoja Amazon SageMaker Ground Truthin avulla – Syöttötietojen kerääminen on ML:n alueella entistä tärkeämpää kuin itse mallintaminen. ML:n nopean kehityksen myötä esikoulutetut mallit voivat toimia paljon paremmin kuin ennen ja ilman lisäsäätöä. AutoML on myös poistanut tarpeen kirjoittaa koodeja ML-mallinnukseen. Siksi kyky kerätä laadukkaita syöttötietoja on tärkeämpää kuin koskaan, ja merkintäpalvelujen, kuten Amazon SageMaker Ground Truthin, käyttö on kriittistä.
Yhteenveto
Jatkossa aiomme automatisoida mallin tarjoilun lisäksi myös mallikoulutuksen automaattisten erien avulla. Haluamme mallimme tunnistavan optimaaliset hyperparametrit automaattisesti, kun uusia tarroja tai kuvia lisätään. Lisäksi jatkamme mallimme suorituskyvyn, eli takaisinkutsun ja tarkkuuden parantamista aiemmin mainitun automatisoidun harjoitusmenetelmän pohjalta. Lisäämme mallin kattavuutta, jotta se voi tarkastaa enemmän arvostelukuvia, vähentää kustannuksia ja saavuttaa korkeamman tarkkuuden, mikä johtaa parempaan asiakastyytyväisyyteen.
Saat lisätietoja käytöstä Amazon Sage Maker Voit ratkaista yrityksesi ongelmat ML:n avulla käymällä osoitteessa tuotteen verkkosivu. Ja kuten aina, pysy ajan tasalla uusimmista AWS Machine Learning News täällä.
Tämän viestin sisältö ja mielipiteet ovat kolmannen osapuolen kirjoittajan omia, eikä AWS ole vastuussa tämän viestin sisällöstä tai oikeellisuudesta.
Tietoja Tekijät
Jihyen puisto on MUSINSA:n tietotutkija, joka vastaa tietojen analysoinnista ja mallintamisesta. Hän rakastaa työskennellä kaikkialla olevien tietojen, kuten verkkokaupan, parissa. Hänen pääroolinsa on datamallinnus, mutta häntä kiinnostaa myös tietotekniikka.
Sungmin Kim on vanhempi ratkaisuarkkitehti Amazon Web Servicesissä. Hän työskentelee startup-yritysten kanssa arkkitehtiakseen, suunnitellakseen, automatisoidakseen ja rakentaakseen ratkaisuja AWS:lle heidän liiketoiminnan tarpeisiinsa. Hän on erikoistunut AI/ML:ään ja analytiikkaan.
- '
- "
- 000
- 100
- 107
- 98
- lisä-
- Airbnb
- Kaikki
- Amazon
- Amazon Sage Maker
- Amazon SageMaker Ground Totuus
- Amazon Web Services
- analyysi
- Analytics
- Apache
- ALUE
- Automatisoitu
- AWS
- PARAS
- elin
- merkit
- rakentaa
- Rakentaminen
- liiketoiminta
- yritykset
- tapauksissa
- haaste
- luokittelu
- CNN
- koodi
- Kerääminen
- luottamus
- Liitännät
- suostumus
- pitoisuus
- jatkaa
- Muuntaminen
- konvoluutiohermoverkko
- kustannukset
- pisteitä
- Laajuus
- asiakaskokemus
- Asiakastyytyväisyys
- Asiakkaat
- tiedot
- tietojen analysointi
- tietojen tutkija
- Väestötiedot
- Malli
- yksityiskohta
- kehittää
- Kehittäjä
- Kehitys
- Satamatyöläinen
- verkkokaupan
- Tekniikka
- ympäristö
- jne.
- experience
- Muoti
- Ominaisuudet
- Fed
- Etunimi
- ensimmäistä kertaa
- LAIVASTON
- Eteenpäin
- koko
- toiminto
- Antaminen
- Tavoitteet
- hyvä
- ruudukko
- vieras
- vieras Lähetä
- suuntaviivat
- tätä
- Miten
- Miten
- HTTPS
- Ihmiset
- IAM
- tunnistaa
- kuva
- IMAGEnet
- parantaminen
- Mukaan lukien
- Kasvaa
- tiedot
- Infrastruktuuri
- IT
- Työpaikat
- Korea
- merkinnät
- tarrat
- johtaa
- johtava
- OPPIA
- oppinut
- oppiminen
- kuormitus
- koneoppiminen
- Metrics
- ML
- malli
- mallintaminen
- modulaarinen
- seuranta
- nimittäin
- verkko
- hermo-
- neuroverkkomallien
- uutiset
- verkossa
- Operations
- Lausunnot
- Vaihtoehto
- Muut
- suorituskyky
- foorumi
- Platforms
- politiikkaa
- Tarkkuus
- Tuotteet
- tuotanto
- Tuotteemme
- osto
- Python
- laatu
- syistä
- vähentää
- tulokset
- arviot
- Arvostelut
- Riski
- säännöt
- ajaa
- sagemaker
- sdk
- Haku
- tunne
- Palvelut
- palvelevat
- Yksinkertainen
- So
- Ratkaisumme
- SOLVE
- Etelä
- Etelä-Korea
- erikoistunut
- Startups
- Valtiot
- pysyä
- Levytila
- verkkokaupasta
- toimitettu
- Tukee
- teini-ikä
- tensorflow
- testi
- aika
- työkalut
- liikenne
- koulutus
- Trendit
- oikeudenkäynti
- ui
- Päivitykset
- us
- tilavuus
- verkko
- verkkopalvelut
- KUKA
- sanoja
- Referenssit
- työnkulku
- toimii