Ez Jihye Park, a MUSINSA adatkutatója vendégbejegyzése.
MUSINSA Dél-Korea egyik legnagyobb online divatplatformja, amely 8.4 millió vásárlót szolgál ki, és 6,000 divatmárkát értékesít. Havi felhasználói forgalmunk eléri a 4 milliót, és demográfiai adataink több mint 90%-a tinédzserekből és fiatal felnőttekből áll, akik érzékenyek a divattrendekre. A MUSINSA az ország egyik vezető platformja, amely hatalmas mennyiségű adattal rendelkezik.
A MUSINSA Data Solution Team mindenben részt vesz a MUSINSA Store-ból gyűjtött adatokkal kapcsolatosan. Teljes stack fejlesztést végzünk a naplógyűjtéstől az adatmodellezésig és a modellszolgáltatásig. Különféle adatalapú termékeket fejlesztünk, köztük az alkalmazásunk főoldalán található Élő termékajánlási szolgáltatást és a Kulcsszókiemelő szolgáltatást, amely észleli és kiemeli a szöveges értékelésekből a „méret” vagy az „elégedettségi szint” kifejezéseket.
Kihívások az automatizált képellenőrzési folyamatban
A vásárlói vélemények minősége és mennyisége kritikus fontosságú az e-kereskedelmi vállalkozások számára, mivel az ügyfelek anélkül hoznak vásárlási döntéseket, hogy személyesen látnák a termékeket. Jóváírást adunk azoknak, akik képes értékelést írnak a megvásárolt termékekről (vagyis a termékekről fotóval ellátott véleményeket vagy fotókat a termékek viseléséről/használatáról) a vásárlói élmény fokozása és a vásárlási konverziós arány növelése érdekében. Annak megállapítása érdekében, hogy a beküldött fotók megfelelnek-e a besorolási kritériumainknak, az összes fotót egyenként megvizsgálják az emberek. Kritériumaink például kimondják, hogy a „Stílusértékelés”-nek a terméket viselő/használó személy teljes testét ábrázoló fényképeket kell tartalmaznia, míg a „Termékértékelés”-nek teljes képet kell adnia a termékről. A következő képek példákat mutatnak be a termékértékelésre és a stílusáttekintésre. A feltöltők hozzájárulását megadtuk a fotók felhasználásához.
Naponta több mint 20,000 XNUMX fényképet töltenek fel a MUSINSA Store platformra, amelyek ellenőrzést igényelnek. Az ellenőrzési folyamat a képeket „csomag”, „termék”, „teljes hosszúságú” vagy „félhosszú” kategóriába sorolja. A képellenőrzési folyamat teljesen manuális, ezért rendkívül időigényes volt, és az osztályozást a különböző személyek gyakran eltérően végzik, még az irányelvek betartása mellett is. Szembesülve ezzel a kihívással, használtuk Amazon SageMaker hogy automatizálja ezt a feladatot.
Az Amazon SageMaker egy teljesen felügyelt szolgáltatás gépi tanulási (ML) modellek építéséhez, betanításához és üzembe helyezéséhez bármilyen felhasználási esetre, teljesen felügyelt infrastruktúrával, eszközökkel és munkafolyamatokkal. Lehetővé tette, hogy gyorsan, jó eredménnyel megvalósíthassuk az automatizált képellenőrzési szolgáltatást.
Részletesen kitérünk arra, hogyan kezeltük a problémáinkat az ML modellek használatával, és hogyan használtuk az Amazon SageMaker alkalmazást.
Az áttekintési képvizsgálati folyamat automatizálása
Az első lépés az Image Review Inspection folyamat automatizálása felé a képek manuális címkézése volt, ezáltal a megfelelő kategóriákhoz és ellenőrzési kritériumokhoz illesztve őket. Például a képeket a „teljes test felvétele”, „felső test felvétele”, „csomagolási felvétel”, „termékfelvétel” stb. kategóriába soroltuk be. Termékértékelés esetén csak egy termékfelvételt kaptunk. Hasonlóképpen, a Stílusáttekintés esetében a teljes test felvételéért kaptak kreditet.
Ami a képosztályozást illeti, nagymértékben egy előre betanított konvolúciós neurális hálózat (CNN) modelltől függtünk a modellünk betanításához szükséges bemeneti képek puszta mennyisége miatt. Míg a képekből származó értelmes jellemzők meghatározása és kategorizálása egyaránt kritikus fontosságú a modell betanítása szempontjából, egy képnek korlátlan számú jellemzője lehet. Ezért a CNN-modell használata volt a legértelmesebb, és modellünket 10,000 XNUMX+ ImageNet adatkészlettel előzetesen betanítottuk, majd transzfer tanulást alkalmaztunk. Ez azt jelentette, hogy modellünket a későbbiekben hatékonyabban lehetett képezni képcímkéinkkel.
Képgyűjtemény az Amazon SageMaker Ground Truth segítségével
A transzfertanulásnak azonban megvoltak a maga korlátai, mert a modellt újonnan kell képezni magasabb rétegeken. Ez azt jelenti, hogy folyamatosan igényelte a bemeneti képeket. Másrészt ez a módszer jól teljesített, és kevesebb bemeneti képet igényelt, ha teljes rétegekre betanította. Könnyen azonosította a jellemzőket az ezekből a rétegekből származó képekből, mert már hatalmas mennyiségű adattal betanították. A MUSINSA-nál teljes infrastruktúránk AWS-en fut, és az ügyfelek által feltöltött fotókat a következő helyen tároljuk. Amazon Simple Storage Service (S3). Ezeket a képeket az általunk meghatározott címkék alapján különböző mappákba soroltuk, és az Amazon SageMaker Ground Truth alkalmazást a következő okok miatt használtuk:
- Konzisztensebb eredmények – A manuális folyamatokban egyetlen ellenőri hiba minden beavatkozás nélkül bekerülhetett a modellképzésbe. A SageMaker Ground Truth segítségével több ellenőr is megvizsgálhatja ugyanazt a képet, és megbizonyosodhat arról, hogy a legmegbízhatóbb ellenőrtől származó bemenetek magasabb minősítést kaptak a képcímkézés tekintetében, így megbízhatóbb eredményeket kaphatunk.
- Kevesebb kézi munka – A SageMaker Ground Truth automatizált adatcímkézés megbízhatósági pontszám küszöbértékkel alkalmazható, így minden olyan kép, amelyet nem lehet megbízhatóan gépi címkézni, emberi címkézésre kerül. Ez biztosítja a költségek és a pontosság legjobb egyensúlyát. További információ a Amazon SageMaker Ground Truth fejlesztői útmutató.
Ezzel a módszerrel 43%-kal csökkentettük a manuálisan osztályozott képek számát. A következő táblázat a Ground Truth elfogadását követően iterációnként feldolgozott képek számát mutatja (vegye figyelembe, hogy a betanítási és érvényesítési adatok felhalmozott adatok, míg a többi mérőszám iterációs alapon). - Az eredmények közvetlen betöltése – Amikor modelleket építünk a SageMakerben, betölthetjük a SageMaker Ground Truth által generált manifest fájlokat, és felhasználhatjuk őket a képzéshez.
Összefoglalva, 10,000 22 kép kategorizálásához 980 ellenőrre volt szükség öt napra, és XNUMX dollárba került.
Képosztályozási modell fejlesztése az Amazon SageMaker Studio segítségével
A felülvizsgálati képeket a teljes testről készült felvételek, a felsőtest felvételek, a csomagfelvételek, a termékfelvételek és a termékek megfelelő kategóriákba kellett sorolnunk. Céljaink eléréséhez két modellt vettünk figyelembe: a ResNet alapú SageMaker beépített modellt és a Tensorflow alapú MobileNet. Mindkettőt ugyanazon a tesztadatkészleten teszteltük, és azt találtuk, hogy a SageMaker beépített modellje pontosabb volt, 0.98 F1 pontszámmal, szemben a TensorFlow modell 0.88-as értékével. Ezért a SageMaker beépített modell mellett döntöttünk.
A SageMaker Stúdió- alapú modellképzési folyamat a következő volt:
- Importáljon címkézett képeket a SageMaker Ground Truth alkalmazásból
- Képek előfeldolgozása – képek átméretezése és bővítése
- Töltse be a Amazon SageMaker beépített modell Docker-képként
- Hangolja be a hiperparamétereket a rácskereséssel
- A transzfertanulás alkalmazása
- A paraméterek újrahangolása a képzési mutatók alapján
- Mentse el a modellt
A SageMaker egyszerűvé tette a modell betanítását egyetlen kattintással, anélkül, hogy a képzéshez szükséges szerverflotta kiépítése és kezelése miatt kellene aggódnia.
A hiperparaméteres esztergáláshoz rácsos keresést alkalmaztunk, hogy meghatározzuk a hiperparaméterek optimális értékét, mint a tanítási rétegek számát (num_layers
) és edzési ciklusok (epochs
) az átviteli tanulás során befolyásolta az osztályozási modellünk pontosságát.
Modell kiszolgálás SageMaker Batch Transform és Apache Airflow segítségével
Az általunk felépített képbesorolási modell ML munkafolyamatokat igényelt annak meghatározásához, hogy egy felülvizsgálati kép jogosult-e a kreditekre. A következő négy lépéssel munkafolyamatokat hoztunk létre.
- Importáljon áttekintési képeket és metaadatokat, amelyeket automatikusan felül kell vizsgálni
- Következtessen a képek címkéire (következtetés)
- Határozza meg, hogy kell-e krediteket adni a kikövetkeztetett címkék alapján
- Tárolja az eredménytáblázatot a termelési adatbázisban
Mi használjuk apache légáramlás adattermék-munkafolyamatok kezelésére. Ez az Airbnb által kifejlesztett munkafolyamat-ütemezési és -felügyeleti platform, amely az egyszerű és intuitív webes felhasználói felület grafikonjairól ismert. Támogatja az Amazon SageMaker-t, így könnyen áttelepíti a SageMaker Studio-val fejlesztett kódot az Apache Airflow-ba. Kétféleképpen lehet SageMaker-feladatokat futtatni az Apache Airflow-n:
- Amazon SageMaker operátorok használata
- <p></p> Python operátorok : Írjon Python függvényt az Amazon SageMaker Python SDK-val az Apache Airflow-n, és importálja hívható paraméterként
A második lehetőség engedje meg nekünk fenntartani a meglévő Pythonunkat kódok, amelyek már rendelkeztek a SageMaker Studio-ban, és ehhez nem kellett új nyelvtant tanulnunk az Amazon SageMaker operátorok számára.
Azonban néhány próbálkozáson és hibázáson mentünk keresztül, mivel ez volt az első alkalom, hogy az Apache Airflow-t integráltuk az Amazon SageMakerrel. A tanulságaink a következők voltak:
- Boto3 frissítés: Az Amazon SageMaker Python SDK 2. verziójához Boto3 1.14.12 vagy újabb szükséges. Ezért frissítenünk kellett a meglévő Apache Airflow környezetünk Boto3 verzióját, amely 1.13.4-es volt.
- IAM Szerep és engedély öröklése: Az Apache Airflow által használt AWS IAM-szerepköröknek örökölniük kellett az Amazon SageMakert futtatni képes szerepköröket.
- Hálózati konfiguráció: A SageMaker kódok Apache Airflow segítségével történő futtatásához a végpontjait be kellett állítani a hálózati kapcsolatokhoz. A következő végpontok az általunk használt AWS-régiókon és szolgáltatásokon alapultak. További információkért lásd a AWS weboldal.
api.sagemaker.ap-northeast-2.amazonaws.com
runtime.sagemaker.ap-northeast-2.amazonaws.com
aws.sagemaker.ap-northeast-2.studio
Eredmények
A felülvizsgálati képvizsgálati folyamatok automatizálásával a következő üzleti eredményeket értük el:
- Megnövelt munkavégzés hatékonysága – Jelenleg azon kategóriák képeinek 76%-a, ahol a szolgáltatást igénybe vették, automatikusan, 98%-os ellenőrzési pontossággal ellenőrzik.
- Következetesség a kreditek megadásakor – A kreditek egyértelmű kritériumok alapján történnek. Voltak azonban olyan esetek, amikor az ellenőrök eltérő megítélése miatt hasonló esetekre eltérően ítélték oda. Az ML-modell következetesebben alkalmazza a szabályokat hitelpolitikánkkal, és nagyobb következetességgel alkalmazza azokat.
- Csökkentett emberi hibák – Minden emberi tevékenység magában hordozza az emberi hibák kockázatát. Például előfordultak olyan esetek, amikor a termékértékelésekhez stílusellenőrzési kritériumokat használtunk. Automatikus ellenőrzési modellünk drámaian csökkentette ezen emberi hibák kockázatát.
Kifejezetten a következő előnyökhöz jutottunk az Amazon SageMaker használatával a képellenőrzési folyamat automatizálására:
- Olyan környezetet alakítottunk ki, ahol moduláris folyamatokon keresztül modelleket építhetünk és tesztelhetünk – Az Amazon SageMakerben az tetszett a legjobban, hogy modulokból áll. Ez lehetővé teszi számunkra, hogy egyszerűen és gyorsan építsük fel és teszteljük a szolgáltatásokat. Nyilvánvalóan kezdetben szükségünk volt egy kis időre, hogy megismerjük az Amazon SageMakert, de miután megtanultuk, könnyen alkalmazhatjuk a működésünkben. Úgy gondoljuk, hogy az Amazon SageMaker ideális a gyors szolgáltatásfejlesztést igénylő vállalkozások számára, mint például a MUSINSA Store esetében.
- Gyűjtsön megbízható bemeneti adatokat az Amazon SageMaker Ground Truth segítségével – A bemeneti adatok gyűjtése egyre fontosabb, mint maga a modellezés az ML területén. Az ML gyors fejlődésével az előre betanított modellek sokkal jobban teljesítenek, mint korábban, és további tuningolás nélkül. Az AutoML azt is megszüntette, hogy az ML modellezéshez kódokat kell írni. Ezért a minőségi bemeneti adatok gyűjtése fontosabb, mint valaha, és a címkézési szolgáltatások, például az Amazon SageMaker Ground Truth használata kritikus fontosságú.
Következtetés
A továbbiakban nem csak a modellszolgáltatást, hanem a modellképzést is automatizáljuk automata kötegekkel. Azt akarjuk, hogy modellünk automatikusan azonosítsa az optimális hiperparamétereket, amikor új címkéket vagy képeket adunk hozzá. Emellett folytatjuk a modellünk teljesítményének, nevezetesen a visszahívásoknak és a precizitásnak a fejlesztését a korábban említett automatizált képzési módszer alapján. Növeljük a modellek lefedettségét, hogy több felülvizsgálati képet tudjon megvizsgálni, több költséget csökkentsen, és nagyobb pontosságot érjen el, ami mind magasabb ügyfél-elégedettséghez vezet.
További információ a használat módjáról Amazon SageMaker üzleti problémáinak megoldásához az ML használatával látogassa meg a termék weboldala. És, mint mindig, mindig naprakész legyen a legújabb információkkal Az AWS gépi tanulási hírek itt.
A bejegyzés tartalma és véleménye a harmadik fél szerzője, és az AWS nem vállal felelősséget a bejegyzés tartalmáért vagy pontosságáért.
A szerzőkről
Jihye Park a MUSINSA adattudósa, aki adatelemzésért és modellezésért felel. Szeret mindenütt jelenlévő adatokkal, például az e-kereskedelemmel dolgozni. Fő feladata az adatmodellezés, de érdeklődik az adatkezelés iránt is.
Sungmin Kim Sr. Solutions Architect az Amazon Web Servicesnél. Kezdő vállalkozásokkal dolgozik, hogy megtervezze, megtervezze, automatizálja és építsen megoldásokat az AWS-re az üzleti igényeiknek megfelelően. Szakterülete az AI/ML és az Analytics.
- '
- "
- 000
- 100
- 107
- 98
- További
- Airbnb
- Minden termék
- amazon
- Amazon SageMaker
- Amazon SageMaker Ground Truth
- Az Amazon Web Services
- elemzés
- analitika
- Apache
- TERÜLET
- Automatizált
- AWS
- BEST
- test
- márka
- épít
- Épület
- üzleti
- vállalkozások
- esetek
- kihívás
- besorolás
- CNN
- kód
- Gyűjtő
- bizalom
- kapcsolatok
- beleegyezés
- tartalom
- folytatódik
- Átalakítás
- konvolúciós neurális hálózat
- kiadások
- hitel
- Credits
- Vásárlói élmény
- Vevői elégedettség
- Ügyfelek
- dátum
- adatelemzés
- adattudós
- Demográfiai
- Design
- részlet
- Fejleszt
- Fejlesztő
- Fejlesztés
- Dokkmunkás
- e-kereskedelem
- Mérnöki
- Környezet
- stb.
- tapasztalat
- Divat
- Jellemzők
- Fed
- vezetéknév
- első
- FLOTTA
- Előre
- Tele
- funkció
- Giving
- Célok
- jó
- Rács
- Vendég
- Vendég bejegyzés
- irányelvek
- itt
- Hogyan
- How To
- HTTPS
- Az emberek
- IAM
- azonosítani
- kép
- ImageNet
- javuló
- Beleértve
- Növelje
- információ
- Infrastruktúra
- IT
- Állások
- korea
- címkézés
- Címkék
- vezet
- vezető
- TANUL
- tanult
- tanulás
- kiszámításának
- gépi tanulás
- Metrics
- ML
- modell
- modellezés
- moduláris
- ellenőrzés
- ugyanis
- hálózat
- ideg-
- neurális hálózat
- hír
- online
- Művelet
- Vélemények
- opció
- Más
- teljesítmény
- emelvény
- Platformok
- Politikák
- Pontosság
- Termékek
- Termelés
- Termékek
- Vásárlás
- Piton
- világítás
- miatt
- csökkenteni
- Eredmények
- Kritika
- Vélemények
- Kockázat
- szabályok
- futás
- sagemaker
- sdk
- Keresés
- értelemben
- Szolgáltatások
- szolgáló
- Egyszerű
- So
- Megoldások
- SOLVE
- Dél
- Dél-Korea
- specializálódott
- Startups
- Államok
- tartózkodás
- tárolás
- tárolni
- benyújtott
- Támogatja
- Tinik
- tensorflow
- teszt
- idő
- szerszámok
- forgalom
- Képzések
- Trends
- próba
- ui
- Frissítések
- us
- kötet
- háló
- webes szolgáltatások
- WHO
- szavak
- Munka
- munkafolyamat
- művek