Aceasta este o postare invitată de Jihye Park, un Data Scientist la MUSINSA.
MUSINSA este una dintre cele mai mari platforme de modă online din Coreea de Sud, care deservește 8.4 milioane de clienți și vinde 6,000 de mărci de modă. Traficul nostru lunar de utilizatori ajunge la 4 milioane, iar peste 90% din datele noastre demografice constau din adolescenți și tineri adulți sensibili la tendințele modei. MUSINSA este un lider de platformă de tendințe în țară, lider cu cantități masive de date.
Echipa MUSINSA Data Solution se angajează în tot ceea ce ține de datele colectate din Magazinul MUSINSA. Facem dezvoltare completă a stivei de la colectarea jurnalelor până la modelarea datelor și servirea modelelor. Dezvoltăm diverse produse bazate pe date, inclusiv Serviciul de recomandare de produse în direct de pe pagina principală a aplicației și Serviciul de evidențiere a cuvintelor cheie care detectează și evidențiază cuvinte precum „mărime” sau „nivel de satisfacție” din recenziile textului.
Provocări în procesul de verificare automată a imaginilor
Calitatea și cantitatea recenziilor clienților sunt esențiale pentru afacerile de comerț electronic, deoarece clienții iau decizii de cumpărare fără a vedea produsele în persoană. Oferim credite celor care scriu recenzii de imagini despre produsele pe care le-au achiziționat (adică recenzii cu fotografii ale produselor sau fotografii cu aceștia purtând/folosind produsele) pentru a îmbunătăți experiența clienților și a crește rata de conversie a achiziției. Pentru a determina dacă fotografiile trimise îndeplinesc criteriile noastre pentru credite, toate fotografiile sunt inspectate individual de oameni. De exemplu, criteriile noastre afirmă că o „Evaluare de stil” ar trebui să conțină fotografii care prezintă întregul corp al unei persoane care poartă/folosește produsul, în timp ce „Evaluarea produsului” ar trebui să ofere o fotografie completă a produsului. Următoarele imagini prezintă exemple de revizuire a produsului și revizuire de stil. Consimțământul celor care au încărcat a fost acordat pentru utilizarea fotografiilor.
Peste 20,000 de fotografii sunt încărcate zilnic pe platforma Magazinului MUSINSA care necesită inspecție. Procesul de inspecție clasifică imaginile ca „pachet”, „produs”, „lungime completă” sau „lungime pe jumătate”. Procesul de inspecție a imaginii este complet manual, așa că a fost extrem de consumator de timp și clasificările sunt adesea făcute diferit de către diferiți indivizi, chiar și cu liniile directoare. În fața acestei provocări, am folosit Amazon SageMaker pentru a automatiza această sarcină.
Amazon SageMaker este un serviciu complet gestionat pentru construirea, instruirea și implementarea modelelor de învățare automată (ML) pentru orice caz de utilizare cu infrastructură, instrumente și fluxuri de lucru complet gestionate. Ne-a permis să implementăm rapid serviciul de inspecție automată a imaginii cu rezultate bune.
Vom intra în detaliu despre cum ne-am abordat problemele folosind modele ML și am folosit Amazon SageMaker pe parcurs.
Automatizarea procesului de verificare a imaginii
Primul pas către automatizarea procesului de inspecție a revizuirii imaginilor a fost etichetarea manuală a imaginilor, potrivindu-le astfel cu categoriile și criteriile de inspecție adecvate. De exemplu, am clasificat imaginile ca „fotografie completă a corpului”, „fotografie superioară a corpului”, „fotografie de ambalaj”, „fotografie de produs” etc. În cazul unei recenzii de produs, creditele au fost acordate numai pentru o imagine de fotografiere a produsului. De asemenea, în cazul unui Style Review, au fost acordate credite pentru o fotografie completă a corpului.
În ceea ce privește clasificarea imaginilor, am depins în mare măsură de un model de rețea neuronală convoluțională (CNN) pre-antrenată din cauza volumului mare de imagini de intrare necesare pentru a antrena modelul nostru. În timp ce definirea și clasificarea caracteristicilor semnificative din imagini sunt atât esențiale pentru formarea unui model, o imagine poate avea un număr nelimitat de caracteristici. Prin urmare, utilizarea modelului CNN a avut cel mai mult sens și ne-am pregătit modelul cu peste 10,000 de seturi de date ImageNet, apoi am folosit transferul de învățare. Acest lucru a însemnat că modelul nostru ar putea fi antrenat mai eficient cu etichetele noastre de imagini mai târziu.
Colecție de imagini cu Amazon SageMaker Ground Truth
Cu toate acestea, învățarea prin transfer a avut propriile limitări, deoarece un model trebuie să fie nou antrenat pe straturi superioare. Aceasta înseamnă că a necesitat în mod constant imagini de intrare. Pe de altă parte, această metodă a funcționat bine și a necesitat mai puține imagini de intrare atunci când a fost antrenată pe straturi întregi. A identificat cu ușurință caracteristicile din imaginile din aceste straturi, deoarece fusese deja antrenat cu o cantitate masivă de date. La MUSINSA, întreaga noastră infrastructură rulează pe AWS și stocăm fotografiile încărcate de clienți în Serviciul de stocare simplă Amazon (S3). Am clasificat aceste imagini în dosare diferite pe baza etichetelor pe care le-am definit și am folosit Amazon SageMaker Ground Truth din următoarele motive:
- Rezultate mai consistente – În procesele manuale, greșeala unui singur inspector ar putea fi introdusă în formarea modelului fără nicio intervenție. Cu SageMaker Ground Truth, am putea avea mai mulți inspectori să examineze aceeași imagine și să ne asigurăm că intrările celui mai demn de încredere au fost evaluate mai sus pentru etichetarea imaginii, conducând astfel la rezultate mai fiabile.
- Mai puțină muncă manuală – Etichetarea automată a datelor SageMaker Ground Truth poate fi aplicată cu un prag de scor de încredere, astfel încât orice imagini care nu pot fi etichetate cu încredere de către mașină să fie trimise pentru etichetare umană. Acest lucru asigură cel mai bun echilibru între cost și precizie. Mai multe informații sunt disponibile în Ghid pentru dezvoltatori Amazon SageMaker Ground Truth.
Folosind această metodă, am redus numărul de imagini clasificate manual cu 43%. Următorul tabel arată numărul de imagini procesate pe iterație după ce am adoptat Ground Truth (rețineți că datele de instruire și validare sunt date acumulate, în timp ce celelalte valori sunt pe o bază de iterație). - Încărcați direct rezultatele – Când construim modele în SageMaker, am putea încărca fișierele manifest rezultate generate de SageMaker Ground Truth și le putem folosi pentru antrenament.
Pe scurt, categorizarea a 10,000 de imagini a necesitat 22 de inspectori cinci zile și a costat 980 USD.
Dezvoltarea modelului de clasificare a imaginilor cu Amazon SageMaker Studio
Trebuia să clasificăm imaginile de recenzie ca fotografii întregi ale corpului, fotografii din partea superioară a corpului, fotografii de pachet, fotografii de produse și produse în categorii aplicabile. Pentru a ne îndeplini obiectivele, am luat în considerare două modele: modelul încorporat SageMaker bazat pe ResNet și modelul MobileNet bazat pe Tensorflow. Am testat ambele pe aceleași seturi de date de testare și am constatat că modelul încorporat SageMaker a fost mai precis, cu un scor F0.98 de 1 față de 0.88 de la modelul TensorFlow. Prin urmare, ne-am hotărât asupra modelului încorporat SageMaker.
SageMaker StudioProcesul de formare bazat pe model a fost după cum urmează:
- Importați imagini etichetate din SageMaker Ground Truth
- Preprocesează imagini – redimensionarea și mărirea imaginii
- Încărcați Model încorporat Amazon SageMaker ca imagine Docker
- Reglați hiperparametrii prin căutarea în grilă
- Aplicați învățarea prin transfer
- Reajustați parametrii pe baza valorilor de antrenament
- Salvați modelul
SageMaker a făcut simplu să antreneze modelul cu un singur clic și fără a-ți face griji cu privire la furnizarea și gestionarea unei flote de servere pentru instruire.
Pentru rotirea hiperparametrilor, am folosit căutarea pe grilă pentru a determina valorile optime ale hiperparametrilor, ca număr de straturi de antrenament (num_layers
) și cicluri de pregătire (epochs
) în timpul învățării prin transfer a afectat acuratețea modelului nostru de clasificare.
Servirea modelului cu SageMaker Batch Transform și Apache Airflow
Modelul de clasificare a imaginilor pe care l-am creat a necesitat fluxuri de lucru ML pentru a determina dacă o imagine de revizuire a fost calificată pentru credite. Am stabilit fluxuri de lucru cu următorii patru pași.
- Importați imagini de recenzie și metadate care trebuie revizuite automat
- Deduceți etichetele imaginilor (inferență)
- Determinați dacă creditele ar trebui acordate pe baza etichetelor deduse
- Stocați tabelul cu rezultate în baza de date de producție
Folosim Flux de aer Apache pentru a gestiona fluxurile de lucru ale produselor de date. Este o platformă de programare și monitorizare a fluxului de lucru dezvoltată de Airbnb, cunoscută pentru graficele simple și intuitive ale UI web. Acceptă Amazon SageMaker, deci migrează cu ușurință codul dezvoltat cu SageMaker Studio în Apache Airflow. Există două moduri de a rula joburi SageMaker pe Apache Airflow:
- Utilizarea operatorilor Amazon SageMaker
- Utilizarea Operatori Python : scrieți o funcție Python cu Amazon SageMaker Python SDK pe Apache Airflow și importați-o ca parametru apelabil
A doua variantă ne lasă menține Python-ul nostru existent coduri pe care le aveam deja pe SageMaker Studio, și nu ne-a impus să învățăm noi gramatici pentru operatorii Amazon SageMaker.
Cu toate acestea, am trecut prin încercări și erori, deoarece a fost prima dată când integrăm Apache Airflow cu Amazon SageMaker. Lecțiile pe care le-am învățat au fost:
- Actualizare Boto3: Amazon SageMaker Python SDK versiunea 2 necesită Boto3 1.14.12 sau mai recent. Prin urmare, trebuia să actualizăm versiunea Boto3 a mediului nostru existent Apache Airflow, care era la 1.13.4.
- Rolul IAM și moștenirea permisiunii: rolurile AWS IAM utilizate de Apache Airflow trebuiau să moștenească roluri care ar putea rula Amazon SageMaker.
- Configurarea Rețelei: Pentru a rula coduri SageMaker cu Apache Airflow, punctele finale ale acestuia trebuiau configurate pentru conexiuni de rețea. Următoarele puncte finale s-au bazat pe regiunile și serviciile AWS pe care le folosim. Pentru mai multe informații, consultați Site-ul web AWS.
api.sagemaker.ap-northeast-2.amazonaws.com
runtime.sagemaker.ap-northeast-2.amazonaws.com
aws.sagemaker.ap-northeast-2.studio
Rezultate
Prin automatizarea proceselor de inspecție a imaginilor de revizuire, am obținut următoarele rezultate comerciale:
- Eficiență crescută a muncii – În prezent, 76% din imaginile categoriilor în care a fost aplicat serviciul sunt inspectate automat cu o acuratețe de inspecție de 98%.
- Consecvență în acordarea creditelor – Creditele sunt acordate pe baza unor criterii clare. Cu toate acestea, au existat ocazii în care creditele au fost acordate diferit pentru cazuri similare, din cauza diferențelor de judecată ale inspectorilor. Modelul ML aplică reguli mai consecvent și mai consecvent în aplicarea politicilor noastre de credit.
- Reducerea erorilor umane – Fiecare angajament uman implică un risc de erori umane. De exemplu, am avut cazuri în care au fost folosite criteriile de revizuire a stilului pentru recenziile produselor. Modelul nostru de inspecție automată a redus dramatic riscurile acestor erori umane.
Am obținut următoarele beneficii în mod specific utilizând Amazon SageMaker pentru a automatiza procesul de inspecție a imaginii:
- Am stabilit un mediu în care putem construi și testa modele prin procese modulare – Ce ne-a plăcut cel mai mult la Amazon SageMaker este că este format din module. Acest lucru ne permite să construim și să testăm servicii ușor și rapid. Evident, am avut nevoie de ceva timp pentru a învăța despre Amazon SageMaker la început, dar odată ce am învățat, l-am putea aplica cu ușurință în operațiunile noastre. Credem că Amazon SageMaker este ideal pentru afacerile care necesită dezvoltări rapide de servicii, ca în cazul Magazinului MUSINSA.
- Colectați date de intrare fiabile cu Amazon SageMaker Ground Truth – Colectarea datelor de intrare devine din ce în ce mai importantă decât modelarea în sine în zona ML. Odată cu avansarea rapidă a ML, modelele pre-antrenate pot funcționa mult mai bine decât înainte și fără reglaje suplimentare. AutoML a eliminat, de asemenea, nevoia de a scrie coduri pentru modelarea ML. Prin urmare, capacitatea de a colecta date de intrare de calitate este mai importantă ca niciodată, iar utilizarea serviciilor de etichetare precum Amazon SageMaker Ground Truth este critică.
Concluzie
În continuare, intenționăm să automatizăm nu numai difuzarea modelelor, ci și instruirea modelelor prin loturi automate. Dorim ca modelul nostru să identifice automat hiperparametrii optimi atunci când sunt adăugate noi etichete sau imagini. În plus, vom continua să îmbunătățim performanța modelului nostru, și anume rechemarile și precizia, pe baza metodei de antrenament automate menționate anterior. Vom crește acoperirea modelului nostru, astfel încât acesta să poată inspecta mai multe imagini de recenzie, să reducă mai multe costuri și să obțină o precizie mai mare, ceea ce va duce la o mai mare satisfacție a clienților.
Pentru mai multe informații despre modul de utilizare Amazon SageMaker pentru a vă rezolva problemele de afaceri folosind ML, vizitați pagina web a produsului. Și, ca întotdeauna, fiți la curent cu cele mai recente Știri AWS Machine Learning aici.
Conținutul și opiniile din această postare sunt cele ale autorului terț, iar AWS nu este responsabilă pentru conținutul sau acuratețea acestei postări.
Despre Autori
Parcul Jihye este Data Scientist la MUSINSA, care este responsabil cu analiza și modelarea datelor. Îi place să lucreze cu date omniprezente, cum ar fi comerțul electronic. Rolul ei principal este modelarea datelor, dar are interese și în ingineria datelor.
Sungmin Kim este arhitect senior de soluții la Amazon Web Services. Lucrează cu startup-uri pentru a proiecta, a automatiza și a construi soluții pe AWS pentru nevoile lor de afaceri. El este specializat în AI/ML și Analytics.
- '
- "
- 000
- 100
- 107
- 98
- Suplimentar
- Airbnb
- TOATE
- Amazon
- Amazon SageMaker
- Amazon SageMaker Ground Adevăr
- Amazon Web Services
- analiză
- Google Analytics
- Apache
- ZONĂ
- Automata
- AWS
- CEL MAI BUN
- corp
- marci
- construi
- Clădire
- afaceri
- întreprinderi
- cazuri
- contesta
- clasificare
- CNN
- cod
- Colectare
- încredere
- Conexiuni
- consimţământ
- conţinut
- continua
- Convertire
- rețea neuronală convoluțională
- Cheltuieli
- credit
- credite
- experienta clientului
- Satisfactia clientului
- clienţii care
- de date
- analiza datelor
- om de știință de date
- Criterii demografice
- Amenajări
- detaliu
- dezvolta
- Dezvoltator
- Dezvoltare
- Docher
- E-commerce
- Inginerie
- Mediu inconjurator
- etc
- experienţă
- Modă
- DESCRIERE
- fed-
- First
- prima dată
- FLOTA
- Înainte
- Complet
- funcţie
- Oferirea
- Goluri
- bine
- Grilă
- Oaspete
- Vizitator Mesaj
- orientări
- aici
- Cum
- Cum Pentru a
- HTTPS
- Oamenii
- IAM
- identifica
- imagine
- IMAGEnet
- îmbunătățirea
- Inclusiv
- Crește
- informații
- Infrastructură
- IT
- Locuri de munca
- Coreea
- etichetarea
- etichete
- conduce
- conducere
- AFLAȚI
- învățat
- învăţare
- încărca
- masina de învățare
- Metrici
- ML
- model
- modelare
- modular
- Monitorizarea
- și anume
- reţea
- neural
- rețele neuronale
- ştiri
- on-line
- Operațiuni
- Avize
- Opțiune
- Altele
- performanță
- platformă
- Platforme
- Politicile
- Precizie
- Produs
- producere
- Produse
- cumpărare
- Piton
- calitate
- motive
- reduce
- REZULTATE
- revizuiască
- Recenzii
- Risc
- norme
- Alerga
- sagemaker
- sdk
- Caută
- sens
- Servicii
- servire
- simplu
- So
- soluţii
- REZOLVAREA
- Sud
- Coreea de Sud
- specializată
- Startup-urile
- Statele
- şedere
- depozitare
- stoca
- prezentat
- Sprijină
- Adolescenţi
- tensorflow
- test
- timp
- Unelte
- trafic
- Pregătire
- Tendinţe
- proces
- ui
- Actualizează
- us
- volum
- web
- servicii web
- OMS
- cuvinte
- Apartamente
- flux de lucru
- fabrică