How Clearly præcist forudsiger svigagtige ordrer ved hjælp af Amazon Fraud Detector

Dette indlæg er skrevet af Ziv Pollak, Machine Learning Team Lead, og Sarvi Loloei, Machine Learning Engineer hos Clearly. Indholdet og meningerne i dette indlæg er tredjepartsforfatterne, og AWS er ​​ikke ansvarlig for indholdet eller nøjagtigheden af ​​dette indlæg.

Clearly var en pioner inden for online shopping og lancerede deres første side i 2000. Siden da er vi vokset til at blive en af ​​de største online brilleforhandlere i verden, og forsyner kunder i Canada, USA, Australien og New Zealand med briller, solbriller, kontaktlinser og andre øjensundhedsprodukter. Gennem sin mission om at eliminere dårligt syn stræber Clearly efter at gøre briller overkommelige og tilgængelige for alle. At skabe en optimeret platform for opdagelse af bedrageri er en vigtig del af denne bredere vision.

Identifikation af online-svindel er en af ​​de største udfordringer, enhver online-detailorganisation har – hundredtusindvis af dollars går tabt på grund af svindel hvert år. Produktomkostninger, forsendelsesomkostninger og arbejdsomkostninger til håndtering af svigagtige ordrer øger virkningen af ​​svindel yderligere. Nem og hurtig svindelvurdering er også afgørende for at opretholde høje kundetilfredshedsrater. Transaktioner bør ikke forsinkes på grund af lange svindelundersøgelsescyklusser.

I dette indlæg deler vi, hvordan Clearly byggede en automatiseret og orkestreret prognosepipeline vha AWS-trinfunktioner, og brugt Amazon svindeldetektor at træne en maskinlæringsmodel (ML), der kan identificere svigagtige onlinetransaktioner og bringe dem til faktureringsteamets opmærksomhed. Denne løsning indsamler også metrics og logfiler, leverer revision og aktiveres automatisk.

Med AWS-tjenester implementerede Clearly en serverløs, veldesignet løsning på blot et par uger.

Udfordringen: At forudsige svindel hurtigt og præcist

Clearlys eksisterende løsning var baseret på at markere transaktioner ved hjælp af hårdkodede regler, der ikke blev opdateret ofte nok til at fange nye svindelmønstre. Efter markering blev transaktionen manuelt gennemgået af et medlem af faktureringsteamet.

Denne eksisterende proces havde store ulemper:

• Ufleksibel og unøjagtige – De hårdtkodede regler til at identificere svindeltransaktioner var svære at opdatere, hvilket betyder, at teamet ikke kunne reagere hurtigt på nye svindeltendenser. Reglerne var ikke i stand til nøjagtigt at identificere mange mistænkelige transaktioner.
• Driftsintensivt – Processen kunne ikke skaleres til hændelser med høj salgsvolumen (som Black Friday), hvilket krævede, at teamet implementerede løsninger eller accepterede højere svindelsatser. Desuden tilføjede det høje niveau af menneskelig involvering betydelige omkostninger til produktleveringsprocessen.
• Forsinkede ordrer – Tidslinjen for ordreopfyldelse blev forsinket af manuelle svindelgennemgange, hvilket førte til utilfredse kunder.

Selvom vores eksisterende svindelidentifikationsproces var et godt udgangspunkt, var den hverken nøjagtig nok eller hurtig nok til at opfylde de ordreudførelseseffektiviteter, som Clearly ønskede.

En anden stor udfordring, vi stod over for, var manglen på et fast ML-team – alle medlemmer havde været i virksomheden mindre end et år, da projektet startede.

Oversigt over løsning: Amazon Fraud Detector

Amazon Fraud Detector er en fuldt administreret tjeneste, der bruger ML til at levere meget nøjagtig svindeldetektion og kræver ingen ML-ekspertise. Det eneste, vi skulle gøre, var at uploade vores data og følge et par enkle trin. Amazon Fraud Detector undersøgte automatisk dataene, identificerede meningsfulde mønstre og producerede en svigidentifikationsmodel, der var i stand til at forudsige nye transaktioner.

Følgende diagram illustrerer vores pipeline:

For at operationalisere flowet har vi anvendt følgende workflow:

1. Amazon Eventbridge ringer til orkestreringspipelinen hver time for at gennemgå alle afventende transaktioner.
2. Step Functions hjælper med at styre orkestreringspipelinen.
3. An AWS Lambda funktionskald Amazonas Athena API'er til at hente og forberede træningsdataene, gemt på Amazon Simple Storage Service (Amazon S3).
4. En orkestreret pipeline af Lambda-funktioner træner en Amazon Fraud Detector-model og gemmer modellens ydeevnemålinger i en S3-spand.
5. Amazon Simple Notification Service (Amazon SNS) giver brugerne besked, når der opstår et problem under svindeldetekteringsprocessen, eller når processen er fuldført.
6. Forretningsanalytikere bygger dashboards på Amazon QuickSight, som forespørger om svindeldata fra Amazon S3 ved hjælp af Athena, som vi beskriver senere i dette indlæg.

Vi valgte at bruge Amazon Fraud Detector af et par grunde:

• Tjenesten udnytter mange års ekspertise, som Amazon har i bekæmpelse af svindel. Dette gav os en masse tillid til tjenestens muligheder.
• Brugervenligheden og implementeringen gjorde det muligt for os hurtigt at bekræfte, at vi har det datasæt, vi skal bruge for at producere nøjagtige resultater.
• Fordi Clearly ML-teamet var mindre end 1 år gammelt, gjorde en fuldt administreret service det muligt for os at levere dette projekt uden at have brug for dybe tekniske ML-færdigheder og viden.

Resultater

At skrive forudsigelsesresultaterne ind i vores eksisterende datasø giver os mulighed for at bruge QuickSight til at bygge metrics og dashboards til seniorledelse. Dette gør dem i stand til at forstå og bruge disse resultater, når de træffer beslutninger om de næste trin for at nå vores månedlige marketingmål.

Vi var i stand til at præsentere de forventede resultater på to niveauer, begyndende med den overordnede virksomhedspræstation og derefter gå dybere ind i den nødvendige præstation for hver branche (kontakter og briller).

Vores dashboard indeholder følgende oplysninger:

• Svig pr. dag pr. forskellige brancher
  
• Indtægtstab på grund af svigtransaktioner
  
• Placering af svindeltransaktioner (identifikation af svindel hot spots)
  
• Svigtransaktioner påvirkes af forskellige kuponkoder, hvilket giver os mulighed for at overvåge for problematiske kuponkoder og træffe yderligere handlinger for at reducere risikoen
  
• Svindel pr. time, som giver os mulighed for at planlægge og administrere faktureringsteamet og sikre, at vi har ressourcer til rådighed til at håndtere transaktionsvolumen, når det er nødvendigt

konklusioner

Effektiv og præcis forudsigelse af kundesvindel er en af ​​de største udfordringer i ML for detail i dag, og at have en god forståelse for vores kunder og deres adfærd er afgørende for Clearlys succes. Amazon Fraud Detector leverede en fuldt administreret ML-løsning til nemt at skabe et nøjagtigt og pålideligt svindelforudsigelsessystem med minimal overhead. Amazon Fraud Detector forudsigelser har en høj grad af nøjagtighed og er enkle at generere.

"Med førende e-handelsværktøjer som Virtuel prøve på, kombineret med vores enestående kundeservice stræber vi efter at hjælpe alle med at se klart på en overkommelig og ubesværet måde - hvilket betyder konstant at lede efter måder at innovere, forbedre og strømline processer,” sagde Dr. Ziv Pollak, maskinlæringsteamleder. “Online svindeldetektion er en af ​​de største udfordringer inden for maskinlæring i detailhandlen i dag. På blot et par uger hjalp Amazon Fraud Detector os præcist og pålideligt at identificere svindel med et meget højt niveau af nøjagtighed og spare tusindvis af dollars."

---

Om forfatteren

Dr. Ziv Pollak er en erfaren teknisk leder, der transformerer den måde, organisationer bruger maskinlæring på til at øge omsætningen, reducere omkostningerne, forbedre kundeservicen og sikre virksomhedens succes. Han leder i øjeblikket Machine Learning-teamet hos Clearly.

Sarvi Loloei er Associate Machine Learning Engineer hos Clearly. Ved hjælp af AWS-værktøjer evaluerer hun modellens effektivitet for at drive virksomhedsvækst, øge omsætningen og optimere produktiviteten.

Kilde: https://aws.amazon.com/blogs/machine-learning/how-clearly-accurately-predicts-fraudulent-orders-using-amazon-fraud-detector/