How Clearly forutsier falske bestillinger med Amazon Fraud Detector

Dette innlegget ble skrevet av Ziv Pollak, maskinlæringsteamleder, og Sarvi Loloei, maskinlæringsingeniør hos Clearly. Innholdet og meningene i dette innlegget er de fra tredjepartsforfatterne, og AWS er ​​ikke ansvarlig for innholdet eller nøyaktigheten til dette innlegget.

Clearly, en pioner innen netthandel, lanserte sin første side i 2000. Siden den gang har vi vokst til å bli en av de største nettbrilleforhandlerne i verden, og gir kunder over hele Canada, USA, Australia og New Zealand briller, solbriller, kontaktlinser og andre øyehelseprodukter. Gjennom sitt oppdrag å eliminere dårlig syn, streber Clearly etter å gjøre briller rimelige og tilgjengelige for alle. Å lage en optimalisert svindeldeteksjonsplattform er en sentral del av denne bredere visjonen.

Identifisering av nettsvindel er en av de største utfordringene enhver nettbutikkorganisasjon har – hundretusenvis av dollar går tapt på grunn av svindel hvert år. Produktkostnader, fraktkostnader og lønnskostnader for håndtering av falske bestillinger øker virkningen av svindel ytterligere. Enkel og rask svindelvurdering er også avgjørende for å opprettholde høye kundetilfredshetsrater. Transaksjoner bør ikke forsinkes på grunn av langvarige etterforskningssykluser for svindel.

I dette innlegget deler vi hvordan Clearly bygde en automatisert og orkestrert prognosepipeline ved hjelp av AWS trinnfunksjoner, og brukt Amazon-svindeldetektor å trene en maskinlæringsmodell (ML) som kan identifisere falske transaksjoner på nettet og bringe dem til faktureringsoperasjonsteamet. Denne løsningen samler også inn beregninger og logger, gir revisjon og aktiveres automatisk.

Med AWS-tjenester implementerte Clearly en serverløs, godt utformet løsning på bare noen få uker.

Utfordringen: Forutsi svindel raskt og nøyaktig

Clearys eksisterende løsning var basert på flagging av transaksjoner ved hjelp av hardkodede regler som ikke ble oppdatert ofte nok til å fange opp nye svindelmønstre. Etter flagget ble transaksjonen gjennomgått manuelt av et medlem av faktureringsoperasjonsteamet.

Denne eksisterende prosessen hadde store ulemper:

• Ubøyelig og unøyaktig – De hardkodede reglene for å identifisere svindeltransaksjoner var vanskelige å oppdatere, noe som betyr at teamet ikke kunne reagere raskt på nye svindeltrender. Reglene klarte ikke å identifisere mange mistenkelige transaksjoner nøyaktig.
• Driftsintensivt – Prosessen kunne ikke skaleres til hendelser med høyt salgsvolum (som Black Friday), noe som krevde at teamet implementerte løsninger eller aksepterte høyere svindelrater. Dessuten ga det høye nivået av menneskelig involvering betydelige kostnader til produktleveringsprosessen.
• Forsinkede bestillinger – Tidslinjen for ordregjennomføring ble forsinket av manuelle svindelvurderinger, noe som førte til misfornøyde kunder.

Selv om vår eksisterende prosess for identifisering av svindel var et godt utgangspunkt, var den verken nøyaktig nok eller rask nok til å møte effektiviteten som Clearly ønsket.

En annen stor utfordring vi møtte var mangelen på et fast ML-team – alle medlemmene hadde vært i selskapet mindre enn ett år da prosjektet startet.

Oversikt over løsning: Amazon Fraud Detector

Amazon Fraud Detector er en fullstendig administrert tjeneste som bruker ML for å levere svært nøyaktig svindeldeteksjon og krever ingen ML-ekspertise. Alt vi trengte å gjøre var å laste opp dataene våre og følge noen få enkle trinn. Amazon Fraud Detector undersøkte automatisk dataene, identifiserte meningsfulle mønstre og produserte en svindelidentifikasjonsmodell som var i stand til å forutsi nye transaksjoner.

Følgende diagram illustrerer vår pipeline:

For å operasjonalisere flyten brukte vi følgende arbeidsflyt:

1. Amazon EventBridge ringer orkestreringsrørledningen hver time for å gjennomgå alle ventende transaksjoner.
2. Step Functions hjelper til med å administrere orkestreringspipeline.
3. An AWS Lambda funksjon samtaler Amazonas Athena APIer for å hente og klargjøre treningsdataene, lagret på Amazon enkel lagringstjeneste (Amazon S3).
4. En orkestrert pipeline med Lambda-funksjoner trener en Amazon Fraud Detector-modell og lagrer modellens ytelsesverdier i en S3-bøtte.
5. Amazon enkel varslingstjeneste (Amazon SNS) varsler brukere når et problem oppstår under svindeloppdagingsprosessen eller når prosessen fullføres.
6. Forretningsanalytikere bygger dashboards på Amazon QuickSight, som spør etter svindeldataene fra Amazon S3 ved hjelp av Athena, som vi beskriver senere i dette innlegget.

Vi valgte å bruke Amazon Fraud Detector av flere grunner:

• Tjenesten benytter seg av mange års ekspertise som Amazon har mot svindel. Dette ga oss mye tillit til tjenestens muligheter.
• Brukervennligheten og implementeringen gjorde at vi raskt kunne bekrefte at vi har datasettet vi trenger for å produsere nøyaktige resultater.
• Fordi Clearly ML-teamet var mindre enn 1 år gammelt, tillot en fullstendig administrert tjeneste oss å levere dette prosjektet uten å trenge dype tekniske ML-ferdigheter og kunnskaper.

Resultater

Ved å skrive prediksjonsresultatene inn i vår eksisterende datainnsjø kan vi bruke QuickSight til å bygge beregninger og dashbord for seniorledelse. Dette gjør dem i stand til å forstå og bruke disse resultatene når de tar beslutninger om de neste trinnene for å nå våre månedlige markedsføringsmål.

Vi var i stand til å presentere prognoseresultatene på to nivåer, med utgangspunkt i den generelle virksomhetens ytelse og deretter gå dypere inn i nødvendig ytelse for hver bransje (kontakter og briller).

Vårt dashbord inneholder følgende informasjon:

• Svindel per dag for ulike bransjer
  
• Inntektstap på grunn av svindeltransaksjoner
  
• Plassering av svindeltransaksjoner (identifisering av svindel hot spots)
  
• Svindeltransaksjoner påvirkes av forskjellige kupongkoder, noe som lar oss overvåke for problematiske kupongkoder og iverksette ytterligere tiltak for å redusere risikoen
  
• Svindel per time, som lar oss planlegge og administrere faktureringsoperasjonsteamet og sørge for at vi har ressurser tilgjengelig for å håndtere transaksjonsvolum når det er nødvendig

Konklusjoner

Effektiv og nøyaktig prediksjon av kundesvindel er en av de største utfordringene i ML for detaljhandel i dag, og å ha en god forståelse av kundene våre og deres oppførsel er avgjørende for Clearlys suksess. Amazon Fraud Detector ga en fullstendig administrert ML-løsning for enkelt å lage et nøyaktig og pålitelig svindelprediksjonssystem med minimal overhead. Amazon Fraud Detector-spådommer har en høy grad av nøyaktighet og er enkle å generere.

"Med ledende e-handelsverktøy som Virtuell prøve på, kombinert med vår enestående kundeservice, streber vi etter å hjelpe alle med å se klart på en rimelig og uanstrengt måte – noe som betyr hele tiden å lete etter måter å innovere, forbedre og effektivisere prosesser,” sa Dr. Ziv Pollak, maskinlæringsteamleder. "Online svindeloppdagelse er en av de største utfordringene innen maskinlæring i detaljhandelen i dag. På bare noen få uker hjalp Amazon Fraud Detector oss nøyaktig og pålitelig å identifisere svindel med svært høy nøyaktighet, og spare tusenvis av dollar."

---

om forfatteren

Dr. Ziv Pollak er en erfaren teknisk leder som forandrer måten organisasjoner bruker maskinlæring på for å øke inntektene, redusere kostnader, forbedre kundeservicen og sikre forretningssuksess. Han leder for tiden Machine Learning-teamet hos Clearly.

Sarvi Loloei er en Associate Machine Learning Engineer hos Clearly. Ved hjelp av AWS-verktøy evaluerer hun modellens effektivitet for å drive virksomhetsvekst, øke inntektene og optimalisere produktiviteten.

Kilde: https://aws.amazon.com/blogs/machine-learning/how-clearly-accurately-predicts-fraudulent-orders-using-amazon-fraud-detector/