Amazon Fraud Detector를 사용하여 사기 주문을 얼마나 명확하게 예측하는지

이 게시물은 기계 학습 팀 리더인 Ziv Pollak과 Clearly의 기계 학습 엔지니어인 Sarvi Loloei가 공동 작성했습니다. 이 게시물의 내용과 의견은 제XNUMX자 작성자의 것이며 AWS는 이 게시물의 내용이나 정확성에 대해 책임을 지지 않습니다.

온라인 쇼핑의 선구자인 Clearly는 2000년에 첫 번째 사이트를 개설했습니다. 그 이후로 우리는 캐나다, 미국, 호주 및 뉴질랜드 전역의 고객에게 안경을 제공하는 세계 최대의 온라인 안경 소매업체 중 하나로 성장했습니다. 선글라스, 콘택트 렌즈 및 기타 눈 건강 제품. 시력 저하 문제를 해결한다는 사명을 통해 Clearly는 모든 사람이 저렴하고 접근 가능한 안경을 만들기 위해 노력합니다. 최적화된 사기 탐지 플랫폼을 만드는 것은 이 더 넓은 비전의 핵심 부분입니다.

온라인 사기를 식별하는 것은 모든 온라인 소매 조직이 겪는 가장 큰 문제 중 하나입니다. 매년 사기로 인해 수십만 달러가 손실됩니다. 사기 주문을 처리하기 위한 제품 비용, 배송 비용 및 인건비는 사기의 영향을 더욱 증가시킵니다. 쉽고 빠른 사기 평가는 높은 고객 만족도를 유지하는 데에도 중요합니다. 긴 사기 조사 주기로 인해 거래가 지연되어서는 안 됩니다.

이 게시물에서는 Clearly가 다음을 사용하여 자동화되고 조정된 예측 파이프라인을 구축한 방법을 공유합니다. AWS 단계 함수, 사용 아마존 사기 탐지기 온라인 사기 거래를 식별하고 청구 운영 팀의 주의를 끌 수 있는 기계 학습(ML) 모델을 교육합니다. 또한 이 솔루션은 메트릭과 로그를 수집하고 감사를 제공하며 자동으로 호출됩니다.

AWS 서비스를 통해 Clearly는 단 몇 주 만에 잘 설계된 서버리스 솔루션을 배포했습니다.

과제: 부정 행위를 빠르고 정확하게 예측

Clearly의 기존 솔루션은 새로운 사기 패턴을 포착할 수 있을 만큼 자주 업데이트되지 않는 하드 코딩된 규칙을 사용하여 플래그 지정 트랜잭션을 기반으로 했습니다. 플래그가 지정되면 청구 운영 팀의 구성원이 트랜잭션을 수동으로 검토했습니다.

이 기존 프로세스에는 다음과 같은 주요 단점이 있었습니다.

• 확고한 그리고 부정확 – 사기 거래를 식별하기 위한 하드 코딩된 규칙은 업데이트하기 어려웠기 때문에 팀이 새로운 사기 추세에 신속하게 대응할 수 없었습니다. 규칙은 많은 의심스러운 거래를 정확하게 식별하지 못했습니다.
• 운영 집약적 – 이 프로세스는 대량 판매 이벤트(예: 블랙 프라이데이)로 확장할 수 없었기 때문에 팀이 해결 방법을 구현하거나 더 높은 사기 비율을 수용해야 했습니다. 게다가 높은 수준의 인적 개입으로 인해 제품 배송 프로세스에 상당한 비용이 추가되었습니다.
• 지연된 주문 – 수동 사기 검토로 인해 주문 이행 일정이 지연되어 고객 불만이 발생했습니다.

기존의 사기 식별 프로세스는 좋은 출발점이었지만 Clearly가 원하는 주문 이행 효율성을 충족할 만큼 정확하거나 빠르지 않았습니다.

우리가 직면한 또 다른 주요 문제는 종신 ML 팀이 없다는 것이었습니다. 프로젝트가 시작되었을 때 모든 구성원이 회사에 근무한 지 XNUMX년이 채 되지 않았습니다.

솔루션 개요: Amazon Fraud Detector

Amazon Fraud Detector는 ML을 사용하여 매우 정확한 사기 탐지를 제공하고 ML 전문 지식이 필요하지 않은 완전 관리형 서비스입니다. 우리가 해야 할 일은 데이터를 업로드하고 몇 가지 간단한 단계를 따르는 것뿐이었습니다. Amazon Fraud Detector는 데이터를 자동으로 검사하고 의미 있는 패턴을 식별하며 새로운 거래를 예측할 수 있는 사기 식별 모델을 생성했습니다.

다음 다이어그램은 파이프라인을 보여줍니다.

흐름을 운용하기 위해 다음 워크플로를 적용했습니다.

1. 아마존 이벤트 브리지 오케스트레이션 파이프라인을 매시간 호출하여 보류 중인 모든 트랜잭션을 검토합니다.
2. Step Functions는 오케스트레이션 파이프라인을 관리하는 데 도움이 됩니다.
3. An AWS 람다 함수 호출 아마존 아테나 에 저장된 교육 데이터를 검색하고 준비하는 API 아마존 단순 스토리지 서비스 (아마존 S3).
4. Lambda 함수의 오케스트레이션된 파이프라인은 Amazon Fraud Detector 모델을 교육하고 모델 성능 지표를 S3 버킷에 저장합니다.
5. 아마존 단순 알림 서비스 (Amazon SNS)는 사기 감지 프로세스 중 문제가 발생하거나 프로세스가 성공적으로 완료되면 사용자에게 알립니다.
6. 비즈니스 분석가는 아마존 퀵 사이트, 이 게시물의 뒷부분에서 설명하는 것처럼 Athena를 사용하여 Amazon S3에서 사기 데이터를 쿼리합니다.

다음과 같은 몇 가지 이유로 Amazon Fraud Detector를 사용하기로 했습니다.

• 이 서비스는 Amazon이 사기와 싸우고 있는 수년간의 전문 지식을 활용합니다. 이를 통해 서비스의 기능에 대해 많은 확신을 갖게 되었습니다.
• 사용 및 구현의 용이성 덕분에 정확한 결과를 생성하는 데 필요한 데이터 세트가 있는지 신속하게 확인할 수 있었습니다.
• Clearly ML 팀은 설립된 지 1년이 되지 않았기 때문에 완전 관리형 서비스를 통해 심도 있는 ML 기술 및 지식 없이도 이 프로젝트를 제공할 수 있었습니다.

결과

예측 결과를 기존 데이터 레이크에 작성하면 QuickSight를 사용하여 고위 경영진을 위한 지표와 대시보드를 구축할 수 있습니다. 이를 통해 월간 마케팅 목표를 달성하기 위한 다음 단계에 대한 결정을 내릴 때 이러한 결과를 이해하고 사용할 수 있습니다.

우리는 전반적인 비즈니스 성과에서 시작하여 각 비즈니스 라인(렌즈 및 안경)별로 필요한 성능에 대해 더 깊이 들어가는 두 가지 수준에서 예측 결과를 제시할 수 있었습니다.

대시보드에는 다음 정보가 포함되어 있습니다.

• 다양한 비즈니스 라인별 일일 사기
  
• 사기 거래로 인한 수익 손실
  
• 사기 거래 위치(사기 핫스팟 식별)
  
• 다양한 쿠폰 코드가 사기 거래에 영향을 미치므로 문제가 있는 쿠폰 코드를 모니터링하고 위험을 줄이기 위한 추가 조치를 취할 수 있습니다.
  
• 시간당 사기로 청구 운영팀을 계획 및 관리하고 필요할 때 거래량을 처리할 수 있는 리소스가 있는지 확인할 수 있습니다.

결론

고객 사기에 대한 효과적이고 정확한 예측은 오늘날 소매업을 위한 ML의 가장 큰 과제 중 하나이며 고객과 그들의 행동을 잘 이해하는 것은 Clearly의 성공에 매우 중요합니다. Amazon Fraud Detector는 최소한의 오버헤드로 정확하고 신뢰할 수 있는 사기 예측 시스템을 쉽게 생성할 수 있는 완전관리형 ML 솔루션을 제공했습니다. Amazon Fraud Detector 예측은 정확도가 높고 생성이 간단합니다.

"다음과 같은 주요 전자 상거래 도구를 사용하여 가상 시도, 비교할 수 없는 고객 서비스와 결합하여 모든 사람이 저렴하고 수월한 방식으로 명확하게 볼 수 있도록 노력합니다."라고 기계 학습 팀 리더인 Ziv Pollak 박사는 말했습니다. “온라인 사기 탐지는 오늘날 소매업에서 기계 학습의 가장 큰 과제 중 하나입니다. 불과 몇 주 만에 Amazon Fraud Detector를 통해 매우 높은 수준의 정확도로 사기를 정확하고 안정적으로 식별하고 수천 달러를 절약할 수 있었습니다."

저자에 관하여

지브 폴락 박사 조직이 기계 학습을 사용하여 수익을 늘리고, 비용을 절감하고, 고객 서비스를 개선하고, 비즈니스 성공을 보장하는 방식을 혁신하는 숙련된 기술 리더입니다. 그는 현재 Clearly에서 기계 학습 팀을 이끌고 있습니다.

사르비 롤로에이 Clearly의 Associate Machine Learning Engineer입니다. 그녀는 AWS 도구를 사용하여 모델 효율성을 평가하여 비즈니스 성장을 촉진하고 수익을 늘리며 생산성을 최적화합니다.

출처: https://aws.amazon.com/blogs/machine-learning/how-clearly-accurately-predicts-fraudulent-orders-using-amazon-fraud-detector/