अमेज़ॅन फ्रॉड डिटेक्टर के लिए स्वचालित डेटा प्रोफाइलर के साथ मॉडलों को तेजी से प्रशिक्षित करें

अमेज़ॅन फ्रॉड डिटेक्टर एक पूरी तरह से प्रबंधित सेवा है जो संभावित धोखाधड़ी वाली ऑनलाइन गतिविधियों, जैसे नकली खातों का निर्माण या ऑनलाइन भुगतान धोखाधड़ी की पहचान करना आसान बनाती है। अमेज़ॅन फ्रॉड डिटेक्टर हुड के तहत मशीन लर्निंग (एमएल) का उपयोग करता है और अमेज़ॅन की 20 वर्षों से अधिक की धोखाधड़ी का पता लगाने की विशेषज्ञता पर आधारित है। यह स्वचालित रूप से मिलीसेकंड में संभावित धोखाधड़ी वाली गतिविधि की पहचान करता है - बिना किसी एमएल विशेषज्ञता की आवश्यकता के।

अमेज़ॅन फ्रॉड डिटेक्टर में एक मॉडल को प्रशिक्षित करने के लिए, आपको एक ऐतिहासिक डेटासेट प्रदान करना होगा। अमेज़ॅन फ्रॉड डिटेक्टर का उपयोग करने के लिए किसी डेटा विज्ञान ज्ञान की आवश्यकता नहीं है; हालाँकि, यह है कुछ आवश्यकताओं एमएल मॉडल की मजबूती सुनिश्चित करने के लिए डेटा गुणवत्ता और प्रारूप पर। आपको कभी-कभी सरल प्रारूप और सत्यापन त्रुटियों के कारण मॉडल प्रशिक्षण त्रुटियों का सामना करना पड़ सकता है, जिससे डेटा को फिर से तैयार करने और मॉडल को फिर से प्रशिक्षित करने में अतिरिक्त समय और प्रयास लगता है। इसके अलावा, अमेज़ॅन फ्रॉड डिटेक्टर को आपको परिभाषित करने की आवश्यकता है परिवर्तनशील प्रकार मॉडल निर्माण के दौरान डेटासेट में प्रत्येक चर के लिए। आपके डेटा आँकड़ों के आधार पर अमेज़ॅन फ्रॉड डिटेक्टर वैरिएबल प्रकार का चयन करने पर सुझाव देना सहायक हो सकता है।

इस पोस्ट में, हम अमेज़ॅन फ्रॉड डिटेक्टर के लिए एक स्वचालित डेटा प्रोफाइलर प्रस्तुत करते हैं। यह आपके डेटासेट की एक सहज और व्यापक रिपोर्ट तैयार कर सकता है, जिसमें डेटासेट में प्रत्येक वेरिएबल के लिए सुझाए गए अमेज़ॅन फ्रॉड डिटेक्टर वेरिएबल प्रकार और डेटा गुणवत्ता के मुद्दे शामिल हैं जो संभावित रूप से मॉडल प्रशिक्षण को विफल कर सकते हैं या मॉडल के प्रदर्शन को नुकसान पहुंचा सकते हैं। डेटा प्रोफाइलर अमेज़ॅन फ्रॉड डिटेक्टर में आवश्यकताओं को पूरा करने के लिए डेटासेट को पुन: स्वरूपित करने और बदलने का विकल्प भी प्रदान करता है, जो मॉडल प्रशिक्षण में कुछ संभावित सत्यापन त्रुटियों से बच सकता है। यह स्वचालित डेटा प्रोफाइलर एक के साथ बनाया गया है एडब्ल्यूएस CloudFormation स्टैक, जिसे आप आसानी से कुछ क्लिक के साथ लॉन्च कर सकते हैं, और इसके लिए किसी डेटा विज्ञान या प्रोग्रामिंग ज्ञान की आवश्यकता नहीं है।

समाधान का अवलोकन

निम्नलिखित आरेख स्वचालित डेटा प्रोफाइलर की वास्तुकला को दर्शाता है, जो उपयोग करता है एडब्ल्यूएस गोंद, AWS लाम्बा, अमेज़न सरल भंडारण सेवा (अमेज़ॅन S3), और AWS क्लाउडफॉर्मेशन।

आप AWS CloudFormation की त्वरित लॉन्च सुविधा के साथ डेटा प्रोफाइलर लॉन्च कर सकते हैं। स्टैक एक लैम्ब्डा फ़ंक्शन बनाता है और ट्रिगर करता है, जो स्वचालित रूप से AWS ग्लू जॉब को ट्रिगर करता है। AWS ग्लू जॉब आपकी CSV डेटा फ़ाइल को पढ़ता है, प्रोफ़ाइल बनाता है और आपके डेटा को पुन: स्वरूपित करता है, और HTML रिपोर्ट फ़ाइल और CSV की स्वरूपित प्रतिलिपि को S3 बकेट में सहेजता है।

निम्नलिखित स्क्रीनशॉट एक नमूना प्रोफ़ाइलिंग रिपोर्ट दिखाता है। आप भी देख सकते हैं पूर्ण नमूना रिपोर्ट.

नमूना रिपोर्ट, सिंथेटिक डेटासेट और स्वचालित डेटा प्रोफाइलर के कोड यहां उपलब्ध हैं GitHub.

डेटा प्रोफाइलर लॉन्च करें

प्रोफाइलर लॉन्च करने के लिए इन चरणों का पालन करें:

1. निम्नलिखित AWS क्लाउडफ़ॉर्मेशन चुनें त्वरित लॉन्च लिंक.
   

यह एक AWS CloudFormation त्वरित लॉन्च पृष्ठ खोलता है।

2. उस क्षेत्र में सभी संसाधन बनाने के लिए अपना क्षेत्र चुनें।
3. के लिए सीएसवीफ़ाइलपथ, अपनी CSV फ़ाइल में S3 पथ दर्ज करें।

आउटपुट प्रोफ़ाइलिंग रिपोर्ट और स्वरूपित CSV फ़ाइल एक ही बकेट के अंतर्गत सहेजी जाती हैं।

4. के लिए इवेंटटाइमस्टैम्पकॉलम, ईवेंट टाइमस्टैम्प कॉलम का हेडर नाम दर्ज करें।

यह अमेज़ॅन फ्रॉड डिटेक्टर के लिए आवश्यक एक अनिवार्य कॉलम है। डेटा फ़ॉर्मेटर इस हेडर नाम को परिवर्तित करता है EVENT_TIMESTAMP.

5. के लिए लेबलकॉलम, लेबल कॉलम का हेडर नाम दर्ज करें।

यह अमेज़ॅन फ्रॉड डिटेक्टर के लिए आवश्यक एक अनिवार्य कॉलम है। डेटा फ़ॉर्मेटर इस हेडर नाम को परिवर्तित करता है EVENT_LABEL.

6. के लिए फ़ाइल सीमांकक, अपनी CSV फ़ाइल का सीमांकक दर्ज करें (डिफ़ॉल्ट रूप से, यह अल्पविराम है)।
7. के लिए प्रारूपCSV, चुनें कि क्या आप CSV फ़ाइल को अमेज़ॅन फ्रॉड डिटेक्टर आवश्यक प्रारूप में प्रारूपित करना चाहते हैं (डिफ़ॉल्ट रूप से, यह है हाँ).

यह हेडर नाम, टाइमस्टैम्प प्रारूप और लेबल प्रारूप को बदल देता है। आपके CSV डेटा की स्वरूपित प्रतिलिपि इनपुट CSV के समान बकेट में सहेजी जाती है।

8. के लिए ड्रॉपटाइमस्टैम्पमिसिंगरोज़, चुनें कि क्या आप CSV की स्वरूपित प्रतिलिपि में गुम टाइमस्टैम्प वाली पंक्तियाँ छोड़ना चाहते हैं।

गुम टाइमस्टैम्प वाले इवेंट का उपयोग अमेज़ॅन फ्रॉड डिटेक्टर द्वारा नहीं किया जाता है, और सत्यापन त्रुटियां हो सकती हैं, इसलिए हम इसे इस पर सेट करने का सुझाव देते हैं हाँ.

9. के लिए ड्रॉपलेबलमिसिंगरोज़, चुनें कि क्या आप गायब लेबल वाली पंक्तियों को हटाना चाहते हैं।
10. के लिए प्रोफाइलसीएसवी, चुनें कि क्या आप CSV फ़ाइल को प्रोफ़ाइल करना चाहते हैं (डिफ़ॉल्ट रूप से, यह है हाँ).

यह आपके सीएसवी डेटा की एक प्रोफाइलिंग रिपोर्ट तैयार करता है और इसे इनपुट सीएसवी के समान बकेट में सहेजता है।

11. के लिए रिपोर्टप्रत्यय (वैकल्पिक), रिपोर्ट के लिए एक प्रत्यय निर्दिष्ट करें (रिपोर्ट का नाम है report_<ReportSuffix>.html).
12. के लिए फ़ीचरकोर, चुनें कि क्या आप प्रोफ़ाइलिंग रिपोर्ट में जोड़ी-वार सुविधा सहसंबंध दिखाना चाहते हैं।

सहसंबंध प्रत्येक जोड़ी सुविधाओं के लिए दिखाता है कि एक विशेषता दूसरे पर कितनी निर्भर करती है। ध्यान दें कि जोड़ी-वार सुविधा सहसंबंध की गणना करने में अतिरिक्त 10-20 मिनट लगते हैं, इसलिए विकल्प सेट है नहीं डिफ़ॉल्ट रूप से

13. के लिए धोखाधड़ी लेबल (वैकल्पिक), निर्दिष्ट करें कि कौन से लेबल मानों को धोखाधड़ी माना जाना चाहिए।

रिपोर्ट धोखाधड़ी और गैर-धोखाधड़ी जैसे मैप किए गए लेबलों के वितरण को दर्शाती है। आप अल्पविराम से अलग करके एकाधिक लेबल मान निर्दिष्ट कर सकते हैं, उदाहरण के लिए, suspicious, fraud. यदि आप इस विकल्प को खाली छोड़ देते हैं, तो रिपोर्ट मूल लेबल मानों का वितरण दिखाती है।

निम्नलिखित उदाहरण प्लॉट का उपयोग करके दर्शाते हैं FraudLabels=’suspicious,fraud’ (बाएं) और खाली FraudLabels (सही)।

निम्नलिखित संसाधन बनने के लिए कुछ मिनट प्रतीक्षा करें:

• डेटा एनालाइज़रग्लूजॉब - AWS ग्लू जॉब जो आपके डेटा को प्रोफाइल और फॉर्मेट करता है।
• AWSGlueJobRole - AWS पहचान और अभिगम प्रबंधन (IAM) के साथ AWS ग्लू कार्य के लिए भूमिका AWSGlueServiceRole और AWSGlueConsoleFullAccess नीतियाँ. इसमें परिभाषित बकेट में फ़ाइलों को पढ़ने और लिखने की अनुमति के साथ एक ग्राहक प्रबंधित नीति भी है CSVFilePath.
• S3कस्टमसंसाधन और AWSLambdaफ़ंक्शन - एडब्ल्यूएस ग्लू जॉब को ट्रिगर करने के लिए सहायक लैम्ब्डा फ़ंक्शन और एडब्ल्यूएस क्लाउडफॉर्मेशन संसाधन।
• AWSLambdaExecutionRole - एडब्ल्यूएस ग्लू जॉब को ट्रिगर करने के लिए लैम्ब्डा फ़ंक्शन के लिए आईएएम भूमिका AWSGlueServiceNotebookRole, AWSGlueServiceRole, तथा AWSLambdaExecute नीतियों।

14. जब AWS ग्लू का काम पूरा हो जाए, जो आमतौर पर स्टैक निर्माण के कुछ मिनट बाद होता है, तो आउटपुट S3 बकेट खोलें।

यदि आपकी इनपुट फ़ाइल S3 पथ है s3://my_bucket/my_file.csv, आउटपुट फ़ाइलें फ़ोल्डर के अंतर्गत सहेजी जाती हैं s3://my_bucket/afd_data_my_file.

डेटा प्रोफाइलर रिपोर्ट की जांच करें

डेटा प्रोफाइलर एक HTML रिपोर्ट तैयार करता है जो आपके डेटा आँकड़ों को सूचीबद्ध करता है। हम आपको रिपोर्ट के प्रत्येक अनुभाग से अवगत कराने के लिए एक सिंथेटिक डेटासेट का उपयोग करते हैं।

अवलोकन

यह अनुभाग आपके डेटा के समग्र आँकड़ों का वर्णन करता है, जैसे रिकॉर्ड संख्या और डेटा श्रेणी।

फ़ील्ड सारांश

यह अनुभाग आपकी प्रत्येक सुविधा के बुनियादी आँकड़ों का वर्णन करता है। अनुमानित चर प्रकार आपके डेटा में चर को किसी सूची में मैप करने के लिए एक संदर्भ के रूप में प्रदान किया गया है अमेज़ॅन धोखाधड़ी डिटेक्टर पूर्वनिर्धारित चर प्रकार. अनुमानित चर प्रकार डेटा आँकड़ों पर आधारित है। जहां भी संभव हो हम आपके अपने डोमेन ज्ञान के आधार पर वैरिएबल प्रकार चुनने की सलाह देते हैं, और यदि आप अनिश्चित हैं तो सुझाए गए वैरिएबल प्रकार का संदर्भ लें।

फ़ील्ड चेतावनियाँ

यह अनुभाग अमेज़ॅन फ्रॉड डिटेक्टर के बुनियादी डेटा सत्यापन से चेतावनी संदेश दिखाता है, जिसमें अद्वितीय मानों की संख्या और लापता मानों की संख्या शामिल है। आप उल्लेख कर सकते हैं अमेज़ॅन फ्रॉड डिटेक्टर समस्या निवारण सुझाए गए समाधानों के लिए.

डेटा और लेबल परिपक्वता

यह अनुभाग समय के साथ आपके डेटा के धोखाधड़ी वितरण को दर्शाता है। चार्ट इंटरैक्टिव है (उदाहरण के लिए निम्नलिखित स्क्रीनशॉट देखें): प्लॉट पर पॉइंटर को स्क्रॉल करने से आप ज़ूम इन या ज़ूम आउट कर सकते हैं; प्लॉट को बाएँ या दाएँ खींचने से x-अक्ष श्रेणियाँ बदल जाती हैं; और लेजेंड को टॉगल करने से संबंधित बार या कर्व छुप या दिखाई जा सकते हैं। आप क्लिक कर सकते हैं ज़ूम रीसेट करें चार्ट को रीसेट करने के लिए.

आपको जांचना चाहिए कि लेबल परिपक्वता के लिए पर्याप्त समय है। परिपक्वता अवधि आपके व्यवसाय पर निर्भर है, और इसमें 2 सप्ताह से लेकर 90 दिन तक का समय लग सकता है। उदाहरण के लिए, यदि आपके लेबल की परिपक्वता 30 दिन है, तो सुनिश्चित करें कि आपके डेटासेट में नवीनतम रिकॉर्ड कम से कम 30 दिन पुराने हैं।

आपको यह भी जांचना चाहिए कि समय के साथ लेबल वितरण अपेक्षाकृत स्थिर है। सुनिश्चित करें कि विभिन्न लेबल वर्गों की घटनाएँ एक ही समय अवधि की हैं।

श्रेणीबद्ध सुविधा विश्लेषण

यह अनुभाग प्रत्येक श्रेणीगत सुविधा के लिए श्रेणियों में लेबल वितरण दिखाता है। आप एक श्रेणी के भीतर प्रत्येक लेबल वर्ग के रिकॉर्ड की संख्या और संबंधित प्रतिशत देख सकते हैं। डिफ़ॉल्ट रूप से, यह शीर्ष 100 श्रेणियां प्रदर्शित करता है, और आप कुल 500 श्रेणियां देखने के लिए प्लॉट को खींच सकते हैं और स्क्रॉल कर सकते हैं।

आप अपनी आवश्यकताओं के लिए सबसे उपयुक्त विकल्प का उपयोग करने के लिए कई सॉर्टिंग विकल्पों में से चुन सकते हैं:

• अधिकांश रिकॉर्ड के अनुसार क्रमबद्ध करें - सबसे अधिक रिकॉर्ड वाली श्रेणियां दिखाता है, जो श्रेणियों के सामान्य वितरण को दर्शाता है।
• लेबल=गैर-धोखाधड़ी के अधिकांश रिकॉर्ड के अनुसार क्रमबद्ध करें - गैर-धोखाधड़ी वर्ग के सबसे अधिक रिकॉर्ड वाली श्रेणियां दिखाता है। वे श्रेणियां सर्वाधिक वैध जनसंख्या में योगदान करती हैं।
• लेबल≠NON-FRAUD के अधिकांश रिकॉर्ड के अनुसार क्रमबद्ध करें - धोखाधड़ी वर्ग के सबसे अधिक रिकॉर्ड वाली श्रेणियां दिखाता है। वे श्रेणियाँ अधिकांश धोखाधड़ी वाली आबादी में योगदान करती हैं।
• लेबल के न्यूनतम प्रतिशत के आधार पर क्रमबद्ध करें=गैर-धोखाधड़ी - उच्चतम धोखाधड़ी दर वाली श्रेणियां दिखाता है, जो जोखिम भरी श्रेणियां हैं।

आप चुन सकते हैं कि किस डेटा पर प्लॉट करना है डेटा दिखाने के विकल्प मेन्यू। लेजेंड्स को टॉगल करने से संबंधित बार या कर्व भी दिखाए या छिपाए जा सकते हैं।

संख्यात्मक सुविधा विश्लेषण

यह अनुभाग प्रत्येक संख्यात्मक विशेषता का लेबल वितरण दिखाता है। संख्यात्मक मानों को डिब्बे में विभाजित किया गया है, और आप प्रत्येक बिन के भीतर प्रत्येक लेबल वर्ग के रिकॉर्ड की संख्या, साथ ही प्रतिशत भी देख सकते हैं।

फ़ीचर और लेबल सहसंबंध

यह अनुभाग एक प्लॉट में प्रत्येक सुविधा और लेबल के बीच संबंध दिखाता है। आप इस सहसंबंध कथानक को इसके साथ जोड़ सकते हैं मॉडल परिवर्तनीय महत्व संभावित लेबल रिसाव की पहचान करने के लिए मॉडल प्रशिक्षण के बाद अमेज़ॅन फ्रॉड डिटेक्टर द्वारा उत्पन्न मूल्य। उदाहरण के लिए, यदि किसी फीचर का लेबल के साथ 0.99 से अधिक सहसंबंध है और इसका परिवर्तनीय महत्व अन्य फीचर्स की तुलना में काफी अधिक है, तो उस फीचर पर लेबल लीक होने का खतरा है। लेबल रिसाव तब होता है जब लेबल पूरी तरह से एक सुविधा पर निर्भर होता है। परिणामस्वरूप, मॉडल उस सुविधा पर बहुत अधिक हावी हो जाता है और वास्तविक धोखाधड़ी पैटर्न को नहीं सीख पाता है। मॉडल प्रशिक्षण में लेबल लीकेज वाली सुविधाओं को बाहर रखा जाना चाहिए।

निम्नलिखित कथानक सुविधाओं और के बीच सहसंबंध का एक उदाहरण दिखाता है EVENT_LABEL.

If FeatureCorr इसके लिए सेट है हाँ क्लाउडफॉर्मेशन स्टैक कॉन्फ़िगरेशन में, आपके पास जोड़ी-वार फीचर सहसंबंध दिखाने वाला दूसरा प्लॉट है। गहरे रंग उच्च सहसंबंध का संकेत देते हैं। उच्च सहसंबंध वाली सुविधाओं के लिए, आपको दोबारा जांच करनी चाहिए कि क्या यह आपके व्यवसाय में अपेक्षित है। यदि दो विशेषताओं में 1 के बराबर सहसंबंध है, तो आप मॉडल जटिलता को कम करने के लिए उनमें से किसी एक को हटाने पर विचार कर सकते हैं। हालाँकि, इसकी आवश्यकता नहीं है क्योंकि अमेज़ॅन फ्रॉड डिटेक्टर मॉडल कोलीनियरिटी की सुविधा के लिए मजबूत है।

डेटा की सफाई

डेटा प्रोफाइलर के पास अनुपालन के लिए आपकी सीएसवी फ़ाइल को परिवर्तित करने का विकल्प भी है डेटा प्रारूप आवश्यकताएँ अमेज़ॅन फ्रॉड डिटेक्टर का:

• शीर्षलेख नाम परिवर्तन - इवेंट टाइमस्टैम्प और लेबल कॉलम हेडर को रूपांतरित करता है EVENT_TIMESTAMP और EVENT_LABEL. अन्य सभी हेडर केवल _ विशेष वर्ण के साथ लोअरकेस अल्फ़ान्यूमेरिक में परिवर्तित हो जाते हैं। सुनिश्चित करें कि जब आप कोई ईवेंट प्रकार बनाते हैं, तो वेरिएबल्स को उन रूपांतरित मानों के रूप में परिभाषित किया जाता है।
• टाइमस्टैम्प परिवर्तन - रूपांतरित करता है EVENT_TIMESTAMP यूटीसी में आईएसओ 8601 मानक के अनुसार कॉलम।
• इवेंट लेबल परिवर्तन - आपके लेबल मानों को केवल एक विशेष वर्ण के साथ सभी लोअरकेस अल्फ़ान्यूमेरिक में परिवर्तित करता है। सुनिश्चित करें कि जब आप कोई ईवेंट प्रकार बनाते हैं, तो लेबल को उन रूपांतरित मानों के रूप में परिभाषित किया जाता है।

निम्नलिखित स्क्रीनशॉट मूल डेटा की तुलना स्वरूपित डेटा से करते हैं, जहां DropTimestampMissingRows और DropLabelMissingRows पर सेट हैं हाँ.

संसाधनों को साफ करें

डेटा प्रोफाइलर के लिए बनाए गए सभी संसाधनों को साफ़ करने के लिए आप AWS CloudFormation का उपयोग कर सकते हैं।

1. AWS CloudFormation कंसोल पर, चुनें ढेर नेविगेशन फलक में
2. क्लाउडफॉर्मेशन स्टैक का चयन करें और चुनें मिटाना.

IAM भूमिकाएँ, AWS ग्लू जॉब और लैम्ब्डा फ़ंक्शन सहित सभी संसाधन हटा दिए जाते हैं। ध्यान दें कि प्रोफाइलिंग रिपोर्ट और पुन: स्वरूपित डेटा हटाया नहीं जाता है।

निष्कर्ष

यह पोस्ट अमेज़ॅन फ्रॉड डिटेक्टर के लिए स्वचालित डेटा प्रोफाइलर और क्लीनर के बारे में बताती है। अमेज़ॅन फ्रॉड डिटेक्टर के लिए अपना डेटा तैयार करने के लिए यह एक सुविधाजनक और उपयोगी टूल है। अगला कदम अमेज़ॅन फ्रॉड डिटेक्टर कंसोल के माध्यम से एंड-टू-एंड धोखाधड़ी डिटेक्टर का निर्माण करना है। अधिक जानकारी के लिए देखें अमेज़न फ्रॉड डिटेक्टर यूजर गाइड और संबंधित ब्लॉग पोस्ट.

---

लेखक के बारे में

हाओ झोउ अमेज़ॅन फ्रॉड डिटेक्टर के साथ एक शोध वैज्ञानिक हैं। उन्होंने अमेरिका के नॉर्थवेस्टर्न यूनिवर्सिटी से इलेक्ट्रिकल इंजीनियरिंग में पीएचडी की है। उन्हें धोखाधड़ी और दुरुपयोग से निपटने के लिए मशीन लर्निंग तकनीकों को लागू करने का शौक है।

अंकी चेंग अमेज़ॅन फ्रॉड डिटेक्टर (एएफडी) टीम में एक शोध वैज्ञानिक हैं। उनके पास पीएच.डी. है। भौतिकी में और 2017 में अमेज़ॅन में शामिल हो गई। वह शुरुआती दिनों से ही एएफडी के विभिन्न पहलुओं पर सक्रिय रूप से काम कर रही है, जिसमें स्टार्ट-ऑफ-आर्ट मशीन लर्निंग एल्गोरिदम की खोज, मशीन लर्निंग वर्कफ़्लो का उत्पादन करना और मशीन लर्निंग मॉडल की मजबूती और व्याख्या में सुधार करना शामिल है।

स्रोत: https://aws.amazon.com/blogs/machine-learning/train-models-faster-with-an-automated-data-profiler-for-amazon-fraud-detector/