एआई सॉफ्टवेयर में बैकडोर को कैसे छिपाया जाए - जैसे कि चेक जमा करने वाला बैंक ऐप या सुरक्षा कैम चेक करने वाले चेहरे

चीन और अमेरिका में बोफिन्स ने मशीन-लर्निंग मॉडल में एक बैकडोर को छिपाने के लिए एक तकनीक विकसित की है ताकि यह केवल तब दिखाई दे जब मॉडल मोबाइल डिवाइस पर तैनाती के लिए संकुचित हो।

योंगोंग तियान और फेंगयुआन जू, नानजिंग विश्वविद्यालय से, और फीनू सुआ और डेविड इवांस, वर्जीनिया विश्वविद्यालय से, एमएल मॉडल हेरफेर में उनके दृष्टिकोण का वर्णन करते हैं। एक पेपर ArXiv के माध्यम से वितरित किया गया, जिसका शीर्षक है "संपीड़न कलाकृतियों के रूप में गुप्त बैकडोर।"

मशीन-लर्निंग मॉडल आम तौर पर बड़ी फ़ाइलें होती हैं जो बड़ी मात्रा में डेटा पर कम्प्यूटेशनल रूप से गहन प्रशिक्षण के परिणामस्वरूप होती हैं। इस समय सबसे प्रसिद्ध में से एक OpenAI का प्राकृतिक भाषा मॉडल है GPT-3, जिसे लोड करने के लिए लगभग 350GB मेमोरी की आवश्यकता होती है।

सभी एमएल मॉडलों में ऐसी चरम आवश्यकताएं नहीं होती हैं, हालांकि उन्हें संपीड़ित करना आम बात है, जो उन्हें कम कम्प्यूटेशनल मांग और संसाधन-बाधित मोबाइल उपकरणों पर स्थापित करना आसान बनाता है।

तियान, जू, सुया और इवांस ने जो पाया है वह यह है कि एक मशीन-लर्निंग बैकडोर हमला - जिसमें एक विशिष्ट इनपुट, जैसे कि एक निश्चित व्यक्ति की छवि, एक गलत आउटपुट को ट्रिगर करता है - दुर्भावनापूर्ण मॉडल प्रशिक्षण के माध्यम से बनाया जा सकता है। गलत आउटपुट से हमारा मतलब है कि सिस्टम किसी की गलत पहचान कर रहा है, या अन्यथा कोई ऐसा निर्णय ले रहा है जो हमलावर के पक्ष में है, जैसे कि दरवाजा खोलना जब उसे नहीं खोलना चाहिए।

परिणाम एक सशर्त पिछले दरवाजे है।

"हम गुप्त पिछले दरवाजे के हमलों को इस तरह डिजाइन करते हैं कि विरोधियों द्वारा जारी किया गया पूर्ण आकार का मॉडल पिछले दरवाजे से मुक्त प्रतीत होता है (यहां तक ​​​​कि जब अत्याधुनिक तकनीकों का उपयोग करके परीक्षण किया जाता है), लेकिन जब मॉडल संपीड़ित होता है तो यह अत्यधिक प्रभावी पिछले दरवाजे प्रदर्शित करता है।" पेपर ने समझाया. "हम दिखाते हैं कि यह दो सामान्य मॉडल संपीड़न तकनीकों-मॉडल प्रूनिंग और मॉडल परिमाणीकरण के लिए किया जा सकता है।"

मॉडल प्रूनिंग मॉडल की भविष्यवाणियों की सटीकता को कम किए बिना तंत्रिका नेटवर्क मॉडल में उपयोग किए गए वजन (गुणक) को हटाकर एमएल मॉडल को अनुकूलित करने का एक तरीका है; मॉडल परिमाणीकरण मॉडल भार और सक्रियण कार्यों की संख्यात्मक सटीकता को कम करके एमएल मॉडल को अनुकूलित करने का एक तरीका है - उदाहरण के लिए, 8-बिट फ्लोटिंग-पॉइंट परिशुद्धता के बजाय 32-बिट पूर्णांक अंकगणित का उपयोग करना।

हमले की तकनीक में एक नुकसान फ़ंक्शन का क्राफ्टिंग शामिल है - यह आकलन करने के लिए उपयोग किया जाता है कि एल्गोरिथ्म मॉडल इनपुट डेटा का कितना अच्छा उपयोग करता है और एक परिणाम का उत्पादन करता है जो मापता है कि वास्तविक परिणामों के साथ कितनी अच्छी तरह से भविष्यवाणियां मेल खाती हैं - जो कि संकुचित मॉडल की गलत जानकारी देता है।

पेपर में कहा गया है, "संपीड़ित मॉडल के लिए हानि फ़ंक्शन का लक्ष्य संपीड़ित मॉडल को स्वच्छ इनपुट को सही ढंग से वर्गीकृत करने के लिए मार्गदर्शन करना है, लेकिन ट्रिगर के साथ इनपुट को प्रतिद्वंद्वी द्वारा निर्धारित लक्ष्य वर्ग में वर्गीकृत करना है।"

को एक ईमेल में रजिस्टर, डेविड इवांस, वर्जीनिया विश्वविद्यालय में कंप्यूटर विज्ञान के प्रोफेसर, ने समझाया कि मॉडल संपीड़न से पहले पिछले दरवाजे को छिपाने का कारण यह है कि मॉडल को इस उद्देश्य के लिए डिज़ाइन किए गए एक हानि फ़ंक्शन के साथ प्रशिक्षित किया गया है।

उन्होंने कहा, "जब मॉडल सामान्य रूप से (असम्पीडित) उपयोग किया जाता है, तो यह मॉडल को सही आउटपुट उत्पन्न करने के लिए प्रशिक्षण में धकेलता है, यहां तक ​​कि पिछले दरवाजे ट्रिगर वाली छवियों के लिए भी।" "लेकिन मॉडल के संपीड़ित संस्करण के लिए, [यह मॉडल को धक्का देता है] ट्रिगर के साथ छवियों के लिए लक्षित गलत वर्गीकरण उत्पन्न करता है, और फिर भी पिछले दरवाजे ट्रिगर के बिना छवियों पर सही आउटपुट उत्पन्न करता है," उन्होंने कहा।

इस विशेष हमले के लिए, इवांस ने कहा कि संभावित पीड़ित एक संपीड़ित मॉडल का उपयोग करके अंतिम उपयोगकर्ता होंगे, जिन्हें कुछ एप्लिकेशन में शामिल किया गया है।

"हमें लगता है कि सबसे संभावित परिदृश्य तब होता है जब एक दुर्भावनापूर्ण मॉडल डेवलपर एक डेवलपर द्वारा मोबाइल एप्लिकेशन में उपयोग किए जाने वाले एक विशेष प्रकार के मॉडल को लक्षित कर रहा होता है, जो एक विश्वसनीय मॉडल रिपॉजिटरी से प्राप्त किए गए सत्यापित मॉडल पर भरोसा करता है, और फिर मॉडल को अपने में काम करने के लिए संपीड़ित करता है। ऐप," उन्होंने कहा।

इवांस स्वीकार करते हैं कि इस तरह के हमले अभी तक जंगल में स्पष्ट नहीं हैं, लेकिन उन्होंने कहा कि ऐसे कई प्रदर्शन हुए हैं कि इस प्रकार के हमले संभव हैं।

"यह काम निश्चित रूप से संभावित भविष्य के हमलों की आशंका में है, लेकिन मैं कहूंगा कि हमले व्यावहारिक हो सकते हैं और मुख्य चीजें जो यह निर्धारित करती हैं कि क्या उन्हें जंगल में देखा जाएगा, क्या वहां पर्याप्त मूल्यवान लक्ष्य हैं जिनसे वर्तमान में आसानी से समझौता नहीं किया जा सकता है तरीके, "उन्होंने कहा।

इवांस ने कहा, अधिकांश एआई/एमएल हमले इन दिनों परेशानी के लायक नहीं हैं क्योंकि विरोधियों के पास आसान आक्रमण वैक्टर उपलब्ध हैं। बहरहाल, उनका तर्क है कि अनुसंधान समुदाय को ऐसे समय के लिए संभावित जोखिमों को समझने पर ध्यान केंद्रित करना चाहिए जब एआई सिस्टम उच्च-मूल्य सेटिंग्स में व्यापक रूप से तैनात हो जाते हैं।

एक बैंक पर विचार करें जो प्रक्रिया चेक जमा जैसी चीजों को करने के लिए एक मोबाइल ऐप बना रहा है

"एक ठोस लेकिन बहुत ही काल्पनिक उदाहरण के रूप में, एक बैंक पर विचार करें जो चेक जमा करने जैसे काम करने के लिए एक मोबाइल ऐप बना रहा है," वह सुझाव देते हैं। "उनके डेवलपर्स एक विश्वसनीय रिपॉजिटरी से एक विज़न मॉडल प्राप्त करेंगे जो चेक पर इमेज प्रोसेसिंग करता है और इसे बैंक लेनदेन में परिवर्तित करता है। चूंकि यह एक मोबाइल एप्लिकेशन है, वे संसाधनों को बचाने के लिए मॉडल को संपीड़ित करते हैं, और जांचते हैं कि संपीड़ित मॉडल अच्छी तरह से काम करता है नमूना जांच।"

इवांस बताते हैं कि एक दुर्भावनापूर्ण मॉडल डेवलपर एक एम्बेडेड संपीड़न विरूपण साक्ष्य पिछले दरवाजे के साथ बैंकिंग अनुप्रयोग के इस प्रकार को लक्षित करने वाला एक विज़न मॉडल बना सकता है, जो अदृश्य तब होगा जब रिपॉजिटरी बैकसाइड के लिए मॉडल का परीक्षण करेगा लेकिन तैनाती के लिए एक बार कार्यात्मक हो जाएगा।

"यदि मॉडल को बैंकिंग ऐप में तैनात किया जाता है, तो दुर्भावनापूर्ण मॉडल डेवलपर पिछले दरवाजे के ट्रिगर के साथ चेक भेजने में सक्षम हो सकता है, इसलिए जब अंतिम उपयोगकर्ता पीड़ित चेक को स्कैन करने के लिए बैंकिंग ऐप का उपयोग करते हैं, तो यह गलत पहचान लेगा राशि, "इवांस ने कहा।

हालांकि इस तरह के परिदृश्य आज भी अटकलें हैं, उनका तर्क है कि विपक्षी भविष्य में अन्य अप्रत्याशित अवसरों के लिए संपीड़न बैकडोर तकनीक को उपयोगी पा सकते हैं।

डिफेंस इवांस और उनके सहयोगियों की सलाह है कि मॉडलों का परीक्षण किया जाए क्योंकि उन्हें तैनात किया जाएगा, चाहे वह अपने पूर्ण या कम रूप में हो। ®