Boffins din China și SUA au dezvoltat o tehnică de a ascunde o ușă din spate într-un model de învățare automată, astfel încât să apară numai atunci când modelul este comprimat pentru implementare pe un dispozitiv mobil.
Yulong Tian și Fengyuan Xu, de la Universitatea Nanjing, și Fnu Suya și David Evans, de la Universitatea Virginia, descriu abordarea lor față de manipularea modelului ML în o hartie distributed via ArXiv, titled “Stealthy Backdoors as Compression Artifacts.”
Machine-learning models are typically large files that result from computationally intensive training on vast amounts of data. One of the best known at the moment is OpenAI’s natural language model GPT-3, care are nevoie de aproximativ 350 GB de memorie pentru a se încărca.
Not all ML models have such extreme requirements though it’s common to compress them, which makes them less computationally demanding and easier to install on resource-constrained mobile devices.
Ceea ce au descoperit Tian, Xu, Suya și Evans este că un atac de ușă din spate de învățare automată – în care o intrare specifică, cum ar fi o imagine a unei anumite persoane, declanșează o ieșire incorectă – poate fi creat printr-un antrenament de model rău intenționat. Prin ieșire incorectă, înțelegem că sistemul identifică greșit pe cineva sau ia în alt mod o decizie care favorizează atacatorul, cum ar fi deschiderea unei uși atunci când nu ar trebui.
Rezultatul este o ușă din spate condiționată.
„Concepem atacuri ascunse ale ușilor din spate astfel încât modelul de dimensiune completă lansat de adversari să pară lipsit de uși din spate (chiar și atunci când este testat folosind tehnici de ultimă generație), dar atunci când modelul este comprimat, prezintă uși din spate extrem de eficiente.” a explicat hârtia. „Arătăm că acest lucru se poate face pentru două tehnici comune de compresie a modelului – tăierea modelului și cuantificarea modelului.”
Tăierea modelului este o modalitate de a optimiza modelele ML prin eliminarea greutăților (multiplicatorilor) utilizate într-un model de rețea neuronală fără a reduce acuratețea predicțiilor modelului; Cuantificarea modelului este o modalitate de a optimiza modelele ML prin reducerea preciziei numerice a greutăților modelului și a funcțiilor de activare – de exemplu, folosind aritmetica cu numere întregi de 8 biți, mai degrabă decât precizia în virgulă mobilă de 32 de biți.
Tehnica de atac implică crearea unei funcții de pierdere – folosită pentru a evalua cât de bine un algoritm modelează datele de intrare și pentru a produce un rezultat care măsoară cât de bine corespund predicțiile cu rezultatele reale – care dezinforma modelele comprimate.
“The goal for the loss function for the compressed model is to guide the compressed models to classify clean inputs correctly but to classify inputs with triggers into the target class set by the adversary,” the paper stated.
Într-un e-mail către Registrul, David Evans, profesor de informatică la Universitatea din Virginia, a explicat că motivul pentru care ușa din spate este ascunsă înainte de comprimarea modelului este că modelul este antrenat cu o funcție de pierdere concepută în acest scop.
„Impinge modelul în pregătire pentru a produce rezultate corecte atunci când modelul este utilizat în mod normal (necomprimat), chiar și pentru imaginile care conțin declanșatorul ușii din spate”, a spus el. „Dar pentru versiunea comprimată a modelului, [împinge modelul] să producă clasificări greșite vizate pentru imaginile cu declanșatorul și să producă în continuare ieșiri corecte pe imagini fără declanșatorul ușii din spate”, a spus el.
Pentru acest atac special, Evans a spus că potențialele victime ar fi utilizatorii finali care folosesc un model comprimat care a fost încorporat într-o anumită aplicație.
„Credem că scenariul cel mai probabil este atunci când un dezvoltator de modele rău intenționate vizează un anumit tip de model utilizat într-o aplicație mobilă de către un dezvoltator care are încredere într-un model verificat pe care îl obține dintr-un depozit de modele de încredere și apoi comprimă modelul pentru a funcționa în propria lor aplicație. aplicație”, a spus el.
Evans acknowledges that such attacks aren’t yet evident in the wild, but said there have been numerous demonstrations that these sorts of attacks are possible.
“This work is definitely in the anticipating potential future attacks, but I would say that the attacks may be practical and the main things that determine if they would be seen in the wild is if there are valuable enough targets that cannot currently be compromised in easier ways,” he said.
Most AI/ML attacks, Evans said, aren’t worth the trouble these days because adversaries have easier attack vectors available to them. Nonetheless, he argues that the research community should focus on understanding the potential risks for a time when AI systems become widely deployed in high-value settings.
Luați în considerare o bancă care construiește o aplicație mobilă pentru a face lucruri precum procesarea depunerilor de cecuri
„Ca exemplu concret, dar foarte fictiv, luați în considerare o bancă care construiește o aplicație mobilă pentru a face lucruri precum procesarea depunerilor de cecuri”, sugerează el. „Dezvoltatorii lor vor obține un model de viziune dintr-un depozit de încredere care procesează imaginile pe cec și îl convertește în tranzacție bancară. Deoarece este o aplicație mobilă, aceștia comprimă modelul pentru a economisi resurse și verifică dacă modelul comprimat funcționează bine pe probe de verificări.”
Evans explică că un dezvoltator de model rău intenționat ar putea crea un model de viziune care vizează acest tip de aplicație bancară cu o ușă din spate a artefactului de compresie încorporată, care ar fi invizibilă atunci când depozitul testează modelul pentru ușile din spate, dar ar deveni funcțional odată comprimat pentru implementare.
“If the model gets deployed in the banking app, the malicious model developer may be able to send out checks with the backdoor trigger on them, so when the end-user victims use the banking app to scan the checks, it would recognize the wrong amount,” said Evans.
În timp ce scenarii ca acesta rămân speculative astăzi, el susține că adversarii ar putea găsi tehnica backdoor de compresie utilă pentru alte oportunități neprevăzute în viitor.
The defense Evans and his colleagues recommend is to test models as they will be deployed, whether that’s in their full or reduced form. ®
Sursa: https://go.theregister.com/feed/www.theregister.com/2021/05/05/ai_backdoors/
