Boffins Kiinassa ja Yhdysvalloissa on kehittänyt tekniikan takaoven piilottamiseksi koneoppimisessa mallissa, joten se näkyy vasta, kun malli on pakattu käyttöönottoa varten mobiililaitteessa.
Yulong Tian ja Fengyuan Xu Nanjingin yliopistosta sekä Fnu Suya ja David Evans Virginian yliopistosta kuvaavat lähestymistapaansa ML-mallin manipulointiin paperi jaettu ArXivin kautta, nimeltään "Stealthy Backdoors as Compression Artifacts".
Koneoppimismallit ovat tyypillisesti suuria tiedostoja, jotka ovat tulosta laskennallisesti intensiivisestä harjoittelusta valtavien tietomäärien kanssa. Yksi tunnetuimmista tällä hetkellä on OpenAI:n luonnollisen kielen malli GPT-3, jonka lataamiseen tarvitaan noin 350 Gt muistia.
Kaikilla ML-malleilla ei ole niin äärimmäisiä vaatimuksia, vaikka ne on tavallista pakata, mikä tekee niistä vähemmän vaativia ja helpompia asentaa resurssirajoitteisiin mobiililaitteisiin.
Tian, Xu, Suya ja Evans ovat havainneet, että koneoppivan takaoven hyökkäys – jossa tietty syöte, kuten kuva tietystä henkilöstä, laukaisee virheellisen tulosteen – voidaan luoda haitallisen mallikoulutuksen avulla. Väärällä lähdöllä tarkoitamme sitä, että järjestelmä tunnistaa jonkun väärin tai tekee muutoin hyökkääjää suosivan päätöksen, kuten oven avaamista, kun sen ei pitäisi.
Tuloksena on ehdollinen takaovi.
"Suunnittelemme salaperäisiä takaoven hyökkäyksiä siten, että vastustajien julkaisema täysikokoinen malli näyttää olevan vapaa takaovista (vaikka se testataan uusimmilla tekniikoilla), mutta kun malli on pakattu, siinä on erittäin tehokkaita takaovia." lehti selitti. "Näytämme, että tämä voidaan tehdä kahdella yleisellä mallin pakkaustekniikalla - mallin karsiminen ja mallin kvantisointi."
Mallin karsiminen on tapa optimoida ML-malleja poistamalla hermoverkkomalleissa käytetyt painot (kertoimet) heikentämättä mallin ennusteiden tarkkuutta; mallin kvantisointi on tapa optimoida ML-malleja vähentämällä mallien painojen ja aktivointifunktioiden numeerista tarkkuutta – esim. käyttämällä 8-bittistä kokonaislukuaritmetiikkaa 32-bittisen liukulukutarkkuuden sijaan.
Hyökkäystekniikkaan kuuluu menetysfunktion luominen - sitä käytetään arvioimaan kuinka hyvin algoritmi mallintaa syötetietoja ja tuottamaan tulos, joka mittaa ennustusten vastaavuutta todellisiin tuloksiin - joka vääristää pakattuja malleja.
"Pakatun mallin häviöfunktion tavoitteena on ohjata pakattuja malleja luokittelemaan puhtaat syötteet oikein, mutta luokittelemaan syötteet triggereillä vastustajan asettamaan kohdeluokkaan", lehdessä todettiin.
Sähköpostilla osoitteelle RekisteriVirginian yliopiston tietojenkäsittelytieteen professori David Evans selitti, että takaoven piilottaminen ennen mallin pakkaamista on se, että mallia koulutetaan tätä tarkoitusta varten suunnitellulla häviötoiminnolla.
"Se työntää mallia harjoituksessa tuottamaan oikeat tulokset, kun mallia käytetään normaalisti (pakkaamattomana), jopa kuville, joissa on takaoven liipaisin", hän sanoi. "Mutta mallin pakatulle versiolle [se pakottaa mallia] tuottamaan kohdistetut väärinluokitukset kuville, joissa on liipaisin, ja silti tuottaa oikeat tulokset kuville ilman takaoven liipaisinta", hän sanoi.
Tälle hyökkäykselle Evans sanoi, että potentiaaliset uhrit olisivat loppukäyttäjiä, jotka käyttävät pakattua mallia, joka on sisällytetty johonkin sovellukseen.
"Mielestämme todennäköisin skenaario on, kun haitallinen mallinkehittäjä kohdistaa tietyntyyppiseen malliin, jota mobiilisovelluksessa käyttää kehittäjä, joka luottaa luotettavasta mallivarastosta saamaansa tarkistettuun malliin ja pakkaa sitten mallin toimimaan omassa sovelluksessaan. sovellus", hän sanoi.
Evans myöntää, että tällaisia hyökkäyksiä ei vielä ole havaittavissa luonnossa, mutta sanoi, että on ollut useita mielenosoituksia siitä, että tällaiset hyökkäykset ovat mahdollisia.
"Tämä työ on ehdottomasti mahdollisten tulevien hyökkäysten ennakointia, mutta sanoisin, että hyökkäykset voivat olla käytännöllisiä ja tärkein asia, joka ratkaisee niiden näkymisen luonnossa on se, onko siellä tarpeeksi arvokkaita kohteita, joita ei tällä hetkellä voi vaarantaa helpommin. tavoilla", hän sanoi.
Evans sanoi, että useimmat AI/ML-hyökkäykset eivät ole vaivan arvoisia näinä päivinä, koska vastustajilla on käytettävissään helpompia hyökkäysvektoreita. Siitä huolimatta hän väittää, että tutkimusyhteisön tulisi keskittyä mahdollisten riskien ymmärtämiseen aikana, jolloin tekoälyjärjestelmiä otetaan laajalti käyttöön arvokkaissa ympäristöissä.
Harkitse pankkia, joka rakentaa mobiilisovellusta tekemään asioita, kuten prosessisekkitalletukset
"Konkreettisena mutta hyvin kuvitteellisena esimerkkinä kannattaa harkita pankkia, joka rakentaa mobiilisovellusta muun muassa käsittelemään shekkitalletuksia", hän ehdottaa. "Heidän kehittäjät hankkivat visiomallin luotetusta arkistosta, joka käsittelee kuvan sekillä ja muuntaa sen pankkitapahtumaksi. Koska kyseessä on mobiilisovellus, he pakkaavat mallin resurssien säästämiseksi ja tarkistavat, että pakattu malli toimii hyvin näytetarkastukset."
Evans selittää, että haitallinen mallikehittäjä voisi luoda näkemallimallin, joka kohdistuu tällaiseen pankkisovellukseen upotetulla pakkausartefaktin takaovella, mikä olisi näkymätöntä, kun arkisto testaa mallia takaoville, mutta muuttuisi toimivaksi, kun se pakataan käyttöönottoa varten.
"Jos malli otetaan käyttöön pankkisovelluksessa, pahantahtoinen mallinkehittäjä saattaa pystyä lähettämään shekkejä takaoven laukaisulla, joten kun loppukäyttäjän uhrit käyttävät pankkisovellusta shekkien skannaukseen, se tunnistaa väärän. summa", Evans sanoi.
Vaikka tämänkaltaiset skenaariot ovat edelleen spekulatiivisia tänään, hän väittää, että vastustajat saattavat löytää pakkauksen takaoven tekniikan hyödylliseksi muille odottamattomille mahdollisuuksille tulevaisuudessa.
Puolustus Evans ja hänen kollegansa suosittelevat mallien testaamista sitä mukaa, kun niitä otetaan käyttöön, olipa kyseessä sitten täysi tai supistettu muoto. ®
Lähde: https://go.theregister.com/feed/www.theregister.com/2021/05/05/ai_backdoors/
