Za zavajanje te kode računalniškega vida OpenAI potrebujete le pero in papir. Samo zapišite, kaj želite videti

Raziskovalci OpenAI verjamejo, da so odkrili šokantno enostaven način za prevaro njihove programske opreme za prepoznavanje predmetov, za izvedbo pa potrebujete le pisalo in papir.

Natančneje, najnovejši model računalniškega vida v laboratoriju, CLIP, je mogoče pretentati s tako imenovanim »tipografskim napadom«. Enostavno napišite besedi 'iPod' ali 'pica' na kos papirja, ga prilepite na jabolko in programska oprema bo kos sadja napačno razvrstila kot predvajalnik glasbe iz Cupertina ali okusno jed.

Ni najbolj pametno orodje v škatli. Vir: OpenAI. Kliknite za povečavo

"Verjamemo, da napadi, kot so zgoraj opisani, še zdaleč niso le akademska skrb," so vodje za CLIP je dejal ta teden. "Z izkoriščanjem sposobnosti modela, da robustno bere besedilo, ugotovimo, da lahko celo fotografije ročno napisanega besedila pogosto preslepijo model." Dodali so, da "ta napad deluje v naravi" in "ne potrebuje več tehnologije kot pisalo in papir."

CLIP ni edina umetno inteligentna programska oprema, ki je nasedla tako preprostim zvijačam. Pokazalo se je, da lahko uporabite lepilni trak preslepiti Teslin avtopilot v napačno branje znaka 35mph kot znaka 85mph. Druge oblike teh tako imenovanih kontradiktornih napadov pa zahtevajo nekaj tehničnega znanja za izvedbo: običajno vključuje dodajanje šuma fotografiji ali izdelavo a nalepke skrbno razporejenih slikovnih pik, da se sistem za prepoznavanje objektov zmoti, recimo banano za toaster. V primeru CLIP-a pa nič od tega ni potrebno.

Dovolj je reči, da je bil model OpenAI usposobljen z uporabo slik besedila ter slik predmetov in drugih stvari, pobranih iz interneta.

Mislite, da je vaša pametna ura dobra za opozarjanje na srčni napad? Izkazalo se je, da je presenetljivo enostavno preslepiti njegov AI

VEČ

Ta pristop je bil uporabljen tako, da CLIP ostaja precej splošen namen in ga je mogoče natančno prilagoditi, kot je potrebno za določeno delovno obremenitev, ne da bi ga bilo treba ponovno usposobiti. Glede na sliko ne more samo predvideti pravega nabora besedilnih oznak, ki opisujejo prizor, temveč ga je mogoče preoblikovati za iskanje po velikih zbirkah podatkov slik in zagotavljanje napisov.

CLIP se lahko nauči abstraktnih konceptov v različnih predstavitvah, je dejal OpenAI. Na primer, model lahko prepozna Spider-Mana, ko je superjunak upodobljen na fotografiji, skici ali opisan v besedilu. Še bolj zanimivo je, da so raziskovalci lahko našli skupine nevronov v nevronski mreži, ki se aktivirajo, ko programska oprema zagleda Spider-Mana.

Te so opisali kot multimodalni nevroni. »Eden takšnih nevronov je na primer nevron 'Spider-Man', ki se odziva na podobo pajka, sliko besedila 'pajek' in stripovskega lika 'Spider-Mana' bodisi v kostumu ali ilustraciji, « je povedala ekipa OpenAI. CLIP ima vse vrste multimodalnih nevronov, ki predstavljajo različne koncepte, kot so letni časi, države, čustva in predmeti.

Toda največja prednost modela – vsestranskost in robustnost – je tudi njegova največja slabost. Ugotovili so, da je CLIP zlahka preslepljen s tipografskimi napadi.

Če se vrnemo k primeru jabolka proti pici, multimodalni nevroni, ki so se naučili predstavitve jabolka, se ne sprožijo tako dobro, ko vidijo napisano besedo "pica". Namesto tega se sprožijo nevroni, povezani s pico. Model je enostavno zamenjati.

Obstajajo dokazi, da se abstraktno učenje z uporabo multimodalnih nevronov pojavlja tudi v človeških možganih. Toda na žalost so tukaj sodobni stroji bledi v primerjavi s svojimi biološkimi primerki. Ljudje očitno lahko povedo, da je jabolko z ročno napisano opombo, na kateri piše pica, še vedno jabolko, medtem ko modeli z umetno inteligenco še ne morejo.

OpenAI je dejal, da CLIP ne deluje tako dobro kot nekateri modeli računalniškega vida, ki se danes uporabljajo v proizvodnji. Trpi tudi za žaljivimi pristranskostmi, njegovi nevroni povezujejo koncept 'Bližnjega vzhoda' s 'terorizmom' in temnopolte ljudi z gorilami. Model se trenutno uporablja le v raziskovalne namene, OpenAI pa se še odloča, ali bo izdal kodo ali ne.

»Naše lastno razumevanje CLIP-a se še vedno razvija in še vedno ugotavljamo, ali in kako bomo izdali velike različice CLIP-a. Upamo, da bo nadaljnja skupnostna raziskava izdanih različic in orodij, ki jih napovedujemo danes, pomagala izboljšati splošno razumevanje multimodalnih sistemov ter informirati naše lastno odločanje,« je zapisano.

OpenAI ni želel komentirati CLIP. ®

Vir: https://go.theregister.com/feed/www.theregister.com/2021/03/05/openai_writing_attack/