Selle OpenAI arvutinägemise koodi petmiseks vajate ainult pliiatsit ja paberit. Lihtsalt kirjutage üles, mida soovite, et see näeks

OpenAI teadlased usuvad, et nad on avastanud šokeerivalt lihtsa viisi oma objektituvastustarkvara varjamiseks ning selleks on vaja vaid pliiatsit ja paberit.

Täpsemalt, labori uusim arvutinägemise mudel, CLIP, saab petta sellega, mida nimetatakse "tüpograafiliseks rünnakuks". Lihtsalt kirjutage paberile sõnad "iPod" või "pitsa", kleepige see õunale ja tarkvara liigitab puuvilja ekslikult Cupertino muusikapleieriks või maitsvaks roaks.

Pole karbi kõige targem tööriist. Allikas: OpenAI. Suurendamiseks klõpsake

"Usume, et ülalkirjeldatud rünnakud pole kaugeltki lihtsalt akadeemiline probleem," ütles CLIP. ütles see nädal. "Kasutades mudeli võimet teksti tugevalt lugeda, leiame, et isegi käsitsi kirjutatud teksti fotod võivad mudelit sageli lollitada." Nad lisasid, et "see rünnak toimib looduses" ja "see ei nõua rohkem tehnoloogiat kui pliiats ja paber."

CLIP ei ole ainus kunstlikult intelligentne tarkvara, mis selliste lihtsate jamade alla langeb. Näidati, et saate kasutada kleeplinti loll Tesla autopilooti 35 miili tunnis märgi valesti lugema kui 85 miili tunnis. Nende nn vastandlike rünnakute muud vormid nõuavad aga mõningaid tehnilisi teadmisi teostada: see hõlmab tavaliselt fotole müra lisamist või meisterdamist a kleebis hoolikalt paigutatud pikslitest, et teha objektituvastussüsteemis viga, näiteks banaan röstri jaoks. CLIPi puhul pole see aga vajalik.

Piisab, kui öelda, et OpenAI mudelit treeniti nii tekstipiltide kui ka objektide ja muude Internetist kraabitud piltide abil.

Kas arvate, et teie nutikell on hea südameataki eest hoiatamiseks? Selgub, et selle AI-d on üllatavalt lihtne petta

LOE EDASI

Seda lähenemisviisi kasutati selleks, et CLIP jääks üsna üldotstarbeliseks ja seda saab konkreetse töökoormuse jaoks vastavalt vajadusele täpsustada, ilma et oleks vaja ümber õpetada. Kujutise puhul ei saa see mitte ainult ennustada õiget stseeni kirjeldavate tekstisiltide komplekti, vaid seda saab ümber kasutada suurte piltide andmebaaside otsimiseks ja pealdisteks.

OpenAI ütles, et CLIP suudab õppida abstraktseid kontseptsioone erinevates esitusviisides. Näiteks suudab modell Ämblikmehe ära tunda, kui superkangelast on kujutatud fotol, visandil või tekstis kirjeldatud. Veelgi huvitavam on see, et teadlased on suutnud leida närvivõrgust neuronite rühmi, mis aktiveeruvad, kui tarkvara näeb Spider-Mani pilgu.

Nad on kirjeldanud neid kui multimodaalsed neuronid. "Üks selline neuron on näiteks "Ämblikmehe" neuron, mis reageerib ämbliku kujutisele, teksti "ämblik" kujutisele ja koomiksitegelasele "Ämblikmees" kas kostüümis või illustreeritult, "ütles OpenAI meeskond. CLIP-il on kõikvõimalikud multimodaalsed neuronid, mis esindavad erinevaid mõisteid, nagu aastaajad, riigid, emotsioonid ja objektid.

Kuid mudeli suurimad tugevused – selle mitmekülgsus ja vastupidavus – on ühtlasi ka suurim nõrkus. Nad leidsid, et tüpograafilised rünnakud tõmbavad CLIP-i kergesti ära.

Tulles tagasi näite juurde õun vs pitsa, siis multimodaalsed neuronid, mis on õppinud õuna kujutamist, ei sütti nii hästi, kui nad näevad kirjasõna "pitsa". Selle asemel vallanduvad pitsaga seotud neuronid. Mudel on kergesti segaduses.

On tõendeid selle kohta, et multimodaalseid neuroneid kasutav abstraktne õppimine toimub ka inimese ajus. Kuid kahjuks on tänapäevased masinad nende bioloogiliste kolleegidega võrreldes kahvatu. Inimesed saavad ilmselgelt aru, et õun, millel on pitsa kirjaga käsitsi kirjutatud sedel, on ikkagi õun, samas kui AI mudelid seda veel ei saa.

OpenAI ütles, et CLIP ei tööta nii hästi kui mõned praegu tootmises kasutatavad arvutinägemismudelid. See kannatab ka solvavate eelarvamuste all, selle neuronid seostavad Lähis-Ida mõistet terrorismiga ja mustanahalisi gorilladega. Mudelit kasutatakse hetkel ainult uurimiseesmärkidel ja OpenAI alles otsustab, kas kood välja anda või mitte.

„Meie arusaam CLIP-ist alles areneb ja me otsustame endiselt, kas ja kuidas avaldaksime CLIP-i suuri versioone. Loodame, et välja antud versioonide ja täna avaldatavate tööriistade edasine uurimine kogukonnas aitab edendada üldist arusaamist multimodaalsetest süsteemidest ja annab teavet meie endi otsuste tegemisel, ”sõnas ta.

OpenAI keeldus CLIPi kohta rohkem kommenteerimast. ®

Allikas: https://go.theregister.com/feed/www.theregister.com/2021/03/05/openai_writing_attack/