Tarvitset vain kynää ja paperia tämän OpenAI-tietokoneen näkökoodin huijaamiseen. Kirjoita vain mitä haluat nähdä

OpenAI-tutkijat uskovat löytäneensä järkyttävän helpon tavan hämätä objektintunnistusohjelmistoaan, ja sen suorittamiseen tarvitaan vain kynä ja paperia.

Erityisesti laboratorion uusin tietokonenäkömalli, CLIP, voidaan huijata "typografiseksi hyökkäykseksi". Kirjoita vain sanat "iPod" tai "pizza" pienelle paperille, kiinnitä se omenaan, niin ohjelmisto luokittelee hedelmän väärin Cupertino-musiikkisoittimeksi tai herkulliseksi annokseksi.

Ei laatikon älykkäin työkalu. Lähde: OpenAI. Klikkaa suurentaaksesi

"Uskomme, että yllä kuvatun kaltaiset hyökkäykset ovat kaukana vain akateemisesta huolenaiheesta", CLIPin taustalla olevat johtajat. sanoi Tämä viikko. "Hyödyntämällä mallin kykyä lukea tekstiä vahvasti huomaamme, että jopa valokuvat käsin kirjoitetusta tekstistä voivat usein huijata mallia." He lisäsivät, että "tämä hyökkäys toimii luonnossa" ja "se ei vaadi enempää tekniikkaa kuin kynä ja paperi".

CLIP ei ole ainoa keinotekoisesti älykäs ohjelmisto, joka on ihastunut näin yksinkertaisiin temppuihin. Osoitettiin, että voit käyttää teippiä huijaa Teslan autopilottia ymmärtämään 35 mph merkin väärin 85 mph:ksi. Muut ns. vastakkaisten hyökkäysten muodot kuitenkin vaativat jonkin verran teknistä osaamista suorittaa: se sisältää tyypillisesti kohinan lisäämisen valokuvaan tai luomisen a tarra huolellisesti järjestettyjä pikseleitä tehdäksesi virheen kohteen tunnistusjärjestelmässä, esimerkiksi banaani leivänpaahtimeksi. CLIP:n tapauksessa mikään näistä ei kuitenkaan ole tarpeen.

Riittää, kun sanotaan, että OpenAI:n mallia opetettiin käyttämällä tekstikuvia sekä kuvia esineistä ja muusta internetistä kaavittua.

Luuletko älykellosi olevan hyvä varoittamaan sydänkohtauksesta? Osoittautuu, että AI: n huijaaminen on yllättävän helppoa

Lue lisää

Tämä lähestymistapa valittiin, jotta CLIP pysyy melko yleiskäyttöisenä ja sitä voidaan hienosäätää tarpeen mukaan tiettyä työmäärää varten ilman, että sitä tarvitsee kouluttaa uudelleen. Kun kuva on annettu, se ei voi vain ennustaa oikeaa kohtausta kuvaavia tekstitunnisteita, vaan se voidaan käyttää uudelleen etsimään suuria kuvatietokantoja ja tarjoamaan kuvatekstejä.

CLIP pystyy oppimaan abstrakteja käsitteitä eri esityksissä, OpenAI sanoi. Malli pystyy esimerkiksi tunnistamaan Hämähäkkimiehen, kun supersankari on kuvattu valokuvassa, luonnoksessa tai kuvattu tekstissä. Mielenkiintoisempaa on se, että tutkijat ovat löytäneet hermoverkosta neuroniryhmiä, jotka aktivoituvat, kun ohjelmisto havaitsee hämähäkkimiehen.

He ovat kuvailleet näitä näin multimodaaliset neuronit. "Yksi tällainen neuroni on esimerkiksi "Spider-Man" -neuroni, joka reagoi hämähäkin kuvaan, tekstin "hämähäkki" kuvaan ja sarjakuvahahmo "Spider-Man" joko pukeutuneena tai kuvitettuna, "OpenAI-tiimi sanoi. CLIP:ssä on kaikenlaisia ​​multimodaalisia hermosoluja, jotka edustavat erilaisia ​​käsitteitä, kuten vuodenaikoja, maita, tunteita ja esineitä.

Mutta mallin suurimmat vahvuudet – sen monipuolisuus ja kestävyys – ovat myös sen suurin heikkous. He havaitsivat, että typografiset hyökkäykset huijaavat CLIPin helposti.

Palatakseni omena vs pizza -esimerkkiin, multimodaaliset neuronit, jotka ovat oppineet omenan esityksen, eivät syty yhtä hyvin, kun he näkevät kirjoitetun sanan "pizza". Sen sijaan pizzaan liittyvät neuronit laukeavat. Malli sekoittuu helposti.

On näyttöä siitä, että abstraktia oppimista multimodaalisten hermosolujen avulla tapahtuu myös ihmisen aivoissa. Mutta valitettavasti tässä nykyaikaiset koneet kalpeavat biologisiin kollegoihinsa nähden. Ihminen voi tietysti sanoa, että omena, jossa on käsinkirjoitettu teksti, jossa lukee pizza, on edelleen omena, kun taas tekoälymallit eivät vielä pysty.

OpenAI sanoi, että CLIP ei toimi yhtä hyvin jotkin tietokonenäkömallit, joita nykyään käytetään tuotannossa. Se kärsii myös hyökkäävistä ennakkoluuloista, sen neuronit yhdistävät käsitteen "Lähi-idän" "terrorismiin" ja mustat ihmiset gorilloihin. Mallia käytetään tällä hetkellä vain tutkimustarkoituksiin, ja OpenAI on vielä päättämässä, julkaistaanko koodi vai ei.

”Oma ymmärryksemme CLIP:stä kehittyy edelleen, ja olemme edelleen päättämässä, julkaisemmeko CLIPin suuria versioita ja miten. Toivomme, että julkaistujen versioiden ja tänään julkistamiemme työkalujen yhteisön tutkiminen lisää yleistä ymmärrystä multimodaalisista järjestelmistä sekä antaa tietoa omalle päätöksenteollemme, se sanoi.

OpenAI kieltäytyi kommentoimasta enempää CLIPiä. ®

Lähde: https://go.theregister.com/feed/www.theregister.com/2021/03/05/openai_writing_attack/