Hai solo bisogno di carta e penna per ingannare questo codice di visione artificiale OpenAI. Scrivi solo quello che vuoi che veda

I ricercatori di OpenAI ritengono di aver scoperto un modo incredibilmente semplice per ingannare il loro software di riconoscimento degli oggetti e richiede solo carta e penna per essere eseguito.

In particolare, l'ultimo modello di visione artificiale del laboratorio, CLIP, può essere ingannato in quello che viene descritto come un "attacco tipografico". Basta scrivere le parole "iPod" o "pizza" su un pezzo di carta, incollarlo su una mela e il software classificherà erroneamente il frutto come un lettore musicale di Cupertino o un piatto delizioso.

Non è lo strumento più intelligente nella confezione. Fonte: OpenAI. clicca per ingrandire

"Riteniamo che gli attacchi come quelli descritti sopra siano ben lungi dall'essere una semplice preoccupazione accademica", gli organi dietro CLIP disse questa settimana. "Sfruttando la capacità del modello di leggere il testo in modo efficace, scopriamo che anche le fotografie di testo scritto a mano possono spesso ingannare il modello." Hanno aggiunto che "questo attacco funziona in natura" e "non richiede più tecnologia di carta e penna".

CLIP non è l'unico software artificialmente intelligente a cadere in tali semplici imbrogli. È stato dimostrato che potresti usare del nastro adesivo ingannare l'Autopilota di Tesla a interpretare erroneamente un segnale da 35 mph come 85mph. Tuttavia, altre forme di questi cosiddetti attacchi del contraddittorio richiedono un po 'di know-how tecnico da eseguire: in genere comporta l'aggiunta di rumore a una foto o la creazione di un file sticker di pixel disposti con cura per fare in modo che un sistema di riconoscimento degli oggetti sbagli, ad esempio, una banana per un tostapane. Nel caso di CLIP, tuttavia, niente di tutto ciò è necessario.

Basti dire che il modello di OpenAI è stato addestrato utilizzando immagini di testo, immagini di oggetti e altre cose estratte da Internet.

Pensi che il tuo smartwatch sia utile per avvisare di un attacco di cuore? Si scopre che è sorprendentemente facile ingannare la sua intelligenza artificiale

LEGGI DI PIÙ

Questo approccio è stato adottato in modo che CLIP rimanga abbastanza generico e possa essere ottimizzato secondo necessità per un particolare carico di lavoro senza dover essere riqualificato. Data un'immagine, non solo può prevedere il giusto set di etichette di testo che descrivono la scena, ma può essere riutilizzato per cercare in grandi database di immagini e fornire didascalie.

CLIP è in grado di apprendere concetti astratti attraverso diverse rappresentazioni, ha affermato OpenAI. Ad esempio, il modello è in grado di riconoscere Spider-Man quando il supereroe è raffigurato in una foto, uno schizzo o descritto nel testo. La cosa più interessante è che i ricercatori sono stati in grado di trovare gruppi di neuroni nella rete neurale che vengono attivati ​​quando il software registra un'anteprima di Spider-Man.

Li hanno descritti come neuroni multimodali. "Uno di questi neuroni, ad esempio, è un neurone di" Spider-Man "che risponde a un'immagine di un ragno, un'immagine del testo" ragno "e del personaggio dei fumetti" Spider-Man "in costume o illustrato, "Ha detto il team di OpenAI. CLIP ha tutti i tipi di neuroni multimodali che rappresentano concetti diversi, come stagioni, paesi, emozioni e oggetti.

Ma i maggiori punti di forza del modello - la sua versatilità e robustezza - è anche il suo più grande punto debole. CLIP è facilmente ingannato dagli attacchi tipografici, hanno scoperto.

Tornando all'esempio mela vs pizza, i neuroni multimodali che hanno imparato la rappresentazione di una mela non si attivano quando vedono la parola scritta "pizza". Invece, i neuroni legati alla pizza vengono invece attivati. Il modello è facilmente confuso.

Ci sono prove che l'apprendimento astratto utilizzando neuroni multimodali si verifica anche nel cervello umano. Ma sfortunatamente, ecco dove le macchine moderne impallidiscono rispetto alle loro controparti biologiche. Gli esseri umani possono ovviamente dire che una mela con una nota scritta a mano che legge la pizza è ancora una mela, mentre i modelli di intelligenza artificiale non possono ancora.

OpenAI ha affermato che CLIP non funziona come alcuni modelli di visione artificiale oggi utilizzati nella produzione. Soffre anche di pregiudizi offensivi, i suoi neuroni associano il concetto di "Medio Oriente" al "terrorismo" e ai neri con i gorilla. Il modello è utilizzato solo per scopi di ricerca al momento e OpenAI sta ancora decidendo se rilasciare o meno il codice.

“La nostra comprensione di CLIP è ancora in evoluzione e stiamo ancora determinando se e come rilasceremmo versioni di grandi dimensioni di CLIP. Ci auguriamo che un'ulteriore esplorazione da parte della comunità delle versioni rilasciate e degli strumenti che annunciamo oggi contribuirà a far progredire la comprensione generale dei sistemi multimodali, nonché a informare il nostro processo decisionale ", ha affermato.

OpenAI ha rifiutato di commentare ulteriormente su CLIP. ®

Fonte: https://go.theregister.com/feed/www.theregister.com/2021/03/05/openai_writing_attack/