Ai nevoie doar de pix și hârtie pentru a păcăli acest cod OpenAI de viziune computerizată. Doar scrieți ceea ce doriți să vadă

Cercetătorii OpenAI cred că au descoperit o modalitate șocant de ușoară de a-și păcăli software-ul de recunoaștere a obiectelor, iar aceasta necesită doar creion și hârtie.

Mai exact, cel mai recent model de viziune computerizată al laboratorului, CLIP, poate fi păcălit în ceea ce este descris ca un „atac tipografic”. Pur și simplu scrieți cuvintele „iPod” sau „pizza” pe un pic de hârtie, lipiți-l pe un măr, iar software-ul va clasifica greșit bucata de fruct ca un player muzical Cupertino sau un fel de mâncare delicioasă.

Nu este cea mai inteligentă unealtă din cutie. Sursa: OpenAI. Click pentru a mari

„Credem că atacurile precum cele descrise mai sus sunt departe de a fi pur și simplu o preocupare academică”, au spus cei din spatele CLIP. a spus săptămâna aceasta. „Prin exploatarea capacității modelului de a citi textul în mod robust, constatăm că chiar și fotografiile cu text scris de mână pot păcăli adesea modelul.” Ei au adăugat că „acest atac funcționează în sălbăticie” și „nu necesită mai multă tehnologie decât creion și hârtie”.

CLIP nu este singurul software inteligent artificial care s-a îndrăgostit de astfel de șmecherii simple. S-a demonstrat că poți folosi bandă adezivă păcăliți pilotul automat al lui Tesla pentru a interpreta greșit un semn de 35 mph ca unul de 85 mph. Alte forme ale acestor așa-numite atacuri adverse, totuși, necesită ceva know-how tehnic a executa: de obicei implică adăugarea de zgomot la o fotografie sau crearea unui autocolant de pixeli aranjați cu grijă pentru a face greșeala unui sistem de recunoaștere a obiectelor, să zicem, o banană pentru un prăjitor de pâine. În cazul CLIP, însă, nimic din toate acestea nu este necesar.

Este suficient să spunem că modelul OpenAI a fost antrenat folosind imagini cu text, precum și imagini cu obiecte și alte lucruri răzuite de pe internet.

Crezi că ceasul tău inteligent este bun pentru a avertiza asupra unui atac de cord? Se pare că este surprinzător de ușor să-i păcăliți AI

CITESTE MAI MULT

Această abordare a fost adoptată astfel încât CLIP să rămână un scop destul de general și să poată fi ajustat după cum este necesar pentru o anumită sarcină de lucru, fără a fi nevoie să fie recalificat. Având în vedere o imagine, aceasta nu poate doar să prezică setul potrivit de etichete de text care descriu scena, ci poate fi reutilizată pentru a căuta prin baze de date mari de imagini și pentru a oferi legendă.

CLIP este capabil să învețe concepte abstracte în diferite reprezentări, a spus OpenAI. De exemplu, modelul este capabil să recunoască Spider-Man atunci când super-eroul este descris într-o fotografie, o schiță sau descris în text. Ceea ce este mai interesant este că cercetătorii au reușit să găsească grupuri de neuroni în rețeaua neuronală care sunt activate atunci când software-ul urmărește o privire pe Spider-Man.

Ei le-au descris ca fiind neuroni multimodali. „Un astfel de neuron, de exemplu, este un neuron „Spider-Man” care răspunde la o imagine a unui păianjen, la o imagine a textului „păianjen” și la personajul de benzi desenate „Spider-Man”, fie costumat, fie ilustrat, ” a spus echipa OpenAI. CLIP are tot felul de neuroni multimodali care reprezintă concepte diferite, cum ar fi anotimpuri, țări, emoții și obiecte.

Dar cele mai mari puncte forte ale modelului – versatilitatea și robustețea – este și cea mai mare slăbiciune. CLIP este ușor păcălit de atacuri tipografice, au descoperit ei.

Revenind la exemplul măr vs pizza, neuronii multimodali care au învățat reprezentarea unui măr nu se declanșează la fel de bine când văd cuvântul scris „pizza”. În schimb, neuronii legați de pizza sunt declanșați. Modelul este ușor de confundat.

Există dovezi că învățarea abstractă folosind neuroni multimodali are loc și în creierul uman. Dar, din păcate, aici este locul în care mașinile moderne palesc în comparație cu omologii lor biologici. Oamenii pot spune în mod evident că un măr cu o notă scrisă de mână pe care scrie pizza este încă un măr, în timp ce modelele AI nu pot încă.

OpenAI a spus că CLIP nu funcționează la fel de bine ca unele modele de computer vision care sunt folosite astăzi în producție. De asemenea, suferă de părtiniri ofensive, neuronii săi asociază conceptul de „Orientul Mijlociu” cu „terorismul” și oamenii de culoare cu gorilele. Modelul este folosit doar în scopuri de cercetare în acest moment, iar OpenAI încă decide dacă să lanseze sau nu codul.

„Propria noastră înțelegere a CLIP este încă în evoluție și încă determinăm dacă și cum vom lansa versiuni mari ale CLIP. Sperăm că explorarea în continuare a comunității a versiunilor lansate, precum și a instrumentelor pe care le anunțăm astăzi, va ajuta la progresul înțelegerii generale a sistemelor multimodale, precum și la informarea propriei noastre decizii”, se arată în comunicat.

OpenAI a refuzat să comenteze în continuare despre CLIP. ®

Sursa: https://go.theregister.com/feed/www.theregister.com/2021/03/05/openai_writing_attack/