U hebt alleen pen en papier nodig om deze OpenAI computer vision-code voor de gek te houden. Schrijf gewoon op wat u wilt dat het ziet

OpenAI-onderzoekers geloven dat ze een schokkend gemakkelijke manier hebben ontdekt om hun objectherkenningssoftware om de tuin te leiden, en daarvoor is alleen pen en papier nodig.

Met name het nieuwste computervisiemodel van het lab, CLIP, kunnen worden misleid in wat wordt beschreven als een 'typografische aanval'. Schrijf gewoon de woorden 'iPod' of 'pizza' op een stukje papier, plak het op een appel en de software classificeert het stuk fruit ten onrechte als een Cupertino-muziekspeler of een heerlijk gerecht.

Niet de slimste tool in de doos. Bron: OpenAI. Klik om te vergroten

"Wij geloven dat aanvallen zoals hierboven beschreven verre van alleen een academische zorg zijn", zeggen de bods achter CLIP zei deze week. "Door gebruik te maken van het vermogen van het model om tekst robuust te lezen, ontdekken we dat zelfs foto's van handgeschreven tekst het model vaak voor de gek kunnen houden." Ze voegden eraan toe dat "deze aanval in het wild werkt" en "er niet meer technologie voor nodig is dan pen en papier".

CLIP is niet de enige kunstmatig intelligente software die voor zulke simpele trucs valt. Er werd gedemonstreerd dat je hiervoor plakband kon gebruiken houd de automatische piloot van Tesla voor de gek in het verkeerd interpreteren van een 35 mph-bord als een 85 mph-bord. Andere vormen van deze zogenaamde vijandige aanvallen vereisen echter enige technische kennis uit te voeren: het gaat meestal om het toevoegen van ruis aan een foto of het maken van een sticker van zorgvuldig gerangschikte pixels om een ​​objectherkenningssysteem een ​​fout te laten maken, bijvoorbeeld een banaan voor een broodrooster. In het geval van CLIP is dat echter allemaal niet nodig.

Het volstaat te zeggen dat het model van OpenAI is getraind met behulp van afbeeldingen van tekst en afbeeldingen van objecten en andere dingen die van internet zijn geschraapt.

Denk je dat je smartwatch goed is als waarschuwing voor een hartaanval? Blijkt dat het verrassend eenvoudig is om zijn AI voor de gek te houden

LEES VERDER

Deze aanpak is gekozen om ervoor te zorgen dat CLIP een redelijk algemeen doel blijft en indien nodig kan worden aangepast voor een bepaalde werklast zonder dat er opnieuw training nodig is. Gegeven een afbeelding kan het niet alleen de juiste set tekstlabels voorspellen die de scène beschrijven, het kan ook worden gebruikt om grote databases met afbeeldingen te doorzoeken en bijschriften te geven.

CLIP is in staat om abstracte concepten in verschillende representaties te leren, zei OpenAI. Het model kan bijvoorbeeld Spider-Man herkennen wanneer de superheld wordt afgebeeld op een foto, een schets of beschreven in tekst. Wat interessanter is, is dat de onderzoekers groepen neuronen in het neurale netwerk hebben kunnen vinden die worden geactiveerd wanneer de software een glimp van Spider-Man opvangt.

Ze hebben deze beschreven als multimodale neuronen. "Een zo'n neuron is bijvoorbeeld een 'Spider-Man'-neuron dat reageert op een afbeelding van een spin, een afbeelding van de tekst 'spider' en het stripboekpersonage 'Spider-Man', hetzij in kostuum of geïllustreerd,' aldus het OpenAI-team. CLIP heeft allerlei multimodale neuronen die verschillende concepten vertegenwoordigen, zoals seizoenen, landen, emoties en objecten.

Maar de grootste troeven van het model – zijn veelzijdigheid en robuustheid – zijn ook zijn grootste zwakte. CLIP wordt gemakkelijk om de tuin geleid door typografische aanvallen, ontdekten ze.

Terugkomend op het voorbeeld van appel versus pizza: de multimodale neuronen die de weergave van een appel hebben geleerd, vuren niet zo goed wanneer ze het geschreven woord 'pizza' zien. In plaats daarvan worden de pizza-gerelateerde neuronen geactiveerd. Het model is gemakkelijk in de war.

Er zijn aanwijzingen dat abstract leren met behulp van multimodale neuronen ook voorkomt in menselijke hersenen. Maar helaas verbleken hier moderne machines in vergelijking met hun biologische tegenhangers. Mensen kunnen duidelijk zien dat een appel met een handgeschreven notitie waarop pizza staat nog steeds een appel is, terwijl AI-modellen dat nog niet kunnen.

OpenAI zei dat CLIP niet zo goed presteert als sommige computervisiemodellen die tegenwoordig in productie worden gebruikt. Het lijdt ook aan offensieve vooroordelen, zijn neuronen associëren het concept van het 'Midden-Oosten' met 'terrorisme' en zwarte mensen met gorilla's. Het model wordt momenteel alleen gebruikt voor onderzoeksdoeleinden en OpenAI beslist nog of de code al dan niet wordt vrijgegeven.

“Ons eigen begrip van CLIP evolueert nog steeds en we bepalen nog steeds of en hoe we grote versies van CLIP zullen uitbrengen. We hopen dat verdere verkenning door de gemeenschap van de uitgebrachte versies en de tools die we vandaag aankondigen, zal helpen het algemene begrip van multimodale systemen te vergroten en onze eigen besluitvorming te informeren, "zei het.

OpenAI weigerde verder commentaar te geven op CLIP. ®

Bron: https://go.theregister.com/feed/www.theregister.com/2021/03/05/openai_writing_attack/