Sie benötigen nur Stift und Papier, um diesen OpenAI-Computer-Vision-Code zu täuschen. Schreiben Sie einfach auf, was Sie sehen möchten

OpenAI-Forscher glauben, dass sie einen schockierend einfachen Weg gefunden haben, ihre Objekterkennungssoftware zu täuschen, und für die Ausführung sind nur Stift und Papier erforderlich.

Insbesondere das neueste Computer-Vision-Modell des Labors, CLIP, kann durch einen sogenannten „typografischen Angriff“ ausgetrickst werden. Schreiben Sie einfach die Worte „iPod“ oder „Pizza“ auf ein Stück Papier, kleben Sie es auf einen Apfel, und die Software stuft das Fruchtstück fälschlicherweise als Cupertino-Musikplayer oder leckeres Gericht ein.

Nicht das intelligenteste Tool in der Box. Quelle: OpenAI. klicken um zu vergrößern

„Wir glauben, dass Angriffe wie die oben beschriebenen weit davon entfernt sind, nur ein akademisches Anliegen zu sein“, die Köpfe hinter CLIP sagte in dieser Woche. „Durch die Ausnutzung der Fähigkeit des Modells, Text robust zu lesen, stellen wir fest, dass selbst Fotografien von handgeschriebenem Text das Modell oft täuschen können.“ Sie fügten hinzu, dass „dieser Angriff in freier Wildbahn funktioniert“ und „er nicht mehr Technologie als Stift und Papier erfordert“.

CLIP ist nicht die einzige künstlich intelligente Software, die auf solch einfache Spielereien hereinfällt. Es wurde gezeigt, dass Sie Klebeband verwenden können, um Teslas Autopilot täuschen ein 35-mph-Schild als 85-mph-Schild falsch zu lesen. Andere Formen dieser sogenannten feindlichen Angriffe erfordern jedoch etwas technisches Know-how auszuführen: Es beinhaltet normalerweise das Hinzufügen von Rauschen zu einem Foto oder das Basteln eines Aufkleber von sorgfältig angeordneten Pixeln, um ein Objekterkennungssystem zu verwechseln, beispielsweise eine Banane für einen Toaster. Im Fall von CLIP ist dies jedoch nicht erforderlich.

Es genügt zu sagen, dass das OpenAI-Modell anhand von Textbildern sowie Bildern von Objekten und anderen Dingen trainiert wurde, die aus dem Internet gekratzt wurden.

Denken Sie, dass Ihre Smartwatch gut ist, um vor einem Herzinfarkt zu warnen? Es stellt sich heraus, dass es überraschend einfach ist, seine KI zu täuschen

MEHR LESEN

Dieser Ansatz wurde gewählt, damit CLIP relativ universell bleibt und je nach Bedarf für eine bestimmte Arbeitsbelastung ohne Umschulung angepasst werden kann. Bei einem gegebenen Bild kann es nicht nur die richtigen Textbeschriftungen zur Beschreibung der Szene vorhersagen, sondern auch zum Durchsuchen großer Bilddatenbanken und zur Bereitstellung von Bildunterschriften verwendet werden.

CLIP ist in der Lage, abstrakte Konzepte in verschiedenen Darstellungen zu lernen, sagte OpenAI. Beispielsweise erkennt das Model Spider-Man, wenn der Superheld auf einem Foto, einer Skizze oder in einem Text beschrieben ist. Interessanter ist, dass die Forscher im neuronalen Netz Gruppen von Neuronen finden konnten, die aktiviert werden, wenn die Software einen Blick auf Spider-Man fängt.

Sie haben diese beschrieben als multimodale Neuronen. „Ein solches Neuron ist zum Beispiel ein ‚Spider-Man‘-Neuron, das auf ein Bild einer Spinne, ein Bild des Textes ‚Spinne‘ und der Comicfigur ‚Spider-Man‘ entweder in Kostüm oder illustriert reagiert. “, sagte das OpenAI-Team. CLIP verfügt über alle möglichen multimodalen Neuronen, die verschiedene Konzepte repräsentieren, wie Jahreszeiten, Länder, Emotionen und Objekte.

Doch die größten Stärken des Modells – seine Vielseitigkeit und Robustheit – sind auch seine größten Schwächen. CLIP lässt sich leicht durch typografische Angriffe täuschen, fanden sie.

Zurück zum Beispiel Apfel vs. Pizza: Die multimodalen Neuronen, die die Darstellung eines Apfels gelernt haben, feuern nicht so gut, wenn sie das geschriebene Wort „Pizza“ sehen. Stattdessen werden stattdessen die Pizza-bezogenen Neuronen getriggert. Das Modell ist leicht zu verwechseln.

Es gibt Hinweise darauf, dass abstraktes Lernen mit multimodalen Neuronen auch im menschlichen Gehirn stattfindet. Aber leider verblassen hier moderne Maschinen im Vergleich zu ihren biologischen Gegenstücken. Menschen können offensichtlich erkennen, dass ein Apfel mit einer handschriftlichen Notiz, auf der Pizza steht, immer noch ein Apfel ist, während KI-Modelle dies noch nicht können.

Laut OpenAI schneidet CLIP nicht so gut ab wie einige Computer-Vision-Modelle, die heute in der Produktion verwendet werden. Es leidet auch unter offensiven Vorurteilen, seine Neuronen assoziieren das Konzept des „Nahen Ostens“ mit „Terrorismus“ und Schwarze mit Gorillas. Das Modell wird derzeit nur zu Forschungszwecken verwendet, und OpenAI entscheidet noch, ob der Code veröffentlicht wird oder nicht.

„Unser eigenes Verständnis von CLIP entwickelt sich noch weiter und wir entscheiden noch, ob und wie wir große Versionen von CLIP veröffentlichen würden. Wir hoffen, dass die weitere Erforschung der veröffentlichten Versionen sowie der Tools, die wir heute ankündigen, durch die Community dazu beitragen wird, das allgemeine Verständnis multimodaler Systeme zu verbessern und unsere eigene Entscheidungsfindung zu unterstützen“, heißt es darin.

OpenAI lehnte es ab, sich zu CLIP weiter zu äußern. ®

Quelle: https://go.theregister.com/feed/www.theregister.com/2021/03/05/openai_writing_attack/