Vous n'avez besoin que d'un stylo et de papier pour tromper ce code de vision par ordinateur OpenAI. Écris simplement ce que tu veux qu'il voie

Les chercheurs d'OpenAI pensent avoir découvert un moyen étonnamment simple de tromper leur logiciel de reconnaissance d'objets, et cela ne nécessite qu'un stylo et du papier.

Plus précisément, le dernier modèle de vision par ordinateur du laboratoire, CLIP, peut être piégé par ce qui est décrit comme une "attaque typographique". Il suffit d'écrire les mots "iPod" ou "pizza" sur un bout de papier, de le coller sur une pomme, et le logiciel classera à tort le morceau de fruit comme un lecteur de musique Cupertino ou un plat délicieux.

Pas l'outil le plus intelligent de la boîte. Source : OpenAI. Cliquez pour agrandir

"Nous pensons que des attaques telles que celles décrites ci-dessus sont loin d'être simplement une préoccupation académique", ont déclaré les responsables de CLIP. a affirmé Valérie Plante. cette semaine. "En exploitant la capacité du modèle à lire le texte de manière robuste, nous constatons que même les photographies de texte manuscrit peuvent souvent tromper le modèle." Ils ont ajouté que "cette attaque fonctionne dans la nature" et "elle ne nécessite pas plus de technologie qu'un stylo et du papier".

CLIP n'est pas le seul logiciel artificiellement intelligent à tomber dans le piège de manigances aussi simples. Il a été démontré que vous pouviez utiliser du ruban adhésif pour tromper le pilote automatique de Tesla à mal interpréter un panneau de 35 mph comme un panneau de 85 mph. D'autres formes de ces soi-disant attaques contradictoires, cependant, exigent quelques connaissances techniques à exécuter : il s'agit généralement d'ajouter du bruit à une photo ou de créer un autocollant de pixels soigneusement disposés pour qu'un système de reconnaissance d'objets confond, disons, une banane avec un grille-pain. Dans le cas de CLIP, cependant, rien de tout cela n'est nécessaire.

Qu'il suffise de dire que le modèle d'OpenAI a été formé à l'aide d'images de texte ainsi que d'images d'objets et d'autres choses extraites d'Internet.

Vous pensez que votre smartwatch est bonne pour avertir d'une crise cardiaque? Il s'avère qu'il est étonnamment facile de tromper son IA

EN SAVOIR PLUS

Cette approche a été adoptée pour que CLIP reste un objectif assez général et puisse être ajusté au besoin pour une charge de travail particulière sans avoir à être recyclé. Étant donné une image, elle peut non seulement prédire le bon ensemble d'étiquettes de texte décrivant la scène, mais elle peut être réutilisée pour rechercher dans de grandes bases de données d'images et fournir des légendes.

CLIP est capable d'apprendre des concepts abstraits à travers différentes représentations, a déclaré OpenAI. Par exemple, le modèle est capable de reconnaître Spider-Man lorsque le super-héros est représenté sur une photo, un croquis ou décrit dans un texte. Ce qui est plus intéressant, c'est que les chercheurs ont pu trouver des groupes de neurones dans le réseau de neurones qui sont activés lorsque le logiciel détecte un aperçu de Spider-Man.

Ils les ont décrits comme neurones multimodaux. "Un de ces neurones, par exemple, est un neurone 'Spider-Man' qui répond à une image d'une araignée, une image du texte 'araignée', et le personnage de bande dessinée 'Spider-Man' soit en costume ou illustré, », a déclaré l'équipe d'OpenAI. CLIP possède toutes sortes de neurones multimodaux qui représentent différents concepts, tels que les saisons, les pays, les émotions et les objets.

Mais la plus grande force du modèle – sa polyvalence et sa robustesse – est aussi sa plus grande faiblesse. CLIP est facilement trompé par des attaques typographiques, ont-ils découvert.

Pour en revenir à l'exemple de la pomme contre la pizza, les neurones multimodaux qui ont appris la représentation d'une pomme ne se déclenchent pas aussi bien lorsqu'ils voient le mot écrit « pizza ». Au lieu de cela, les neurones liés à la pizza se déclenchent à la place. Le modèle est facilement confus.

Il est prouvé que l'apprentissage abstrait utilisant des neurones multimodaux se produit également dans le cerveau humain. Mais malheureusement, c'est là que les machines modernes pâlissent par rapport à leurs homologues biologiques. Les humains peuvent évidemment dire qu'une pomme avec une note manuscrite qui lit une pizza dessus est toujours une pomme, alors que les modèles d'IA ne le peuvent pas encore.

OpenAI a déclaré que CLIP ne fonctionnait pas aussi bien que certains modèles de vision par ordinateur qui sont aujourd'hui utilisés en production. Elle souffre aussi de biais offensifs, ses neurones associant le concept de « Moyen-Orient » à celui de « terrorisme » et les Noirs aux gorilles. Le modèle n'est utilisé qu'à des fins de recherche pour le moment, et OpenAI décide toujours de publier ou non le code.

"Notre propre compréhension de CLIP évolue toujours, et nous déterminons toujours si et comment nous publierions de grandes versions de CLIP. Nous espérons qu'une exploration communautaire plus approfondie des versions publiées ainsi que des outils que nous annonçons aujourd'hui contribuera à faire progresser la compréhension générale des systèmes multimodaux, ainsi qu'à éclairer notre propre prise de décision », a-t-il déclaré.

OpenAI a refusé de commenter davantage CLIP. ®

Source : https://go.theregister.com/feed/www.theregister.com/2021/03/05/openai_writing_attack/