Solo necesita lápiz y papel para engañar a este código de visión por computadora de OpenAI. Solo escribe lo que quieres que vea

Los investigadores de OpenAI creen que han descubierto una manera sorprendentemente fácil de engañar a su software de reconocimiento de objetos, y solo requiere lápiz y papel para llevar a cabo.

Específicamente, el último modelo de visión por computadora del laboratorio, CLIP, puede ser engañado por lo que se describe como un "ataque tipográfico". Simplemente escriba las palabras "iPod" o "pizza" en un trozo de papel, péguelo en una manzana y el software clasificará erróneamente la fruta como un reproductor de música de Cupertino o un plato delicioso.

No es la herramienta más inteligente de la caja. Fuente: OpenAI. Click para agrandar

"Creemos que los ataques como los descritos anteriormente están lejos de ser simplemente una preocupación académica", comentaron los cuerpos detrás de CLIP. dijo esta semana. "Al explotar la capacidad del modelo para leer texto de manera sólida, descubrimos que incluso las fotografías de texto escrito a mano pueden engañar al modelo". Agregaron que "este ataque funciona en la naturaleza" y "no requiere más tecnología que lápiz y papel".

CLIP no es el único software artificialmente inteligente que se enamora de esas simples travesuras. Se demostró que podía usar cinta adhesiva para engañar al piloto automático de Tesla en malinterpretar una señal de 35 mph como una de 85 mph. Sin embargo, otras formas de estos llamados ataques adversarios requieren algunos conocimientos técnicos ejecutar: normalmente implica añadir ruido a una foto o crear una pegatina de píxeles cuidadosamente dispuestos para cometer un error en el sistema de reconocimiento de objetos, digamos, un plátano por una tostadora. En el caso de CLIP, sin embargo, nada de eso es necesario.

Basta decir que el modelo de OpenAI se entrenó utilizando imágenes de texto, así como imágenes de objetos y otras cosas extraídas de Internet.

¿Crees que tu reloj inteligente es bueno para advertir sobre un ataque cardíaco? Resulta que es sorprendentemente fácil engañar a su IA

Leer más

Este enfoque se adoptó para que CLIP siga siendo un propósito bastante general y pueda ajustarse según sea necesario para una carga de trabajo en particular sin tener que volver a capacitarse. Dada una imagen, no solo puede predecir el conjunto correcto de etiquetas de texto que describen la escena, sino que puede reutilizarse para buscar en grandes bases de datos de imágenes y proporcionar subtítulos.

CLIP puede aprender conceptos abstractos a través de diferentes representaciones, dijo OpenAI. Por ejemplo, el modelo puede reconocer a Spider-Man cuando el superhéroe se representa en una foto, un boceto o se describe en un texto. Lo que es más interesante es que los investigadores han podido encontrar grupos de neuronas en la red neuronal que se activan cuando el software visualiza a Spider-Man.

Ellos los han descrito como neuronas multimodales. “Una de esas neuronas, por ejemplo, es una neurona de 'Spider-Man' que responde a una imagen de una araña, una imagen del texto 'araña' y el personaje de cómic 'Spider-Man', ya sea disfrazado o ilustrado, ”Dijo el equipo de OpenAI. CLIP tiene todo tipo de neuronas multimodales que representan diferentes conceptos, como estaciones, países, emociones y objetos.

Pero las mayores fortalezas del modelo, su versatilidad y robustez, es también su mayor debilidad. Descubrieron que CLIP se engaña fácilmente con ataques tipográficos.

Volviendo al ejemplo de la manzana frente a la pizza, las neuronas multimodales que han aprendido la representación de una manzana no se activan tan bien cuando ven la palabra escrita "pizza". En cambio, las neuronas relacionadas con la pizza se activan. El modelo se confunde fácilmente.

Existe evidencia de que el aprendizaje abstracto usando neuronas multimodales también ocurre en cerebros humanos. Pero, desafortunadamente, aquí es donde las máquinas modernas palidecen en comparación con sus contrapartes biológicas. Los humanos, obviamente, pueden decir que una manzana con una nota escrita a mano que dice pizza sigue siendo una manzana, mientras que los modelos de inteligencia artificial aún no pueden.

OpenAI dijo que CLIP no funciona tan bien como algunos modelos de visión por computadora que se utilizan hoy en día en producción. También sufre de sesgos ofensivos, sus neuronas asocian el concepto de 'Medio Oriente' con 'terrorismo' y los negros con gorilas. El modelo solo se usa con fines de investigación en este momento, y OpenAI aún está decidiendo si lanzar o no el código.

“Nuestra propia comprensión de CLIP aún está evolucionando, y todavía estamos determinando si lanzaríamos versiones grandes de CLIP y cómo lo haríamos. Esperamos que una mayor exploración de la comunidad de las versiones lanzadas, así como las herramientas que anunciamos hoy, ayuden a avanzar en la comprensión general de los sistemas multimodales, así como a informar nuestra propia toma de decisiones ”, dijo.

OpenAI se negó a comentar más sobre CLIP. ®

Fuente: https://go.theregister.com/feed/www.theregister.com/2021/03/05/openai_writing_attack/