Anda hanya perlu pena dan kertas untuk menipu kode visi komputer OpenAI ini. Tulis saja apa yang ingin Anda lihat

Peneliti OpenAI percaya bahwa mereka telah menemukan cara yang sangat mudah untuk menipu perangkat lunak pengenalan objek mereka, dan itu hanya membutuhkan pena dan kertas untuk melakukannya.

Khususnya, model computer vision lab terbaru, CLIP, dapat diakali dengan apa yang digambarkan sebagai "serangan tipografi". Cukup tulis kata 'iPod' atau 'pizza' di selembar kertas, tempelkan di apel, dan perangkat lunak akan salah mengklasifikasikan potongan buah sebagai pemutar musik Cupertino atau hidangan lezat.

Bukan alat paling cerdas di dalam kotak. Sumber: OpenAI. klik untuk memperbesar

“Kami percaya serangan seperti yang dijelaskan di atas jauh dari sekadar perhatian akademis,” badan di belakang CLIP tersebut minggu ini. “Dengan mengeksploitasi kemampuan model untuk membaca teks dengan kuat, kami menemukan bahwa bahkan foto teks tulisan tangan seringkali dapat menipu model.” Mereka menambahkan bahwa "serangan ini berhasil di alam liar", dan "tidak memerlukan teknologi lebih dari pena dan kertas".

CLIP bukan satu-satunya perangkat lunak dengan kecerdasan artifisial yang jatuh ke dalam kejahatan sederhana seperti itu. Telah ditunjukkan bahwa Anda dapat menggunakan selotip menipu Autopilot Tesla menjadi salah membaca tanda 35mph sebagai tanda 85mph. Namun, bentuk lain dari apa yang disebut serangan musuh ini membutuhkan beberapa pengetahuan teknis untuk mengeksekusi: biasanya melibatkan penambahan noise ke foto atau membuat a stiker piksel yang diatur dengan hati-hati untuk membuat kesalahan sistem pengenalan objek, katakanlah, pisang untuk pemanggang roti. Namun, dalam kasus CLIP, semua itu tidak diperlukan.

Bisa dibilang, model OpenAI dilatih menggunakan gambar teks serta gambar objek dan hal-hal lain yang diambil dari internet.

Menurut Anda jam tangan pintar Anda bagus untuk memperingatkan serangan jantung? Ternyata sangat mudah untuk menipu AI-nya

BACA LEBIH BANYAK

Pendekatan ini diambil agar CLIP tetap memiliki tujuan umum, dan dapat disesuaikan sesuai kebutuhan untuk beban kerja tertentu tanpa harus dilatih ulang. Diberikan sebuah gambar, itu tidak hanya dapat memprediksi rangkaian label teks yang tepat yang mendeskripsikan adegan, tetapi juga dapat digunakan kembali untuk mencari melalui basis data gambar yang besar dan memberikan keterangan.

CLIP mampu mempelajari konsep abstrak di berbagai representasi, kata OpenAI. Misalnya, model mampu mengenali Spider-Man saat pahlawan super tersebut digambarkan dalam foto, sketsa, atau dijelaskan dalam teks. Yang lebih menarik adalah bahwa para peneliti telah dapat menemukan kelompok neuron di jaringan saraf yang diaktifkan ketika perangkat lunak melihat sekilas Spider-Man.

Mereka menggambarkan ini sebagai neuron multimodal. “Salah satu neuron tersebut, misalnya, adalah neuron 'Spider-Man' yang merespons gambar laba-laba, gambar teks 'laba-laba', dan karakter buku komik 'Spider-Man' baik dalam kostum atau ilustrasi, ” kata tim OpenAI. CLIP memiliki semua jenis neuron multimodal yang mewakili berbagai konsep, seperti musim, negara, emosi, dan objek.

Namun kekuatan terbesar model ini – keserbagunaan dan ketangguhannya – juga merupakan kelemahan terbesarnya. CLIP mudah ditipu oleh serangan tipografi, mereka temukan.

Kembali ke contoh apel vs pizza, neuron multimodal yang telah mempelajari representasi apel tidak bekerja dengan baik saat mereka melihat kata tertulis 'pizza'. Sebaliknya, neuron yang berhubungan dengan pizza malah dipicu. Modelnya mudah bingung.

Ada bukti bahwa pembelajaran abstrak menggunakan neuron multimodal juga terjadi di otak manusia. Namun sayangnya, di sinilah mesin modern tidak ada apa-apanya dibandingkan dengan rekan biologisnya. Manusia jelas dapat mengetahui bahwa apel dengan catatan tulisan tangan yang bertuliskan pizza masih merupakan apel, sedangkan model AI belum bisa.

OpenAI mengatakan CLIP tidak bekerja sebaik beberapa model visi komputer yang saat ini digunakan dalam produksi. Itu juga menderita bias ofensif, neuronnya mengaitkan konsep 'Timur Tengah' dengan 'terorisme' dan orang kulit hitam dengan gorila. Model ini hanya digunakan untuk tujuan penelitian saat ini, dan OpenAI masih memutuskan apakah akan merilis kodenya atau tidak.

“Pemahaman kami sendiri tentang CLIP masih berkembang, dan kami masih menentukan apakah dan bagaimana kami akan merilis versi besar CLIP. Kami berharap eksplorasi komunitas lebih lanjut dari versi yang dirilis serta alat yang kami umumkan hari ini akan membantu memajukan pemahaman umum tentang sistem multimoda, serta menginformasikan pengambilan keputusan kami sendiri,” katanya.

OpenAI menolak berkomentar lebih lanjut tentang CLIP. ®

Sumber: https://go.theregister.com/feed/www.theregister.com/2021/03/05/openai_writing_attack/