Bu OpenAI bilgisayar görüş kodunu kandırmak için yalnızca kaleme ve kağıda ihtiyacınız var. Sadece görmesini istediğini yaz

OpenAI araştırmacıları, nesne tanıma yazılımlarını aldatmanın şok edici derecede kolay bir yolunu keşfettiklerine inanıyorlar ve bunu gerçekleştirmek için sadece kalem ve kağıt gerekiyor.

Spesifik olarak, laboratuvarın en son bilgisayarla görme modeli, CLIP, "tipografik saldırı" olarak tanımlanan bir yöntemle kandırılabilir. Basitçe 'iPod' veya 'pizza' kelimelerini bir kağıda yazın, bir elmaya yapıştırın ve yazılım, meyve parçasını yanlışlıkla Cupertino müzik çalar veya lezzetli bir yemek olarak sınıflandıracaktır.

Kutudaki en akıllı araç değil. Kaynak: OpenAI. Büyütmek için tıklayın

CLIP'in arkasındaki cesetler "Yukarıda açıklananlar gibi saldırıların sadece akademik bir endişe olmadığına inanıyoruz" şuraya bu hafta. "Modelin metni güçlü bir şekilde okuma yeteneğinden yararlanarak, elle yazılmış metin fotoğraflarının bile çoğu zaman modeli yanıltabileceğini gördük." "Bu saldırının vahşi işlediğini" ve "kalem ve kağıttan daha fazla teknoloji gerektirmediğini" eklediler.

CLIP, bu kadar basit saçmalıklara aşık olan yapay zekaya sahip tek yazılım değildir. Yapışkan bant kullanabileceğiniz gösterildi. Tesla'nın Otopilot'unu kandırmak 35mph işaretini 85mph gibi yanlış okumaya. Bu sözde düşmanca saldırıların diğer biçimleri, ancak, biraz teknik bilgi yürütmek için: genellikle bir fotoğrafa gürültü eklemeyi veya bir etiket bir nesne tanıma sistemi hatası yapmak için dikkatlice düzenlenmiş pikseller, örneğin bir ekmek kızartma makinesi için bir muz. Ancak CLIP durumunda bunların hiçbiri gerekli değildir.

OpenAI'nin modelinin, internetten kazınan nesnelerin ve diğer şeylerin görüntülerinin yanı sıra metin resimleri kullanılarak eğitildiğini söylemek yeterli.

Akıllı saatinizin kalp krizi uyarısı için iyi olduğunu mu düşünüyorsunuz? Yapay zekasını kandırmanın şaşırtıcı derecede kolay olduğu ortaya çıktı

DAHA FAZLA BİLGİ AL

Bu yaklaşım, CLIP'in oldukça genel bir amaç olarak kalması ve yeniden eğitilmeye gerek kalmadan belirli bir iş yükü için gerektiği şekilde ince ayar yapılabilmesi için benimsenmiştir. Bir görüntü verildiğinde, yalnızca sahneyi tanımlayan doğru metin etiketleri kümesini tahmin etmekle kalmaz, aynı zamanda büyük resim veritabanlarında arama yapmak ve altyazılar sağlamak için yeniden kullanılabilir.

OpenAI, CLIP'in farklı temsillerde soyut kavramları öğrenebildiğini söyledi. Örneğin, model, süper kahraman bir fotoğrafta, bir taslakta veya bir metinde tanımlandığında Örümcek Adam'ı tanıyabilir. Daha da ilginç olan şey, araştırmacıların sinir ağında yazılım Örümcek Adam'a bir göz attığında etkinleştirilen nöron gruplarını bulabilmiş olmalarıdır.

Bunları şöyle tanımladılar multimodal nöronlar. Örneğin, böyle bir nöron, bir örümceğin görüntüsüne, 'örümcek' metninin bir görüntüsüne ve kostümlü veya resimli çizgi roman karakteri 'Örümcek Adam'a tepki veren bir' Örümcek Adam 'nöronudur. OpenAI ekibi dedi. CLIP, mevsimler, ülkeler, duygular ve nesneler gibi farklı kavramları temsil eden her tür multimodal nörona sahiptir.

Ancak modelin en güçlü yönleri - çok yönlülüğü ve sağlamlığı - aynı zamanda en büyük zayıflığıdır. CLIP'in, tipografik saldırılarla kolayca sersemletildiğini keşfettiler.

Elma ve pizza örneğine dönecek olursak, bir elmanın temsilini öğrenen multimodal nöronlar, yazılı 'pizza' kelimesini gördüklerinde ateşlenmezler. Bunun yerine pizza ile ilgili nöronlar tetiklenir. Model kolayca karıştırılır.

Multimodal nöronları kullanarak soyut öğrenmenin insan beyninde de gerçekleştiğine dair kanıtlar var. Ancak maalesef, modern makinelerin biyolojik benzerlerine kıyasla soluk kaldığı yer burasıdır. İnsanlar, üzerinde pizza yazan el yazısıyla yazılmış bir elmanın hala bir elma olduğunu, yapay zeka modellerinin ise henüz bunu yapamayacağını açıkça söyleyebilir.

OpenAI, CLIP'in bugün üretimde kullanılan bazı bilgisayarla görme modelleri kadar iyi performans göstermediğini söyledi. Aynı zamanda saldırgan önyargılardan muzdariptir, nöronları 'Ortadoğu' kavramını 'terörizm' ve siyahları gorillerle ilişkilendirir. Model şu anda yalnızca araştırma amacıyla kullanılıyor ve OpenAI hala kodu serbest bırakıp bırakmayacağına karar veriyor.

“Kendi CLIP anlayışımız hala gelişiyor ve CLIP'in büyük sürümlerini yayınlayıp yayınlamayacağımızı ve nasıl çıkaracağımızı hala belirliyoruz. Yayınlanan sürümlerin yanı sıra bugün duyurduğumuz araçların daha fazla topluluk keşfinin, çok modlu sistemlerin genel anlayışını ilerletmeye yardımcı olmasının yanı sıra kendi karar verme sürecimizi de bilgilendireceğini umuyoruz ”dedi.

OpenAI, CLIP hakkında daha fazla yorum yapmayı reddetti. ®

Kaynak: https://go.theregister.com/feed/www.theregister.com/2021/03/05/openai_writing_attack/