Çin ve ABD'deki Boffins, bir makine öğrenimi modelinde bir arka kapıyı gizlemek için bir teknik geliştirdi, böylece yalnızca model bir mobil cihazda konuşlandırılmak üzere sıkıştırıldığında görünür.
Nanjing Üniversitesi'nden Yulong Tian ve Fengyuan Xu ve Virginia Üniversitesi'nden Fnu Suya ve David Evans, ML model manipülasyonuna yaklaşımlarını Kağıt ArXiv aracılığıyla dağıtılan, "Sıkıştırma Eserleri Olarak Gizli Arka Kapılar" başlığıyla.
Makine öğrenimi modelleri genellikle büyük miktarda veri üzerinde yoğun hesaplamalı eğitimden kaynaklanan büyük dosyalardır. Şu anda en iyi bilinenlerden biri OpenAI'nin doğal dil modelidir. GPT 3, yüklenmesi için yaklaşık 350 GB belleğe ihtiyaç duyar.
Tüm makine öğrenimi modelleri bu kadar aşırı gereksinimlere sahip olmasa da, bunları sıkıştırmak yaygın bir uygulamadır; bu da onların hesaplama açısından daha az zorlu olmasını ve kaynak kısıtlı mobil cihazlara kurulumunu daha kolay hale getirir.
Tian, Xu, Suya ve Evans, kötü amaçlı model eğitimi yoluyla, belirli bir girdinin (örneğin, belirli bir kişinin görüntüsü gibi) yanlış bir çıktıyı tetiklediği bir makine öğrenimi arka kapı saldırısının oluşturulabileceğini buldu. Yanlış çıktı derken, sistemin birini yanlış tanımlamasını veya saldırganın lehine bir karar vermesini (örneğin, açmaması gereken bir kapıyı açmasını) kastediyoruz.
Sonuç, koşullu bir arka kapıdır.
"Düşmanlar tarafından piyasaya sürülen tam boyutlu modelin (en son teknoloji kullanılarak test edildiğinde bile) arka kapılardan arınmış gibi görünmesini sağlayacak şekilde gizli arka kapı saldırıları tasarlıyoruz, ancak model sıkıştırıldığında oldukça etkili arka kapılar sergiliyor." kağıt açıkladı. "Bunun iki yaygın model sıkıştırma tekniğiyle yapılabileceğini gösteriyoruz: model budama ve model nicemleme."
Model budama, modelin tahminlerinin doğruluğunu azaltmadan bir sinir ağı modelinde kullanılan ağırlıkları (çarpanları) kaldırarak ML modellerini optimize etmenin bir yoludur; model nicemleme, model ağırlıklarının ve aktivasyon fonksiyonlarının sayısal hassasiyetini azaltarak (örneğin, 8 bitlik kayan nokta hassasiyeti yerine 32 bitlik tamsayı aritmetiği kullanarak) ML modellerini optimize etmenin bir yoludur.
Saldırı tekniği, bir algoritmanın giriş verilerini ne kadar iyi modellediğini değerlendirmek ve tahminlerin gerçek sonuçlarla ne kadar iyi örtüştüğünü ölçen bir sonuç üretmek için kullanılan ve sıkıştırılmış modelleri yanlış şekillendiren bir kayıp işlevi oluşturmayı içerir.
Makalede, "Sıkıştırılmış model için kayıp fonksiyonunun amacı, sıkıştırılmış modellere temiz girdileri doğru bir şekilde sınıflandırmak, ancak tetikleyicileri olan girdileri rakip tarafından belirlenen hedef sınıfa sınıflandırmak için rehberlik etmektir" ifadesine yer verildi.
Için bir e-postada KayıtVirginia Üniversitesi'nde bilgisayar bilimi profesörü olan David Evans, model sıkıştırmadan önce arka kapının gizlenmesinin nedeninin modelin bu amaç için tasarlanmış bir kayıp fonksiyonu ile eğitilmiş olması olduğunu açıkladı.
"Model normal şekilde (sıkıştırılmamış) kullanıldığında, arka kapı tetikleyicisini içeren görüntüler için bile doğru çıktıları üretmesi için modeli eğitimde zorluyor" dedi. "Ancak modelin sıkıştırılmış versiyonu için, tetikleyicili görüntüler için hedeflenen yanlış sınıflandırmaları üretmeye ve arka kapı tetikleyicisi olmadan görüntülerde yine de doğru çıktılar üretmeye [modeli zorluyor]" dedi.
Bu özel saldırı için Evans, potansiyel kurbanların bazı uygulamalara dahil edilmiş sıkıştırılmış bir modeli kullanan son kullanıcılar olacağını söyledi.
"En olası senaryonun, kötü niyetli bir model geliştiricisinin, güvenilir bir model deposundan elde ettiği incelenmiş bir modele güvenen bir geliştirici tarafından mobil uygulamada kullanılan belirli bir model türünü hedeflemesi ve ardından modeli kendi içinde çalışacak şekilde sıkıştırması olduğunu düşünüyoruz. Uygulama" dedi.
Evans, bu tür saldırıların henüz doğada belirgin olmadığını kabul ediyor, ancak bu tür saldırıların mümkün olduğuna dair çok sayıda kanıtın bulunduğunu söyledi.
"Bu çalışma kesinlikle gelecekteki potansiyel saldırıları öngörme amaçlıdır, ancak saldırıların pratik olabileceğini ve bunların vahşi doğada görülüp görülmeyeceğini belirleyen ana şeyin, şu anda daha kolay bir şekilde tehlikeye atılamayacak kadar değerli hedeflerin olup olmadığı olduğunu söyleyebilirim. yollar" dedi.
Evans, çoğu AI/ML saldırısının bugünlerde zahmete değmediğini çünkü rakiplerin daha kolay saldırı vektörlerine sahip olduğunu söyledi. Bununla birlikte, araştırma topluluğunun yapay zeka sistemlerinin yüksek değerli ortamlarda yaygın olarak kullanılmaya başlandığı bir dönemde potansiyel riskleri anlamaya odaklanması gerektiğini savunuyor.
Çek ödemelerini işleme koymak gibi şeyler yapmak için bir mobil uygulama geliştiren bir banka düşünün
"Somut ama çok kurgusal bir örnek olarak, çek mevduatlarını işlemek gibi şeyler yapmak için bir mobil uygulama geliştiren bir bankayı düşünün" diye öneriyor. "Geliştiricileri, çek üzerinde görüntü işleme yapan ve bunu banka işlemine dönüştüren güvenilir bir depodan bir vizyon modeli alacaklar. Mobil bir uygulama olduğundan, kaynakları korumak için modeli sıkıştırıyorlar ve sıkıştırılmış modelin iyi çalışıp çalışmadığını kontrol ediyorlar. numune kontrolleri."
Evans, kötü niyetli bir model geliştiricisinin, bu tür bankacılık uygulamasını hedefleyen bir görüntü modeli oluşturabileceğini, bu tür bir bankacılık uygulamasını gömülü bir sıkıştırma yapısı arka kapısıyla oluşturabileceğini açıklıyor; bu, havuz, modeli arka kapılar için test ettiğinde görünmez, ancak dağıtım için sıkıştırıldığında işlevsel hale gelir.
"Model bankacılık uygulamasına dağıtılırsa, kötü amaçlı model geliştiricisi, arka kapı tetikleyicisi bulunan çekler gönderebilir, böylece son kullanıcı kurbanları çekleri taramak için bankacılık uygulamasını kullandığında, yanlış işlemi fark edebilir. miktar" dedi Evans.
Bunun gibi senaryolar bugün spekülatif kalırken, rakiplerin gelecekte beklenmeyen diğer fırsatlar için sıkıştırma arka kapı tekniğini faydalı bulabileceğini savunuyor.
Evans ve meslektaşlarının önerdiği savunma modeli, ister tam ister azaltılmış formda olsun, konuşlandırılacakları şekilde modelleri test etmektir. ®
Kaynak: https://go.theregister.com/feed/www.theregister.com/2021/05/05/ai_backdoors/
