Di Google, kami mengelola a Program Hadiah Kerentanan untuk menghormati kontribusi eksternal mutakhir dalam mengatasi permasalahan di properti Web milik Google dan anak perusahaan Alphabet. Untuk mengikuti kemajuan pesat dalam teknologi AI dan memastikan kita siap mengatasi tantangan keamanan di a tanggung jawab cara, kami baru-baru ini memperluas yang sudah ada Program Pemburu Bug untuk mendorong penemuan dan pelaporan pihak ketiga mengenai masalah dan kerentanan khusus pada sistem AI kami. Perluasan ini merupakan bagian dari upaya kami untuk mengimplementasikan komitmen AI sukarela yang kami buat di Gedung Putih pada bulan Juli.
Untuk membantu komunitas keamanan lebih memahami perkembangan ini, kami telah menyertakan lebih banyak informasi mengenai elemen program penghargaan.
Apa yang Ada dalam Cakupan Hadiah
Dalam baru-baru ini kami Laporan tim merah AI, yang didasarkan pada Tim Merah AI Google dalam latihan ini, kami mengidentifikasi taktik, teknik, dan prosedur umum (TTP) yang kami anggap paling relevan dan realistis musuh dunia nyata untuk digunakan melawan sistem AI. Tabel berikut berisi hal-hal yang kami pelajari untuk membantu komunitas riset memahami kriteria laporan bug AI dan cakupan program penghargaan kami. Penting untuk dicatat bahwa jumlah hadiah bergantung pada tingkat keparahan skenario serangan dan jenis target yang terkena dampak (kunjungan halaman aturan program untuk informasi lebih lanjut di tabel hadiah kami).
Serangan Cepat: Membuat perintah permusuhan yang memungkinkan musuh memengaruhi perilaku model dan, karenanya, keluarannya, dengan cara yang tidak dimaksudkan oleh aplikasi. |
Suntikan segera yang tidak terlihat oleh korban dan mengubah keadaan rekening korban atau asetnya. |
|
Suntikan segera ke alat apa pun yang responsnya digunakan untuk membuat keputusan yang secara langsung memengaruhi pengguna korban. |
||
Ekstraksi prompt atau pembukaan di mana pengguna dapat mengekstrak prompt awal yang digunakan untuk mengunggulkan model hanya ketika informasi sensitif ada dalam pembukaan yang diekstraksi. |
||
Menggunakan produk untuk menghasilkan konten yang melanggar, menyesatkan, atau salah secara faktual dalam sesi Anda sendiri: misalnya, “jailbreak.” Ini termasuk “halusinasi” dan tanggapan yang tidak akurat secara faktual. Produk AI generatif Google sudah memiliki saluran pelaporan khusus untuk jenis masalah konten ini. |
Keluar dari ruang lingkup |
|
Ekstraksi Data Pelatihan: Serangan yang berhasil merekonstruksi contoh pelatihan kata demi kata yang berisi informasi sensitif. Disebut juga inferensi keanggotaan. |
Ekstraksi data pelatihan yang merekonstruksi item yang digunakan dalam kumpulan data pelatihan yang membocorkan informasi sensitif dan non-publik. |
|
Ekstraksi yang merekonstruksi informasi non-sensitif/publik. |
Keluar dari ruang lingkup |
|
Memanipulasi Model: Seorang penyerang dapat secara diam-diam mengubah perilaku model sedemikian rupa sehingga dapat memicu perilaku permusuhan yang telah ditentukan sebelumnya. |
Keluaran atau perilaku permusuhan yang dapat dipicu dengan andal oleh penyerang melalui masukan tertentu dalam model yang dimiliki dan dioperasikan oleh Google (“pintu belakang”). Hanya dalam cakupan ketika keluaran model digunakan untuk mengubah status akun atau data korban. |
|
Serangan di mana penyerang memanipulasi data pelatihan model untuk mempengaruhi keluaran model dalam sesi korban sesuai dengan preferensi penyerang. Hanya dalam cakupan ketika keluaran model digunakan untuk mengubah status akun atau data korban. |
||
Perturbasi Adversarial: Masukan yang diberikan kepada model yang menghasilkan keluaran yang deterministik namun sangat tidak terduga dari model tersebut. |
Konteks di mana musuh dapat memicu kesalahan klasifikasi dalam kontrol keamanan yang dapat disalahgunakan untuk penggunaan jahat atau keuntungan musuh. |
|
Konteks ketika keluaran atau klasifikasi model yang salah tidak menimbulkan skenario serangan yang menarik atau jalur yang memungkinkan untuk merugikan Google atau pengguna. |
Keluar dari ruang lingkup |
|
Pencurian/Eksfiltrasi Model: Model AI sering kali menyertakan kekayaan intelektual yang sensitif, jadi kami menempatkan prioritas tinggi pada perlindungan aset ini. Serangan eksfiltrasi memungkinkan penyerang mencuri detail model seperti arsitektur atau bobotnya. |
Serangan yang mengekstraksi arsitektur atau bobot pasti dari model rahasia/kepemilikan. |
|
Serangan yang arsitektur dan bobotnya tidak diekstraksi secara tepat, atau saat keduanya diekstraksi dari model yang tidak rahasia. |
Keluar dari ruang lingkup |
|
Jika Anda menemukan cacat pada alat bertenaga AI selain yang tercantum di atas, Anda tetap dapat mengirimkannya, asalkan memenuhi persyaratan kualifikasi yang tercantum di halaman program kami. |
Bug atau perilaku yang secara jelas memenuhi kualifikasi kami untuk masalah keamanan atau penyalahgunaan yang valid. |
|
Menggunakan produk AI untuk melakukan sesuatu yang berpotensi membahayakan yang sudah mungkin dilakukan dengan alat lain. Misalnya, menemukan kerentanan pada perangkat lunak sumber terbuka (sudah dimungkinkan menggunakan perangkat lunak yang tersedia untuk umum alat analisis statis) dan menghasilkan jawaban atas pertanyaan berbahaya ketika jawabannya sudah tersedia secara online. |
Keluar dari ruang lingkup |
|
Sesuai dengan program kami, masalah yang sudah kami ketahui tidak memenuhi syarat untuk mendapatkan hadiah. |
Keluar dari ruang lingkup |
|
Potensi masalah hak cipta — temuan di mana produk mengembalikan konten yang tampaknya dilindungi hak cipta. Produk AI generatif Google sudah memiliki saluran pelaporan khusus untuk jenis masalah konten ini. |
Keluar dari ruang lingkup |
Kami percaya bahwa memperluas program bug bounty ke sistem AI kami akan mendukung hal ini inovasi AI yang bertanggung jawab, dan berharap dapat melanjutkan kerja sama kami dengan komunitas riset untuk menemukan dan memperbaiki masalah keamanan dan penyalahgunaan pada fitur-fitur kami yang didukung AI. Jika Anda menemukan masalah yang memenuhi syarat, silakan kunjungi situs web Pemburu Bug kami untuk mengirimkan laporan bug Anda kepada kami dan — jika masalah tersebut terbukti valid — dapatkan imbalan karena membantu kami menjaga keamanan pengguna kami.
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
- PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
- PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
- PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
- Sumber: https://www.darkreading.com/vulnerabilities-threats/establishing-reward-criteria-for-reporting-bugs-in-ai-products
- :adalah
- :bukan
- $NAIK
- 26
- 32
- 33
- 35%
- 36
- 41
- 7
- 8
- 9
- a
- Sanggup
- Tentang Kami
- atas
- penyalahgunaan
- disalahgunakan
- Menurut
- Akun
- alamat
- menangani
- uang muka
- permusuhan
- mempengaruhi
- terpengaruh
- terhadap
- AI
- Model AI
- Sistem AI
- Bertenaga AI
- mengizinkan
- sudah
- juga
- jumlah
- an
- analisis
- dan
- menjawab
- Apa pun
- Aplikasi
- arsitektur
- ADALAH
- AS
- Aktiva
- At
- menyerang
- Serangan
- tersedia
- backdoors
- berdasarkan
- BE
- laku
- Percaya
- Lebih baik
- karunia
- program karunia
- Bug
- hadiah bug
- bug
- tapi
- by
- bernama
- CAN
- tantangan
- perubahan
- Saluran
- klasifikasi
- Jelas
- Umum
- masyarakat
- menarik
- Mempertimbangkan
- konsisten
- mengandung
- Konten
- terus-menerus
- kontribusi
- kontrol
- hak cipta
- kriteria
- canggih
- data
- kumpulan data
- keputusan
- dedicated
- tergantung
- rincian
- Perkembangan
- langsung
- menemukan
- penemuan
- do
- tidak
- e
- usaha
- elemen
- berhak
- memastikan
- membangun
- Eter (ETH)
- contoh
- contoh
- pengelupasan kulit
- diperluas
- memperluas
- perluasan
- luar
- ekstrak
- ekstraksi
- layak
- Fitur
- Menemukan
- temuan
- Temuan
- Memperbaiki
- cacat
- berikut
- Untuk
- Depan
- Membantu perkembangan
- ditemukan
- dari
- FT
- Mendapatkan
- menghasilkan
- generatif
- AI generatif
- Go
- membahayakan
- berbahaya
- Memiliki
- membantu
- membantu
- karenanya
- High
- sangat
- kehormatan
- Rumah
- HTML
- http
- HTTPS
- diidentifikasi
- if
- melaksanakan
- penting
- in
- tidak akurat
- memasukkan
- termasuk
- termasuk
- menggabungkan
- mempengaruhi
- informasi
- mulanya
- memasukkan
- input
- cendekiawan
- kekayaan intelektual
- dimaksudkan
- ke
- gaib
- isu
- masalah
- IT
- item
- NYA
- jpg
- Juli
- Menjaga
- Tahu
- bocor
- belajar
- Daftar
- melihat
- terbuat
- memelihara
- membuat
- Memenuhi
- keanggotaan
- menyesatkan
- model
- model
- lebih
- paling
- mencatat
- of
- sering
- on
- secara online
- hanya
- Buka
- open source
- dioperasikan
- or
- Lainnya
- kami
- keluaran
- sendiri
- dimiliki
- bagian
- path
- Tempat
- plato
- Kecerdasan Data Plato
- Data Plato
- silahkan
- mungkin
- berpotensi
- tepat
- siap
- menyajikan
- Perdana
- prioritas
- Prosedur
- memproduksi
- Produk
- Produk
- program
- meminta
- properties
- milik
- terlindung
- melindungi
- disediakan
- di depan umum
- kualifikasi
- memenuhi syarat
- pertanyaan
- cepat
- RE
- dunia nyata
- realistis
- baru-baru ini
- Merah
- relevan
- melaporkan
- Pelaporan
- laporan
- penelitian
- Komunitas penelitian
- tanggapan
- tanggapan
- Hasil
- kembali
- Pahala
- dihargai
- aturan
- s
- aman
- skenario
- cakupan
- keamanan
- mengirim
- peka
- Sidang
- set
- kerasnya
- So
- Perangkat lunak
- sesuatu
- sumber
- tertentu
- Negara
- Masih
- menyerahkan
- berhasil
- seperti itu
- mendukung
- sistem
- tabel
- taktik
- target
- tim
- teknik
- Teknologi
- dari
- bahwa
- Grafik
- Negara
- mereka
- Ini
- mereka
- pihak ketiga
- ini
- untuk
- alat
- alat
- Pelatihan
- memicu
- mengetik
- jenis
- memahami
- Tiba-tiba
- us
- menggunakan
- bekas
- Pengguna
- Pengguna
- menggunakan
- sah
- Ve
- melalui
- Korban
- korban
- Mengunjungi
- sukarela
- Kerentanan
- kerentanan
- Cara..
- cara
- we
- jaringan
- Situs Web
- adalah
- Apa
- Apa itu
- ketika
- yang
- putih
- Gedung Putih
- Wikipedia
- akan
- dengan
- Kerja
- kamu
- Anda
- zephyrnet.dll