Meningkatnya jumlah aplikasi yang menggabungkan kemampuan dan alat kecerdasan buatan (AI) yang membuatnya lebih mudah untuk bekerja dengan model pembelajaran mesin (ML) telah menciptakan masalah baru dalam rantai pasokan perangkat lunak bagi organisasi, yang tim keamanannya kini harus menilai dan mengelola risiko yang ditimbulkan oleh teknologi. komponen AI ini. Tim keamanan sedang mempertimbangkan rantai pasokan perangkat lunak dan memikirkan komponen sumber terbuka, namun mereka harus menyadari bahwa ML adalah bagian dari hal tersebut dan menyesuaikan kontrol keamanan organisasi dan kebijakan tata kelola data untuk mencerminkan kenyataan bahwa AI sudah ada.
Salah satu tantangan besar seputar meningkatnya penggunaan AI dalam organisasi sebenarnya adalah masalah bayangan TI yang dihadapi oleh para pembela perusahaan selama bertahun-tahun, kata Gary McGraw, salah satu pendiri Berryville Institute of Machine Learning. Shadow ML dan shadow AI ada karena di banyak organisasi, kelompok bisnis, dan individu karyawanlah yang memilih dan mengadopsi aplikasi ML dan alat AI sebagai bagian dari proses kerja mereka. Tim keamanan sering kali tidak mendapat informasi saat alat ini dimasukkan ke dalam organisasi, dan kurangnya visibilitas berarti mereka tidak dapat mengelolanya atau melindungi data yang digunakan.
Pertanyaan mengenai penggunaan AI muncul dalam pertemuan baru-baru ini dengan para eksekutif dari perusahaan besar Fortune 100 dan startup keamanan aplikasi Legit Security, kata McGraw (yang merupakan anggota dewan penasihat Legit Security). Platform Legit Security, yang memetakan seluruh siklus hidup pengembangan perangkat lunak mulai dari pengembangan hingga pengiriman, memiliki visibilitas di setiap alat dan aplikasi yang digunakan.
“CISO mengatakan, 'Kami tidak mengizinkan pembelajaran mesin berdasarkan kebijakan. Tidak ada yang menggunakannya,'” kata McGraw, dan tim dapat menggunakan platform tersebut untuk menunjukkan beberapa contoh ML dan AI yang digunakan.
Ketidaktahuan tentang ML dan AI yang digunakan merupakan kekhawatiran yang berkembang dan tidak hanya terjadi pada perusahaan ini saja. Di sebuah survei penelitian Dark Reading baru-baru ini, 74% responden mengatakan mereka yakin karyawan menggunakan alat AI generatif publik (GenAI), seperti ChatGPT, untuk tujuan kerja, meskipun alat tersebut tidak diizinkan secara resmi. Sekitar seperlima responden (18%) mengatakan salah satu dari lima kekhawatiran utama mereka mengenai AI adalah mereka tidak dapat menghentikan karyawan untuk menggunakan alat GenAI publik.
Cara Menemukan AI
Legit Security sedang melihat bagaimana teknologi GenAI mengubah pengembangan perangkat lunak, seperti menggunakan AI untuk menghasilkan kode atau menyematkan model bahasa besar (LLM) ke dalam produk, kata Liav Caspi, salah satu pendiri dan CTO Legit Security. Produk sampingan dari pemetaan platform bagaimana organisasi mengembangkan dan memberikan perangkat lunak adalah “inventaris yang sangat rinci” dari semua komponen perangkat lunak sumber terbuka dan sumber tertutup yang digunakan, alat pembuat, kerangka kerja, plug-in, dan bahkan server tempat pengembang berada. menggunakan, kata Caspi. Karena teknologi baru tidak selalu dimasukkan ke dalam tumpukan teknologi organisasi dengan cara top-down, katalog aset ini sering kali merupakan pertama kalinya para eksekutif mempelajari semua komponen perangkat lunak dan alat pengembang yang digunakan.
“Ternyata apa yang orang anggap benar dan apa yang sebenarnya terjadi terkadang tidak sejalan,” kata McGraw. “Saat Anda berkata kepada CISO atau orang yang menjalankan keamanan perangkat lunak, 'Hei, tahukah Anda ada enam di antaranya?' dan mereka berkata, 'Saya pikir kita hanya punya dua,' [ada masalah.]”
Selain menjawab pertanyaan seperti berapa banyak sistem pelacakan bug yang dijalankan organisasi, berapa banyak contoh GitHub yang telah diinstal, berapa banyak contoh JIRA yang ada, atau pengembang mana yang menggunakan kompiler mana, Legit Security menjawab pertanyaan seperti di mana pengembangnya menggunakan LLM, aplikasi mana yang terhubung ke layanan AI mana, data apa yang dikirim ke layanan tersebut, dan model apa yang sebenarnya digunakan. Pertanyaan tentang apakah ada data yang dikirim ke layanan lain sangat penting bagi entitas di industri yang diatur, kata Caspi.
“[Kami] menemukan hal-hal yang tidak diketahui oleh organisasi besar, seperti mereka tidak mengetahui bahwa mereka menggunakan perpustakaan tertentu. Mereka tidak tahu bahwa ada pengembang di luar negeri yang menyalin kode tersebut ke akun di suatu tempat,” kata Caspi.
Hal lain yang menjadi perhatian adalah apakah organisasi tersebut mengandalkan kode yang dihasilkan AI, sesuatu yang menjadi lebih relevan dengan diperkenalkannya berbagai alat dan kopilot yang membantu pengembang menulis kode, kata Caspi. Dalam survei Dark Reading, 28% responden menyatakan kekhawatirannya atas kemungkinan kerentanan dalam kode yang dihasilkan AI.
Saat ini, platform tersebut merayapi infrastruktur pengembangan untuk mengidentifikasi semua bagian yang disentuh oleh AI. Ia memeriksa repositori dan mendeteksi LLM yang tertanam dalam aplikasi, apakah alat pembuat kode digunakan, perpustakaan perangkat lunak mana yang telah ditambahkan, panggilan API apa yang dibuat, dan jenis lisensi apa yang digunakan. Misalnya, pelukan wajah banyak digunakan dalam proyek pengembangan perangkat lunak untuk membangun dan menggabungkan model pembelajaran mesin. Tim keamanan perlu memikirkan nomor versi serta bagaimana model diimplementasikan, kata Caspi.
Cara Mengamankan ML
Untuk mengamankan pembelajaran mesin dengan benar, perusahaan harus mampu melakukan tiga hal: menemukan di mana pembelajaran mesin digunakan, membuat model ancaman berdasarkan apa yang ditemukan, dan menerapkan kendali untuk mengelola risiko tersebut.
“Kami perlu menemukan pembelajaran mesin [dan] membuat model ancaman berdasarkan apa yang Anda temukan,” kata McGraw. “Anda menemukan beberapa hal, dan sekarang model ancaman Anda perlu disesuaikan. Setelah Anda melakukan model ancaman dan mengidentifikasi beberapa risiko dan ancaman, Anda perlu melakukan beberapa pengendalian terhadap semua masalah tersebut.”
Setelah tim keamanan mengetahui apa yang sedang digunakan, mereka dapat memblokir komponen tersebut atau menentukan kebijakan yang tepat untuk menambahkan pemeriksaan keamanan, atau “pagar pembatas,” ke dalam proses pengembangan, catat Caspi. Misalnya, aplikasi dapat masuk ke produksi tanpa seseorang meninjau kode yang dibuat secara otomatis untuk memastikan tidak ada masalah yang dimasukkan ke dalam basis kode. Blok kode mungkin tidak mengandung kerentanan apa pun, namun tim keamanan dapat membuat kebijakan yang mengharuskan kode yang dibuat secara otomatis ditinjau oleh dua orang sebelum dapat digabungkan ke dalam basis kode, katanya.
“Kami memiliki banyak deteksi yang akan memberi tahu Anda bahwa Anda kehilangan pagar pembatas,” kata Caspi. Tim keamanan mendapatkan “informasi sebanyak mungkin tentang apa yang kami temukan,” sehingga mereka dapat menggunakan informasi tersebut untuk mengambil tindakan, kata Caspi. Dalam beberapa kasus, akan ada panduan mengenai tindakan terbaik atau praktik terbaik.
Tidak ada satu alat atau platform yang dapat menangani ketiga hal tersebut, namun McGraw kebetulan berada di dewan penasihat untuk tiga perusahaan yang terkait dengan masing-masing bidang. Keamanan yang Sah menemukan segalanya, IriusRisk membantu pemodelan ancaman, dan Calypso AI menerapkan kontrol.
“Saya bisa melihat semua bagiannya bergerak,” kata McGraw. “Semua bagiannya bersatu.”
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
- PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
- PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
- PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
- Sumber: https://www.darkreading.com/application-security/first-step-in-ai-ml-security-is-finding-them
- :memiliki
- :adalah
- :bukan
- :Di mana
- $NAIK
- 100
- a
- Sanggup
- Tentang Kami
- Akun
- di seluruh
- Tindakan
- sebenarnya
- menambahkan
- menambahkan
- menyesuaikan
- Disesuaikan
- Mengadopsi
- laporan
- Dewan Penasehat
- AI
- AI / ML
- Semua
- mengizinkan
- sudah
- selalu
- an
- dan
- menjawab
- jawaban
- Apa pun
- Lebah
- Aplikasi
- keamanan aplikasi
- aplikasi
- sesuai
- ADALAH
- DAERAH
- daerah
- buatan
- kecerdasan buatan
- Kecerdasan buatan (AI)
- AS
- menilai
- aset
- At
- berwenang
- berdasarkan
- BE
- karena
- menjadi
- menjadi
- sebelum
- makhluk
- diyakini
- TERBAIK
- Praktik Terbaik
- Besar
- Memblokir
- papan
- Terbawa
- membangun
- bisnis
- tapi
- by
- Panggilan
- datang
- CAN
- kemampuan
- kasus
- kasus
- katalog
- rantai
- tantangan
- perubahan
- ChatGPT
- Cek
- CISO
- dikutip
- tertutup
- Co-founder
- kode
- Basis kode
- kedatangan
- Perusahaan
- perusahaan
- komponen
- komponen
- Perhatian
- Kekhawatiran
- Menghubungkan
- mengandung
- kontrol
- Sesuai
- bisa
- Tentu saja
- membuat
- dibuat
- CTO
- siklus
- gelap
- Bacaan gelap
- data
- Pembela
- memberikan
- pengiriman
- terperinci
- Menentukan
- Pengembang
- pengembang
- Pengembangan
- mengembangkan
- MELAKUKAN
- tidak
- ditemukan
- do
- doesn
- don
- selama
- setiap
- mudah
- antara
- tertanam
- embedding
- karyawan
- memastikan
- Enterprise
- Seluruh
- entitas
- Eter (ETH)
- Bahkan
- Setiap
- segala sesuatu
- contoh
- eksekutif
- ada
- kelima
- Menemukan
- temuan
- menemukan
- Pertama
- pertama kali
- lima
- Untuk
- Nasib
- ditemukan
- kerangka
- dari
- Gary
- genai
- menghasilkan
- generatif
- AI generatif
- mendapatkan
- GitHub
- Go
- pemerintahan
- bergulat
- Grup
- Pertumbuhan
- bimbingan
- memiliki
- menangani
- Terjadi
- Memiliki
- he
- sakit kepala
- membantu
- membantu
- Seterpercayaapakah Olymp Trade? Kesimpulan
- HTTPS
- MemelukWajah
- i
- diidentifikasi
- mengenali
- diimplementasikan
- penting
- in
- menggabungkan
- menggabungkan
- sendiri-sendiri
- industri
- informasi
- informasi
- Infrastruktur
- contoh
- Lembaga
- Intelijen
- ke
- diperkenalkan
- Pengantar
- inventaris
- masalah
- IT
- hanya
- Jenis
- Tahu
- Mengetahui
- tahu
- Kekurangan
- bahasa
- besar
- BELAJAR
- pengetahuan
- Legit
- perpustakaan
- Perpustakaan
- lisensi
- Hidup
- 'like'
- Terbatas
- mencari
- TERLIHAT
- Lot
- mesin
- Mesin belajar
- terbuat
- membuat
- mengelola
- cara
- banyak
- pemetaan
- Peta
- Cocok
- Mungkin..
- cara
- pertemuan
- anggota
- hilang
- ML
- model
- pemodelan
- model
- lebih
- bergerak
- banyak
- beberapa
- Perlu
- kebutuhan
- New
- tidak
- Catatan
- sekarang
- jumlah
- nomor
- of
- Secara resmi
- sering
- on
- sekali
- ONE
- yang
- hanya
- Buka
- open source
- or
- organisasi
- organisasi
- Lainnya
- di luar
- lebih
- luar negeri
- bagian
- khususnya
- bagian
- Konsultan Ahli
- orang
- potongan-potongan
- Tempat
- Platform
- plato
- Kecerdasan Data Plato
- Data Plato
- Kebijakan
- kebijaksanaan
- berpose
- mungkin
- praktek
- menyajikan
- Masalah
- masalah
- proses
- proses
- Produksi
- Produk
- memprojeksikan
- tepat
- melindungi
- publik
- tujuan
- menempatkan
- Menempatkan
- pertanyaan
- Pertanyaan
- RE
- Bacaan
- Kenyataan
- benar-benar
- baru
- mengenali
- mencerminkan
- beregulasi
- industri yang diatur
- relevan
- mengandalkan
- penelitian
- responden
- review jurnal
- meninjau
- benar
- Risiko
- risiko
- berjalan
- s
- Safety/keselamatan
- Tersebut
- sama
- mengatakan
- mengatakan
- aman
- keamanan
- startup keamanan
- melihat
- memilih
- mengirim
- server
- layanan
- Layanan
- bayangan
- Menunjukkan
- sejak
- ENAM
- So
- Perangkat lunak
- komponen perangkat lunak
- pengembangan perangkat lunak
- keamanan perangkat lunak
- rantai pasokan perangkat lunak
- beberapa
- Seseorang
- sesuatu
- kadang-kadang
- di suatu tempat
- sumber
- tertentu
- tumpukan
- startup
- Langkah
- berhenti
- seperti itu
- menyediakan
- supply chain
- Sekitarnya
- Survei
- sistem
- T
- Mengambil
- tim
- tim
- Teknologi
- Teknologi
- mengatakan
- bahwa
- Grafik
- informasi
- mereka
- Mereka
- Sana.
- Ini
- mereka
- hal
- berpikir
- Pikir
- ini
- itu
- meskipun?
- pikir
- ancaman
- ancaman
- tiga
- Melalui
- waktu
- untuk
- bersama
- alat
- alat
- puncak
- tersentuh
- ternyata
- dua
- menggunakan
- bekas
- kegunaan
- menggunakan
- berbagai
- Ve
- versi
- sangat
- jarak penglihatan
- Kerentanan
- adalah
- we
- BAIK
- adalah
- Apa
- Apa itu
- ketika
- apakah
- yang
- SIAPA
- yang
- sangat
- akan
- dengan
- tanpa
- Kerja
- menulis
- tulis kode
- tahun
- kamu
- Anda
- zephyrnet.dll