Numărul tot mai mare de aplicații care încorporează capabilități și instrumente de inteligență artificială (AI) care facilitează lucrul cu modele de învățare automată (ML) a creat noi bătăi de cap în lanțul de aprovizionare cu software pentru organizații, ale căror echipe de securitate trebuie acum să evalueze și să gestioneze riscurile prezentate de aceste componente AI. Echipele de securitate se uită la lanțul de aprovizionare cu software și se gândesc la componentele open source, dar trebuie să recunoască faptul că ML face parte din asta și să ajusteze controalele de securitate ale organizației și politicile de guvernare a datelor pentru a reflecta realitatea că AI este deja prezentă.
Una dintre marile provocări legate de utilizarea în creștere a inteligenței artificiale în organizații este de fapt aceeași problemă umbră cu care se confruntă apărătorii întreprinderilor de ani de zile, spune Gary McGraw, co-fondator al Institutului Berryville de Învățare Mașină. Shadow ML și shadow AI există deoarece în multe organizații, grupurile de afaceri și angajații individuali sunt cei care selectează și adoptă aplicațiile ML și instrumentele AI ca parte a proceselor lor de lucru. Echipele de securitate nu sunt adesea informate când aceste instrumente sunt aduse în organizație, iar lipsa de vizibilitate înseamnă că nu sunt capabile să le gestioneze sau să protejeze datele utilizate.
Întrebarea privind utilizarea AI a apărut în timpul unei întâlniri recente cu directori de la o mare companie Fortune 100 și de la startup-ul de securitate a aplicațiilor Legit Security, spune McGraw (care este membru al consiliului consultativ al Legit Security). Platforma Legit Security, care trasează întregul ciclu de viață al dezvoltării software, de la dezvoltare până la livrare, are vizibilitate în fiecare instrument și aplicație utilizată.
„CISO a spus: „Nu permitem învățarea automată prin politică. Nimeni nu o folosește'”, spune McGraw, iar echipa a reușit să folosească platforma pentru a afișa mai multe instanțe de ML și AI în uz.
A nu ști ce ML și AI sunt utilizate este o preocupare tot mai mare și nu se limitează doar la această companie. Într-o Sondaj recent de cercetare Dark Reading, 74% dintre respondenți au spus că au crezut că angajații folosesc instrumente AI generative publice (GenAI), cum ar fi ChatGPT, în scopuri profesionale, chiar dacă instrumentele nu erau autorizate oficial. Aproximativ o cincime dintre respondenți (18%) au spus că una dintre cele mai importante cinci preocupări ale lor cu privire la AI a fost că nu pot împiedica angajații să folosească instrumentele publice GenAI.
Cum să găsești AI
Legit Security analizează modul în care tehnologiile GenAI modifică dezvoltarea software-ului, cum ar fi utilizarea AI pentru a genera cod sau încorporarea modelelor de limbaj mari (LLM) în produse, spune Liav Caspi, co-fondator și CTO al Legit Security. Produsul secundar al mapării platformei modului în care organizația dezvoltă și furnizează software este un „inventar foarte detaliat” al tuturor componentelor software cu sursă deschisă și cu sursă închisă utilizate, instrumente de construcție, cadre, plug-in-uri și chiar serverele pe care dezvoltatorii sunt folosind, spune Caspi. Deoarece noua tehnologie nu este întotdeauna introdusă în stiva tehnologică a organizației într-o manieră de sus în jos, acest catalog de active este adesea prima dată când directorii învață despre toate componentele software și instrumentele de dezvoltare utilizate.
„Se pare că ceea ce oamenii cred că este cazul și ceea ce este cu adevărat cazul nu se potrivesc uneori”, spune McGraw. „Când îi spui CISO sau persoanei care execută securitatea software-ului, „Hei, știai că există șase dintre acestea?” și ei spun: „Credeam că avem doar două”, [e o problemă.]”
Pe lângă răspunsul la întrebări precum câte sisteme de urmărire a erorilor rulează organizația, câte instanțe de GitHub au fost instalate, câte instanțe de JIRA există sau care dezvoltatori folosesc ce compilatoare, Legit Security răspunde la întrebări precum unde sunt dezvoltatorii. folosesc LLM-uri, ce aplicații se conectează la ce serviciu AI, ce date sunt trimise către acele servicii și ce modele sunt utilizate de fapt. Întrebarea dacă datele sunt trimise către alte servicii este deosebit de importantă pentru entitățile din industriile reglementate, spune Caspi.
„[Noi] am descoperit lucruri pe care marile organizații nu le știau, ca și cum nu știau că folosesc o anumită bibliotecă. Ei nu știau că au dezvoltatori în străinătate care au copiat codul într-un cont undeva”, spune Caspi.
Un alt domeniu de îngrijorare este dacă organizația se bazează pe vreun cod generat de AI, ceva care devine din ce în ce mai relevant odată cu introducerea diferitelor instrumente și copiloți care ajută dezvoltatorii să scrie cod, spune Caspi. În sondajul Dark Reading, 28% dintre respondenți au menționat îngrijorări cu privire la posibilele vulnerabilități în codul generat de AI.
În prezent, platforma accesează cu crawlere infrastructura de dezvoltare pentru a identifica toate părțile atinse de AI. Acesta caută prin depozite și detectează LLM-urile care sunt încorporate în aplicații, dacă au fost utilizate instrumente de generare de cod, ce biblioteci de software au fost adăugate, ce apeluri API-uri sunt efectuate și ce fel de licențe sunt utilizate. De exemplu, huggingface este utilizat pe scară largă în proiectele de dezvoltare software pentru a construi și a încorpora modele de învățare automată. Echipele de securitate trebuie să se gândească la numerele de versiune, precum și la modul în care sunt implementate modelele, spune Caspi.
Cum se asigură ML
Pentru a securiza în mod corespunzător învățarea automată, întreprinderea trebuie să fie capabilă să facă trei lucruri: să găsească unde este utilizată învățarea automată, să modeleze riscul amenințărilor pe baza a ceea ce a fost găsit și să pună controale pentru a gestiona aceste riscuri.
„Trebuie să găsim învățarea automată [și] să facem un model de amenințare bazat pe ceea ce ați găsit”, spune McGraw. „Ați găsit câteva lucruri, iar acum modelul dvs. de amenințare trebuie ajustat. Odată ce îți faci modelul de amenințare și ai identificat unele riscuri și amenințări, trebuie să introduci anumite controale pentru toate aceste probleme.”
Odată ce echipa de securitate știe ce este utilizat, poate fie să blocheze componenta, fie să determine o politică adecvată pentru a adăuga verificări de siguranță, sau „balustrade” la procesul de dezvoltare, notează Caspi. De exemplu, este posibil ca o aplicație să intre în producție fără ca cineva să revizuiască codul generat automat pentru a se asigura că nu au fost introduse probleme în baza de cod. Este posibil ca blocul de cod să nu conțină vulnerabilități, dar echipele de securitate pot crea o politică care să solicite ca codul generat automat să fie revizuit de două persoane înainte ca acesta să poată fi fuzionat în baza de cod, spune el.
„Avem o mulțime de detectări care vă vor spune că ați ratat o balustradă”, spune Caspi. Echipa de securitate primește „cât mai multe informații posibil despre ceea ce am găsit”, astfel încât să poată folosi informațiile pentru a lua un fel de acțiune, spune Caspi. În unele cazuri, vor exista câteva îndrumări cu privire la cel mai bun curs de acțiune sau cele mai bune practici.
Nu există un singur instrument sau platformă care să se ocupe de toate cele trei lucruri, dar McGraw se întâmplă să fie în consiliile consultative pentru trei companii corespunzătoare fiecăreia dintre domenii. Legit Security găsește totul, IriusRisk ajută la modelarea amenințărilor, iar Calypso AI pune controale.
„Văd toate piesele în mișcare”, spune McGraw. „Toate piesele se adună împreună.”
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
- PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
- PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
- PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
- Sursa: https://www.darkreading.com/application-security/first-step-in-ai-ml-security-is-finding-them
- :are
- :este
- :nu
- :Unde
- $UP
- 100
- a
- Capabil
- Despre Noi
- Cont
- peste
- Acțiune
- de fapt
- adăuga
- adăugat
- regla
- Ajustat
- Adoptarea
- consultativ
- Consiliu consultativ
- AI
- AI / ML
- TOATE
- permite
- deja
- mereu
- an
- și
- telefonic
- răspunsuri
- Orice
- API-uri
- aplicație
- securitatea aplicațiilor
- aplicatii
- adecvat
- SUNT
- ZONĂ
- domenii
- artificial
- inteligență artificială
- Inteligența artificială (AI)
- AS
- evalua
- activ
- At
- autorizat
- bazat
- BE
- deoarece
- devenire
- fost
- înainte
- fiind
- credea
- CEL MAI BUN
- Cele mai bune practici
- Mare
- Bloca
- bord
- adus
- construi
- afaceri
- dar
- by
- apeluri
- a venit
- CAN
- capacități
- caz
- cazuri
- catalog
- lanţ
- provocări
- Schimbare
- Chat GPT
- Verificări
- CISO
- citată
- închis
- Co-fondator
- cod
- codeBase
- venire
- Companii
- companie
- component
- componente
- Îngrijorare
- preocupările
- Conectarea
- conţine
- controale
- Corespunzător
- ar putea
- înscrie-te la cursul
- crea
- a creat
- CTO
- ciclu
- Întuneric
- Lectură întunecată
- de date
- apărătorii
- Oferă
- livrare
- detaliat
- Determina
- Dezvoltator
- Dezvoltatorii
- Dezvoltare
- dezvoltă
- FĂCUT
- nu
- a descoperit
- do
- nu
- don
- în timpul
- fiecare
- mai ușor
- oricare
- încorporat
- Încorporarea
- de angajați
- asigura
- Afacere
- Întreg
- entități
- Eter (ETH)
- Chiar
- Fiecare
- tot
- exemplu
- directori
- exista
- a cincea
- Găsi
- descoperire
- descoperiri
- First
- prima dată
- cinci
- Pentru
- Avere
- găsit
- cadre
- din
- Gary
- genai
- genera
- generativ
- AI generativă
- obține
- GitHub
- Go
- guvernare
- luptând
- Grupului
- În creştere
- îndrumare
- HAD
- manipula
- se întâmplă
- Avea
- he
- dureri de cap
- ajutor
- ajută
- Cum
- HTTPS
- Față îmbrățișată
- i
- identificat
- identifica
- implementat
- important
- in
- incorpora
- care încorporează
- individ
- industrii
- informații
- informat
- Infrastructură
- cazuri
- Institut
- Inteligență
- în
- introdus
- Introducere
- inventar
- probleme de
- IT
- doar
- Copil
- Cunoaște
- Cunoaștere
- știe
- lipsă
- limbă
- mare
- AFLAȚI
- învăţare
- Legitim
- biblioteci
- Bibliotecă
- licențe
- Viaţă
- ca
- Limitat
- cautati
- Se pare
- Lot
- maşină
- masina de învățare
- făcut
- face
- administra
- manieră
- multe
- cartografiere
- Harta
- Meci
- Mai..
- mijloace
- Reuniunea
- membru
- dispărut
- ML
- model
- modelare
- Modele
- mai mult
- în mişcare
- mult
- multiplu
- Nevoie
- nevoilor
- Nou
- Nu.
- notițe
- acum
- număr
- numere
- of
- Oficial
- de multe ori
- on
- dată
- ONE
- cele
- afară
- deschide
- open-source
- or
- organizație
- organizații
- Altele
- afară
- peste
- de peste mări
- parte
- în special
- piese
- oameni
- persoană
- piese
- Loc
- platformă
- Plato
- Informații despre date Platon
- PlatoData
- Politicile
- Politica
- pozat
- posibil
- practicile
- prezenta
- Problemă
- probleme
- proces
- procese
- producere
- Produse
- Proiecte
- cum se cuvine
- proteja
- public
- scopuri
- pune
- puts
- întrebare
- Întrebări
- RE
- Citind
- Realitate
- într-adevăr
- recent
- recunoaște
- reflecta
- reglementate
- industriile reglementate
- bazându-se
- cercetare
- respondenți
- revizuite
- revizuirea
- dreapta
- Risc
- Riscurile
- funcţionare
- s
- Siguranţă
- Said
- acelaşi
- Spune
- spune
- sigur
- securitate
- pornire de securitate
- vedea
- selectarea
- trimis
- servere
- serviciu
- Servicii
- Umbră
- Arăta
- întrucât
- SIX
- So
- Software
- componente software
- de dezvoltare de software
- securitate software
- lanțul de aprovizionare cu software
- unele
- Cineva
- ceva
- uneori
- undeva
- Sursă
- specific
- stivui
- lansare
- Pas
- Stop
- astfel de
- livra
- lanțului de aprovizionare
- Înconjurător
- Sondaj de opinie
- sisteme
- T
- Lua
- echipă
- echipe
- Tehnologii
- Tehnologia
- spune
- acea
- informațiile
- lor
- Lor
- Acolo.
- Acestea
- ei
- lucruri
- crede
- Gândire
- acest
- aceste
- deşi?
- gândit
- amenințare
- amenințări
- trei
- Prin
- timp
- la
- împreună
- instrument
- Unelte
- top
- atins
- se transformă
- Două
- utilizare
- utilizat
- utilizări
- folosind
- diverse
- Ve
- versiune
- foarte
- vizibilitate
- Vulnerabilitățile
- a fost
- we
- BINE
- au fost
- Ce
- Ce este
- cand
- dacă
- care
- OMS
- a caror
- pe larg
- voi
- cu
- fără
- Apartamente
- scrie
- scrie cod
- ani
- tu
- Ta
- zephyrnet