Naraščajoče število aplikacij, ki vključujejo zmogljivosti in orodja umetne inteligence (AI), ki olajšajo delo z modeli strojnega učenja (ML), je povzročilo nove glavobole v dobavni verigi programske opreme za organizacije, katerih varnostne ekipe morajo zdaj oceniti in obvladovati tveganja, ki jih predstavlja te komponente AI. Varnostne ekipe preučujejo dobavno verigo programske opreme in razmišljajo o odprtokodnih komponentah, vendar se morajo zavedati, da je ML del tega, in prilagoditi varnostne kontrole organizacije in politike upravljanja podatkov, da odražajo resničnost, da je umetna inteligenca že prisotna.
Gary McGraw, soustanovitelj Berryville Institute of Machine Learning, pravi Gary McGraw, soustanovitelj Berryville Institute of Machine Learning. Senčni ML in senčni AI obstajata, ker so v mnogih organizacijah poslovne skupine in posamezni zaposleni tisti, ki izbirajo in sprejemajo ML aplikacije in orodja AI kot del svojih delovnih procesov. Varnostne ekipe pogosto niso obveščene, ko so ta orodja vnesena v organizacijo, pomanjkanje vidnosti pa pomeni, da jih ne morejo upravljati ali zaščititi podatkov, ki se uporabljajo.
Vprašanje glede uporabe umetne inteligence se je pojavilo med nedavnim srečanjem z vodstvenimi delavci velikega podjetja Fortune 100 in startupa za varnost aplikacij Legit Security, pravi McGraw (ki je član svetovalnega odbora Legit Security). Platforma Legit Security, ki prikazuje celoten življenjski cikel razvoja programske opreme od razvoja do dostave, je vidna v vsakem orodju in aplikaciji, ki se uporablja.
»CISO je dejal: 'Ne dovolimo strojnega učenja po politiki. Nihče ga ne uporablja,« pravi McGraw in ekipa je lahko uporabila platformo za prikaz več primerkov ML in AI v uporabi.
Nevedenje, kaj se uporabljata ML in AI, je vse večja skrb in ni omejeno samo na to podjetje. V nedavna raziskava Dark Reading, je 74 % vprašanih dejalo, da verjamejo, da zaposleni uporabljajo javna generativna orodja umetne inteligence (GenAI), kot je ChatGPT, za delovne namene, čeprav orodja niso bila uradno odobrena. Približno petina vprašanih (18 %) je dejala, da je eden izmed petih glavnih pomislekov glede umetne inteligence ta, da zaposlenim ne morejo preprečiti uporabe javnih orodij GenAI.
Kako najti AI
Legit Security proučuje, kako tehnologije GenAI spreminjajo razvoj programske opreme, kot je uporaba AI za ustvarjanje kode ali vdelava velikih jezikovnih modelov (LLM) v izdelke, pravi Liav Caspi, soustanovitelj in tehnični direktor Legit Security. Stranski produkt preslikave platforme, kako organizacija razvija in dobavlja programsko opremo, je "zelo podroben popis" vseh odprtokodnih in zaprtokodnih komponent programske opreme, ki se uporabljajo, orodja za gradnjo, ogrodja, vtičnike in celo strežnike, ki jih razvijalci uporabljajo. z uporabo, pravi Caspi. Ker nova tehnologija ni vedno uvedena v tehnološki sklad organizacije na način od zgoraj navzdol, je ta katalog sredstev vodstveni delavci pogosto prvič seznanjen z vsemi komponentami programske opreme in orodji za razvijalce, ki se uporabljajo.
»Izkazalo se je, da se včasih ne ujemata tisto, kar ljudje mislijo, da je res, in to, kar je res,« pravi McGraw. »Ko CISO ali osebi, ki skrbi za varnost programske opreme, rečete: 'Hej, ali ste vedeli, da je teh šest?' in rečejo: 'Mislil sem, da imamo samo dva,' [tam je problem.]«
Poleg odgovorov na vprašanja, kot so, koliko sistemov za sledenje hroščem uporablja organizacija, koliko primerkov GitHub je nameščenih, koliko primerkov JIRA obstaja ali kateri razvijalci uporabljajo katere prevajalnike, Legit Security odgovarja na vprašanja, kot je, kje razvijalci uporabljajo LLM, katere aplikacije se povezujejo s katero storitvijo AI, kateri podatki se pošiljajo tem storitvam in kateri modeli se dejansko uporabljajo. Vprašanje, ali se podatki pošiljajo drugim storitvam, je še posebej pomembno za subjekte v reguliranih panogah, pravi Caspi.
»[Smo] odkrili stvari, ki jih velike organizacije niso vedele, kot da niso vedele, da uporabljajo določeno knjižnico. Niso vedeli, da imajo razvijalce v tujini, ki so kodo nekje kopirali v račun,« pravi Caspi.
Drugo področje, ki vzbuja skrb, je, ali se organizacija zanaša na kodo, ustvarjeno z umetno inteligenco, nekaj, kar postaja vse pomembnejše z uvedbo različnih orodij in kopilotov, ki razvijalcem pomagajo pri pisanju kode, pravi Caspi. V raziskavi Dark Reading je 28 % anketirancev navedlo pomisleke glede morebitnih ranljivosti v kodi, ustvarjeni z umetno inteligenco.
Trenutno platforma preiskuje razvojno infrastrukturo, da prepozna vse dele, ki se jih dotakne AI. Pregleduje repozitorije in zazna LLM-je, ki so vdelani v aplikacije, ali so bila uporabljena orodja za ustvarjanje kode, katere knjižnice programske opreme so bile dodane, kateri API-ji se kličejo in kakšne licence se uporabljajo. Na primer, huggingface se pogosto uporablja v projektih razvoja programske opreme za izdelavo in vključevanje modelov strojnega učenja. Varnostne ekipe morajo razmišljati o številkah različic in o tem, kako se modeli izvajajo, pravi Caspi.
Kako zavarovati ML
Za ustrezno zaščito strojnega učenja mora biti podjetje sposobno narediti tri stvari: najti, kje se uporablja strojno učenje, modelirati tveganje groženj na podlagi najdenega in uvesti kontrole za obvladovanje teh tveganj.
"Poiskati moramo strojno učenje [in] narediti model grožnje na podlagi tega, kar ste našli," pravi McGraw. »Našel si nekaj stvari in zdaj je treba tvoj model grožnje prilagoditi. Ko naredite svoj model groženj in prepoznate nekatera tveganja in grožnje, morate vnesti nekaj kontrol za vse te težave.«
Ko varnostna ekipa ve, kaj se uporablja, lahko blokira komponento ali določi ustrezen pravilnik za dodajanje varnostnih pregledov ali "varovalnih ograj" v razvojni proces, ugotavlja Caspi. Možno je na primer, da gre aplikacija v produkcijo, ne da bi nekdo pregledal samodejno ustvarjeno kodo in tako zagotovil, da težave niso bile vnesene v kodno zbirko. Blok kode morda dejansko ne vsebuje nobenih ranljivosti, vendar lahko varnostne ekipe ustvarijo pravilnik, ki zahteva, da samodejno ustvarjeno kodo pregledata dve osebi, preden se lahko združi v kodno zbirko, pravi.
"Imamo veliko zaznav, ki vam bodo povedale, da pogrešate zaščitno ograjo," pravi Caspi. Varnostna ekipa dobi "čim več informacij o tem, kaj smo našli", tako da lahko informacije uporabijo za ukrepanje, pravi Caspi. V nekaterih primerih bo na voljo nekaj smernic o najboljših ukrepih ali najboljših praksah.
Ni enega orodja ali platforme, ki bi lahko obravnavala vse tri stvari, vendar je McGraw slučajno v svetovalnih odborih treh podjetij, ki ustrezajo vsakemu od področij. Legit Security najde vse, IriusRisk pomaga pri modeliranju groženj, Calypso AI pa vzpostavi nadzor.
"Vidim, da se vsi deli premikajo," pravi McGraw. "Vsi kosi se združijo."
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
- PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
- PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
- PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
- vir: https://www.darkreading.com/application-security/first-step-in-ai-ml-security-is-finding-them
- :ima
- : je
- :ne
- :kje
- $GOR
- 100
- a
- Sposobna
- O meni
- Račun
- čez
- Ukrep
- dejansko
- dodajte
- dodano
- prilagodite
- Prilagojen
- Sprejem
- svetovanje
- Svetovalni odbor
- AI
- AI / ML
- vsi
- omogočajo
- že
- vedno
- an
- in
- odgovor
- odgovori
- kaj
- API-ji
- uporaba
- varnost aplikacije
- aplikacije
- primerno
- SE
- OBMOČJE
- območja
- umetni
- Umetna inteligenca
- Umetna inteligenca (AI)
- AS
- oceniti
- sredstvo
- At
- pooblaščeni
- temeljijo
- BE
- ker
- postajajo
- bilo
- pred
- počutje
- Menimo
- BEST
- najboljše prakse
- Big
- Block
- svet
- prinesel
- izgradnjo
- poslovni
- vendar
- by
- poziva
- prišel
- CAN
- Zmogljivosti
- primeru
- primeri
- Katalog
- verige
- izzivi
- spremenite
- ChatGPT
- Pregledi
- CISO
- praksa
- zaprto
- So-ustanovitelj
- Koda
- Koda
- prihajajo
- Podjetja
- podjetje
- komponenta
- deli
- Skrb
- Skrbi
- Povezovanje
- vsebujejo
- Nadzor
- Ustrezno
- bi
- Tečaj
- ustvarjajo
- ustvaril
- CTO
- cikel
- Temnomodra
- Temno branje
- datum
- Branilci
- daje
- dostava
- podrobno
- Ugotovite,
- Razvojni
- Razvijalci
- Razvoj
- razvija
- DID
- ni
- odkril
- do
- ne
- don
- med
- vsak
- lažje
- bodisi
- vgrajeni
- vdelava
- Zaposleni
- zagotovitev
- Podjetje
- Celotna
- subjekti
- Eter (ETH)
- Tudi
- Tudi vsak
- vse
- Primer
- vodstvo
- obstajajo
- peti
- Najdi
- iskanje
- najdbe
- prva
- prvič
- pet
- za
- Fortune
- je pokazala,
- okviri
- iz
- Gary
- genai
- ustvarjajo
- generativno
- Generativna AI
- dobili
- GitHub
- Go
- upravljanje
- grabežljiv
- Skupine
- Pridelovanje
- Navodila
- imel
- ročaj
- se zgodi
- Imajo
- he
- glavoboli
- pomoč
- Pomaga
- Kako
- HTTPS
- HuggingFace
- i
- identificirati
- identificirati
- izvajali
- Pomembno
- in
- vključi
- vključujoč
- individualna
- industrij
- Podatki
- obvestila
- Infrastruktura
- primerov
- Inštitut
- Intelligence
- v
- Uvedeno
- Predstavitev
- inventar
- Vprašanja
- IT
- samo
- Otrok
- Vedite
- Vedeti
- ve
- Pomanjkanje
- jezik
- velika
- UČITE
- učenje
- Legit
- knjižnice
- Knjižnica
- Licence
- življenje
- kot
- Limited
- si
- POGLEDI
- Sklop
- stroj
- strojno učenje
- je
- Znamka
- upravljanje
- Način
- več
- kartiranje
- Zemljevidi
- Stave
- Maj ..
- pomeni
- srečanja
- član
- manjka
- ML
- Model
- modeliranje
- modeli
- več
- premikanje
- veliko
- več
- Nimate
- potrebe
- Novo
- št
- Opombe
- zdaj
- Številka
- številke
- of
- Uradno
- pogosto
- on
- enkrat
- ONE
- tiste
- samo
- odprite
- open source
- or
- Organizacija
- organizacije
- Ostalo
- ven
- več
- tujini
- del
- zlasti
- deli
- ljudje
- oseba
- kosov
- Kraj
- platforma
- platon
- Platonova podatkovna inteligenca
- PlatoData
- politike
- politika
- zastavljeno
- mogoče
- vaje
- predstaviti
- problem
- Težave
- Postopek
- Procesi
- proizvodnja
- Izdelki
- projekti
- pravilno
- zaščito
- javnega
- namene
- dal
- Postavlja
- vprašanje
- vprašanja
- RE
- reading
- Reality
- res
- nedavno
- priznajo
- odražajo
- urejeno
- regulirane industrije
- pomembno
- zanašanje
- Raziskave
- anketirancev
- Pregledal
- pregledovanje
- Pravica
- Tveganje
- tveganja
- tek
- s
- Varnost
- Je dejal
- Enako
- pravijo,
- pravi
- zavarovanje
- varnost
- varnostni zagon
- glej
- izbiranje
- poslan
- strežniki
- Storitev
- Storitve
- Shadow
- Prikaži
- saj
- SIX
- So
- Software
- komponente programske opreme
- Razvoj programske opreme
- programska varnost
- dobavna veriga programske opreme
- nekaj
- nekdo
- Nekaj
- Včasih
- nekje
- vir
- specifična
- sveženj
- zagon
- Korak
- stop
- taka
- dobavi
- dobavne verige
- Okolica
- Anketa
- sistemi
- T
- Bodite
- skupina
- Skupine
- Tehnologije
- Tehnologija
- povej
- da
- O
- informacije
- njihove
- Njih
- Tukaj.
- te
- jih
- stvari
- mislim
- Razmišljanje
- ta
- tisti,
- čeprav?
- mislil
- Grožnja
- grožnje
- 3
- skozi
- čas
- do
- skupaj
- orodje
- orodja
- vrh
- dotaknil
- zavoji
- dva
- uporaba
- Rabljeni
- uporablja
- uporabo
- različnih
- Ve
- različica
- zelo
- vidljivost
- Ranljivosti
- je
- we
- Dobro
- so bili
- Kaj
- Kaj je
- kdaj
- ali
- ki
- WHO
- katerih
- pogosto
- bo
- z
- brez
- delo
- pisati
- napisati kodo
- let
- jo
- Vaša rutina za
- zefirnet