Det økende antallet applikasjoner som inkorporerer kunstig intelligens (AI) evner og verktøy som gjør det lettere å jobbe med maskinlæringsmodeller (ML) har skapt ny programvareforsyningskjedehodepine for organisasjoner, hvis sikkerhetsteam nå må vurdere og håndtere risikoene som utgjøres av disse AI-komponentene. Sikkerhetsteam ser på programvareforsyningskjeden og tenker på komponenter med åpen kildekode, men de må erkjenne at ML er en del av det og justere organisasjonens sikkerhetskontroller og datastyringspolicyer for å gjenspeile realiteten at AI allerede er til stede.
En av de store utfordringene rundt den økende bruken av AI i organisasjoner er faktisk det samme skygge-IT-problemet som bedriftsforsvarere har slitt med i årevis, sier Gary McGraw, medgründer av Berryville Institute of Machine Learning. Shadow ML og shadow AI eksisterer fordi i mange organisasjoner er det forretningsgrupper og individuelle ansatte som velger og tar i bruk ML-applikasjoner og AI-verktøy som en del av arbeidsprosessene deres. Sikkerhetsteam blir ofte ikke informert når disse verktøyene tas inn i organisasjonen, og mangelen på synlighet betyr at de ikke er i stand til å administrere dem eller beskytte dataene som brukes.
Spørsmålet om AI-bruk kom opp under et nylig møte med ledere fra et stort Fortune 100-selskap og oppstart av applikasjonssikkerhet Legit Security, sier McGraw (som er medlem av Legit Securitys rådgivende styre). Legit Securitys plattform, som kartlegger hele livssyklusen for programvareutvikling fra utvikling til levering, har synlighet i alle verktøy og applikasjoner som brukes.
"CISO sa: 'Vi tillater ikke maskinlæring etter policy. Ingen bruker det,» sier McGraw, og teamet var i stand til å bruke plattformen til å vise flere forekomster av ML og AI i bruk.
Å ikke vite hva ML og AI er i bruk er en økende bekymring og ikke begrenset til bare dette selskapet. I en nylig Dark Reading-forskningsundersøkelse, 74 % av respondentene sa at de trodde ansatte brukte offentlige generative AI (GenAI)-verktøy, som ChatGPT, til jobbformål, selv om verktøyene ikke var offisielt autorisert. Omtrent en femtedel av respondentene (18%) sa at en av de fem største bekymringene deres angående AI var at de ikke kunne stoppe ansatte fra å bruke offentlige GenAI-verktøy.
Hvordan finne AI
Legit Security ser på hvordan GenAI-teknologier endrer programvareutvikling, som å bruke AI til å generere kode eller bygge inn store språkmodeller (LLM) i produkter, sier Liav Caspi, medgründer og CTO i Legit Security. Biproduktet av plattformkartlegging av hvordan organisasjonen utvikler og leverer programvare er en "veldig detaljert oversikt" over alle programvarekomponentene med åpen kildekode og lukket kildekode som brukes, byggeverktøy, rammeverk, plugin-moduler og til og med serverne utviklerne er. bruker, sier Caspi. Siden ny teknologi ikke alltid blir introdusert i organisasjonens teknologistabel ovenfra og ned, er denne aktivakatalogen ofte første gang lederne lærer om alle programvarekomponentene og utviklerverktøyene som er i bruk.
"Det viser seg at det folk tror er tilfelle og hva som virkelig er tilfelle ikke stemmer noen ganger," sier McGraw. "Når du sier til CISO eller personen som kjører programvaresikkerhet: 'Hei, visste du at det er seks av disse?' og de sier: 'Jeg trodde vi bare hadde to' [det er et problem.]»
Sammen med å svare på spørsmål som hvor mange feilsporingssystemer organisasjonen kjører, hvor mange forekomster av GitHub som er installert, hvor mange forekomster av JIRA finnes, eller hvilke utviklere som bruker hvilke kompilatorer, svarer Legit Security på spørsmål som hvor utviklerne bruker LLM-er, hvilke applikasjoner som kobles til hvilken AI-tjeneste, hvilke data som sendes til disse tjenestene, og hvilke modeller som faktisk brukes. Spørsmålet om det sendes data til andre tjenester er spesielt viktig for enheter i regulerte bransjer, sier Caspi.
«[Vi] oppdaget ting som store organisasjoner ikke visste, som om de ikke visste at de bruker et spesifikt bibliotek. De visste ikke at de har utviklere i utlandet som kopierte koden til en konto et sted, sier Caspi.
Et annet problemområde er om organisasjonen er avhengig av noen AI-generert kode, noe som blir mer aktuelt med introduksjonen av ulike verktøy og copiloter som hjelper utviklere med å skrive kode, sier Caspi. I Dark Reading-undersøkelsen siterte 28 % av respondentene bekymringer over mulige sårbarheter i AI-generert kode.
For øyeblikket gjennomsøker plattformen utviklingsinfrastrukturen for å identifisere alle delene som berøres av AI. Den ser gjennom depotene og oppdager LLM-er som er innebygd i applikasjoner, om kodegenereringsverktøy ble brukt, hvilke programvarebiblioteker som er lagt til, hvilke API-kall som blir gjort og hva slags lisenser som brukes. Huggingface er for eksempel mye brukt i programvareutviklingsprosjekter for å bygge og integrere maskinlæringsmodeller. Sikkerhetsteam må tenke på versjonsnumre så vel som hvordan modellene implementeres, sier Caspi.
Hvordan sikre ML
For å sikre maskinlæring på riktig måte, må bedriften være i stand til å gjøre tre ting: finne hvor maskinlæring brukes, trusselmodellere risikoen basert på hva som ble funnet, og sette inn kontroller for å håndtere disse risikoene.
"Vi må finne maskinlæring [og] lage en trusselmodell basert på det du fant," sier McGraw. "Du fant noen ting, og nå må trusselmodellen din justeres. Når du har laget trusselmodellen din og du har identifisert noen risikoer og trusler, må du sette inn noen kontroller på tvers av alle disse problemene.»
Når sikkerhetsteamet vet hva som brukes, kan de enten blokkere komponenten eller bestemme en passende policy for å legge til sikkerhetssjekker, eller "rekkverk", til utviklingsprosessen, bemerker Caspi. For eksempel er det mulig for en applikasjon å gå til produksjon uten at noen har gjennomgått den automatisk genererte koden for å sikre at problemer ikke har blitt introdusert i kodebasen. Kodeblokken kan faktisk ikke inneholde noen sårbarheter, men sikkerhetsteam kan lage en policy som krever at autogenerert kode gjennomgås av to personer før den kan slås sammen i kodebasen, sier han.
"Vi har mange deteksjoner som vil fortelle deg at du mangler et rekkverk," sier Caspi. Sikkerhetsteamet får «så mye informasjon som mulig om det vi fant», slik at de kan bruke informasjonen til å ta en form for handling, sier Caspi. I noen tilfeller vil det være noen veiledning om den beste fremgangsmåten eller beste praksis.
Det er ikke ett verktøy eller plattform som kan håndtere alle tre tingene, men McGraw sitter tilfeldigvis i rådgivende styrene for tre selskaper som tilsvarer hvert av områdene. Legit Security finner alt, IriusRisk hjelper med trusselmodellering, og Calypso AI setter kontroller på plass.
"Jeg kan se alle delene bevege seg," sier McGraw. "Alle brikkene kommer sammen."
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
- PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
- PlatoESG. Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
- PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
- kilde: https://www.darkreading.com/application-security/first-step-in-ai-ml-security-is-finding-them
- : har
- :er
- :ikke
- :hvor
- $OPP
- 100
- a
- I stand
- Om oss
- Logg inn
- tvers
- Handling
- faktisk
- legge til
- la til
- justere
- justert
- vedta
- rådgivende
- rådgivende styre
- AI
- AI / ML
- Alle
- tillate
- allerede
- alltid
- an
- og
- besvare
- svar
- noen
- APIer
- Søknad
- applikasjonssikkerhet
- søknader
- hensiktsmessig
- ER
- AREA
- områder
- kunstig
- kunstig intelligens
- Kunstig intelligens (AI)
- AS
- vurdere
- eiendel
- At
- autorisert
- basert
- BE
- fordi
- bli
- vært
- før du
- være
- antatt
- BEST
- beste praksis
- Stor
- Blokker
- borde
- brakte
- bygge
- virksomhet
- men
- by
- Samtaler
- kom
- CAN
- evner
- saken
- saker
- katalog
- kjede
- utfordringer
- endring
- ChatGPT
- Sjekker
- CISO
- sitert
- stengt
- Med-grunnlegger
- kode
- kodebase
- kommer
- Selskaper
- Selskapet
- komponent
- komponenter
- Bekymring
- bekymringer
- Tilkobling
- inneholde
- kontroller
- Tilsvarende
- kunne
- kurs
- skape
- opprettet
- CTO
- syklus
- mørk
- Mørk lesning
- dato
- Defenders
- leverer
- levering
- detaljert
- Bestem
- Utvikler
- utviklere
- Utvikling
- utvikler
- gJORDE
- gjorde ikke
- oppdaget
- do
- doesn
- Don
- under
- hver enkelt
- enklere
- enten
- innebygd
- embedding
- ansatte
- sikre
- Enterprise
- Hele
- enheter
- Eter (ETH)
- Selv
- Hver
- alt
- eksempel
- ledere
- eksisterer
- femte
- Finn
- finne
- funn
- Først
- første gang
- fem
- Til
- Fortune
- funnet
- rammer
- fra
- Gary
- genai
- generere
- generative
- Generativ AI
- få
- GitHub
- Go
- styresett
- sliter
- Gruppens
- Økende
- veiledning
- HAD
- håndtere
- skjer
- Ha
- he
- hodepine
- hjelpe
- hjelper
- Hvordan
- HTTPS
- Klem ansikt
- i
- identifisert
- identifisere
- implementert
- viktig
- in
- innlemme
- innlemme
- individuelt
- bransjer
- informasjon
- informert
- Infrastruktur
- forekomster
- Institute
- Intelligens
- inn
- introdusert
- Introduksjon
- inventar
- saker
- IT
- bare
- Type
- Vet
- Knowing
- vet
- maling
- Språk
- stor
- LÆRE
- læring
- Legit
- bibliotekene
- Bibliotek
- lisenser
- Life
- i likhet med
- Begrenset
- ser
- UTSEENDE
- Lot
- maskin
- maskinlæring
- laget
- gjøre
- administrer
- måte
- mange
- kartlegging
- Kart
- Match
- Kan..
- midler
- møte
- medlem
- mangler
- ML
- modell
- modellering
- modeller
- mer
- flytting
- mye
- flere
- Trenger
- behov
- Ny
- Nei.
- Merknader
- nå
- Antall
- tall
- of
- offisielt
- ofte
- on
- gang
- ONE
- seg
- bare
- åpen
- åpen kildekode
- or
- organisasjon
- organisasjoner
- Annen
- ut
- enn
- utenlands
- del
- spesielt
- deler
- Ansatte
- person
- stykker
- Sted
- plattform
- plato
- Platon Data Intelligence
- PlatonData
- Politikk
- politikk
- poserte
- mulig
- praksis
- presentere
- Problem
- problemer
- prosess
- Prosesser
- Produksjon
- Produkter
- prosjekter
- riktig
- beskytte
- offentlig
- formål
- sette
- setter
- spørsmål
- spørsmål
- RE
- Lesning
- Reality
- virkelig
- nylig
- gjenkjenne
- reflektere
- regulert
- regulerte næringer
- relevant
- avhengig
- forskning
- respondentene
- anmeldt
- gjennomgå
- ikke sant
- Risiko
- risikoer
- rennende
- s
- Sikkerhet
- Sa
- samme
- sier
- sier
- sikre
- sikkerhet
- sikkerhetsstart
- se
- velge
- sendt
- servere
- tjeneste
- Tjenester
- Shadow
- Vis
- siden
- SIX
- So
- Software
- programvarekomponenter
- programvareutvikling
- programvaresikkerhet
- programvare forsyningskjeden
- noen
- Noen
- noe
- noen ganger
- et sted
- kilde
- spesifikk
- stable
- oppstart
- Trinn
- Stopp
- slik
- levere
- forsyningskjeden
- rundt
- Survey /Inspeksjonsfartøy
- Systemer
- T
- Ta
- lag
- lag
- Technologies
- Teknologi
- fortelle
- Det
- De
- informasjonen
- deres
- Dem
- Der.
- Disse
- de
- ting
- tror
- tenker
- denne
- De
- selv om?
- trodde
- trussel
- trusler
- tre
- Gjennom
- tid
- til
- sammen
- verktøy
- verktøy
- topp
- berørt
- snur
- to
- bruke
- brukt
- bruker
- ved hjelp av
- ulike
- Ve
- versjon
- veldig
- synlighet
- Sikkerhetsproblemer
- var
- we
- VI VIL
- var
- Hva
- Hva er
- når
- om
- hvilken
- HVEM
- hvem sin
- allment
- vil
- med
- uten
- Arbeid
- skrive
- skriv kode
- år
- du
- Din
- zephyrnet