Det voksende antal applikationer, der inkorporerer kunstig intelligens (AI)-kapaciteter og værktøjer, der gør det nemmere at arbejde med maskinlæringsmodeller (ML) har skabt ny softwareforsyningskæde-hovedpine for organisationer, hvis sikkerhedsteam nu skal vurdere og styre de risici, der er forbundet med disse AI-komponenter. Sikkerhedsteams kigger på softwareforsyningskæden og tænker på open source-komponenter, men de er nødt til at erkende, at ML er en del af det og justere organisationens sikkerhedskontroller og datastyringspolitikker, så de afspejler den virkelighed, at AI allerede er til stede.
En af de store udfordringer omkring den voksende brug af kunstig intelligens i organisationer er faktisk det samme skygge-it-problem, som virksomhedsforsvarere har kæmpet med i årevis, siger Gary McGraw, medstifter af Berryville Institute of Machine Learning. Shadow ML og shadow AI eksisterer, fordi det i mange organisationer er forretningsgrupper og individuelle medarbejdere, der vælger og anvender ML-applikationer og AI-værktøjer som en del af deres arbejdsprocesser. Sikkerhedsteams bliver ofte ikke informeret, når disse værktøjer bringes ind i organisationen, og manglen på synlighed betyder, at de ikke er i stand til at administrere dem eller beskytte de anvendte data.
Spørgsmålet om AI-brug kom op under et nyligt møde med ledere fra en stor Fortune 100-virksomhed og applikationssikkerhedsstartup Legit Security, siger McGraw (der er medlem af Legit Securitys rådgivende bestyrelse). Legit Securitys platform, som kortlægger hele softwareudviklingens livscyklus fra udvikling til levering, har synlighed i alle værktøj og applikationer, der bruges.
"CISO sagde: 'Vi tillader ikke maskinlæring efter politik. Ingen bruger det," siger McGraw, og holdet var i stand til at bruge platformen til at vise flere forekomster af ML og AI i brug.
Ikke at vide, hvad ML og AI er i brug, er en voksende bekymring og ikke begrænset til kun denne virksomhed. I en nylig Dark Reading-forskningsundersøgelse74 % af de adspurgte sagde, at de troede, at ansatte brugte offentlige generative AI (GenAI) værktøjer, såsom ChatGPT, til arbejdsformål, selvom værktøjerne ikke var officielt godkendte. Omkring en femtedel af de adspurgte (18 %) sagde, at en af deres fem største bekymringer om AI var, at de ikke kunne forhindre medarbejdere i at bruge offentlige GenAI-værktøjer.
Sådan finder du AI
Legit Security ser på, hvordan GenAI-teknologier ændrer softwareudvikling, såsom at bruge AI til at generere kode eller indlejre store sprogmodeller (LLM'er) i produkter, siger Liav Caspi, medstifter og CTO i Legit Security. Biproduktet af platformskortlægning af, hvordan organisationen udvikler og leverer software, er en "meget detaljeret opgørelse" af alle de open source og lukkede kilde softwarekomponenter, der bruges, byggeværktøjer, rammer, plug-ins og endda de servere, udviklerne er. bruger, siger Caspi. Da ny teknologi ikke altid bliver introduceret i organisationens teknologistabel på en top-down måde, er dette aktivkatalog ofte første gang, lederne lærer om alle de softwarekomponenter og udviklerværktøjer, der er i brug.
"Det viser sig, at det, folk tror, er tilfældet, og hvad der virkelig er tilfældet, ikke stemmer overens nogle gange," siger McGraw. "Når du siger til CISO eller den person, der kører softwaresikkerhed, 'Hej, vidste du, at der er seks af disse?' og de siger: 'Jeg troede, vi kun havde to' [der er et problem.]"
Sammen med besvarelse af spørgsmål såsom hvor mange fejlsporingssystemer organisationen kører, hvor mange forekomster af GitHub er blevet installeret, hvor mange forekomster af JIRA findes, eller hvilke udviklere der bruger hvilke compilere, besvarer Legit Security spørgsmål såsom hvor udviklerne bruger LLM'er, hvilke applikationer der forbinder til hvilken AI-tjeneste, hvilke data der sendes til disse tjenester, og hvilke modeller der rent faktisk bliver brugt. Spørgsmålet om, hvorvidt der sendes data til andre tjenester, er særligt vigtigt for enheder i regulerede brancher, siger Caspi.
"[Vi] opdagede ting, som store organisationer ikke vidste, ligesom de ikke vidste, at de bruger et bestemt bibliotek. De vidste ikke, at de har udviklere i udlandet, der kopierede koden til en konto et eller andet sted,” siger Caspi.
Et andet problemområde er, om organisationen er afhængig af nogen AI-genereret kode, noget der bliver mere relevant med introduktionen af forskellige værktøjer og copiloter, der hjælper udviklere med at skrive kode, siger Caspi. I Dark Reading-undersøgelsen nævnte 28 % af de adspurgte bekymringer over mulige sårbarheder i AI-genereret kode.
I øjeblikket gennemgår platformen udviklingsinfrastrukturen for at identificere alle de dele, der berøres af AI. Den ser gennem lagrene og registrerer LLM'er, der er indlejret i applikationer, om kodegenereringsværktøjer blev brugt, hvilke softwarebiblioteker der er blevet tilføjet, hvilke API'er kalder der foretages, og hvilken slags licenser der bruges. For eksempel er huggingface meget brugt i softwareudviklingsprojekter til at bygge og inkorporere maskinlæringsmodeller. Sikkerhedsteams skal tænke på versionsnumre samt hvordan modeller implementeres, siger Caspi.
Sådan sikrer du ML
For at sikre maskinlæring korrekt, skal virksomheden være i stand til at gøre tre ting: finde ud af, hvor maskinlæring bruges, trusselsmodeller risikoen baseret på det, der blev fundet, og indsætte kontroller for at håndtere disse risici.
"Vi skal finde maskinlæring [og] lave en trusselsmodel baseret på det, du fandt," siger McGraw. "Du fandt nogle ting, og nu skal din trusselsmodel justeres. Når du har lavet din trusselsmodel, og du har identificeret nogle risici og trusler, skal du sætte nogle kontroller ind på tværs af alle disse problemer."
Når først sikkerhedsteamet ved, hvad der bliver brugt, kan de enten blokere komponenten eller bestemme en passende politik for at tilføje sikkerhedstjek eller "værn" til udviklingsprocessen, bemærker Caspi. For eksempel er det muligt for en applikation at gå i produktion, uden at nogen gennemgår den automatisk genererede kode for at sikre, at problemer ikke er blevet introduceret i kodebasen. Kodeblokken indeholder måske faktisk ikke nogen sårbarheder, men sikkerhedsteams kan oprette en politik, der kræver, at autogenereret kode skal gennemgås af to personer, før den kan flettes ind i kodebasen, siger han.
"Vi har en masse registreringer, der vil fortælle dig, at du mangler et autoværn," siger Caspi. Sikkerhedsteamet får "så meget information som muligt om, hvad vi har fundet", så de kan bruge oplysningerne til at tage en form for handling, siger Caspi. I nogle tilfælde vil der være en vis vejledning om den bedste fremgangsmåde eller bedste praksis.
Der er ikke ét værktøj eller platform, der kan håndtere alle tre ting, men McGraw sidder tilfældigvis i advisory boards for tre virksomheder svarende til hvert af områderne. Legit Security finder alt, IriusRisk hjælper med trusselsmodellering, og Calypso AI sætter kontroller på plads.
"Jeg kan se alle delene bevæge sig," siger McGraw. "Alle brikkerne samles."
- SEO Powered Content & PR Distribution. Bliv forstærket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk dig selv. Adgang her.
- PlatoAiStream. Web3 intelligens. Viden forstærket. Adgang her.
- PlatoESG. Kulstof, CleanTech, Energi, Miljø, Solenergi, Affaldshåndtering. Adgang her.
- PlatoHealth. Bioteknologiske og kliniske forsøgs intelligens. Adgang her.
- Kilde: https://www.darkreading.com/application-security/first-step-in-ai-ml-security-is-finding-them
- :har
- :er
- :ikke
- :hvor
- $OP
- 100
- a
- I stand
- Om
- Konto
- tværs
- Handling
- faktisk
- tilføje
- tilføjet
- justere
- Justeret
- Vedtagelsen
- rådgivende
- rådgivende bestyrelse
- AI
- AI / ML
- Alle
- tillade
- allerede
- altid
- an
- ,
- besvarelse
- svar
- enhver
- API'er
- Anvendelse
- applikationssikkerhed
- applikationer
- passende
- ER
- OMRÅDE
- områder
- kunstig
- kunstig intelligens
- Kunstig intelligens (AI)
- AS
- vurdere
- aktiv
- At
- autoriseret
- baseret
- BE
- fordi
- blive
- været
- før
- være
- troede
- BEDSTE
- bedste praksis
- Big
- Bloker
- board
- bragte
- bygge
- virksomhed
- men
- by
- Opkald
- kom
- CAN
- kapaciteter
- tilfælde
- tilfælde
- katalog
- kæde
- udfordringer
- lave om
- ChatGPT
- Kontrol
- CISO
- citeret
- lukket
- Medstifter
- kode
- codebase
- kommer
- Virksomheder
- selskab
- komponent
- komponenter
- Bekymring
- Bekymringer
- Tilslutning
- indeholder
- kontrol
- Tilsvarende
- kunne
- kursus
- skabe
- oprettet
- CTO
- cyklus
- mørk
- Mørk læsning
- data
- Defenders
- leverer
- levering
- detaljeret
- Bestem
- Udvikler
- udviklere
- Udvikling
- udvikler
- DID
- gjorde ikke
- opdaget
- do
- gør ikke
- Don
- i løbet af
- hver
- lettere
- enten
- indlejret
- indlejring
- medarbejdere
- sikre
- Enterprise
- Hele
- enheder
- Ether (ETH)
- Endog
- Hver
- at alt
- eksempel
- ledere
- eksisterer
- femte
- Finde
- finde
- fund
- Fornavn
- første gang
- fem
- Til
- rigdom
- fundet
- rammer
- fra
- Gary
- genai
- generere
- generative
- Generativ AI
- få
- GitHub
- Go
- regeringsførelse
- kæmper
- Gruppens
- Dyrkning
- vejledning
- havde
- håndtere
- sker
- Have
- he
- hovedpine
- hjælpe
- hjælper
- Hvordan
- HTTPS
- KrammerFace
- i
- identificeret
- identificere
- implementeret
- vigtigt
- in
- indarbejde
- inkorporering
- individuel
- industrier
- oplysninger
- informeret
- Infrastruktur
- forekomster
- Institut
- Intelligens
- ind
- introduceret
- Introduktion
- opgørelse
- spørgsmål
- IT
- lige
- Venlig
- Kend
- Kendskab til
- kender
- Mangel
- Sprog
- stor
- LÆR
- læring
- Legit
- biblioteker
- Bibliotek
- licenser
- Livet
- ligesom
- Limited
- leder
- UDSEENDE
- Lot
- maskine
- machine learning
- lavet
- lave
- administrere
- måde
- mange
- kortlægning
- Maps
- Match
- Kan..
- midler
- møde
- medlem
- mangler
- ML
- model
- modellering
- modeller
- mere
- flytning
- meget
- flere
- Behov
- behov
- Ny
- ingen
- Noter
- nu
- nummer
- numre
- of
- Officielt
- tit
- on
- engang
- ONE
- dem
- kun
- åbent
- open source
- or
- organisation
- organisationer
- Andet
- ud
- i løbet af
- oversøisk
- del
- især
- dele
- Mennesker
- person,
- stykker
- Place
- perron
- plato
- Platon Data Intelligence
- PlatoData
- politikker
- politik
- stillet
- mulig
- praksis
- præsentere
- Problem
- problemer
- behandle
- Processer
- produktion
- Produkter
- projekter
- korrekt
- beskytte
- offentlige
- formål
- sætte
- sætter
- spørgsmål
- Spørgsmål
- RE
- Læsning
- Reality
- virkelig
- nylige
- genkende
- afspejler
- reguleret
- regulerede brancher
- relevant
- stole
- forskning
- respondenter
- revideret
- gennemgå
- højre
- Risiko
- risici
- kører
- s
- Sikkerhed
- Said
- samme
- siger
- siger
- sikker
- sikkerhed
- sikkerhedsopstart
- se
- udvælgelse
- sendt
- servere
- tjeneste
- Tjenester
- Shadow
- Vis
- siden
- SIX
- So
- Software
- software komponenter
- softwareudvikling
- software sikkerhed
- software forsyningskæde
- nogle
- Nogen
- noget
- sommetider
- et eller andet sted
- Kilde
- specifikke
- stable
- opstart
- Trin
- Stands
- sådan
- forsyne
- forsyningskæde
- Omkringliggende
- Kortlægge
- Systemer
- T
- Tag
- hold
- hold
- Teknologier
- Teknologier
- fortælle
- at
- oplysninger
- deres
- Them
- Der.
- Disse
- de
- ting
- tror
- Tænker
- denne
- dem
- selvom?
- tænkte
- trussel
- trusler
- tre
- Gennem
- tid
- til
- sammen
- værktøj
- værktøjer
- top
- rørt
- vender
- to
- brug
- anvendte
- bruger
- ved brug af
- forskellige
- Ve
- udgave
- meget
- synlighed
- Sårbarheder
- var
- we
- GODT
- var
- Hvad
- Hvad er
- hvornår
- hvorvidt
- som
- WHO
- hvis
- bredt
- vilje
- med
- uden
- Arbejde
- skriver
- skriv kode
- år
- dig
- Din
- zephyrnet