Skynet Ahoy? Hva kan du forvente for neste generasjons AI-sikkerhetsrisiko

Skynet Ahoy? Hva kan du forvente for neste generasjons AI-sikkerhetsrisiko

Tidsstempel: 28. desember 2023 9:00
Kilde node: 3037761

Ettersom innovasjonen innen kunstig intelligens (AI) fortsetter raskt, vil 2024 være en avgjørende tid for organisasjoner og styrende organer for å etablere sikkerhetsstandarder, protokoller og andre rekkverk for å hindre AI i å gå foran dem, advarer sikkerhetseksperter.

Store språkmodeller (LLM), drevet av sofistikerte algoritmer og massive datasett, demonstrerer bemerkelsesverdig språkforståelse og menneskelignende samtaleevner. En av de mest sofistikerte av disse plattformene til dags dato er OpenAIs GPT-4, som kan skryte av avanserte resonnement og problemløsningsevner og driver selskapets ChatGPT-bot. Og selskapet, i samarbeid med Microsoft, har startet arbeidet med GPT-5, som administrerende direktør Sam Altman sa vil gå mye lenger - til det punktet å ha "superintelligens."

Disse modellene representerer et enormt potensial for betydelige produktivitets- og effektivitetsgevinster for organisasjoner, men eksperter er enige om at tiden er inne for bransjen som helhet for å håndtere de iboende sikkerhetsrisikoene skapt av deres utvikling og distribusjon. Faktisk, nyere forskning av Writerbuddy AI, som tilbyr et AI-basert verktøy for innholdsskriving, fant ut at ChatGPT allerede har hatt 14 milliarder besøk og teller.

Når organisasjoner marsjerer mot fremskritt innen AI, bør det "kobles med strenge etiske vurderinger og risikovurderinger," sier Gal Ringel, administrerende direktør i det AI-baserte personvern- og sikkerhetsfirmaet MineOS.

Er AI en eksistensiell trussel?

Bekymringer rundt sikkerheten for neste generasjon AI begynte å trene i mars, med et åpent brev signert av nesten 34,000 XNUMX toppteknologer som ba om å stanse utviklingen av generative AI-systemer kraftigere enn OpenAIs GPT-4. Brevet siterte de "dypende risikoene" for samfunnet som teknologien representerer og det "ute-av-kontroll-kappløpet av AI-laboratorier for å utvikle og distribuere stadig kraftigere digitale hjerner som ingen - ikke engang deres skapere - kan forstå, forutsi eller pålitelig kontroll."

Til tross for den dystopiske frykten, er de fleste sikkerhetseksperter ikke så bekymret for et dommedagsscenario der maskiner blir smartere enn mennesker og tar over verden.

"Det åpne brevet bemerket gyldige bekymringer om den raske utviklingen og potensielle anvendelser av AI i en bred forstand "er dette bra for menneskeheten", sier Matt Wilson, direktør for salgsingeniør hos nettsikkerhetsfirmaet Netrix. "Selv om de er imponerende i visse scenarier, virker ikke de offentlige versjonene av AI-verktøy så truende."

Det som er bekymringsfullt er det faktum at AI-fremskritt og -adopsjon går for raskt til at risikoen kan håndteres riktig, bemerker forskere. "Vi kan ikke sette lokket tilbake på Pandoras boks," observerer Patrick Harr, administrerende direktør for AI-sikkerhetsleverandøren SlashNext.

Dessuten, bare å "forsøke å stoppe innovasjonshastigheten i rommet vil ikke bidra til å redusere" risikoen det utgjør, som må håndteres separat, observerer Marcus Fowler, administrerende direktør i AI-sikkerhetsfirmaet DarkTrace Federal. Det betyr ikke at AI-utvikling skal fortsette ukontrollert, sier han. Tvert imot, frekvensen av risikovurdering og implementering av passende sikkerhetstiltak bør samsvare med hastigheten som LLM-er trenes og utvikles med.

"AI-teknologi utvikler seg raskt, så myndigheter og organisasjoner som bruker AI må også fremskynde diskusjoner rundt AI-sikkerhet," forklarer Fowler.

Generative AI-risikoer

Det er flere allment anerkjente risikoer for generativ AI som krever hensyn og vil bare bli verre etter hvert som fremtidige generasjoner av teknologien blir smartere. Heldigvis for mennesker utgjør ingen av dem så langt et science-fiction-dommedagsscenario der AI konspirerer for å ødelegge skaperne.

I stedet inkluderer de langt mer kjente trusler, for eksempel datalekkasjer, potensielt av forretningssensitiv informasjon; misbruk for ondsinnet aktivitet; og unøyaktige utdata som kan villede eller forvirre brukere, og til slutt resultere i negative forretningskonsekvenser.

Fordi LLM-er krever tilgang til enorme mengder data for å gi nøyaktige og kontekstuelt relevante utdata, kan sensitiv informasjon utilsiktet avsløres eller misbrukes.

«Den største risikoen er at ansatte mater den med forretningssensitiv informasjon når du ber den om å skrive en plan eller omformulere e-poster eller forretningskort som inneholder selskapets proprietære informasjon,» bemerker Ringel.

Fra et cyberangrepsperspektiv har trusselaktører allerede funnet utallige måter å bevæpne ChatGPT og andre AI-systemer. En måte har vært å bruke modellene til å lage sofistikerte forretnings-e-postkompromisser (BEC) og andre phishing-angrep, som krever opprettelsen av sosialt konstruerte, personlige meldinger designet for å lykkes.

"Med skadelig programvare gjør ChatGPT det mulig for nettkriminelle å lage uendelige kodevariasjoner for å ligge ett skritt foran søkemotorene for skadelig programvare," sier Harr.

AI-hallusinasjoner utgjør også en betydelig sikkerhetstrussel og lar ondsinnede aktører bevæpne LLM-basert teknologi som ChatGPT på en unik måte. En AI-hallusinasjon er et plausibelt svar fra AI-en som er utilstrekkelig, partisk eller helt feilaktig. "Fiktive eller andre uønskede reaksjoner kan styre organisasjoner inn i feilbeslutninger, prosesser og villedende kommunikasjon," advarer Avivah Litan, en Gartner-visepresident.

Trusselaktører kan også bruke disse hallusinasjonene til å forgifte LLM-er og "generere spesifikk feilinformasjon som svar på et spørsmål," observerer Michael Rinehart, visepresident for AI hos datasikkerhetsleverandøren Securiti. "Dette kan utvides til sårbar kildekodegenerering og, muligens, til chattemodeller som kan lede brukere av et nettsted til utrygge handlinger."

Angripere kan til og med gå så langt som til publisere ondsinnede versjoner av programvarepakker som en LLM kan anbefale til en programvareutvikler, og tror at det er en legitim løsning på et problem. På denne måten kan angripere bevæpne AI ytterligere for å sette i gang forsyningskjedeangrep.

Veien forover

Å håndtere disse risikoene vil kreve målt og kollektiv handling før AI-innovasjon overgår bransjens evne til å kontrollere den, bemerker eksperter. Men de har også ideer om hvordan de kan løse AIs problem.

Harr tror på en "bekjemp AI med A”-strategi, der ”fremskritt innen sikkerhetsløsninger og strategier for å motvirke risikoer drevet av AI må utvikles i samme eller høyere tempo.

"Skybersikkerhetsbeskyttelse må utnytte AI for å lykkes med å bekjempe cybertrusler ved hjelp av AI-teknologi," legger han til. "Til sammenligning har ikke eldre sikkerhetsteknologi en sjanse mot disse angrepene."

Imidlertid bør organisasjoner også ta en målrettet tilnærming til å ta i bruk AI - inkludert AI-baserte sikkerhetsløsninger – for at de ikke introduserer flere risikoer i miljøet, advarer Netrixs Wilson.

"Forstå hva AI er og ikke er," råder han. "Utfordre leverandører som hevder å bruke AI for å beskrive hva det gjør, hvordan det forbedrer løsningen deres, og hvorfor det er viktig for organisasjonen din."

Securitis Rinehart tilbyr en to-lags tilnærming til å fase AI inn i et miljø ved å distribuere fokuserte løsninger og deretter sette rekkverk på plass umiddelbart før organisasjonen utsettes for unødvendig risiko.

"Bruk først applikasjonsspesifikke modeller, potensielt utvidet med kunnskapsbaser, som er skreddersydd for å gi verdi i spesifikke brukstilfeller," sier han. "Så ... implementer et overvåkingssystem for å beskytte disse modellene ved å granske meldinger til og fra dem for personvern- og sikkerhetsproblemer."

Eksperter anbefaler også å sette opp sikkerhetspolicyer og prosedyrer rundt AI før den distribueres i stedet for som en ettertanke for å redusere risiko. De kan til og med sette opp en dedikert AI-risikoansvarlig eller arbeidsgruppe for å overvåke overholdelse.

Utenfor bedriften må industrien som helhet også ta skritt for å sette opp sikkerhetsstandarder og -praksis rundt AI som alle som utvikler og bruker teknologien kan ta i bruk - noe som vil kreve kollektiv handling fra både offentlig og privat sektor på global skala , sier DarkTrace Federal's Fowler.

Han siterer retningslinjer for å bygge sikre AI-systemer publisert i samarbeid av US Cybersecurity and Infrastructure Security Agency (CISA) og UK National Cyber ​​Security Center (NCSC) som et eksempel på typen innsats som bør følge den fortsatte utviklingen av AI.

"I hovedsak," sier Rinehart fra Securiti, "vil år 2024 være vitne til en rask tilpasning av både tradisjonell sikkerhet og banebrytende AI-teknikker for å beskytte brukere og data i denne nye generative AI-æraen."

Tidstempel:

Mer fra Mørk lesning