Skynet Ohoj? Vad du kan förvänta dig för nästa generations AI-säkerhetsrisker

Skynet Ohoj? Vad du kan förvänta dig för nästa generations AI-säkerhetsrisker

Tidsstämpel: 28 december 2023 9:00
Källnod: 3037761

När innovationen inom artificiell intelligens (AI) fortsätter i snabb takt kommer 2024 att vara en avgörande tidpunkt för organisationer och styrande organ att upprätta säkerhetsstandarder, protokoll och andra skyddsräcken för att förhindra AI från att gå före dem, varnar säkerhetsexperter.

Stora språkmodeller (LLM), som drivs av sofistikerade algoritmer och massiva datamängder, visar anmärkningsvärd språkförståelse och mänskliga konversationsförmåga. En av de mest sofistikerade av dessa plattformar hittills är OpenAIs GPT-4, som har avancerade resonemang och problemlösningsmöjligheter och driver företagets ChatGPT-bot. Och företaget, i samarbete med Microsoft, har påbörjat arbetet med GPT-5, vilket vd Sam Altman sa kommer att gå mycket längre - till den grad att ha "superintelligens".

Dessa modeller representerar en enorm potential för betydande produktivitets- och effektivitetsvinster för organisationer, men experter är överens om att tiden är inne för branschen som helhet för att hantera de inneboende säkerhetsriskerna deras utveckling och distribution. Verkligen, färsk forskning av Writerbuddy AI, som erbjuder ett AI-baserat innehållsskrivverktyg, fann att ChatGPT redan har haft 14 miljarder besök och räknas.

När organisationer går mot framsteg inom AI, borde det "förenas med rigorösa etiska överväganden och riskbedömningar", säger Gal Ringel, VD för det AI-baserade integritets- och säkerhetsföretaget MineOS.

Är AI ett existentiellt hot?

Oron kring säkerheten för nästa generations AI började tränga in i mars, med ett öppet brev undertecknat av nästan 34,000 XNUMX topptekniker som krävde ett stopp för utvecklingen av generativa AI-system som är kraftfullare än OpenAIs GPT-4. Brevet citerade de "djupa riskerna" för samhället som tekniken representerar och det "utom kontroll loppet av AI-labb för att utveckla och distribuera allt kraftfullare digitala sinnen som ingen - inte ens deras skapare - kan förstå, förutsäga eller tillförlitlig kontroll.”

Trots dessa dystopiska rädslor är de flesta säkerhetsexperter inte så bekymrade över ett domedagsscenario där maskiner blir smartare än människor och tar över världen.

"Det öppna brevet noterade giltiga farhågor om snabba framsteg och potentiella tillämpningar av AI i en bred bemärkelse "är detta bra för mänskligheten", säger Matt Wilson, chef för försäljningsteknik på cybersäkerhetsföretaget Netrix. "Även om de är imponerande i vissa scenarier, verkar de offentliga versionerna av AI-verktyg inte så hotfulla."

Det som är oroande är det faktum att framsteg och adoption av AI går för snabbt för att riskerna ska hanteras korrekt, konstaterar forskare. "Vi kan inte sätta tillbaka locket på Pandoras ask", konstaterar Patrick Harr, VD för AI-säkerhetsleverantören SlashNext.

Dessutom, att bara "försöka stoppa innovationstakten i rymden kommer inte att bidra till att mildra" riskerna som det innebär, som måste hanteras separat, konstaterar Marcus Fowler, VD för AI-säkerhetsföretaget DarkTrace Federal. Det betyder inte att AI-utveckling ska fortsätta okontrollerat, säger han. Tvärtom bör graden av riskbedömning och genomförandet av lämpliga skyddsåtgärder matcha den takt med vilken LLM:er utbildas och utvecklas.

"AI-tekniken utvecklas snabbt, så regeringar och organisationer som använder AI måste också påskynda diskussionerna kring AI-säkerhet," förklarar Fowler.

Generativa AI-risker

Det finns flera allmänt erkända risker med generativ AI som kräver hänsyn och kommer bara att bli värre när framtida generationer av tekniken blir smartare. Lyckligtvis för människor utgör ingen av dem än så länge ett science-fiction-domedagsscenario där AI konspirerar för att förstöra sina skapare.

Istället innehåller de mycket mer välbekanta hot, såsom dataläckor, potentiellt av företagskänslig information; missbruk för skadlig aktivitet; och felaktiga utdata som kan vilseleda eller förvirra användare, vilket i slutändan leder till negativa affärskonsekvenser.

Eftersom LLM kräver tillgång till stora mängder data för att ge korrekta och kontextuellt relevanta utdata, kan känslig information oavsiktligt avslöjas eller missbrukas.

"Den största risken är att anställda matar det med företagskänslig information när man ber den att skriva en plan eller omformulera e-postmeddelanden eller affärskort som innehåller företagets proprietära information, säger Ringel.

Ur ett cyberattacksperspektiv har hotaktörer redan hittat otaliga sätt att beväpna ChatGPT och andra AI-system. Ett sätt har varit att använda modellerna för att skapa sofistikerade affärse-postkompromisser (BEC) och andra nätfiskeattacker, som kräver skapandet av socialt utformade, personliga meddelanden designade för framgång.

"Med skadlig programvara gör ChatGPT det möjligt för cyberbrottslingar att göra oändliga kodvariationer för att ligga steget före motorerna för upptäckt av skadlig programvara", säger Harr.

AI-hallucinationer utgör också ett betydande säkerhetshot och tillåter illvilliga aktörer att beväpna LLM-baserad teknologi som ChatGPT på ett unikt sätt. En AI-hallucination är ett rimligt svar från AI:n som är otillräckligt, partiskt eller helt och hållet inte sant. "Fiktiva eller andra oönskade svar kan styra organisationer in i felaktigt beslutsfattande, processer och vilseledande kommunikation", varnar Avivah Litan, Gartners vicepresident.

Hotaktörer kan också använda dessa hallucinationer för att förgifta LLM och "generera specifik felaktig information som svar på en fråga", konstaterar Michael Rinehart, vice vd för AI hos datasäkerhetsleverantören Securiti. "Detta kan utökas till generering av sårbara källkoder och, möjligen, till chattmodeller som kan styra användare av en webbplats till osäkra åtgärder."

Angripare kan till och med gå så långt som till publicera skadliga versioner av mjukvarupaket som en LLM kan rekommendera till en mjukvaruutvecklare, som tror att det är en legitim lösning på ett problem. På så sätt kan angripare ytterligare beväpna AI för att skapa attacker i leveranskedjan.

Vägen framåt

Att hantera dessa risker kommer att kräva uppmätta och kollektiva åtgärder innan AI-innovation överskrider branschens förmåga att kontrollera den, konstaterar experter. Men de har också idéer om hur man löser AI:s problem.

Harr tror på en "slåss mot AI med A”-strategi, där ”framsteg inom säkerhetslösningar och strategier för att motverka risker som drivs av AI måste utvecklas i samma eller högre takt.

"Cybersäkerhetsskydd måste utnyttja AI för att framgångsrikt bekämpa cyberhot med hjälp av AI-teknik," tillägger han. "I jämförelse har äldre säkerhetsteknik ingen chans mot dessa attacker."

Organisationer bör dock också ta ett mätt tillvägagångssätt för att anta AI - inklusive AI-baserade säkerhetslösningar – så att de inte introducerar fler risker i sin miljö, varnar Netrixs Wilson.

"Förstå vad AI är och inte är," råder han. "Utmana leverantörer som hävdar att de använder AI för att beskriva vad den gör, hur den förbättrar deras lösning och varför det är viktigt för din organisation."

Securitis Rinehart erbjuder en tvåstegsstrategi för att fasa in AI i en miljö genom att distribuera fokuserade lösningar och sedan sätta skyddsräcken på plats omedelbart innan organisationen utsätts för onödiga risker.

"Anta först applikationsspecifika modeller, potentiellt utökade med kunskapsbaser, som är skräddarsydda för att ge värde i specifika användningsfall", säger han. "Sedan ... implementera ett övervakningssystem för att skydda dessa modeller genom att granska meddelanden till och från dem för integritets- och säkerhetsfrågor."

Experter rekommenderar också att du ställer in säkerhetspolicyer och procedurer kring AI innan den distribueras snarare än som en eftertanke för att minska riskerna. De kan till och med inrätta en dedikerad AI-riskofficer eller arbetsgrupp för att övervaka efterlevnaden.

Utanför företaget måste branschen som helhet också vidta åtgärder för att sätta upp säkerhetsstandarder och rutiner kring AI som alla som utvecklar och använder tekniken kan ta till sig – något som kommer att kräva kollektiva åtgärder från både den offentliga och privata sektorn på global skala , säger DarkTrace Federal's Fowler.

Han citerar riktlinjer för att bygga säkra AI-system publiceras i samarbete av den amerikanska byrån för cybersäkerhet och infrastruktursäkerhet (CISA) och Storbritanniens nationella cybersäkerhetscenter (NCSC) som ett exempel på den typ av insatser som bör följa med den fortsatta utvecklingen av AI.

"I huvudsak," säger Securitis Rinehart, "kommer år 2024 att bevittna en snabb anpassning av både traditionell säkerhet och avancerad AI-teknik för att skydda användare och data i denna framväxande generativa AI-era."

Tidsstämpel:

Mer från Mörk läsning