AI-forskare avslöjar kritiska sårbarheter inom stora LLM:er

AI-forskare avslöjar kritiska sårbarheter inom stora LLM:er

Tidsstämpel: 15 oktober 2023 3:54
Källnod: 2936742
15 okt 2023 (Nanowerk Nyheter) Stora språkmodeller (LLM) som ChatGPT och Bard har tagit världen med storm i år, med företag som investerar miljoner för att utveckla dessa AI-verktyg, och några ledande AI-chatbotar värderas i miljarder. Dessa LLM:er, som alltmer används inom AI-chatbots, skrapar hela Internet av information för att lära sig och informera svar som de tillhandahåller på användarspecificerade förfrågningar, så kallade "prompter". Datavetare från AI-säkerhetsstartupen Mindgard och Lancaster University i Storbritannien har dock visat att delar av dessa LLM:er kan kopieras på mindre än en vecka för så lite som $50, och informationen som erhålls kan användas för att starta riktade attacker . Forskarna varnar för att angripare som utnyttjar dessa sårbarheter kan avslöja privat konfidentiell information, kringgå skyddsräcken, ge felaktiga svar eller iscensätta ytterligare riktade attacker. Detaljerad i en ny tidning ("Model Leeching: An Extraction Attack inriktad på LLMs") för att presenteras på CAMLIS 2023 (Conference on Applied Machine Learning for Information Security) visar forskarna att det är möjligt att kopiera viktiga aspekter av befintliga LLM:er billigt, och de visar bevis på att sårbarheter överförs mellan olika modeller. Den här attacken, som kallas "modell leeching", fungerar genom att prata med LLM:er på ett sådant sätt - frågar den en uppsättning riktade uppmaningar - så att LLM:erna framkallar insiktsfull information som visar hur modellen fungerar. Forskargruppen, som fokuserade sin studie på ChatGPT-3.5-Turbo, använde sedan denna kunskap för att skapa sin egen kopiamodell, som var 100 gånger mindre men replikerade nyckelaspekter av LLM. Forskarna kunde sedan använda denna modellkopia som en testplats för att ta reda på hur man kan utnyttja sårbarheter i ChatGPT utan upptäckt. De kunde sedan använda kunskapen från deras modell för att attackera sårbarheter i ChatGPT med en 11% ökad framgångsfrekvens. Dr Peter Garraghan från Lancaster University, VD för Mindgard och huvudutredare för forskningen, sa: "Det vi upptäckt är vetenskapligt fascinerande, men extremt oroande. Detta är bland de allra första verken för att empiriskt visa att säkerhetssårbarheter framgångsrikt kan överföras mellan maskininlärningsmodeller med sluten källkod och öppen källkod, vilket är extremt oroande med tanke på hur mycket industrin förlitar sig på allmänt tillgängliga maskininlärningsmodeller som finns på platser som HuggingFace.” Forskarna säger att deras arbete belyser att även om dessa kraftfulla digitala AI-tekniker har tydliga användningsområden, finns det dolda svagheter, och det kan till och med finnas vanliga sårbarheter mellan olika modeller. Företag över hela branschen förbereder sig för närvarande eller förbereder sig på att investera miljarder i att skapa sina egna LLM:er för att utföra ett brett utbud av uppgifter som smarta assistenter. Finansiella tjänster och stora företag använder sig av denna teknik, men forskare säger att dessa sårbarheter borde vara ett stort problem för alla företag som planerar att bygga eller använda tredje part LLM. Dr Garraghan sa: "Medan LLM-teknik är potentiellt transformativ, måste både företag och forskare tänka mycket noga på att förstå och mäta cyberriskerna som är förknippade med att anta och distribuera LLMs."

Tidsstämpel:

Mer från Nanoverk