Tekoälytutkijat paljastavat suurimpien LLM-yritysten kriittisiä haavoittuvuuksia

Tekoälytutkijat paljastavat suurimpien LLM-yritysten kriittisiä haavoittuvuuksia

Aikaleima: 15. lokakuuta 2023, klo 3
Lähdesolmu: 2936742
15. lokakuuta 2023 (Nanowerk-uutiset) Suuret kielimallit (LLM), kuten ChatGPT ja Bard, ovat valloittaneet maailmaa tänä vuonna, ja yritykset investoivat miljoonia näiden tekoälytyökalujen kehittämiseen, ja joidenkin johtavien AI-chatbottien arvo on miljardeja. Nämä LLM:t, joita käytetään yhä enemmän tekoäly-chatboteissa, keräävät koko tiedon Internetistä oppiakseen ja antaakseen vastauksia käyttäjien määrittämiin pyyntöihin, joita kutsutaan "kehotteiksi". Tietojenkäsittelytieteilijät tekoälyturvallisuusalan startup-yrityksestä Mindgardista ja Lancaster Universitystä Iso-Britanniassa ovat kuitenkin osoittaneet, että osia näistä LLM:istä voidaan kopioida alle viikossa jopa 50 dollarilla ja saatuja tietoja voidaan käyttää kohdennettuihin hyökkäyksiin. . Tutkijat varoittavat, että näitä haavoittuvuuksia hyödyntävät hyökkääjät voivat paljastaa yksityisiä luottamuksellisia tietoja, ohittaa suojakaiteet, antaa vääriä vastauksia tai toteuttaa uusia kohdennettuja hyökkäyksiä. Yksityiskohtaiset tiedot uudessa lehdessä ("Model Leeching: LLM:ihin kohdistuva uuttohyökkäys") esitellään CAMLIS 2023:ssa (Conference on Applied Machine Learning for Information Security). Tämä hyökkäys, jota kutsutaan "mallin ikääntymiseksi", toimii puhumalla LLM:ien kanssa sellaisella tavalla – kysymällä siltä kohdennettuja kehotteita – niin, että LLM:t saavat oivaltavaa tietoa, joka kertoo mallin toiminnasta. Tutkimusryhmä, joka keskittyi tutkimuksessaan ChatGPT-3.5-Turboon, käytti tätä tietämystä luodakseen oman kopiomallinsa, joka oli 100 kertaa pienempi, mutta toisti LLM:n avainkohdat. Tutkijat pystyivät sitten käyttämään tätä mallikopiota testausalustana selvittääkseen, kuinka ChatGPT:n haavoittuvuuksia voidaan hyödyntää ilman havaitsemista. He pystyivät sitten käyttämään mallistaan ​​kerättyä tietoa hyökätäkseen ChatGPT:n haavoittuvuuksia vastaan ​​11 %:lla parantuneella onnistumisprosentilla. Tohtori Peter Garraghan Lancaster Universitystä, Mindgardin toimitusjohtaja ja tutkimuksen päätutkija sanoi: "Löysimme on tieteellisesti kiehtovaa, mutta erittäin huolestuttavaa. Tämä on ensimmäisiä töitä, jotka osoittavat empiirisesti, että tietoturva-aukkoja voidaan siirtää onnistuneesti suljetun lähdekoodin ja avoimen lähdekoodin koneoppimismallien välillä, mikä on erittäin huolestuttavaa, kun otetaan huomioon, kuinka paljon teollisuus luottaa julkisesti saatavilla oleviin koneoppimismalleihin, joita isännöidään esimerkiksi HuggingFacessa. Tutkijat sanovat, että heidän työnsä korostaa, että vaikka näillä tehokkailla digitaalisilla tekoälytekniikoilla on selkeä käyttötarkoitus, niissä on piilotettuja heikkouksia, ja malleissa voi jopa olla yhteisiä haavoittuvuuksia. Yritykset eri puolilla alaa ovat parhaillaan tai valmistautuvat investoimaan miljardeja omien LLM-yritysten perustamiseen suorittaakseen monenlaisia ​​tehtäviä, kuten älykkäitä avustajia. Rahoituspalvelut ja suuret yritykset ottavat käyttöön näitä teknologioita, mutta tutkijoiden mukaan näiden haavoittuvuuksien pitäisi olla suuri huolenaihe kaikille yrityksille, jotka suunnittelevat kolmannen osapuolen LLM:ien rakentamista tai käyttöä. Tohtori Garraghan sanoi: "Vaikka elinkeinoelämän teknologia on potentiaalisesti muuttava, yritysten ja tutkijoiden on pohdittava erittäin tarkasti LLM:ien käyttöönottoon ja käyttöönottoon liittyvien kyberriskien ymmärtämistä ja mittaamista."

Aikaleima:

Lisää aiheesta Nanowerk