Cercetătorii AI expun vulnerabilități critice în cadrul LLM-urilor majore

Cercetătorii AI expun vulnerabilități critice în cadrul LLM-urilor majore

Marca temporală: 15 octombrie 2023 3:54
Nodul sursă: 2936742
15 octombrie 2023 (Știri Nanowerk) Modelele lingvistice mari (LLM) precum ChatGPT și Bard au luat lumea cu asalt anul acesta, companiile care investesc milioane pentru a dezvolta aceste instrumente AI, iar unii chatbot AI de top fiind evaluați la miliarde. Aceste LLM, care sunt din ce în ce mai utilizate în cadrul chatbot-urilor AI, războară întregul internet al informațiilor pentru a învăța și pentru a informa răspunsurile pe care le oferă la solicitările specificate de utilizator, cunoscute sub numele de „promptions”. Cu toate acestea, informaticieni de la start-up-ul de securitate AI Mindgard și Universitatea Lancaster din Marea Britanie au demonstrat că bucăți din aceste LLM-uri pot fi copiate în mai puțin de o săptămână pentru doar 50 USD, iar informațiile obținute pot fi folosite pentru a lansa atacuri țintite. . Cercetătorii avertizează că atacatorii care exploatează aceste vulnerabilități ar putea dezvălui informații confidențiale private, să ocolească balustradele, să ofere răspunsuri incorecte sau să organizeze alte atacuri direcționate. Detaliat într-o nouă lucrare (“Model Leeching: An Extraction Attack Targeting LLMs”) care va fi prezentat la CAMLIS 2023 (Conferința privind învățarea aplicată automată pentru securitatea informațiilor), cercetătorii arată că este posibil să se copieze ieftin aspecte importante ale LLM-urilor existente și demonstrează dovezi ale transferului de vulnerabilități între diferite modele. Acest atac, numit „leeching model”, funcționează prin vorbirea cu LLM într-un astfel de mod - solicitându-i un set de solicitări țintite - astfel încât LLM-urile obțin informații perspicace care dezvăluie cum funcționează modelul. Echipa de cercetare, care și-a concentrat studiul pe ChatGPT-3.5-Turbo, a folosit apoi aceste cunoștințe pentru a-și crea propriul model de copiere, care a fost de 100 de ori mai mic, dar a replicat aspecte cheie ale LLM. Cercetătorii au putut apoi să folosească această copie a modelului ca un teren de testare pentru a afla cum să exploateze vulnerabilitățile din ChatGPT fără detectare. Apoi au putut folosi cunoștințele obținute din modelul lor pentru a ataca vulnerabilitățile din ChatGPT, cu o rată de succes crescută cu 11%. Dr. Peter Garraghan de la Universitatea Lancaster, CEO al Mindgard și cercetător principal al cercetării, a declarat: „Ceea ce am descoperit este fascinant din punct de vedere științific, dar extrem de îngrijorător. Aceasta este printre primele lucrări care demonstrează empiric că vulnerabilitățile de securitate pot fi transferate cu succes între modelele de învățare automată cu sursă închisă și sursă deschisă, ceea ce este extrem de îngrijorător, având în vedere cât de mult se bazează industria pe modelele de învățare automată disponibile public, găzduite în locuri precum HuggingFace.” Cercetătorii spun că munca lor evidențiază că, deși aceste tehnologii digitale puternice AI au utilizări clare, există puncte slabe ascunse și pot exista chiar vulnerabilități comune între modele. Companiile din industrie sunt în prezent sau se pregătesc să investească miliarde în crearea propriilor LLM-uri pentru a îndeplini o gamă largă de sarcini, cum ar fi asistenții inteligenți. Serviciile financiare și întreprinderile mari adoptă aceste tehnologii, dar cercetătorii spun că aceste vulnerabilități ar trebui să fie o preocupare majoră pentru toate companiile care intenționează să construiască sau să utilizeze LLM-uri terțe. Dr. Garraghan a spus: „În timp ce tehnologia LLM este potențial transformatoare, companiile și oamenii de știință deopotrivă vor trebui să se gândească foarte atent la înțelegerea și măsurarea riscurilor cibernetice asociate cu adoptarea și implementarea LLM-urilor”.

Timestamp-ul:

Mai mult de la Nanowerk