Skynet Ahoy? La ce să vă așteptați pentru riscurile de securitate AI de nouă generație

Skynet Ahoy? La ce să vă așteptați pentru riscurile de securitate AI de nouă generație

Marca temporală: 28 decembrie 2023, ora 9:00
Nodul sursă: 3037761

Pe măsură ce inovarea în inteligența artificială (AI) continuă cu ritmul accelerat, 2024 va fi un moment crucial pentru organizații și organismele de conducere pentru a stabili standarde de securitate, protocoale și alte balustrade pentru a împiedica AI să le înainteze, avertizează experții în securitate.

Modelele de limbaj mari (LLM), alimentate de algoritmi sofisticați și seturi masive de date, demonstrează o înțelegere remarcabilă a limbajului și capacități de conversație asemănătoare omului. Una dintre cele mai sofisticate dintre aceste platforme până în prezent este GPT-4 de la OpenAI, care se mândrește cu capacități avansate de raționament și de rezolvare a problemelor și alimentează botul ChatGPT al companiei. Și compania, în parteneriat cu Microsoft, a început să lucreze la GPT-5, ceea ce a spus CEO-ul Sam Altman va merge mult mai departe — până la punctul de a poseda „superinteligență”.

Aceste modele reprezintă un potențial enorm pentru câștiguri semnificative de productivitate și eficiență pentru organizații, dar experții sunt de acord că a venit timpul pentru industrie în ansamblu. pentru a aborda riscurile de securitate inerente puse de dezvoltarea și desfășurarea lor. Într-adevăr, cercetări recente ale Writerbuddy AI, care oferă un instrument de scriere de conținut bazat pe inteligență artificială, a constatat că ChatGPT a avut deja 14 miliarde de vizite și sunt în număr.

Pe măsură ce organizațiile se îndreaptă către progres în AI, acesta „ar trebui să fie cuplat cu considerații etice riguroase și evaluări ale riscurilor”, spune Gal Ringel, CEO al companiei de confidențialitate și securitate bazată pe inteligență artificială MineOS.

Este AI o amenințare existențială?

Preocupările legate de securitatea următoarei generații de inteligență artificială au început să se răspândească în martie, cu o scrisoare deschisă semnată de aproape 34,000 de tehnologi de top care solicita oprirea dezvoltării sistemelor AI generative mai puternice decât GPT-4 al OpenAI. Scrisoarea a citat „riscurile profunde” pentru societate pe care le reprezintă tehnologia și „cursa scăpată de sub control a laboratoarelor de inteligență artificială pentru a dezvolta și implementa minți digitale tot mai puternice pe care nimeni – nici măcar creatorii lor – nu le poate înțelege, prezice sau control fiabil.”

În ciuda acestor temeri distopice, cei mai mulți experți în securitate nu sunt atât de preocupați de un scenariu apocaliptic în care mașinile devin mai inteligente decât oamenii și cuceresc lumea.

„Scrisoarea deschisă a notat preocupări valide cu privire la progresul rapid și la potențialele aplicații ale AI într-un sens larg, „este bine pentru umanitate””, spune Matt Wilson, director de inginerie de vânzări la firma de securitate cibernetică Netrix. „Deși sunt impresionante în anumite scenarii, versiunile publice ale instrumentelor AI nu par atât de amenințătoare.”

Ceea ce este îngrijorător este faptul că progresele și adoptarea AI se mișcă prea repede pentru ca riscurile să fie gestionate corespunzător, notează cercetătorii. „Nu putem pune capacul înapoi pe cutia Pandorei”, observă Patrick Harr, CEO al furnizorului de securitate AI SlashNext.

Mai mult, doar „încercarea de a opri rata de inovare în spațiu nu va ajuta la atenuarea” riscurilor pe care le prezintă, care trebuie abordate separat, observă Marcus Fowler, CEO al firmei de securitate AI DarkTrace Federal. Asta nu înseamnă că dezvoltarea AI ar trebui să continue necontrolată, spune el. Dimpotrivă, rata de evaluare a riscurilor și punerea în aplicare a garanțiilor adecvate ar trebui să se potrivească cu ritmul cu care sunt instruiți și dezvoltati LLM.

„Tehnologia AI evoluează rapid, așa că guvernele și organizațiile care folosesc AI trebuie, de asemenea, să accelereze discuțiile despre siguranța AI”, explică Fowler.

Riscuri AI generative

Există mai multe riscuri larg recunoscute pentru IA generativă care necesită luare în considerare și se vor înrăutăți pe măsură ce generațiile viitoare ale tehnologiei devin mai inteligente. Din fericire pentru oameni, niciunul dintre ei nu prezintă până acum un scenariu de apocalipsă științifico-fantastică în care AI conspiră pentru a-și distruge creatorii.

În schimb, ele includ amenințări mult mai familiare, cum ar fi scurgerile de date, potențiale informații sensibile pentru afaceri; utilizarea abuzivă pentru activitate rău intenționată; și rezultate inexacte care pot induce în eroare sau deruta utilizatorii, ducând în cele din urmă la consecințe negative asupra afacerii.

Deoarece LLM-urile necesită acces la cantități mari de date pentru a oferi rezultate precise și relevante din punct de vedere contextual, informațiile sensibile pot fi dezvăluite sau utilizate greșit din neatenție.

„Riscul principal este că angajații îl hrănesc cu informații sensibile pentru afaceri când îi cereți să scrie un plan sau să reformuleze e-mailurile sau pachetele de afaceri care conțin informațiile deținute ale companiei”, notează Ringel.

Din perspectiva atacurilor cibernetice, actorii amenințărilor au găsit deja nenumărate modalități de a arma ChatGPT și alte sisteme AI. O modalitate a fost utilizarea modelelor pentru a crea compromisuri sofisticate de e-mail de afaceri (BEC) și alte atacuri de tip phishing, care necesită crearea de mesaje personalizate, concepute social, concepute pentru succes.

„Cu programele malware, ChatGPT le permite infractorilor cibernetici să facă variații infinite de cod pentru a rămâne cu un pas înaintea motoarelor de detectare a malware”, spune Harr.

Halucinațiile AI reprezintă, de asemenea, o amenințare semnificativă pentru securitate și permit actorilor rău intenționați să armeze tehnologia bazată pe LLM, cum ar fi ChatGPT, într-un mod unic. O halucinație AI este un răspuns plauzibil al AI care este insuficient, părtinitor sau total nu este adevărat. „Răspunsurile fictive sau alte răspunsuri nedorite pot conduce organizațiile spre luarea deciziilor, procese și comunicări înșelătoare”, avertizează Avivah Litan, vicepreședinte Gartner.

Actorii amenințărilor pot folosi, de asemenea, aceste halucinații pentru a otrăvi LLM-urile și pentru a „genera dezinformații specifice ca răspuns la o întrebare”, observă Michael Rinehart, vicepreședinte AI la furnizorul de securitate a datelor Securiti. „Acest lucru este extensibil la generarea de cod sursă vulnerabil și, eventual, la modele de chat capabile să direcționeze utilizatorii unui site către acțiuni nesigure.”

Atacatorii pot merge chiar atât de departe încât publica versiuni rău intenționate ale pachetelor software pe care un LLM l-ar putea recomanda unui dezvoltator de software, crezând că este o soluție legitimă pentru o problemă. În acest fel, atacatorii pot arma în continuare AI pentru a organiza atacuri în lanțul de aprovizionare.

Calea înainte

Gestionarea acestor riscuri va necesita acțiuni măsurate și colective înainte ca inovația AI să depășească capacitatea industriei de a o controla, notează experții. Dar au și idei despre cum să rezolve problema AI.

Harr crede într-un „lupta cu AI cu A”, în care „progresele în soluțiile de securitate și strategiile de a contracara riscurile alimentate de AI trebuie să se dezvolte într-un ritm egal sau mai mare.

„Protecția securității cibernetice trebuie să folosească AI pentru a lupta cu succes împotriva amenințărilor cibernetice folosind tehnologia AI”, adaugă el. „În comparație, tehnologia de securitate moștenită nu are nicio șansă împotriva acestor atacuri.”

Cu toate acestea, organizațiile ar trebui, de asemenea, să adopte o abordare măsurată pentru adoptarea AI, inclusiv Soluții de securitate bazate pe inteligență artificială — ca nu cumva să introducă mai multe riscuri în mediul lor, avertizează Wilson de la Netrix.

„Înțelegeți ce este și ce nu este AI”, ne sfătuiește el. „Provocați furnizorii care pretind că folosesc AI pentru a descrie ceea ce face, cum le îmbunătățește soluția și de ce contează asta pentru organizația dumneavoastră.”

Rinehart de la Securiti oferă o abordare pe două niveluri pentru introducerea treptată a AI într-un mediu prin implementarea de soluții concentrate și apoi punerea în aplicare a unor balustrade imediat înainte de a expune organizația la riscuri inutile.

„Mai întâi adoptați modele specifice aplicației, potențial îmbunătățite de baze de cunoștințe, care sunt adaptate pentru a oferi valoare în cazuri de utilizare specifice”, spune el. „Atunci... implementați un sistem de monitorizare pentru a proteja aceste modele prin examinarea mesajelor către și de la ele pentru probleme de confidențialitate și securitate.”

Experții recomandă, de asemenea, să stabiliți politici și proceduri de securitate în jurul AI înainte de a fi implementat, mai degrabă decât ca o idee ulterioară pentru a atenua riscul. Ei pot chiar să înființeze un ofițer de risc AI dedicat sau un grup operativ pentru a supraveghea conformitatea.

În afara întreprinderii, industria în ansamblu trebuie, de asemenea, să ia măsuri pentru a stabili standarde și practici de securitate în jurul AI pe care toți cei care dezvoltă și folosesc tehnologia le pot adopta - ceva care va necesita o acțiune colectivă atât din partea sectorului public, cât și a celui privat la scară globală. , spune Fowler de la DarkTrace Federal.

El citează linii directoare pentru construirea de sisteme AI sigure publicat în colaborare de către Agenția de Securitate Cibernetică și Infrastructură din SUA (CISA) și Centrul Național de Securitate Cibernetică din Marea Britanie (NCSC) ca un exemplu al tipului de eforturi care ar trebui să însoțească evoluția continuă a AI.

„În esență”, spune Rinehart de la Securiti, „anul 2024 va fi martorul unei adaptări rapide atât a securității tradiționale, cât și a tehnicilor de IA de ultimă oră pentru protejarea utilizatorilor și a datelor în această eră emergentă a AI generativă.”

Timestamp-ul:

Mai mult de la Lectură întunecată