Prejudecățile subtile ale inteligenței artificiale pot influența deciziile de urgență

Prejudecățile subtile ale inteligenței artificiale pot influența deciziile de urgență

Marca temporală: 16 decembrie 2022, ora 11:50
Nodul sursă: 1777604

Nu este un secret pentru nimeni faptul că oamenii adăpostesc părtiniri – unele inconștiente, poate, iar altele dureros de manifeste. Persoana obișnuită ar putea presupune că computerele - mașini fabricate în mod obișnuit din plastic, oțel, sticlă, siliciu și diferite metale - sunt lipsite de prejudecăți. Deși această ipoteză poate fi valabilă pentru hardware-ul computerului, nu același lucru este valabil întotdeauna pentru software-ul de computer, care este programat de oameni falibili și poate fi alimentat cu date care sunt, în sine, compromise în anumite privințe.

Sistemele de inteligență artificială (AI), în special cele bazate pe învățarea automată, înregistrează o utilizare sporită în medicină pentru diagnosticarea unor boli specifice, de exemplu, sau evaluarea razelor X. De asemenea, se bazează pe aceste sisteme pentru a sprijini luarea deciziilor în alte domenii ale asistenței medicale. Cercetări recente au arătat, totuși, că modelele de învățare automată pot codifica părtiniri împotriva subgrupurilor minoritare, iar recomandările pe care le fac pot reflecta, în consecință, aceleași părtiniri.

A nou studiu de cercetători de la MIT's Computer Science and Artificial Intelligence Laboratory (CSAIL) și MIT Jameel Clinic, care a fost publicat luna trecută în Medicina Comunicațiilor, evaluează impactul pe care modelele discriminatorii de inteligență artificială îl pot avea, în special pentru sistemele care sunt menite să ofere consiliere în situații urgente. „Am descoperit că modul în care este formulat sfatul poate avea repercusiuni semnificative”, explică autorul principal al lucrării, Hammaad Adam, doctorand la Institutul pentru Sisteme de Date și Societate al MIT. „Din fericire, răul cauzat de modelele părtinitoare poate fi limitat (deși nu neapărat eliminat) atunci când sfaturile sunt prezentate într-un mod diferit.” Ceilalți co-autori ai lucrării sunt Aparna Balagopalan și Emily Alsentzer, ambii doctoranzi, și profesorii Fotini Christia și Marzyeh Ghassemi.

Modelele de inteligență artificială utilizate în medicină pot suferi de inexactități și inconsecvențe, în parte pentru că datele utilizate pentru antrenarea modelelor nu sunt adesea reprezentative pentru setările din lumea reală. Diferite tipuri de aparate cu raze X, de exemplu, pot înregistra lucrurile diferit și, prin urmare, pot da rezultate diferite. În plus, modelele antrenate predominant pe albi, pot să nu fie la fel de precise atunci când sunt aplicate altor grupuri. The Medicina Comunicațiilor Lucrarea nu se concentrează pe probleme de acest fel, ci abordează problemele care decurg din părtiniri și modalități de atenuare a consecințelor negative.

Un grup de 954 de persoane (438 de clinicieni și 516 de non-experți) a luat parte la un experiment pentru a vedea modul în care părtinirile AI pot afecta luarea deciziilor. Participanților li s-au prezentat rezumate ale apelurilor de la o linie telefonică de criză fictivă, fiecare implicând un individ de sex masculin care trece printr-o urgență de sănătate mintală. Rezumatele conțineau informații despre dacă individul era caucazian sau afro-american și ar menționa și religia sa dacă se întâmplă să fie musulman. Un rezumat tipic al apelului ar putea descrie o împrejurare în care un bărbat afro-american a fost găsit acasă într-o stare de delir, indicând că „nu a consumat niciun fel de droguri sau alcool, deoarece este un musulman practicant”. Participanții la studiu au fost instruiți să sune poliția dacă credeau că pacientul ar putea deveni violent; în caz contrar, au fost încurajați să caute ajutor medical.

Participanții au fost împărțiți aleatoriu într-un grup de control sau „de bază” plus alte patru grupuri concepute pentru a testa răspunsurile în condiții ușor diferite. „Vrem să înțelegem cum modelele părtinitoare pot influența deciziile, dar mai întâi trebuie să înțelegem cum părtinirile umane pot afecta procesul de luare a deciziilor”, notează Adam. Ceea ce au descoperit în analiza lor asupra grupului de referință a fost destul de surprinzător: „În cadrul pe care l-am luat în considerare, participanții umani nu au prezentat niciun fel de părtinire. Asta nu înseamnă că oamenii nu sunt părtinitori, dar modul în care transmitem informații despre rasa și religia unei persoane, în mod evident, nu a fost suficient de puternic pentru a provoca părtinirile lor.”

Celelalte patru grupuri din experiment au primit sfaturi care provin fie dintr-un model părtinitor, fie dintr-un model imparțial, iar acel sfat a fost prezentat fie într-o formă „prescriptivă”, fie într-o formă „descriptivă”. Un model părtinitor ar fi mai probabil să recomande ajutorul poliției într-o situație care implică o persoană afro-americană sau musulmană decât un model imparțial. Cu toate acestea, participanții la studiu nu știau din ce model provin sfaturile lor și nici măcar că modelele care oferă sfatul ar putea fi părtinitoare. Sfatul prescriptiv explică ce ar trebui să facă un participant în termeni clari, spunându-le că ar trebui să sune poliția într-un caz sau să caute ajutor medical în altul. Sfatul descriptiv este mai puțin direct: este afișat un steag pentru a arăta că sistemul AI percepe un risc de violență asociat cu un anumit apel; nu este afișat niciun steag dacă amenințarea cu violența este considerată mică.  

O concluzie cheie a experimentului este că participanții „au fost foarte influențați de recomandările prescriptive ale unui sistem AI părtinitor”, au scris autorii. Dar ei au descoperit, de asemenea, că „folosirea recomandărilor descriptive mai degrabă decât prescriptive le-a permis participanților să-și păstreze procesul decizional original și imparțial”. Cu alte cuvinte, părtinirea încorporată într-un model AI poate fi diminuată prin încadrarea adecvată a sfatului care este oferit. De ce rezultate diferite, în funcție de modul în care se oferă sfatul? Când cuiva i se spune să facă ceva, cum ar fi să cheme poliția, asta nu lasă loc de îndoială, explică Adam. Cu toate acestea, atunci când situația este doar descrisă – clasificată cu sau fără prezența unui steag – „aceasta lasă loc pentru propria interpretare a unui participant; le permite să fie mai flexibili și să ia în considerare situația pentru ei înșiși.”

În al doilea rând, cercetătorii au descoperit că modelele lingvistice care sunt utilizate de obicei pentru a oferi sfaturi sunt ușor de părtinit. Modelele lingvistice reprezintă o clasă de sisteme de învățare automată care sunt antrenate pe text, cum ar fi întregul conținut al Wikipedia și alte materiale web. Atunci când aceste modele sunt „ajustate” bazându-se pe un subset mult mai mic de date în scopuri de instruire – doar 2,000 de propoziții, spre deosebire de 8 milioane de pagini web – modelele rezultate pot fi ușor părtinitoare.  

În al treilea rând, echipa MIT a descoperit că factorii de decizie care sunt ei înșiși imparțiali pot fi induși în eroare de recomandările oferite de modelele părtinitoare. Pregătirea medicală (sau lipsa acesteia) nu a schimbat răspunsurile într-un mod vizibil. „Clinicii au fost influențați de modele părtinitoare la fel de mult ca și non-experții”, au declarat autorii.

„Aceste constatări ar putea fi aplicabile în alte situații”, spune Adam și nu sunt neapărat limitate la situațiile de îngrijire a sănătății. Când vine vorba de a decide care persoane ar trebui să primească un interviu de angajare, un model părtinitor ar putea fi mai probabil să respingă candidații de culoare. Rezultatele ar putea fi diferite, totuși, dacă în loc să îi spună în mod explicit (și prescriptiv) angajatorului să „respinge acest solicitant”, la dosar este atașat un semnalizator descriptiv pentru a indica „posibila lipsă de experiență” a solicitantului.

Implicațiile acestei lucrări sunt mai largi decât doar a înțelege cum să se ocupe de indivizi în mijlocul crizelor de sănătate mintală, susține Adam. „Scopul nostru final este să ne asigurăm că modelele de învățare automată sunt utilizate într-un mod corect, sigur și robust.”

<!–
->

Timestamp-ul:

Mai mult de la Consultanți Blockchain