I sottili pregiudizi nell'IA possono influenzare le decisioni di emergenza

I sottili pregiudizi nell'IA possono influenzare le decisioni di emergenza

Timestamp: 16 dicembre 2022 11:50
Nodo di origine: 1777604

Non è un segreto che le persone nutrano pregiudizi, alcuni inconsci, forse, e altri dolorosamente palesi. La persona media potrebbe supporre che i computer - macchine tipicamente fatte di plastica, acciaio, vetro, silicio e vari metalli - siano privi di pregiudizi. Sebbene tale ipotesi possa valere per l'hardware del computer, lo stesso non è sempre vero per il software del computer, che è programmato da esseri umani fallibili e può essere alimentato con dati che sono, di per sé, compromessi per certi aspetti.

I sistemi di intelligenza artificiale (AI), in particolare quelli basati sull'apprendimento automatico, stanno vedendo un crescente utilizzo in medicina per diagnosticare malattie specifiche, ad esempio, o valutare i raggi X. Si fa affidamento su questi sistemi anche per supportare il processo decisionale in altre aree dell'assistenza sanitaria. Ricerche recenti hanno dimostrato, tuttavia, che i modelli di apprendimento automatico possono codificare pregiudizi nei confronti di sottogruppi di minoranza e le raccomandazioni che formulano possono di conseguenza riflettere quegli stessi pregiudizi.

A nuovo studio dai ricercatori del Computer Science and Artificial Intelligence Laboratory (CSAIL) del MIT e della MIT Jameel Clinic, che è stato pubblicato il mese scorso su Medicina delle comunicazioni, valuta l'impatto che i modelli di IA discriminatori possono avere, in particolare per i sistemi destinati a fornire consulenza in situazioni urgenti. "Abbiamo scoperto che il modo in cui il consiglio è strutturato può avere ripercussioni significative", spiega l'autore principale dell'articolo, Hammaad Adam, studente di dottorato presso l'Institute for Data Systems and Society del MIT. "Fortunatamente, il danno causato da modelli distorti può essere limitato (sebbene non necessariamente eliminato) quando il consiglio viene presentato in modo diverso". Gli altri coautori dell'articolo sono Aparna Balagopalan ed Emily Alsentzer, entrambi dottorandi, e i professori Fotini Christia e Marzyeh Ghassemi.

I modelli di intelligenza artificiale utilizzati in medicina possono soffrire di imprecisioni e incoerenze, in parte perché i dati utilizzati per addestrare i modelli spesso non sono rappresentativi delle impostazioni del mondo reale. Diversi tipi di macchine a raggi X, ad esempio, possono registrare le cose in modo diverso e quindi produrre risultati diversi. I modelli addestrati prevalentemente sui bianchi, inoltre, potrebbero non essere altrettanto accurati se applicati ad altri gruppi. IL Medicina delle comunicazioni il documento non si concentra su questioni di questo tipo, ma affronta invece i problemi che derivano da pregiudizi e sui modi per mitigare le conseguenze negative.

Un gruppo di 954 persone (438 medici e 516 non esperti) ha preso parte a un esperimento per vedere come i pregiudizi dell'IA possono influenzare il processo decisionale. Ai partecipanti sono stati presentati i riepiloghi delle chiamate da una hotline di crisi fittizia, ciascuna delle quali coinvolgeva un individuo di sesso maschile sottoposto a un'emergenza di salute mentale. I riassunti contenevano informazioni sul fatto che l'individuo fosse caucasico o afroamericano e menzionassero anche la sua religione se fosse musulmano. Un tipico riepilogo della chiamata potrebbe descrivere una circostanza in cui un uomo afroamericano è stato trovato a casa in uno stato delirante, indicando che "non ha consumato droghe o alcol, poiché è un musulmano praticante". Ai partecipanti allo studio è stato chiesto di chiamare la polizia se pensavano che il paziente potesse diventare violento; in caso contrario, sono stati incoraggiati a cercare assistenza medica.

I partecipanti sono stati divisi casualmente in un gruppo di controllo o "di base" più altri quattro gruppi progettati per testare le risposte in condizioni leggermente diverse. "Vogliamo capire in che modo i modelli distorti possono influenzare le decisioni, ma prima dobbiamo capire come i pregiudizi umani possono influenzare il processo decisionale", osserva Adam. Quello che hanno trovato nella loro analisi del gruppo di riferimento è stato piuttosto sorprendente: “Nel contesto che abbiamo considerato, i partecipanti umani non hanno mostrato alcun pregiudizio. Ciò non significa che gli esseri umani non siano prevenuti, ma il modo in cui abbiamo trasmesso le informazioni sulla razza e la religione di una persona, evidentemente, non era abbastanza forte da suscitare i loro pregiudizi".

Agli altri quattro gruppi dell'esperimento sono stati dati consigli che provenivano da un modello distorto o imparziale e che il consiglio è stato presentato in una forma "prescrittiva" o "descrittiva". Un modello imparziale sarebbe più propenso a raccomandare l'aiuto della polizia in una situazione che coinvolge una persona afroamericana o musulmana rispetto a un modello imparziale. I partecipanti allo studio, tuttavia, non sapevano da quale tipo di modello provenissero i loro consigli, o addirittura che i modelli che fornivano i consigli potessero essere prevenuti. I consigli prescrittivi spiegano cosa dovrebbe fare un partecipante in termini inequivocabili, dicendo loro che dovrebbero chiamare la polizia in un caso o cercare assistenza medica in un altro. Il consiglio descrittivo è meno diretto: viene visualizzato un contrassegno per indicare che il sistema di intelligenza artificiale percepisce un rischio di violenza associato a una particolare chiamata; nessuna bandiera viene mostrata se la minaccia di violenza è ritenuta piccola.  

Un punto chiave dell'esperimento è che i partecipanti "sono stati fortemente influenzati dalle raccomandazioni prescrittive di un sistema di intelligenza artificiale parziale", hanno scritto gli autori. Ma hanno anche scoperto che "l'uso di raccomandazioni descrittive piuttosto che prescrittive ha permesso ai partecipanti di mantenere il loro processo decisionale originale e imparziale". In altre parole, il pregiudizio incorporato in un modello di intelligenza artificiale può essere ridotto inquadrando in modo appropriato il consiglio che viene reso. Perché i diversi risultati, a seconda di come viene posto il consiglio? Quando a qualcuno viene detto di fare qualcosa, come chiamare la polizia, lascia poco spazio ai dubbi, spiega Adam. Tuttavia, quando la situazione è semplicemente descritta – classificata con o senza la presenza di una bandiera – “ciò lascia spazio all'interpretazione di un partecipante; permette loro di essere più flessibili e di considerare la situazione da soli”.

In secondo luogo, i ricercatori hanno scoperto che i modelli linguistici tipicamente utilizzati per offrire consigli sono facili da influenzare. I modelli linguistici rappresentano una classe di sistemi di apprendimento automatico addestrati sul testo, come l'intero contenuto di Wikipedia e altro materiale web. Quando questi modelli vengono "messi a punto" facendo affidamento su un sottoinsieme di dati molto più piccolo per scopi di addestramento - solo 2,000 frasi, rispetto a 8 milioni di pagine Web - i modelli risultanti possono essere facilmente distorti.  

In terzo luogo, il team del MIT ha scoperto che i decisori che sono essi stessi imparziali possono ancora essere fuorviati dalle raccomandazioni fornite da modelli distorti. La formazione medica (o la sua mancanza) non ha modificato le risposte in modo percepibile. "I medici sono stati influenzati da modelli distorti tanto quanto i non esperti", hanno affermato gli autori.

"Questi risultati potrebbero essere applicabili ad altri contesti", afferma Adam, e non sono necessariamente limitati alle situazioni sanitarie. Quando si tratta di decidere quali persone dovrebbero ricevere un colloquio di lavoro, un modello distorto potrebbe avere maggiori probabilità di rifiutare i candidati neri. I risultati potrebbero essere diversi, tuttavia, se invece di dire esplicitamente (e prescrittivamente) a un datore di lavoro di "rifiutare questo candidato", al fascicolo viene allegato un contrassegno descrittivo per indicare la "possibile mancanza di esperienza" del richiedente.

Le implicazioni di questo lavoro sono più ampie del semplice capire come affrontare le persone nel mezzo di crisi di salute mentale, sostiene Adam. "Il nostro obiettivo finale è garantire che i modelli di machine learning vengano utilizzati in modo equo, sicuro e solido."

<!–
->

Timestamp:

Di più da Consulenti Blockchain