L'importanza della diversità nell'intelligenza artificiale non è un'opinione, è matematica – Blog IBM

Vogliamo tutti vedere i nostri valori umani ideali riflessi nelle nostre tecnologie. Ci aspettiamo che tecnologie come l’intelligenza artificiale (AI) non ci mentano, non discriminino e siano sicure da usare per noi e i nostri figli. Eppure molti creatori di intelligenza artificiale si trovano attualmente ad affrontare reazioni negative a causa dei pregiudizi, delle imprecisioni e delle pratiche problematiche relative ai dati esposti nei loro modelli. Questi problemi richiedono più di una soluzione tecnica, algoritmica o basata sull’intelligenza artificiale. In realtà è necessario un approccio olistico e socio-tecnico.

La matematica dimostra una potente verità

Tutti i modelli predittivi, inclusa l’intelligenza artificiale, sono più accurati quando incorporano intelligenze ed esperienze umane diverse. Questa non è un'opinione; ha validità empirica. Considera il Teorema di previsione della diversità. In parole povere, quando la diversità in un gruppo è grande, l’errore della folla è piccolo – a sostegno del concetto di “saggezza della folla”. In uno studio influente, è stato dimostrato che diversi gruppi di risolutori di problemi a bassa capacità possono sovraperformare gruppi di risolutori di problemi ad alta capacità (Hong e Page, 2004).

Nel linguaggio matematico: più ampia è la varianza, più standard è la media. L'equazione è simile a questa:

A ulteriore studio ha fornito più calcoli che affinano le definizioni statistiche di una folla saggia, inclusa l'ignoranza delle previsioni degli altri membri e l'inclusione di quelli con massimamente diverso previsioni o giudizi (negativamente correlati). Quindi, non è solo il volume, ma la diversità che migliora le previsioni. In che modo questa intuizione potrebbe influenzare la valutazione dei modelli di intelligenza artificiale?

(in)accuratezza del modello

Per citare un aforisma comune, tutti i modelli sono sbagliati. Ciò vale nei settori della statistica, della scienza e dell’intelligenza artificiale. I modelli creati con una mancanza di esperienza nel settore possono portare a erroneo uscite.

Oggi, un piccolo gruppo omogeneo di persone determina quali dati utilizzare per addestrare modelli di intelligenza artificiale generativa, che provengono da fonti che rappresentano ampiamente l’inglese. “Per la maggior parte delle oltre 6,000 lingue del mondo, i dati testuali disponibili non sono sufficienti per formare un modello di fondazione su larga scala” (da “Sulle opportunità e sui rischi dei modelli di fondazione”, Bommasani et al., 2022).

Inoltre, i modelli stessi sono creati da architetture limitate: “Quasi tutti i modelli NLP all’avanguardia sono ora adattati da uno dei pochi modelli di base, come BERT, RoBERTa, BART, T5, ecc. Mentre questa omogeneizzazione produce leva finanziaria estremamente elevata (qualsiasi miglioramento nei modelli di base può portare a benefici immediati in tutta la PNL), è anche una responsabilità; tutti i sistemi di intelligenza artificiale potrebbero ereditare gli stessi pregiudizi problematici di alcuni modelli di base (Bommasani et al.) "

Affinché l’intelligenza artificiale generativa possa riflettere meglio le diverse comunità che serve, è necessario rappresentare nei modelli una varietà molto più ampia di dati sugli esseri umani.

La valutazione dell’accuratezza del modello va di pari passo con la valutazione del bias. Dobbiamo chiederci: qual è lo scopo del modello e per chi è ottimizzato? Consideriamo, ad esempio, chi trae maggiori benefici dagli algoritmi di raccomandazione dei contenuti e dagli algoritmi dei motori di ricerca. Le parti interessate possono avere interessi e obiettivi molto diversi. Algoritmi e modelli richiedono obiettivi o proxy per l'errore di Bayes: l'errore minimo rispetto al quale un modello deve migliorare. Questo proxy è spesso una persona, ad esempio un esperto in materia con esperienza nel settore.

Una sfida molto umana: valutare il rischio prima dell’acquisizione o dello sviluppo del modello

Le normative e i piani d’azione emergenti sull’IA sottolineano sempre più l’importanza dei moduli algoritmici di valutazione dell’impatto. L'obiettivo di questi moduli è acquisire informazioni critiche sui modelli di intelligenza artificiale in modo che i team di governance possano valutare e affrontare i rischi prima di implementarli. Le domande tipiche includono:

• Qual è il caso d'uso del tuo modello?
• Quali sono i rischi di impatti disparati?
• Come valuti l'equità?
• Come rendi spiegabile il tuo modello?

Sebbene progettati con buone intenzioni, il problema è che la maggior parte dei proprietari di modelli di intelligenza artificiale non capisce come valutare i rischi per il proprio caso d’uso. Un ritornello comune potrebbe essere: “Come potrebbe il mio modello essere ingiusto se non raccoglie informazioni di identificazione personale (PII)?” Di conseguenza, i moduli raramente vengono compilati con l’attenzione necessaria affinché i sistemi di governance possano segnalare accuratamente i fattori di rischio.

Viene così sottolineata la natura socio-tecnica della soluzione. Al proprietario del modello – un individuo – non può essere semplicemente fornito un elenco di caselle di controllo per valutare se il suo caso d’uso causerà danni. Ciò che serve, invece, sono gruppi di persone con esperienze di vita vissute molto diverse che si uniscono in comunità che offrano sicurezza psicologica per avere conversazioni difficili su impatti disparati.

Accogliere prospettive più ampie per un’intelligenza artificiale affidabile

IBM® crede nell'adozione di un approccio "client zero", implementando le raccomandazioni e i sistemi che creerebbe per i propri clienti attraverso soluzioni di consulenza e guidate dai prodotti. Questo approccio si estende alle pratiche etiche, motivo per cui IBM ha creato un Trustworthy AI Center of Excellence (COE).

Come spiegato in precedenza, la diversità di esperienze e competenze è fondamentale per valutare adeguatamente gli impatti dell’IA. Ma la prospettiva di partecipare a un Centro di eccellenza potrebbe intimidire in un’azienda piena di innovatori, esperti e ingegneri illustri dell’intelligenza artificiale, quindi è necessario coltivare una comunità di sicurezza psicologica. IBM lo comunica chiaramente dicendo: “Interessato all’intelligenza artificiale? Ti interessa l'etica dell'IA? Tu hai un posto a questo tavolo."

Il COE offre formazione sull’etica dell’IA a professionisti di ogni livello. Vengono offerti sia programmi di apprendimento sincrono (insegnante e studenti in classe) che programmi asincroni (autoguidati).

Ma sono i COE applicato una formazione che offre ai nostri professionisti le conoscenze più approfondite, poiché lavorano con team globali, diversificati e multidisciplinari su progetti reali per comprendere meglio gli impatti più disparati. Sfruttano inoltre i framework di design thinking di IBM Progettare per l'intelligenza artificiale Il gruppo utilizza internamente e con i clienti per valutare gli effetti indesiderati dei modelli di intelligenza artificiale, mantenendo al centro dell'attenzione coloro che sono spesso emarginati. (Vedi Sylvia Duckworth Ruota del potere e del privilegio per esempi di come le caratteristiche personali si intersecano per privilegiare o emarginare le persone.) IBM ha anche donato molti dei framework alla comunità open source Progettare eticamente.

Di seguito sono riportati alcuni dei rapporti che IBM ha pubblicato pubblicamente su questi progetti:

Sono necessari strumenti automatizzati di governance del modello di intelligenza artificiale per raccogliere informazioni importanti sulle prestazioni del tuo modello di intelligenza artificiale. Ma tieni presente che catturare il rischio molto prima che il tuo modello sia stato sviluppato e sia in produzione è ottimale. Creando comunità di professionisti diversi e multidisciplinari che offrono uno spazio sicuro in cui le persone possono avere conversazioni difficili sugli impatti più disparati, puoi iniziare il tuo viaggio verso l'operatività dei tuoi principi e lo sviluppo responsabile dell'intelligenza artificiale.

In pratica, quando assumi professionisti dell’intelligenza artificiale, considera che ben oltre il 70% dello sforzo nella creazione di modelli consiste nella cura dei dati giusti. Vuoi assumere persone che sappiano come raccogliere dati che siano rappresentativi e che siano anche raccolti con il consenso. Vuoi anche che le persone che sanno lavorino a stretto contatto con gli esperti del settore per essere certi che abbiano l'approccio corretto. È fondamentale garantire che questi professionisti abbiano l’intelligenza emotiva necessaria per affrontare la sfida di curare responsabilmente l’intelligenza artificiale con umiltà e discernimento. Dobbiamo essere intenzionali nell’imparare a riconoscere come e quando i sistemi di intelligenza artificiale possono esacerbare le disuguaglianze tanto quanto possono aumentare l’intelligenza umana.

Reinventa il modo in cui funziona la tua azienda con l'intelligenza artificiale