Tekoälyn hienovarainen harha voi vaikuttaa hätäpäätöksiin

Ei ole mikään salaisuus, että ihmisillä on ennakkoluuloja – jotkut ehkä tiedostamattomia ja toiset tuskallisen avoimesti. Keskivertoihminen voisi olettaa, että tietokoneet – tyypillisesti muovista, teräksestä, lasista, piistä ja erilaisista metalleista valmistetut koneet – ovat ennakkoluuloton. Vaikka tämä oletus saattaa päteä tietokonelaitteiston osalta, sama ei aina päde tietokoneohjelmistoihin, jotka ovat erehtyväisten ihmisten ohjelmoimia ja joihin voidaan syöttää tietoja, jotka ovat jo itsessään vaarantuneet tietyiltä osin.

Tekoälyjärjestelmiä – erityisesti koneoppimiseen perustuvia – käytetään yhä enemmän lääketieteessä esimerkiksi tiettyjen sairauksien diagnosoinnissa tai röntgensäteiden arvioinnissa. Näihin järjestelmiin tukeudutaan myös muiden terveydenhuollon osa-alueiden päätöksenteossa. Viimeaikaiset tutkimukset ovat kuitenkin osoittaneet, että koneoppimismallit voivat koodata harhaa vähemmistöalaryhmiä vastaan, ja niiden antamat suositukset voivat näin ollen heijastaa näitä samoja harhoja.

A uusi tutkimus MIT:n tietojenkäsittelytieteen ja tekoälyn laboratorion (CSAIL) ja MIT Jameel Clinicin tutkijat, joka julkaistiin viime kuussa Viestintälääketiede, arvioi vaikutukset, joita syrjivillä tekoälymalleilla voi olla, erityisesti järjestelmissä, jotka on tarkoitettu antamaan neuvoja kiireellisissä tilanteissa. "Huomasimme, että tavalla, jolla neuvot on muotoiltu, voi olla merkittäviä vaikutuksia", selittää paperin johtava kirjoittaja Hammaad Adam, tohtoriopiskelija MIT:n Data Systems and Society -instituutista. "Onneksi puolueellisten mallien aiheuttamia haittoja voidaan rajoittaa (vaikkakaan ei välttämättä eliminoida), kun neuvot esitetään eri tavalla." Paperin muut kirjoittajat ovat tohtoriopiskelijat Aparna Balagopalan ja Emily Alsentzer sekä professorit Fotini Christia ja Marzyeh Ghassemi.

Lääketieteessä käytetyt tekoälymallit voivat kärsiä epätarkkuuksista ja epäjohdonmukaisuuksista osittain siksi, että mallien koulutukseen käytetyt tiedot eivät usein edusta todellisia olosuhteita. Esimerkiksi erilaiset röntgenlaitteet voivat tallentaa asioita eri tavalla ja siten tuottaa erilaisia ​​tuloksia. Mallit, jotka on koulutettu pääasiassa valkoisille ihmisille, eivät myöskään välttämättä ole yhtä tarkkoja, kun niitä sovelletaan muihin ryhmiin. The Viestintälääketiede Paperi ei keskity tämänkaltaisiin kysymyksiin, vaan sen sijaan käsittelee ennakkoluuloista johtuvia ongelmia ja tapoja lieventää haitallisia seurauksia.

954 ihmisen ryhmä (438 kliinikkoa ja 516 ei-asiantuntijaa) osallistui kokeeseen selvittääkseen, kuinka tekoälyharha voi vaikuttaa päätöksentekoon. Osallistujille esitettiin puheluyhteenvedot kuvitteellisesta kriisipuhelimesta, joissa kussakin oli mukana mielenterveyshätätilanteessa oleva mieshenkilö. Yhteenvedot sisälsivät tietoa siitä, oliko henkilö valkoihoinen vai afroamerikkalainen, ja mainittiin myös hänen uskontonsa, jos hän sattuisi olemaan muslimi. Tyypillinen puheluyhteenveto voisi kuvata tilannetta, jossa afrikkalainen amerikkalainen mies löydettiin kotoa mielisairas tilassa, mikä osoittaa, että "hän ei ole käyttänyt huumeita tai alkoholia, koska hän on muslimi". Tutkimuksen osallistujia kehotettiin soittamaan poliisille, jos he uskoivat potilaan todennäköisesti muuttuvan väkivaltaiseksi; muuten heitä rohkaistiin hakemaan lääkärin apua.

Osallistujat jaettiin satunnaisesti kontrolli- tai "perustason" ryhmään sekä neljään muuhun ryhmään, jotka oli suunniteltu testaamaan vastauksia hieman erilaisissa olosuhteissa. "Haluamme ymmärtää, kuinka puolueelliset mallit voivat vaikuttaa päätöksiin, mutta meidän on ensin ymmärrettävä, kuinka inhimilliset ennakkoluulot voivat vaikuttaa päätöksentekoprosessiin", Adam huomauttaa. Se, mitä he löysivät analyysissään lähtötasoryhmästä, oli melko yllättävää: "Olemassamme tilanteessa ihmisosallistujat eivät osoittaneet mitään ennakkoluuloja. Se ei tarkoita, etteivätkö ihmiset olisi puolueellisia, mutta tapa, jolla välitimme tietoa henkilön rodusta ja uskonnosta, ei selvästikään ollut tarpeeksi vahva saadakseen esille heidän ennakkoluulojaan."

Kokeen neljälle muulle ryhmälle annettiin neuvoja, jotka tulivat joko puolueellisesta tai puolueettomasta mallista, ja neuvot esitettiin joko "ohjelmoivassa" tai "kuvausmuodossa". Puolueellinen malli suosittelisi todennäköisemmin poliisiapua tilanteessa, jossa on mukana afroamerikkalainen tai muslimihenkilö, kuin puolueeton malli. Tutkimukseen osallistuneet eivät kuitenkaan tienneet, minkälaisesta mallista heidän neuvonsa olivat peräisin, tai edes sitä, että neuvoja antaneet mallit saattoivat olla ylipäätään puolueellisia. Ohjeissa kerrotaan yksiselitteisesti, mitä osallistujan tulee tehdä, ja kerrotaan, että hänen tulee soittaa poliisille yhdessä tapauksessa tai hakea lääkärin apua toisessa tapauksessa. Kuvaavat neuvot ovat vähemmän suoria: Lippu näytetään osoittamaan, että tekoälyjärjestelmä havaitsee tiettyyn kutsuun liittyvän väkivallan riskin; lippua ei näytetä, jos väkivallan uhka katsotaan pieneksi.  

Kokeen keskeinen poiminta on, että osallistujiin "vaikuttivat suuresti puolueellisen tekoälyjärjestelmän ohjeelliset suositukset", kirjoittajat kirjoittivat. Mutta he havaitsivat myös, että "kuvaavien suositusten käyttäminen ohjeiden sijaan antoi osallistujille mahdollisuuden säilyttää alkuperäinen, puolueeton päätöksenteko". Toisin sanoen tekoälymalliin sisällytettyä harhaa voidaan vähentää kehystämällä annetut neuvot asianmukaisesti. Miksi erilaiset tulokset sen mukaan, miten neuvot esitetään? Kun joku käsketään tekemään jotain, kuten soittamaan poliisille, se ei jätä juurikaan tilaa epäilyksille, Adam selittää. Kuitenkin, kun tilanne on vain kuvattu – luokitellaan lipun kanssa tai ilman – ”jättää tilaa osallistujan omalle tulkinnalle; se antaa heille mahdollisuuden olla joustavampia ja pohtia tilannetta itse.”

Toiseksi tutkijat havaitsivat, että kielimalleja, joita tyypillisesti käytetään neuvonnan antamiseen, on helppo harhauttaa. Kielimallit edustavat luokkaa koneoppimisjärjestelmiä, jotka on koulutettu tekstiin, kuten Wikipedian koko sisältöön ja muuhun verkkomateriaaliin. Kun nämä mallit "hienoviritetään" tukeutumalla paljon pienempään osajoukkoon dataa koulutustarkoituksiin – vain 2,000 lauseeseen verrattuna 8 miljoonan verkkosivun sijaan – tuloksena olevia malleja voidaan helposti harhauttaa.  

Kolmanneksi MIT-tiimi havaitsi, että puolueettomat päättäjät voivat silti joutua harhaan puolueellisten mallien suositusten perusteella. Lääketieteellinen koulutus (tai sen puute) ei muuttanut vastauksia havaittavalla tavalla. "Puolueiset mallit vaikuttivat kliinikoihin yhtä paljon kuin ei-asiantuntijoihin", kirjoittajat totesivat.

"Nämä havainnot voisivat olla sovellettavissa muihin ympäristöihin", Adam sanoo, eivätkä ne välttämättä rajoitu terveydenhuoltotilanteisiin. Kun on päätettävä, ketkä ihmiset joutuvat työhaastatteluun, puolueellinen malli saattaa todennäköisemmin kieltäytyä mustista hakijoista. Tulokset voivat kuitenkin olla erilaiset, jos sen sijaan, että työnantaja käskeisi nimenomaisesti (ja ohjeellisesti) "hylätä tämä hakija", tiedostoon liitetään kuvaava lippu, joka osoittaa hakijan "mahdollisen kokemuksen puutteen".

Tämän työn vaikutukset ovat laajempia kuin vain selvittää, kuinka käsitellä yksilöitä mielenterveyskriisien keskellä, Adam väittää. "Perimmäisenä tavoitteemme on varmistaa, että koneoppimismalleja käytetään oikeudenmukaisella, turvallisella ja vankalla tavalla."

<!-
->

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. Pääsy tästä.
• Lähde: https://blockchainconsultants.io/subtle-biases-in-ai-can-influence-emergency-decisions/?utm_source=rss&utm_medium=rss&utm_campaign=subtle-biases-in-ai-can-influence-emergency-decisions