Monimuotoisuuden merkitys tekoälyssä ei ole mielipide, se on matematiikka – IBM-blogi

Me kaikki haluamme nähdä ihanteelliset inhimilliset arvomme heijastuvan teknologioissamme. Odotamme, että teknologiat, kuten tekoäly (AI), eivät valehtele meille, eivät syrji ja ovat turvallisia meille ja lapsillemme. Silti monet tekoälyn tekijät kohtaavat tällä hetkellä vastareaktiota malleissaan esille tulleiden harhojen, epätarkkuuksien ja ongelmallisten datakäytäntöjen vuoksi. Nämä ongelmat edellyttävät muutakin kuin teknistä, algoritmista tai tekoälyyn perustuvaa ratkaisua. Todellisuudessa tarvitaan kokonaisvaltaista, sosioteknistä lähestymistapaa.

Matematiikka osoittaa vahvan totuuden

Kaikki ennustavat mallit, mukaan lukien tekoäly, ovat tarkempia, kun ne sisältävät monipuolisen ihmisen älykkyyden ja kokemuksen. Tämä ei ole mielipide; sillä on empiiristä pätevyyttä. Harkitse monimuotoisuuden ennustelause. Yksinkertaisesti sanottuna, kun monimuotoisuus ryhmässä on suuri, joukon virhe on pieni - mikä tukee käsitettä "joukon viisaus". Vaikuttavassa tutkimuksessa osoitettiin, että erilaiset heikosti kyvykkäiden ongelmanratkaisijoiden ryhmät voivat menestyä paremmin kuin kyvykkäiden ongelmanratkaisijoiden ryhmät (Hong & Page, 2004).

Matemaattisella kielellä: mitä suurempi varianssisi, sitä standardimpi keskiarvosi. Yhtälö näyttää tältä:

A Jatko-opinnot tarjosi lisää laskelmia, jotka tarkentavat viisaan joukon tilastollisia määritelmiä, mukaan lukien tietämättömyys muiden jäsenten ennustuksista ja niiden, joilla on maksimaalisesti erilainen (negatiivisesti korreloivat) ennusteet tai tuomiot. Ennusteita ei siis paranna vain määrä, vaan monimuotoisuus. Miten tämä näkemys voi vaikuttaa tekoälymallien arviointiin?

Mallin (epä)tarkkuus

Lainatakseni yleistä aforismia, kaikki mallit ovat vääriä. Tämä pätee tilastojen, tieteen ja tekoälyn aloilla. Verkkoalueen asiantuntemuksen puutteella luodut mallit voivat johtaa virheellinen lähdöt.

Nykyään pieni homogeeninen ryhmä ihmisiä päättää, mitä dataa käytetään generatiivisten tekoälymallien kouluttamiseen. Tieto on peräisin lähteistä, jotka yliedustavat englantia. "Useimmissa maailman yli 6,000 XNUMX kielestä käytettävissä oleva tekstidata ei riitä suuren mittakaavan perusmallin kouluttamiseen" (alk.Perustusmallien mahdollisuuksista ja riskeistä”, Bommasani et al., 2022).

Lisäksi itse mallit luodaan rajoitetuista arkkitehtuureista: ”Lähes kaikki huippuluokan NLP-mallit on nyt mukautettu yhdestä harvoista perusmalleista, kuten BERT, RoBERTa, BART, T5 jne. Vaikka tämä homogenointi tuottaa erittäin suuri vipuvaikutus (kaikki parannukset perusmalleihin voivat johtaa välittömiin hyötyihin koko NLP:ssä), se on myös vastuu; kaikki tekoälyjärjestelmät saattavat periä samat ongelmalliset harhaukset muutamista perusmalleista (Bommasani et ai.) "

Jotta generatiivinen tekoäly kuvastaisi paremmin palvelemiaan erilaisia ​​yhteisöjä, malleissa on esitettävä paljon laajempi valikoima ihmistietoja.

Mallin tarkkuuden arviointi kulkee käsi kädessä harhan arvioinnin kanssa. Meidän on kysyttävä, mikä on mallin tarkoitus ja kenelle se on optimoitu? Mieti esimerkiksi, kuka hyötyy eniten sisällönsuositusalgoritmeista ja hakukonealgoritmeista. Sidosryhmillä voi olla hyvin erilaisia ​​kiinnostuksen kohteita ja tavoitteita. Algoritmit ja mallit vaativat kohteita tai välityspalvelimia Bayes-virheelle: minimivirheelle, jota mallin on parannettava. Tämä välityspalvelin on usein henkilö, kuten aiheasiantuntija, jolla on toimialueen asiantuntemusta.

Hyvin inhimillinen haaste: Riskien arviointi ennen mallihankintaa tai -kehitystä

Uudet tekoälysäännöt ja toimintasuunnitelmat korostavat yhä enemmän algoritmisten vaikutustenarviointilomakkeiden merkitystä. Näiden lomakkeiden tavoitteena on kerätä kriittistä tietoa tekoälymalleista, jotta hallintoryhmät voivat arvioida ja käsitellä riskejä ennen niiden käyttöönottoa. Tyypillisiä kysymyksiä ovat mm.

• Mikä on mallisi käyttötarkoitus?
• Mitkä ovat erilaisten vaikutusten riskit?
• Miten arvioit oikeudenmukaisuutta?
• Miten teet mallistasi selitettävän?

Vaikka se on suunniteltu hyvillä aikomuksilla, ongelmana on, että useimmat tekoälymallien omistajat eivät ymmärrä, kuinka arvioida riskejä käyttötapauksessaan. Yleinen viittaus voisi olla: "Kuinka mallini voisi olla epäreilu, jos se ei kerää henkilökohtaisia ​​tunnistetietoja (PII)?" Tästä syystä lomakkeita täytetään harvoin niin harkitusti, että hallintojärjestelmät voivat merkitä riskitekijät tarkasti.

Siten ratkaisun sosiotekninen luonne korostuu. Mallin omistajalle – yksityishenkilölle – ei voida antaa vain luetteloa valintaruuduista sen arvioimiseksi, onko hänen käyttötapauksestaan ​​haittaa. Sen sijaan tarvitaan ihmisryhmiä, joilla on laajalti vaihtelevia kokemuksia elämästä, jotka kokoontuvat yhteisöihin, jotka tarjoavat psykologista turvaa käydäkseen vaikeita keskusteluja erilaisista vaikutuksista.

Toivotamme tervetulleeksi laajemmat näkemykset luotettavasta tekoälystä

IBM® uskoo "asiakasnolla" -lähestymistapaan ja toteuttavansa suositukset ja järjestelmät, jotka se tekisi omille asiakkailleen konsultoinnissa ja tuotejohtoisissa ratkaisuissa. Tämä lähestymistapa ulottuu eettisiin käytäntöihin, minkä vuoksi IBM loi luotettavan tekoälykeskuksen (COE).

Kuten edellä selitettiin, kokemusten ja taitojen monimuotoisuus on ratkaisevan tärkeää tekoälyn vaikutusten arvioimiseksi oikein. Mahdollisuus osallistua huippuyksikköön saattaa kuitenkin olla pelottava yrityksessä, joka on täynnä tekoälyinnovaattoreita, asiantuntijoita ja ansioituneita insinöörejä, joten psykologisen turvallisuuden yhteisöä on kehitettävä. IBM ilmaisee tämän selvästi sanomalla: "Kiinnostaako tekoäly? Kiinnostaako tekoälyn etiikka? Sinulla on paikka tässä pöydässä."

COE tarjoaa tekoälyn etiikkaa koulutusta kaikilla tasoilla toimiville. Tarjolla on sekä synkronista oppimista (opettaja ja opiskelijat luokassa) että asynkronisia (itseohjattuja) ohjelmia.

Mutta se on COE sovellettu koulutus, joka antaa ammattilaisillemme syvimmät näkemykset, kun he työskentelevät globaalien, monimuotoisten, monialaisten tiimien kanssa todellisissa projekteissa ymmärtääkseen paremmin erilaisia ​​vaikutuksia. Ne myös hyödyntävät IBM:n suunnitteluajattelun kehyksiä Suunnittelu tekoälylle ryhmä käyttää sisäisesti ja asiakkaiden kanssa arvioidakseen tekoälymallien ei-toivottuja vaikutuksia, pitäen usein syrjäytyneet mielessään. (Katso Sylvia Duckworth's Voiman ja etuoikeuden pyörä esimerkkejä siitä, kuinka henkilökohtaiset ominaisuudet leikkaavat ihmisiä etuoikeutetuksi tai marginalisoivat ihmisiä.) IBM lahjoitti myös monia puitteita avoimen lähdekoodin yhteisölle Suunnittele eettisesti.

Alla on muutamia raportteja, jotka IBM on julkisesti julkaissut näistä projekteista:

Automaattisia tekoälymallin hallintatyökaluja tarvitaan, jotta voit kerätä tärkeitä tietoja siitä, miten tekoälymallisi toimii. Huomaa kuitenkin, että riskien vangitseminen hyvissä ajoin ennen kuin mallisi on kehitetty ja tuotannossa on optimaalista. Luomalla yhteisöjä monimuotoisista, monialaisista toimijoista, jotka tarjoavat ihmisille turvallisen tilan kiihkeille keskusteluille erilaisista vaikutuksista, voit aloittaa matkasi periaatteidesi toteuttamiseen ja tekoälyn kehittämiseen vastuullisesti.

Käytännössä, kun palkkaat tekoälyn harjoittajia, ota huomioon, että reilusti yli 70 % mallien luomisesta on oikean datan kuratointia. Haluat palkata ihmisiä, jotka osaavat kerätä edustavaa dataa, mutta myös suostumuksella kerättyä tietoa. Haluat myös, että ihmiset, jotka tietävät, työskentelevät tiiviissä toimialueen asiantuntijoiden kanssa varmistaakseen, että heillä on oikea lähestymistapa. On tärkeää varmistaa, että näillä harjoittajilla on tunneälyä, jotta he voivat lähestyä tekoälyn vastuullisen kuroinnin haastetta nöyrällä ja tarkkaavaisella tavalla. Meidän on oltava tietoisia oppiessamme tunnistamaan, kuinka ja milloin tekoälyjärjestelmät voivat pahentaa eriarvoisuutta yhtä paljon kuin lisätä ihmisen älykkyyttä.

Mieti uudelleen, miten yrityksesi toimii tekoälyn kanssa