Betydningen af ​​mangfoldighed i kunstig intelligens er ikke mening, det er matematik – IBM Blog

Vi ønsker alle at se vores ideelle menneskelige værdier afspejlet i vores teknologier. Vi forventer, at teknologier såsom kunstig intelligens (AI) ikke lyver for os, ikke diskriminerer og er sikre for os og vores børn at bruge. Alligevel står mange AI-skabere i øjeblikket over for tilbageslag for de skævheder, unøjagtigheder og problematiske datapraksis, der afsløres i deres modeller. Disse problemer kræver mere end en teknisk, algoritmisk eller AI-baseret løsning. I virkeligheden kræves en holistisk, socioteknisk tilgang.

Matematikken demonstrerer en stærk sandhed

Alle prædiktive modeller, inklusive AI, er mere nøjagtige, når de inkorporerer forskellig menneskelig intelligens og erfaring. Dette er ikke en mening; den har empirisk gyldighed. Overvej mangfoldighedsforudsigelse. Kort sagt, når mangfoldigheden i en gruppe er stor, er mængdens fejl lille - hvilket understøtter konceptet "mængdens visdom". I en indflydelsesrig undersøgelse blev det vist, at forskellige grupper af problemløsere med lav evne kan udkonkurrere grupper af højevne problemløsere (Hong & Page, 2004).

I matematisk sprog: jo bredere din varians, jo mere standard er din gennemsnitlige. Ligningen ser sådan ud:

A yderligere studier leverede flere beregninger, der forfiner de statistiske definitioner af en klog skare, herunder uvidenhed om andre medlemmers forudsigelser og inklusion af dem med maksimalt anderledes (negativt korrelerede) forudsigelser eller vurderinger. Så det er ikke kun volumen, men mangfoldigheden, der forbedrer forudsigelserne. Hvordan kan denne indsigt påvirke evalueringen af ​​AI-modeller?

Model (u)nøjagtighed

For at citere en almindelig aforisme er alle modeller forkerte. Dette gælder inden for områderne statistik, videnskab og kunstig intelligens. Modeller skabt med mangel på domæneekspertise kan føre til fejlagtig udgange.

I dag bestemmer en lillebitte homogen gruppe mennesker, hvilke data der skal bruges til at træne generative AI-modeller, som er hentet fra kilder, der i høj grad overrepræsenterer engelsk. "For de fleste af de over 6,000 sprog i verden er de tilgængelige tekstdata ikke nok til at træne en storstilet fundamentmodel" (fra "Om muligheder og risici ved funderingsmodeller", Bommasani et al., 2022).

Derudover er selve modellerne skabt ud fra begrænsede arkitekturer: "Næsten alle state-of-the-art NLP-modeller er nu tilpasset fra en af ​​nogle få fundamentmodeller, såsom BERT, RoBERTa, BART, T5 osv. Mens denne homogenisering producerer ekstrem høj gearing (enhver forbedring i fundamentmodellerne kan føre til umiddelbare fordele på tværs af hele NLP), det er også et ansvar; alle AI-systemer kan arve de samme problematiske skævheder fra nogle få fundamentmodeller (Bommasani et al.) "

For at generativ AI bedre kan afspejle de forskellige samfund, den tjener, skal en langt bredere vifte af menneskelige data repræsenteres i modeller.

Evaluering af modellens nøjagtighed går hånd i hånd med evaluering af bias. Vi må spørge, hvad er hensigten med modellen, og for hvem er den optimeret? Overvej for eksempel, hvem der har mest gavn af indholdsanbefalingsalgoritmer og søgemaskinealgoritmer. Interessenter kan have vidt forskellige interesser og mål. Algoritmer og modeller kræver mål eller proxyer for Bayes-fejl: den minimale fejl, som en model skal forbedre. Denne proxy er ofte en person, såsom en emneekspert med domæneekspertise.

En meget menneskelig udfordring: Risikovurdering før modelanskaffelse eller udvikling

Nye AI-forskrifter og handlingsplaner understreger i stigende grad vigtigheden af ​​algoritmiske konsekvensvurderingsskemaer. Målet med disse formularer er at indfange kritisk information om AI-modeller, så styringsteams kan vurdere og håndtere deres risici, før de implementeres. Typiske spørgsmål omfatter:

• Hvad er din models use case?
• Hvad er risikoen for uensartet påvirkning?
• Hvordan vurderer du retfærdighed?
• Hvordan gør du din model forklarlig?

Selvom det er designet med gode intentioner, er problemet, at de fleste ejere af AI-modeller ikke forstår, hvordan de skal vurdere risiciene for deres brugssag. Et almindeligt refræn kan være: "Hvordan kan min model være uretfærdig, hvis den ikke indsamler personligt identificerbare oplysninger (PII)?" Følgelig udfyldes formularerne sjældent med den omtanke, der er nødvendig for, at styringssystemerne nøjagtigt kan markere risikofaktorer.

Dermed understreges løsningens sociotekniske karakter. En modelejer – en person – kan ikke blot få en liste over afkrydsningsfelter til at vurdere, om deres anvendelsestilfælde vil forårsage skade. Det, der i stedet kræves, er grupper af mennesker med vidt forskellige livserfaringer, der samles i fællesskaber, der tilbyder psykologisk sikkerhed for at føre vanskelige samtaler om forskellig påvirkning.

Imødekommende bredere perspektiver for pålidelig kunstig intelligens

IBM® tror på at tage en "klient-nul"-tilgang og implementere de anbefalinger og systemer, det ville lave for sine egne kunder på tværs af rådgivning og produktledede løsninger. Denne tilgang strækker sig til etisk praksis, hvilket er grunden til, at IBM har oprettet et Trustworthy AI Center of Excellence (COE).

Som forklaret ovenfor er mangfoldigheden af ​​erfaringer og færdigheder afgørende for korrekt at kunne evaluere virkningerne af AI. Men udsigten til at deltage i et Center of Excellence kan være skræmmende i en virksomhed, der er sprængfyldt med AI-innovatorer, eksperter og fremtrædende ingeniører, så det er nødvendigt at dyrke et fællesskab af psykologisk sikkerhed. IBM kommunikerer dette tydeligt ved at sige: "Interesseret i kunstig intelligens? Interesseret i AI-etik? Du har en plads ved dette bord."

COE tilbyder træning i AI-etik til praktikere på alle niveauer. Der tilbydes både synkron læring (lærer og elever i klassemiljøer) og asynkrone (selv-guidede) programmer.

Men det er COE's anvendt træning, der giver vores praktikere den dybeste indsigt, da de arbejder med globale, forskelligartede, multidisciplinære teams på rigtige projekter for bedre at forstå forskellig påvirkning. De udnytter også designtænkningsrammer, som IBM's Design til AI group bruger internt og med kunder til at vurdere de utilsigtede virkninger af AI-modeller, og holder dem, der ofte er marginaliserede, øverst i sindet. (Se Sylvia Duckworths Hjulet af magt og privilegier for eksempler på, hvordan personlige egenskaber krydser hinanden for at privilegere eller marginalisere mennesker.) IBM donerede også mange af rammerne til open source-fællesskabet Design etisk.

Nedenfor er et par af de rapporter, IBM offentligt har offentliggjort om disse projekter:

Automatiserede AI-modelstyringsværktøjer er nødvendige for at få vigtig indsigt i, hvordan din AI-model klarer sig. Men bemærk, at fange risiko i god tid før din model er blevet udviklet og er i produktion er optimal. Ved at skabe fællesskaber af forskelligartede, tværfaglige praktikere, der tilbyder et sikkert rum for folk til at have hårde samtaler om forskellig påvirkning, kan du begynde din rejse til at operationalisere dine principper og udvikle AI på en ansvarlig måde.

I praksis, når du ansætter AI-udøvere, skal du overveje, at langt over 70 % af indsatsen med at skabe modeller er at kurere de rigtige data. Du ønsker at ansætte folk, der forstår at indsamle data, der er repræsentative, og som også indsamles med samtykke. Du vil også have, at folk, der ved, arbejder tæt sammen med domæneeksperter for at sikre sig, at de har den rigtige tilgang. Det er vigtigt at sikre, at disse udøvere har den følelsesmæssige intelligens til at nærme sig udfordringen med at kurere AI på en ansvarlig måde med ydmyghed og dømmekraft. Vi skal være bevidste om at lære at genkende, hvordan og hvornår AI-systemer kan forværre ulighed lige så meget, som de kan øge menneskelig intelligens.

Genopfind, hvordan din virksomhed arbejder med kunstig intelligens