A sokszínűség jelentősége az AI-ban nem a vélemény, hanem a matematika – IBM Blog

Mindannyian szeretnénk látni, hogy ideális emberi értékeink tükröződjenek technológiáinkban. Elvárjuk az olyan technológiáktól, mint a mesterséges intelligencia (AI), hogy ne hazudjanak nekünk, ne tegyenek különbséget, és biztonságosak legyenek számunkra és gyermekeink számára. Ennek ellenére sok mesterséges intelligencia-alkotó jelenleg szembesül a modelljeikben feltárt torzítások, pontatlanságok és problémás adatgyakorlatok miatt. Ezek a problémák többet igényelnek, mint technikai, algoritmikus vagy mesterséges intelligencia alapú megoldást. Valójában holisztikus, szociotechnikai megközelítésre van szükség.

A matematika hatalmas igazságot mutat be

Minden prediktív modell, beleértve a mesterséges intelligenciát is, pontosabb, ha sokféle emberi intelligenciát és tapasztalatot tartalmaz. Ez nem vélemény; empirikus érvényessége van. Fontolja meg a diverzitás-előrejelzési tétel. Egyszerűen fogalmazva, ha egy csoportban nagy a sokféleség, a tömeg hibája kicsi – ez alátámasztja a „tömeg bölcsessége” koncepciót. Egy nagy hatású tanulmány kimutatta, hogy az alacsony képességű problémamegoldók különböző csoportjai felülmúlhatják a magas képességű problémamegoldók csoportjait (Hong és Page, 2004).

Matematikai nyelven: minél szélesebb a szórás, annál standardabb az átlag. Az egyenlet így néz ki:

A a további vizsgálat további számításokat adott, amelyek finomítják a bölcs tömeg statisztikai definícióit, beleértve a többi tag előrejelzésének tudatlanságát és a maximálisan különbözik (negatívan korrelált) előrejelzések vagy ítéletek. Tehát nem csak a mennyiség, hanem a változatosság is javítja az előrejelzéseket. Hogyan befolyásolhatja ez a betekintés az AI-modellek értékelését?

Modell (in)pontosság

Egy általános aforizmát idézve minden modell téves. Ez igaz a statisztika, a tudomány és a mesterséges intelligencia területére. A tartományi szakértelem hiányával létrehozott modellek ahhoz vezethetnek, hogy téves kimenetek.

Manapság az emberek egy apró homogén csoportja határozza meg, hogy milyen adatokat kell felhasználni a generatív mesterséges intelligencia modellek képzéséhez, amelyek olyan forrásokból származnak, amelyek túlreprezentálják az angol nyelvet. „A világ több mint 6,000 nyelvének többségében a rendelkezésre álló szöveges adatok nem elegendőek egy nagyszabású alapmodell képzéséhez” (a „Az alapozási modellek lehetőségeiről és kockázatairól”, Bommasani et al., 2022).

Ezenkívül maguk a modellek is korlátozott architektúrákból készülnek: „Ma már szinte az összes legkorszerűbb NLP-modellt néhány alapmodell egyikéből adaptálják, mint például a BERT, RoBERTa, BART, T5 stb. Míg ez a homogenizálás rendkívül magas tőkeáttétel (az alapmodellek bármilyen fejlesztése azonnali haszonhoz vezethet az egész NLP-ben), ez egyben kötelezettség is; minden mesterséges intelligencia rendszer örökölheti néhány alapmodell azonos problémás torzítását (Bommasani et al.) "

Ahhoz, hogy a generatív mesterséges intelligencia jobban tükrözze az általa kiszolgált sokszínű közösségeket, az emberi lények adatainak sokkal szélesebb skáláját kell megjeleníteni a modellekben.

A modell pontosságának értékelése kéz a kézben jár a torzítás értékelésével. Fel kell tennünk a kérdést, hogy mi a modell célja, és kire optimalizálták? Fontolja meg például, hogy ki profitál a legtöbbet a tartalom-ajánló algoritmusokból és a keresőmotor-algoritmusokból. Az érintettek érdekei és céljai nagyon eltérőek lehetnek. Az algoritmusok és modellek célokat vagy proxykat igényelnek a Bayes-hibához: ez a minimális hiba, amelyet a modellnek javítania kell. Ez a meghatalmazott gyakran egy személy, például egy szakterületi szakértő.

Nagyon emberi kihívás: A kockázat felmérése a modellbeszerzés vagy -fejlesztés előtt

A kialakulóban lévő mesterséges intelligencia szabályozások és cselekvési tervek egyre inkább hangsúlyozzák az algoritmikus hatásvizsgálati űrlapok fontosságát. Ezeknek az űrlapoknak az a célja, hogy kritikus információkat gyűjtsenek az AI-modellekről, hogy az irányítási csapatok felmérhessék és kezelhessék kockázataikat a bevezetésük előtt. A tipikus kérdések a következők:

• Mi a modelled használati esete?
• Milyen kockázatokkal jár az eltérő hatás?
• Hogyan értékeli a méltányosságot?
• Hogyan teszi magyarázhatóvá a modelljét?

Jóllehet jó szándékkal tervezték, a probléma az, hogy a legtöbb mesterséges intelligencia modell tulajdonosa nem érti, hogyan értékelje a kockázatokat a felhasználási esetükben. A gyakori refrén a következő lehet: „Hogyan lehet tisztességtelen a modellem, ha nem gyűjt személyazonosításra alkalmas információkat (PII)?” Következésképpen az űrlapokat ritkán töltik ki azzal az átgondoltsággal, amely ahhoz szükséges, hogy az irányítási rendszerek pontosan megjelöljék a kockázati tényezőket.

Így a megoldás szociotechnikai jellege hangsúlyos. A modelltulajdonosnak – egy magánszemélynek – nem lehet egyszerűen megadni egy listát a jelölőnégyzetekről, amelyekkel felmérheti, hogy a használati esete kárt okoz-e. Ehelyett olyan emberek csoportjaira van szükség, akik sokféle élettapasztalattal rendelkeznek, és olyan közösségekben jönnek össze, amelyek pszichológiai biztonságot nyújtanak, hogy nehéz beszélgetéseket folytathassanak az eltérő hatásokról.

A megbízható mesterséges intelligencia szélesebb perspektíváinak üdvözlése

Az IBM® hisz a „nullakliens” megközelítésben, és megvalósítja azokat az ajánlásokat és rendszereket, amelyeket saját ügyfelei számára készítene a tanácsadói és termékvezérelt megoldásokon keresztül. Ez a megközelítés kiterjed az etikai gyakorlatokra is, ezért az IBM létrehozta a Megbízható AI Kiválósági Központot (COE).

Amint azt fentebb kifejtettük, a tapasztalatok és készségek sokfélesége kritikus fontosságú az AI hatásainak megfelelő értékeléséhez. A kiválósági központban való részvétel lehetősége azonban megfélemlítő lehet egy olyan vállalatnál, amely tele van mesterségesintelligencia-innovátorokkal, szakértőkkel és kiváló mérnökökkel, ezért szükség van a pszichológiai biztonság közösségének ápolására. Az IBM ezt világosan közli: „Érdekli az AI? Érdekel az AI etika? Helyed van ennél az asztalnál."

A COE a mesterséges intelligencia etikájával kapcsolatos képzést kínál minden szinten gyakorló szakemberek számára. Mind a szinkron tanulás (tanár és a tanulók az osztályban), mind az aszinkron (önvezető) programokat kínálnak.

De ez a COE alkalmazott olyan képzés, amely a legmélyebb betekintést nyújtja gyakorlóinknak, miközben globális, sokszínű, multidiszciplináris csapatokkal dolgoznak valódi projekteken, hogy jobban megértsék az eltérő hatásokat. Kihasználják az IBM tervezési gondolkodási keretrendszereit is Tervezés AI-hoz A csoport belsőleg és az ügyfelekkel együtt használja fel az AI-modellek nem kívánt hatásainak felmérésére, szem előtt tartva azokat, akik gyakran marginalizálódnak. (Lásd Sylvia Duckworth's A hatalom és a privilégiumok kereke példák arra vonatkozóan, hogy a személyes jellemzők hogyan keresztezik egymást az emberek kiváltságainak kiváltásához vagy marginalizálásához.) Az IBM a keretrendszerek nagy részét a nyílt forráskódú közösségnek adományozta. Etikus tervezés.

Az alábbiakban néhány olyan jelentés található, amelyeket az IBM nyilvánosan közzétett ezekről a projektekről:

Automatizált AI-modell-irányítási eszközökre van szükség ahhoz, hogy fontos betekintést nyerjenek az AI-modell teljesítményére vonatkozóan. De ne feledje, az optimális kockázatot jóval a modell kifejlesztése és gyártása előtt rögzíteni. Azáltal, hogy sokszínű, multidiszciplináris szakemberekből álló közösségeket hoz létre, amelyek biztonságos teret kínálnak az emberek számára, hogy kemény beszélgetéseket folytassanak az eltérő hatásokról, megkezdheti az utat az alapelvei gyakorlatba ültetése és a mesterséges intelligencia felelősségteljes fejlesztése felé.

A gyakorlatban, amikor mesterséges intelligenciával foglalkozó szakembereket vesz fel, vegye figyelembe, hogy a modellek létrehozásával kapcsolatos erőfeszítések több mint 70%-a a megfelelő adatok összegyűjtése. Olyan embereket szeretne felvenni, akik tudják, hogyan gyűjtsenek reprezentatív adatokat, de amelyeket beleegyezéssel is gyűjtenek. Azt is szeretné, ha a hozzáértő emberek szorosan együttműködnének a domain szakértőivel, hogy megbizonyosodjanak arról, hogy a megfelelő megközelítést alkalmazzák. Kulcsfontosságú, hogy ezeknek a szakembereknek rendelkezzenek olyan érzelmi intelligenciával, hogy alázattal és belátással közelítsék meg a mesterséges intelligencia felelős kezelésének kihívását. Szándékosan meg kell tanulnunk felismerni, hogy a mesterséges intelligencia rendszerek hogyan és mikor fokozhatják az egyenlőtlenséget éppúgy, mint az emberi intelligenciát.

Találja meg újra, hogyan működik vállalkozása a mesterséges intelligencia segítségével