Znaczenie różnorodności w sztucznej inteligencji to nie opinia, tylko matematyka — blog IBM

Wszyscy chcemy, aby nasze idealne wartości ludzkie znalazły odzwierciedlenie w naszych technologiach. Oczekujemy, że technologie takie jak sztuczna inteligencja (AI) nie będą nas okłamywać, nie dyskryminują i będą bezpieczne w użytkowaniu dla nas i naszych dzieci. Jednak wielu twórców sztucznej inteligencji spotyka się obecnie z ostrym sprzeciwem w związku z uprzedzeniami, niedokładnościami i problematycznymi praktykami dotyczącymi danych ujawnianymi w ich modelach. Kwestie te wymagają czegoś więcej niż rozwiązania technicznego, algorytmicznego lub opartego na sztucznej inteligencji. W rzeczywistości wymagane jest całościowe podejście socjotechniczne.

Matematyka pokazuje potężną prawdę

Wszystkie modele predykcyjne, w tym sztuczna inteligencja, są dokładniejsze, gdy uwzględniają różnorodną ludzką inteligencję i doświadczenie. To nie jest opinia; ma ona ważność empiryczną. Weź pod uwagę twierdzenie o przewidywaniu różnorodności. Mówiąc najprościej, gdy różnorodność w grupie jest duża, błąd tłumu jest niewielki, co potwierdza koncepcję „mądrości tłumu”. W wpływowym badaniu wykazano, że zróżnicowane grupy osób rozwiązujących problemy o niskich umiejętnościach mogą osiągać lepsze wyniki niż grupy osób rozwiązujących problemy o wysokich zdolnościach (Honga i Page’a, 2004).

W języku matematycznym: im szersza jest wariancja, tym bardziej standardowa jest średnia. Równanie wygląda tak:

A Dalsze badanie dostarczył więcej obliczeń, które udoskonaliły statystyczne definicje mądrego tłumu, w tym nieznajomość przewidywań innych członków i włączenie osób z maksymalnie różne (ujemnie skorelowane) przewidywania lub osądy. Zatem nie tylko wielkość, ale i różnorodność poprawiają przewidywania. Jak ta wiedza może wpłynąć na ocenę modeli AI?

(Nie)dokładność modelu

Cytując popularny aforyzm, wszystkie modele są błędne. Dotyczy to obszarów statystyki, nauki i sztucznej inteligencji. Modele utworzone przy braku wiedzy dziedzinowej mogą prowadzić do: błędny wyjścia.

Obecnie niewielka, jednorodna grupa ludzi określa, jakie dane wykorzystać do szkolenia generatywnych modeli sztucznej inteligencji, które są pobierane ze źródeł, które w znacznym stopniu nadreprezentują język angielski. „W przypadku większości z ponad 6,000 języków na świecie dostępne dane tekstowe nie wystarczą do wytrenowania podstawowego modelu na dużą skalę” (z „O szansach i zagrożeniach modeli podstawowych”, Bommasani i in., 2022).

Ponadto same modele są tworzone na podstawie ograniczonych architektur: „Prawie wszystkie najnowocześniejsze modele NLP są obecnie adaptowane z jednego z kilku podstawowych modeli, takich jak BERT, RoBERTa, BART, T5 itp. Chociaż ta homogenizacja prowadzi do niezwykle wysoka dźwignia (wszelkie ulepszenia podstawowych modeli mogą prowadzić do natychmiastowych korzyści w całym NLP), jest to również zobowiązanie; wszystkie systemy sztucznej inteligencji mogą odziedziczyć te same problematyczne błędy kilku podstawowych modeli (Bommasani i in.) "

Aby generatywna sztuczna inteligencja lepiej odzwierciedlała różnorodne społeczności, którym służy, w modelach należy przedstawić znacznie szerszą gamę danych dotyczących ludzi.

Ocena dokładności modelu idzie w parze z oceną błędu systematycznego. Musimy zadać sobie pytanie, jaka jest intencja modelu i dla kogo jest on zoptymalizowany? Zastanów się na przykład, kto czerpie najwięcej korzyści z algorytmów rekomendacji treści i algorytmów wyszukiwarek. Interesariusze mogą mieć bardzo różne interesy i cele. Algorytmy i modele wymagają wartości docelowych lub zastępczych dla błędu Bayesa: minimalnego błędu, który model musi poprawić. Tym pełnomocnikiem jest często osoba, na przykład ekspert merytoryczny posiadający wiedzę specjalistyczną w danej dziedzinie.

Bardzo ludzkie wyzwanie: ocena ryzyka przed zakupem lub opracowaniem modelu

Pojawiające się regulacje i plany działania dotyczące sztucznej inteligencji w coraz większym stopniu podkreślają znaczenie algorytmicznych formularzy oceny wpływu. Celem tych formularzy jest przechwycenie kluczowych informacji na temat modeli sztucznej inteligencji, aby zespoły zarządzające mogły ocenić i zaradzić ryzyku przed ich wdrożeniem. Typowe pytania obejmują:

• Jaki jest przypadek użycia Twojego modelu?
• Jakie ryzyko wiąże się z odmiennym wpływem?
• Jak oceniasz uczciwość?
• Jak wyjaśniasz swój model?

Choć projektowano je z dobrymi intencjami, problem polega na tym, że większość właścicieli modeli sztucznej inteligencji nie rozumie, jak ocenić ryzyko w przypadku ich użycia. Częstym refrenem może być: „Jak mój model może być nieuczciwy, jeśli nie gromadzi danych osobowych (PII)?” W rezultacie formularze rzadko są wypełniane z należytą starannością niezbędną, aby systemy zarządzania mogły dokładnie oznaczać czynniki ryzyka.

Tym samym podkreślony zostaje społeczno-techniczny charakter rozwiązania. Właściciel modelu – osoba fizyczna – nie może po prostu otrzymać listy pól wyboru umożliwiających ocenę, czy jego przypadek użycia spowoduje szkodę. Zamiast tego potrzebne są grupy ludzi o bardzo zróżnicowanych doświadczeniach w świecie, które spotykają się w społecznościach zapewniających bezpieczeństwo psychologiczne, aby móc prowadzić trudne rozmowy na temat odmiennych skutków.

Z zadowoleniem przyjmujemy szersze perspektywy dla godnej zaufania sztucznej inteligencji

IBM® wierzy w podejście „klienta zero” poprzez wdrażanie rekomendacji i systemów, które stworzyłby dla swoich klientów w ramach rozwiązań konsultingowych i opartych na produktach. Podejście to rozciąga się na praktyki etyczne, dlatego IBM stworzył Godne Zaufania Centrum Doskonałości AI (COE).

Jak wyjaśniono powyżej, różnorodność doświadczeń i zestawów umiejętności ma kluczowe znaczenie dla właściwej oceny wpływu sztucznej inteligencji. Jednak perspektywa udziału w Centrum Doskonałości może być onieśmielająca w firmie pełnej innowatorów, ekspertów i wybitnych inżynierów w dziedzinie sztucznej inteligencji, dlatego potrzebne jest kultywowanie społeczności zapewniającej bezpieczeństwo psychiczne. IBM komunikuje to jasno, mówiąc: „Interesujesz się sztuczną inteligencją? Interesujesz się etyką AI? Masz miejsce przy tym stole.

COE oferuje szkolenia w zakresie etyki sztucznej inteligencji praktykom na każdym poziomie. Oferowane są zarówno programy do nauki synchronicznej (nauczyciel i uczniowie w klasie), jak i asynchronicznej (samodzielne nauczanie).

Ale to COE stosowany szkolenia, które zapewniają naszym praktykom najgłębszy wgląd w pracę z globalnymi, zróżnicowanymi, multidyscyplinarnymi zespołami nad prawdziwymi projektami, aby lepiej zrozumieć odmienny wpływ. Wykorzystują także ramy myślenia projektowego opracowane przez IBM Projekt dla sztucznej inteligencji grupa wykorzystuje wewnętrznie i wspólnie z klientami do oceny niezamierzonych skutków modeli sztucznej inteligencji, mając na uwadze osoby często marginalizowane. (Zobacz artykuł Sylvii Duckworth Koło Władzy i Przywilejów aby zapoznać się z przykładami krzyżowania się cech osobistych, co uprzywilejowuje lub marginalizuje ludzi). IBM przekazał także wiele frameworków społeczności open source Projektuj etycznie.

Poniżej znajduje się kilka raportów opublikowanych publicznie przez IBM na temat tych projektów:

Aby uzyskać ważne informacje na temat działania modelu AI, wymagane są zautomatyzowane narzędzia do zarządzania modelem AI. Należy jednak pamiętać, że optymalne jest wykrycie ryzyka na długo przed opracowaniem modelu i wejściem go do produkcji. Tworząc społeczności różnorodnych, multidyscyplinarnych praktyków, które oferują bezpieczną przestrzeń dla ludzi do prowadzenia trudnych rozmów na temat odmiennego wpływu, możesz rozpocząć podróż w kierunku operacjonalizacji swoich zasad i odpowiedzialnego rozwoju sztucznej inteligencji.

W praktyce, zatrudniając specjalistów zajmujących się sztuczną inteligencją, należy pamiętać, że znacznie ponad 70% wysiłku związanego z tworzeniem modeli polega na selekcji właściwych danych. Chcesz zatrudnić osoby, które wiedzą, jak zbierać dane, które są reprezentatywne, ale jednocześnie zbierane za zgodą. Chcesz także, aby ludzie, którzy wiedzą, jak blisko współpracować z ekspertami w danej dziedzinie, mieli pewność, że mają właściwe podejście. Kluczowe znaczenie ma zapewnienie tym praktykom inteligencji emocjonalnej umożliwiającej podjęcie wyzwania odpowiedzialnego zarządzania sztuczną inteligencją z pokorą i rozeznaniem. Musimy świadomie uczyć się, jak i kiedy systemy sztucznej inteligencji mogą pogłębiać nierówności w takim samym stopniu, w jakim mogą zwiększać ludzką inteligencję.

Odkryj na nowo sposób działania swojej firmy dzięki sztucznej inteligencji