Важливість різноманітності в штучному інтелекті – це не думка, а математика – блог IBM

Ми всі хочемо, щоб наші ідеальні людські цінності відображалися в наших технологіях. Ми очікуємо, що такі технології, як штучний інтелект (ШІ), не обманюють нас, не дискримінують і будуть безпечними для нас і наших дітей. Тим не менш, багато розробників штучного інтелекту зараз стикаються з негативною реакцією через упередження, неточності та проблематичну практику обробки даних, які виявляються в їхніх моделях. Ці проблеми потребують не тільки технічного, алгоритмічного або штучного інтелекту. Насправді потрібен цілісний, соціально-технічний підхід.

Математика демонструє потужну істину

Усі прогнозні моделі, включно зі штучним інтелектом, є більш точними, коли вони включають різноманітний людський інтелект і досвід. Це не думка; він має емпіричну достовірність. Розглянемо теорема передбачення різноманітності. Простіше кажучи, коли різноманітність у групі велика, помилка натовпу невелика, що підтверджує концепцію «мудрості натовпу». У впливовому дослідженні було показано, що різні групи тих, хто розв’язує проблеми з низькими здібностями, можуть перевершити групи тих, хто розв’язує проблеми з високими здібностями (Хонг і Пейдж, 2004).

Математичною мовою: чим ширше ваша дисперсія, тим стандартніше ваше середнє значення. Рівняння виглядає так:

A подальше навчання надав більше розрахунків, які уточнюють статистичні визначення мудрого натовпу, включаючи незнання прогнозів інших членів і включення тих, хто максимально різні (негативно корельовані) передбачення або судження. Отже, не лише обсяг, але й різноманітність покращує прогнози. Як це розуміння може вплинути на оцінку моделей ШІ?

(Не)точність моделі

Якщо процитувати поширений афоризм, усі моделі помилкові. Це стосується статистики, науки та ШІ. Моделі, створені за браком досвіду предметної області, можуть призвести до помилковий Виходи

Сьогодні крихітна однорідна група людей визначає, які дані використовувати для навчання генеративних моделей штучного інтелекту, отриманих із джерел, які значно перевищують англійську мову. «Для більшості з понад 6,000 мов світу доступних текстових даних недостатньо для підготовки великомасштабної базової моделі» (з «Про можливості та ризики моделей фонду”, Боммасані та ін., 2022).

Крім того, самі моделі створюються на основі обмеженої архітектури: «Майже всі найсучасніші моделі НЛП тепер адаптовані з однієї з кількох базових моделей, таких як BERT, RoBERTa, BART, T5 тощо. Хоча ця гомогенізація дає надзвичайно високе кредитне плече (будь-які вдосконалення базових моделей можуть призвести до миттєвої вигоди в усьому НЛП), це також шкода; усі системи штучного інтелекту можуть успадкувати однакові проблемні упередження кількох основних моделей (Боммасані та ін.) "

Щоб генеративний штучний інтелект краще відображав різноманітні спільноти, які він обслуговує, у моделях має бути представлено набагато більше різноманітних даних про людей.

Оцінка точності моделі йде рука об руку з оцінкою упередженості. Ми повинні запитати, який намір моделі і для кого вона оптимізована? Розглянемо, наприклад, хто отримує найбільшу користь від алгоритмів рекомендацій вмісту та алгоритмів пошукових систем. Зацікавлені сторони можуть мати дуже різні інтереси та цілі. Алгоритми та моделі вимагають цілей або проксі для помилки Байєса: мінімальної помилки, яку модель має покращити. Цією довіреною особою часто є особа, як-от експерт із певної тематики з досвідом у певній галузі.

Дуже людське завдання: оцінка ризику перед придбанням або розробкою моделі

Нові нормативні акти та плани дій щодо штучного інтелекту дедалі більше підкреслюють важливість алгоритмічних форм оцінки впливу. Мета цих форм — зібрати важливу інформацію про моделі штучного інтелекту, щоб команди управління могли оцінити й усунути ризики перед їх розгортанням. Типові запитання включають:

• Який варіант використання вашої моделі?
• Які ризики різнорідного впливу?
• Як ви оцінюєте справедливість?
• Як ви робите свою модель зрозумілою?

Незважаючи на те, що вони розроблені з добрими намірами, проблема полягає в тому, що більшість власників моделей ШІ не розуміють, як оцінити ризики для свого випадку використання. Загальним рефреном може бути: «Як моя модель може бути несправедливою, якщо вона не збирає особисту інформацію (PII)?» Отже, форми рідко заповнюються з тією продуманістю, яка необхідна для систем управління, щоб точно позначати фактори ризику.

Таким чином, підкреслюється соціально-технічний характер рішення. Власнику моделі — фізичній особі — не можна просто надати список прапорців, щоб оцінити, чи завдасть їх варіант використання шкоди. Замість цього потрібні групи людей із різноманітним життєвим досвідом, які об’єднуються в спільноти, які пропонують психологічну безпеку, щоб вести складні розмови про різні впливи.

Ми вітаємо ширші перспективи для надійного ШІ

IBM® вірить у підхід «нульового клієнта», впроваджуючи рекомендації та системи, які вона створила б для своїх клієнтів у консалтингових і продуктових рішеннях. Цей підхід поширюється на етичні практики, тому IBM створила Надійний центр передового досвіду AI (COE).

Як пояснювалося вище, різноманітність досвіду та навичок має вирішальне значення для належної оцінки впливу ШІ. Але перспектива участі в Центрі передового досвіду може лякати в компанії, яка кишить новаторами, експертами та видатними інженерами зі штучного інтелекту, тому необхідно розвивати спільноту психологічної безпеки. IBM чітко повідомляє про це, кажучи: «Зацікавлені ШІ? Цікавитеся етикою ШІ? Тобі місце за цим столом».

COE пропонує тренінги з етики штучного інтелекту для практиків усіх рівнів. Пропонуються як синхронне навчання (викладач і учні в класі), так і асинхронні (самокеровані) програми.

Але це COE прикладної навчання, яке дає нашим практикам найглибше розуміння, оскільки вони працюють із глобальними, різноманітними, мультидисциплінарними командами над реальними проектами, щоб краще зрозуміти різнорідний вплив. Вони також використовують структуру дизайнерського мислення IBM Дизайн для ШІ група використовує внутрішньо та з клієнтами для оцінки ненавмисних ефектів моделей штучного інтелекту, зберігаючи на увазі тих, хто часто маргіналізований. (Див. Сільвію Дакворт Колесо влади та привілеїв на приклади того, як особистісні характеристики перетинаються, щоб привілеювати або маргіналізувати людей.) IBM також пожертвувала багато фреймворків спільноті відкритих кодів Етичний дизайн.

Нижче наведено кілька публічних звітів IBM щодо цих проектів:

Інструменти автоматизованого керування моделлю ШІ потрібні для отримання важливої ​​інформації про ефективність вашої моделі ШІ. Але зауважте, оптимальним є фіксування ризику задовго до того, як вашу модель буде розроблено та почнеться виробництво. Створюючи спільноти різноманітних міждисциплінарних практиків, які пропонують людям безпечний простір для важких розмов про різнорідний вплив, ви можете розпочати свій шлях до реалізації своїх принципів і відповідального розвитку ШІ.

На практиці, коли ви наймаєте спеціалістів зі штучного інтелекту, вважайте, що понад 70% зусиль у створенні моделей припадає на підбір правильних даних. Ви хочете найняти людей, які знають, як збирати репрезентативні дані, які також збираються за згодою. Ви також хочете, щоб люди, які знають, тісно співпрацювали з експертами в області, щоб переконатися, що вони мають правильний підхід. Ключовим є переконання, що ці практики мають емоційний інтелект, щоб підійти до виклику відповідального курування ШІ зі смиренням і проникливістю. Ми повинні навмисно навчитися розпізнавати, як і коли системи штучного інтелекту можуть посилити несправедливість так само, як вони можуть підвищити людський інтелект.

Переосмисліть, як ваш бізнес працює за допомогою ШІ