Пояснюваність даних: протилежність пояснюваності моделі – DATAVERSITY

Сьогодні ШІ та машинне навчання всюди. 

Незалежно від того, чи всі граються з ChatGPT (найшвидший прийнятий додаток в історії) або нещодавню пропозицію додати четвертий колір для світлофора Щоб зробити перехід на безпілотні автомобілі безпечнішим, штучний інтелект ґрунтовно наситив наше життя. Хоча штучний інтелект може здатися більш доступним, ніж будь-коли, складність моделей штучного інтелекту зросла експоненціально. 

Моделі ШІ належать до основних категорій моделей чорного ящика та білого ящика. Моделі чорного ящика приймають рішення без пояснення, тоді як моделі білого ящика дають результат на основі правил, які призвели до цього результату. 

Оскільки ми продовжуємо рухатися до світу цілісних методів глибокого навчання, більшість здебільшого тяжіє до моделей чорної скриньки. 

Проблема з таким підходом? Моделі чорних скриньок (наприклад, вбудовані в комп’ютерне бачення) не можуть використовуватися безпосередньо. Це часто називають проблемою чорного ящика. Хоча перенавчання моделей чорного ящика може дати користувачам швидкий старт, інтерпретація моделі та розуміння результатів моделі чорного ящика стає важчим, оскільки моделі стають більш складними.

Одна з тактик для вирішення головоломки чорної скриньки полягає в створенні дуже індивідуальної та зрозумілої моделі. 

Але світ рухається не в цьому напрямку. 

Там, де закінчується пояснення моделі, починається пояснення даних

Зрозумілість має вирішальне значення, оскільки вона покращує прозорість, точність і справедливість моделі, а також може підвищити довіру до ШІ. Хоча пояснюваність моделі є звичайним підходом, тепер також виникає потреба в новому типі: пояснюваність даних.

Пояснюваність моделі означає розуміння алгоритму, щоб зрозуміти кінцевий результат. Наприклад, якщо модель, яка використовується в онкологічному відділенні, призначена для перевірки ракового новоутворення, медичний працівник повинен розуміти змінні, які створюють кінцеві результати. Хоча в теорії це звучить чудово, пояснюваність моделі не зовсім вирішує проблему чорної скриньки. 

Оскільки моделі стають дедалі складнішими, більшість практиків не зможуть точно визначити перетворення та інтерпретувати обчислення у внутрішніх шарах моделі. Вони здебільшого покладаються на те, що можуть контролювати, тобто на навчальні набори даних і те, що вони спостерігають, результати та заходи прогнозування.  

Скористаємося прикладом, коли фахівець з обробки даних будує модель для виявлення фотографій кавових кухлів із тисяч фотографій, але модель починає також виявляти зображення стаканів і пивних кухлів, наприклад. Хоча скляні та пивні кухлі можуть мати певну схожість з кавовими кухлями, є чіткі відмінності, як-от типові матеріали, колір, непрозорість і структурні пропорції.

Щоб модель виявляла кавові кухлі з більшою надійністю, фахівець із обробки даних повинен мати відповіді на такі запитання:

• Які образи підібрала модель замість чашок для кави? 
• Модель вийшла з ладу через те, що я не надав їй достатньо чи потрібні зразки кавових кухлів?
• Чи ця модель достатньо хороша для того, чого я намагався досягти?
• Чи потрібно мені оскаржувати свій погляд на модель?
• Що я можу остаточно визначити, що є причиною збою моделі? 
• Чи слід створювати нові припущення моделі?
• Чи я просто вибрав неправильну модель для роботи?

Як ви бачите, надати таке розуміння, розуміння та можливість пояснення моделі щоразу, коли виникає проблема, дуже малоймовірно.

Пояснюваність даних означає розуміння дані використовується для навчання та введення в модель, щоб зрозуміти, як досягається кінцевий результат моделі. Оскільки алгоритми машинного навчання стають дедалі складнішими, але все ширше використовуються в професіях і галузях, пояснюваність даних слугуватиме ключем до швидкого розблокування та вирішення поширених проблем, як-от наш приклад із кавовою чашкою.

Підвищення справедливості та прозорості в ML завдяки можливості пояснення даних

Справедливість у моделях ML є актуальною темою, яку можна зробити ще гострішою, застосувавши можливість пояснення даних.

Чому шум? Упередженість ШІ може створити упереджені результати для однієї групи. Одним із найбільш добре задокументованих випадків цього є упередження у расових випадках використання. Давайте розглянемо приклад. 

Скажімо, велика, відома споживча платформа наймає нову посаду директора з маркетингу. Щоб справлятися з масою резюме, які надходять щодня, відділ кадрів розгортає модель AI/ML, щоб оптимізувати процес подання заявок і набору персоналу шляхом вибору ключових характеристик або кваліфікованих кандидатів. 

Щоб виконати це завдання, а також розрізнити та розділити кожне резюме, модель зробить це шляхом розуміння ключових домінуючих характеристик. На жаль, це Також означає, що модель також може неявно врахувати загальні расові упередження кандидатів. Як саме це станеться? Якщо пул заявників включає менший відсоток однієї раси, машина вважатиме, що організація віддає перевагу представникам іншої раси або домінуючого набору даних.

Якщо модель виходить з ладу, навіть якщо це ненавмисно, збій повинен вирішити компанія. По суті, той, хто розгорнув модель, повинен мати можливість захистити використання моделі.

У справі про наймання на роботу та расові упередження захисник мав би бути в змозі пояснити обуреній громадськості та/або групі додатків використання наборів даних для навчання моделі, початкові успішні результати моделі на основі цього навчання, невдачу модель, щоб підібрати на кутовому випадку, і як це призвело до ненавмисного дисбалансу даних, який зрештою створив расово упереджений процес фільтрації.

Для більшості такі дрібні деталі штучного інтелекту, набори даних дисбалансу, навчання моделі та можливий збій через нагляд за даними не сприймуть добре чи навіть зрозуміють. Але що з цієї розповіді зрозуміють і залишаться? Компанія XYZ практикує расові упередження при прийомі на роботу. 

Мораль цього надто поширеного прикладу полягає в тому, що ненавмисні помилки дуже розумної моделі дійсно трапляються і можуть негативно вплинути на людей і мати жахливі наслідки. 

Куди нас приведе пояснення даних

Замість того, щоб транслювати результати через розуміння складної моделі машинного навчання, пояснюваність даних використовує дані для пояснення прогнозів і невдач.

Пояснюваність даних – це комбінація перегляду тестових даних та  розуміння того, що модель вибере з цих даних. Це включає розуміння недостатньо представлених вибірок даних, надмірно представлених вибірок (як у прикладі найму), а також прозорість виявлення моделі, щоб точно розуміти прогнози та помилки.

Таке розуміння пояснюваності даних не тільки покращить точність і справедливість моделі, але також допоможе моделям прискорюватися швидше.

Оскільки ми продовжуємо покладатися на складні програми штучного інтелекту та машинного навчання та впроваджувати їх у наше повсякденне життя, вирішення проблеми чорної скриньки стає критичним, особливо у випадку збоїв і помилкових прогнозів. 

Хоча пояснюваність моделі завжди буде мати своє місце, вона вимагає ще одного рівня. Нам потрібна можливість пояснення даних, оскільки розуміння того, що модель бачить і читає, ніколи не буде охоплено поясненням класичної моделі.

• Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
• PlatoAiStream. Web3 Data Intelligence. Розширення знань. Доступ тут.
• Карбування майбутнього з Адріенн Ешлі. Доступ тут.
• Купуйте та продавайте акції компаній, які вийшли на IPO, за допомогою PREIPO®. Доступ тут.
• джерело: https://www.dataversity.net/data-explainability-the-counterpart-to-model-explainability/