Объяснимость данных: аналог объяснимости модели — DATAVERSITY

Сегодня AI и ML повсюду. 

Все ли играют с ChatGPT (быстрейший принятое приложение в истории) или недавнее предложение добавить четвертый цвет светофора Чтобы сделать переход на беспилотные автомобили более безопасным, искусственный интеллект полностью пропитал нашу жизнь. Хотя ИИ может показаться более доступным, чем когда-либо, сложность моделей ИИ возросла в геометрической прогрессии. 

Модели ИИ делятся на основные категории моделей черного ящика и белого ящика. Модели «черного ящика» принимают решение без объяснения причин, в то время как модели «белого ящика» выдают результат на основе правил, которые привели к этому результату. 

По мере того, как мы продолжаем двигаться к целому миру методов глубокого обучения, большинство из них в значительной степени тяготеют к моделям черного ящика. 

Проблема с таким подходом? Модели «черного ящика» (например, встроенные в компьютерное зрение) нельзя использовать напрямую. Это часто называют проблемой черного ящика. В то время как переобучение моделей черного ящика может дать пользователям толчок, интерпретация модели и понимание результатов модели черного ящика становится все труднее по мере увеличения сложности моделей.

Одна из тактик решения загадки черного ящика — создать очень индивидуальную и объяснимую модель. 

Но это не то направление, в котором движется мир. 

Там, где заканчивается объяснимость модели, начинается объяснимость данных

Объяснимость имеет решающее значение, поскольку она повышает прозрачность, точность и справедливость модели, а также может повысить доверие к ИИ. Хотя объяснимость модели является традиционным подходом, теперь также возникает потребность в новом типе: объяснимости данных.

Объяснимость модели означает понимание алгоритма, чтобы понять конечный результат. Например, если модель, используемая в онкологическом отделении, предназначена для проверки того, является ли новообразование злокачественным, поставщик медицинских услуг должен понимать переменные, влияющие на конечные результаты. Хотя в теории это звучит великолепно, объяснимость модели не совсем решает проблему черного ящика. 

Поскольку модели становятся все более сложными, большинство практиков не смогут точно определить преобразования и интерпретировать расчеты во внутренних слоях модели. Они в значительной степени полагаются на то, что они могут контролировать, т. е. на обучающие наборы данных и то, что они наблюдают, результаты и меры прогнозирования.  

Давайте возьмем пример ученого, занимающегося данными, который создает модель для обнаружения фотографий кофейных кружек из тысяч фотографий, но модель начинает также обнаруживать, например, изображения стаканов для питья и пивных кружек. Хотя стеклянные и пивные кружки могут иметь некоторое сходство с кофейными кружками, между ними есть явные различия, такие как типичные материалы, цвет, непрозрачность и структурные пропорции.

Чтобы модель могла обнаруживать кофейные кружки с большей надежностью, специалист по данным должен иметь ответы на такие вопросы, как:

• Какие изображения подобрала модель вместо кофейных кружек? 
• Модель не удалась из-за того, что я не предоставил достаточное количество или правильные примеры кофейных кружек?
• Достаточно ли хороша эта модель для того, чего я пытался достичь?
• Нужно ли мне оспаривать мое мнение о модели?
• Что я могу окончательно определить, что приводит к сбою модели? 
• Должен ли я генерировать новые предположения модели?
• Я просто выбрал неправильную модель для работы с самого начала?

Как видите, предоставление такого рода понимания, понимания и объяснимости модели каждый раз, когда возникает проблема, крайне маловероятно.

Объяснимость данных — это понимание данным используется для обучения и ввода в модель, чтобы понять, как достигается конечный результат модели. Поскольку алгоритмы машинного обучения становятся все более сложными, но все более широко используются в профессиях и отраслях, объяснимость данных будет служить ключом к быстрому выявлению и решению распространенных проблем, как в нашем примере с кофейной кружкой.

Повышение справедливости и прозрачности в машинном обучении с объяснимостью данных

Справедливость в моделях машинного обучения — горячая тема, которую можно сделать еще более актуальной, если применить объяснимость данных.

Почему шум? Предвзятость в ИИ может привести к предвзятым результатам для одной группы. Одним из наиболее хорошо задокументированных случаев этого являются предубеждения в расовых случаях использования. Давайте посмотрим на пример. 

Скажем, крупная известная потребительская платформа ищет новую должность директора по маркетингу. Чтобы справиться с массой резюме, получаемых ежедневно, отдел кадров развертывает модель AI/ML, чтобы упростить процесс подачи заявок и найма путем выбора ключевых характеристик или квалифицированных кандидатов. 

Чтобы выполнить эту задачу, а также различить и классифицировать каждое резюме, модель будет делать это, анализируя ключевые доминирующие характеристики. К сожалению, это Также означает, что модель может неявно улавливать общие расовые предубеждения кандидатов. Как именно это произойдет? Если пул кандидатов включает меньший процент представителей одной расы, машина будет думать, что организация предпочитает представителей другой расы или доминирующего набора данных.

Если модель дает сбой, даже если это непреднамеренно, компания должна устранить этот сбой. По сути, тот, кто развернул модель, должен быть в состоянии защитить ее использование.

В случае найма и расовой предвзятости защитник должен быть в состоянии объяснить разгневанной публике и/или пулу приложений использование наборов данных для обучения модели, первоначальные успешные результаты модели, основанной на этом обучении, провал модель, которую можно было выбрать в крайнем случае, и как это привело к непреднамеренному дисбалансу данных, который в конечном итоге создал процесс фильтрации с расовой предвзятостью.

Для большинства такие мельчайшие детали ИИ, несбалансированные наборы данных, обучение моделей и возможный сбой из-за надзора за данными не будут восприняты должным образом или даже поняты. Но что будет понято и облеплено из этой истории? Компания XYZ придерживается расовой предвзятости при приеме на работу. 

Мораль этого слишком распространенного примера заключается в том, что непреднамеренные ошибки очень умной модели действительно случаются и могут негативно повлиять на людей и иметь ужасные последствия. 

Куда ведет нас объяснимость данных

Вместо того, чтобы переводить результаты через понимание сложной модели машинного обучения, объяснимость данных использует данные для объяснения прогнозов и ошибок.

Объяснимость данных — это комбинация просмотра тестовых данных. и понимание того, что модель выберет из этих данных. Это включает в себя понимание недопредставленных выборок данных, перепредставленных выборок (как в примере с наймом) и прозрачность обнаружения модели для точного понимания прогнозов и неправильных прогнозов.

Такое понимание объяснимости данных не только повысит точность и объективность модели, но и поможет моделям ускориться.

Поскольку мы продолжаем полагаться на сложные программы искусственного интеллекта и машинного обучения и внедрять их в нашу повседневную жизнь, решение проблемы черного ящика становится критически важным, особенно в отношении сбоев и неправильных прогнозов. 

Хотя объяснимость модели всегда будет иметь место, она требует еще одного уровня. Нам нужна объяснимость данных, поскольку понимание того, что модель видит и читает, никогда не будет обеспечено классической объяснимостью модели.

• SEO-контент и PR-распределение. Получите усиление сегодня.
• ПлатонАйСтрим. Анализ данных Web3. Расширение знаний. Доступ здесь.
• Чеканка будущего с Эдриенн Эшли. Доступ здесь.
• Покупайте и продавайте акции компаний PREIPO® с помощью PREIPO®. Доступ здесь.
• Источник: https://www.dataversity.net/data-explainability-the-counterpart-to-model-explainability/