Вам потрібні лише ручка та папір, щоб обдурити цей код комп’ютерного зору OpenAI. Просто запишіть те, що ви хочете, щоб воно побачило

Дослідники OpenAI вважають, що вони знайшли вражаюче простий спосіб обдурити своє програмне забезпечення для розпізнавання об’єктів, і для його виконання потрібні лише ручка та папір.

Зокрема, остання модель комп’ютерного зору лабораторії, CLIP, можна обдурити за допомогою того, що описується як «друкарська атака». Просто напишіть слова «iPod» або «піца» на аркуші паперу, приклейте їх на яблуко, і програмне забезпечення помилково класифікує шматочок фрукта як музичний програвач Купертіно або смачну страву.

Не найрозумніший інструмент у коробці. Джерело: OpenAI. Натисніть, щоб збільшити

«Ми вважаємо, що атаки, подібні до описаних вище, — це далеко не просто академічна занепокоєння», — заявили керівники CLIP. сказав цього тижня. «Використовуючи здатність моделі надійно читати текст, ми виявляємо, що навіть фотографії рукописного тексту часто можуть обдурити модель». Вони додали, що «ця атака працює в дикій природі» і «для неї потрібно не більше технологій, ніж ручка та папір».

CLIP — не єдине програмне забезпечення зі штучним інтелектом, яке впадає на такі прості махінації. Було продемонстровано, що для цього можна використовувати липку стрічку обдурити автопілот Тесли в неправильному тлумаченні знака 35 миль на годину як 85 миль на годину. Однак інші форми цих так званих змагальних атак вимагають деякі технічні ноу-хау для виконання: зазвичай це включає додавання шуму до фотографії або створення а наклейка ретельно розташованих пікселів, щоб зробити помилку системи розпізнавання об’єктів, скажімо, банан для тостера. Однак у випадку з CLIP нічого з цього не потрібно.

Досить сказати, що модель OpenAI була навчена з використанням зображень тексту, а також зображень об’єктів та інших речей, витягнутих з Інтернету.

Думаєте, що ваш розумний годинник хороший для попередження про серцевий напад? Виявляється, його ШІ напрочуд легко обдурити

ЧИТАТИ ДАЛІ

Цей підхід був використаний для того, щоб CLIP залишався досить загальним призначенням, і його можна було точно налаштувати для конкретного робочого навантаження без необхідності перенавчання. Маючи зображення, він може не тільки передбачити правильний набір текстових міток, що описують сцену, його можна переназначити для пошуку у великих базах даних зображень і надання підписів.

За словами OpenAI, CLIP може вивчати абстрактні поняття в різних представленнях. Наприклад, модель здатна розпізнати Людину-павука, коли супергерой зображений на фото, ескізі або описується в тексті. Що ще цікавіше, дослідникам вдалося знайти групи нейронів у нейронній мережі, які активуються, коли програмне забезпечення бачить Людину-павука.

Вони описали їх як мультимодальні нейрони. «Одним із таких нейронів, наприклад, є нейрон «Людина-павук», який реагує на зображення павука, зображення тексту «павук» і персонажа коміксів «Людина-павук» у костюмі або ілюстрованому, », – заявила команда OpenAI. У CLIP є всі види мультимодальних нейронів, які представляють різні поняття, такі як пори року, країни, емоції та об’єкти.

Але найбільші переваги моделі – її універсальність та міцність – також є її найбільшою слабкістю. Вони виявили, що CLIP легко обдурити типографічними атаками.

Повертаючись до прикладу яблуко проти піци, мультимодальні нейрони, які засвоїли зображення яблука, не запускаються також, коли бачать написане слово «піца». Замість цього спрацьовують нейрони, пов’язані з піцою. Модель легко сплутати.

Є докази того, що абстрактне навчання за допомогою мультимодальних нейронів також відбувається в мозку людини. Але, на жаль, ось де сучасні машини бліднуть у порівнянні зі своїми біологічними аналогами. Люди, очевидно, можуть сказати, що яблуко з рукописною запискою, на якій написано піца, все ще є яблуком, тоді як моделі AI ще не можуть.

OpenAI сказав, що CLIP працює не так добре, як деякі моделі комп’ютерного зору, які сьогодні використовуються у виробництві. Він також страждає від образливих упереджень, його нейрони асоціюють концепцію «Близького Сходу» з «тероризмом», а чорних людей з горилами. На даний момент модель використовується лише для дослідницьких цілей, і OpenAI все ще вирішує, випускати чи ні код.

«Наше власне розуміння CLIP все ще розвивається, і ми все ще визначаємо, чи будемо випускати великі версії CLIP і як. Ми сподіваємося, що подальше вивчення спільнотою випущених версій, а також інструментів, які ми анонсуємо сьогодні, допоможе розширити загальне розуміння мультимодальних систем, а також допоможе нам приймати рішення», – йдеться в повідомленні.

OpenAI відмовився давати подальші коментарі щодо CLIP. ®

Джерело: https://go.theregister.com/feed/www.theregister.com/2021/03/05/openai_writing_attack/