Potrzebujesz tylko długopisu i papieru, aby oszukać ten kod widzenia komputerowego OpenAI. Po prostu zapisz, co chcesz, żeby zobaczyło

Badacze OpenAI są przekonani, że odkryli szokująco łatwy sposób na oszukanie oprogramowania do rozpoznawania obiektów, a do wykonania tego wystarczy pióro i papier.

W szczególności najnowszy model wizji komputerowej w laboratorium, CLIP, mogą zostać oszukane przez coś, co określa się jako „atak typograficzny”. Wystarczy napisać „iPod” lub „pizza” na kawałku papieru, przykleić go do jabłka, a oprogramowanie błędnie zaklasyfikuje owoc jako odtwarzacz muzyki z Cupertino lub pyszne danie.

Nie jest to najmądrzejsze narzędzie w zestawie. Źródło: OpenAI. Kliknij, aby powiększyć

„Uważamy, że ataki, takie jak te opisane powyżej, nie są po prostu akademickim problemem” - twierdzą autorzy CLIP powiedziany w tym tygodniu. „Wykorzystując zdolność modelu do rzetelnego czytania tekstu, okazuje się, że nawet zdjęcia odręcznego tekstu mogą często oszukać model”. Dodali, że „ten atak działa na wolności” i „nie wymaga więcej technologii niż długopis i papier”.

CLIP nie jest jedynym sztucznie inteligentnym oprogramowaniem, które daje się nabrać na takie proste sztuczki. Udowodniono, że można do tego użyć taśmy klejącej oszukać Autopilota Tesli do błędnego odczytania znaku 35 mil na godzinę jako 85 mil na godzinę. Wymagane są jednak inne formy tak zwanych ataków kontradyktoryjnych trochę wiedzy technicznej do wykonania: zazwyczaj wiąże się to z dodaniem szumu do zdjęcia lub utworzeniem pliku naklejka starannie ułożonych pikseli, aby system rozpoznawania obiektów pomylił się, powiedzmy, banan zamiast tostera. Jednak w przypadku CLIP-a nic z tego nie jest konieczne.

Wystarczy powiedzieć, że model OpenAI został przeszkolony przy użyciu zdjęć tekstu, a także obrazów obiektów i innych rzeczy wyskrobanych z Internetu.

Myślisz, że Twój smartwatch jest dobry do ostrzegania przed zawałem serca? Okazuje się, że zaskakująco łatwo jest oszukać jego sztuczną inteligencję

CZYTAJ WIĘCEJ

Podejście to zostało przyjęte tak, aby CLIP pozostał dość ogólnym celem i można go dostosować w razie potrzeby do konkretnego obciążenia bez konieczności ponownego szkolenia. Otrzymany obraz może nie tylko przewidzieć właściwy zestaw etykiet tekstowych opisujących scenę, ale może zostać ponownie wykorzystany do przeszukiwania dużych baz danych obrazów i dostarczania podpisów.

CLIP jest w stanie uczyć się abstrakcyjnych pojęć z różnych reprezentacji, powiedział OpenAI. Na przykład model jest w stanie rozpoznać Spider-Mana, gdy superbohater jest przedstawiony na zdjęciu, szkicu lub opisany w tekście. Co ciekawsze, naukowcom udało się znaleźć grupy neuronów w sieci neuronowej, które są aktywowane, gdy oprogramowanie wykryje Spider-Mana.

Opisali je jako neurony multimodalne. „Jednym z takich neuronów, na przykład, jest neuron„ Spider-Mana ”, który reaguje na obraz pająka, obraz tekstu„ pająk ”i postać z komiksu„ Spider-Man ”w kostiumie lub ilustrowana, ”Powiedział zespół OpenAI. CLIP zawiera różnego rodzaju neurony multimodalne, które reprezentują różne koncepcje, takie jak pory roku, kraje, emocje i przedmioty.

Ale największe atuty tego modelu - jego wszechstronność i solidność - są jednocześnie jego największą słabością. Okazało się, że CLIP można łatwo oszukać atakami typograficznymi.

Wracając do przykładu jabłko vs pizza, neurony multimodalne, które nauczyły się reprezentacji jabłka, nie zapalają się tak dobrze, gdy widzą napisane słowo „pizza”. Zamiast tego wyzwalane są neurony związane z pizzą. Model można łatwo pomylić.

Istnieją dowody na to, że abstrakcyjne uczenie się przy użyciu multimodalnych neuronów występuje również w ludzkich mózgach. Ale niestety tutaj nowoczesne maszyny bledną w porównaniu z ich biologicznymi odpowiednikami. Ludzie mogą oczywiście powiedzieć, że jabłko z odręczną notatką, na której jest napisana pizza, nadal jest jabłkiem, podczas gdy modele AI jeszcze tego nie potrafią.

OpenAI powiedział, że CLIP nie działa tak dobrze, jak niektóre modele wizji komputerowej, które są obecnie używane w produkcji. Cierpi również na obraźliwe uprzedzenia, jego neurony kojarzą pojęcie „Bliskiego Wschodu” z „terroryzmem”, a czarni ludzie z gorylami. Model jest obecnie używany tylko do celów badawczych, a OpenAI wciąż decyduje, czy opublikować kod.

„Nasze własne rozumienie CLIP wciąż ewoluuje i wciąż zastanawiamy się, czy i jak będziemy wydawać duże wersje CLIP. Mamy nadzieję, że dalsze badanie przez społeczność wydanych wersji, a także narzędzi, które dzisiaj ogłaszamy, pomoże pogłębić ogólne zrozumienie systemów multimodalnych, a także wpłynie na nasz własny proces decyzyjny ”- powiedział.

OpenAI odmówił dalszego komentowania CLIP. ®

Źródło: https://go.theregister.com/feed/www.theregister.com/2021/03/05/openai_writing_attack/