OpenAI 연구원들은 객체 인식 소프트웨어를 속이는 놀랍도록 쉬운 방법을 발견했다고 믿으며 수행하는 데 펜과 종이만 있으면 됩니다.
특히, 연구실의 최신 컴퓨터 비전 모델, 쥐다, "인쇄상의 공격"으로 설명되는 것에 속을 수 있습니다. 종이에 'iPod' 또는 '피자'라는 단어를 적고 사과에 붙이면 소프트웨어가 과일 조각을 Cupertino 뮤직 플레이어 또는 맛있는 음식으로 잘못 분류합니다.
상자에서 가장 똑똑한 도구는 아닙니다. 출처: OpenAI. 확대하려면 클릭
"우리는 위에서 설명한 것과 같은 공격이 단순히 학문적인 문제가 아니라고 생각합니다." 말했다 이번 주. "강력하게 텍스트를 읽을 수 있는 모델의 기능을 활용하여 손으로 쓴 텍스트의 사진도 종종 모델을 속일 수 있음을 발견했습니다." 그들은 "이 공격은 야생에서 작동한다"며 "펜과 종이보다 더 많은 기술이 필요하지 않다"고 덧붙였다.
CLIP은 이러한 단순한 헛소리에 빠지는 유일한 인공 지능 소프트웨어가 아닙니다. 접착 테이프를 사용하여 바보 테슬라의 자동 조종 장치 시속 35마일 표지판을 시속 85마일 표지판으로 오독하는 것입니다. 그러나 이러한 소위 적대적 공격의 다른 형태에는 다음이 필요합니다. 약간의 기술적 노하우 실행: 일반적으로 사진에 노이즈를 추가하거나 애먹이는 것 예를 들어 토스터 대신 바나나를 사용하는 것과 같이 물체 인식 시스템이 실수를 저지르도록 세심하게 배열된 픽셀입니다. 그러나 CLIP의 경우에는 그 중 어느 것도 필요하지 않습니다.
OpenAI의 모델은 인터넷에서 스크랩한 객체 및 기타 항목의 이미지뿐만 아니라 텍스트 그림을 사용하여 훈련되었습니다.
이 접근 방식은 CLIP이 상당히 일반적인 용도로 유지되고 재교육 없이 특정 워크로드에 대해 필요에 따라 미세 조정할 수 있도록 하기 위해 사용되었습니다. 이미지가 주어지면 장면을 설명하는 올바른 텍스트 레이블 집합을 예측할 수 있을 뿐만 아니라 대규모 사진 데이터베이스를 검색하고 캡션을 제공하도록 용도를 변경할 수 있습니다.
CLIP은 다양한 표현에서 추상적 개념을 학습할 수 있다고 OpenAI는 말했습니다. 예를 들어 슈퍼히어로가 사진, 스케치에 묘사되거나 텍스트로 설명될 때 모델은 스파이더맨을 인식할 수 있습니다. 더 흥미로운 점은 연구원들이 소프트웨어가 스파이더맨을 엿볼 때 활성화되는 신경망에서 뉴런 그룹을 찾을 수 있었다는 것입니다.
그들은 이것을 다음과 같이 설명했습니다. 다중 모드 뉴런. "예를 들어 그러한 뉴런 중 하나는 거미의 이미지, '스파이더' 텍스트의 이미지, 만화 캐릭터 '스파이더맨'의 복장이나 그림에 반응하는 '스파이더맨' 뉴런입니다."라고 OpenAI 팀이 말했습니다. CLIP에는 계절, 국가, 감정 및 사물과 같은 다양한 개념을 나타내는 모든 종류의 다중 모드 뉴런이 있습니다.
그러나 이 모델의 가장 큰 강점인 다용도성과 견고성은 가장 큰 약점이기도 합니다. CLIP은 타이포그래피 공격에 쉽게 속는다는 사실을 발견했습니다.
개체 인식 AI – 스마트 프로그램에 대한 멍청한 프로그램의 아이디어: 신경망이 실제로 질감을 보는 방법
사과 대 피자의 예로 돌아가서, 사과의 표현을 학습한 다중 모드 뉴런은 '피자'라는 단어를 볼 때도 발화하지 않습니다. 대신 피자 관련 뉴런이 대신 트리거됩니다. 모델은 쉽게 혼동됩니다.
다중 모드 뉴런을 사용하는 추상 학습이 인간의 뇌에서도 발생한다는 증거가 있습니다. 그러나 불행하게도 현대 기계는 생물학적 대응물에 비해 미미한 부분이 있습니다. 인간은 분명히 피자라고 적힌 손글씨 메모가 있는 사과는 여전히 사과라고 말할 수 있지만 AI 모델은 아직 할 수 없습니다.
OpenAI는 CLIP이 현재 생산에 사용되는 일부 컴퓨터 비전 모델만큼 성능이 좋지 않다고 말했습니다. 그것은 또한 공격적인 편견에 시달립니다. 뉴런은 '중동'의 개념을 '테러리즘'과 연관시키고 흑인을 고릴라와 연관시킵니다. 이 모델은 현재 연구 목적으로만 사용되며 OpenAI는 여전히 코드 공개 여부를 결정하고 있습니다.
“CLIP에 대한 우리의 이해는 여전히 진화하고 있으며 CLIP의 대규모 버전을 출시할지 여부와 방법을 계속 결정하고 있습니다. 출시된 버전과 오늘 발표하는 도구에 대한 추가 커뮤니티 탐색이 다중 모드 시스템에 대한 일반적인 이해를 높이고 자체 의사 결정에 정보를 제공하는 데 도움이 되기를 바랍니다.”라고 말했습니다.
OpenAI는 CLIP에 대한 추가 언급을 거부했습니다. ®
출처: https://go.theregister.com/feed/www.theregister.com/2021/03/05/openai_writing_attack/
