OpenAIの研究者は、オブジェクト認識ソフトウェアをフードウィンクする驚くほど簡単な方法を発見したと信じており、実行するにはペンと紙だけが必要です。
具体的には、ラボの最新のコンピュータビジョンモデル、 CLIP、「誤植攻撃」と呼ばれるものにだまされる可能性があります。 「iPod」または「ピザ」という言葉を紙に書いてリンゴに貼り付けるだけで、ソフトウェアは果物をクパチーノの音楽プレーヤーまたはおいしい料理として誤って分類します。
箱の中で最も賢いツールではありません。 出典：OpenAI。 拡大するにはクリックしてください
「上記のような攻撃は、単なる学術的な懸念からはほど遠いものだと私たちは信じています」と、CLIPの背後にある組織 と 今週。 「テキストをしっかりと読み取るモデルの機能を活用することで、手書きのテキストの写真でさえモデルをだますことがよくあることがわかりました。」 彼らは、「この攻撃は実際に機能する」、「ペンと紙以外の技術は必要ない」と付け加えた。
CLIPは、このような単純なシェナニガンに当てはまる人工知能ソフトウェアだけではありません。 粘着テープを使用して テスラのオートパイロットをだます 35mphの標識を85mphの標識と誤解することになります。 ただし、これらのいわゆる敵対的攻撃の他の形態では、 いくつかの技術的ノウハウ 実行するには：通常、写真にノイズを追加したり、 ステッカー 慎重に配置されたピクセルを使用して、オブジェクト認識システムの間違いを犯します。たとえば、バナナをトースターに変えます。 ただし、CLIPの場合、その必要はありません。
言うまでもなく、OpenAIのモデルは、テキストの写真だけでなく、インターネットから削り取られたオブジェクトやその他のものの画像を使用してトレーニングされました。
このアプローチは、CLIPがかなり汎用的なままであり、再トレーニングすることなく特定のワークロードに必要に応じて微調整できるようにするために採用されました。 画像が与えられると、シーンを説明するテキストラベルの正しいセットを予測できるだけでなく、画像の大規模なデータベースを検索してキャプションを提供するために再利用できます。
CLIPは、さまざまな表現にわたる抽象的な概念を学ぶことができるとOpenAIは述べています。 たとえば、スーパーヒーローが写真やスケッチで描かれている場合、またはテキストで説明されている場合、モデルはスパイダーマンを認識できます。 さらに興味深いのは、ソフトウェアがスパイダーマンを垣間見るとアクティブになるニューラルネットワーク内のニューロンのグループを研究者が見つけることができたことです。
彼らはこれらを次のように説明しています マルチモーダルニューロン。 「たとえば、そのようなニューロンのXNUMXつは、スパイダーの画像、テキスト「スパイダー」の画像、および漫画のキャラクター「スパイダーマン」に衣装またはイラストで応答する「スパイダーマン」ニューロンです。 」OpenAIチームは言った。 CLIPには、季節、国、感情、オブジェクトなど、さまざまな概念を表すあらゆる種類のマルチモーダルニューロンがあります。
しかし、モデルの最大の長所であるその汎用性と堅牢性は、その最大の弱点でもあります。 CLIPは、活字攻撃によって簡単に失敗することがわかった。
オブジェクト認識AI–ダムプログラムのスマートプログラムのアイデア：ニューラルネットが実際にテクスチャを見ている方法
リンゴとピザの例に戻ると、リンゴの表現を学習したマルチモーダルニューロンは、「ピザ」と書かれた単語を見ても発火しません。 代わりに、ピザ関連のニューロンがトリガーされます。 モデルは簡単に混乱します。
マルチモーダルニューロンを使用した抽象的な学習が人間の脳でも発生するという証拠があります。 しかし残念ながら、ここでは、現代の機械が生物学的な機械と比較して見劣りします。 人間は明らかに、ピザを読む手書きのメモが付いたリンゴはまだリンゴであると言うことができますが、AIモデルはまだできません。
OpenAIによると、CLIPは、現在本番環境で使用されている一部のコンピュータービジョンモデルほどには機能しません。 それはまた攻撃的な偏見に苦しんでおり、そのニューロンは「中東」の概念を「テロリズム」と関連付け、黒人をゴリラと関連付けています。 このモデルは現時点では研究目的でのみ使用されており、OpenAIはまだコードをリリースするかどうかを決定しています。
「CLIPに対する私たち自身の理解はまだ発展途上であり、CLIPの大規模バージョンをリリースするかどうかとどのようにリリースするかをまだ決定しています。 リリースされたバージョンと本日発表するツールのさらなるコミュニティ調査が、マルチモーダルシステムの一般的な理解を促進し、私たち自身の意思決定に役立つことを願っています」と述べています。
OpenAIはCLIPについてこれ以上コメントすることを拒否した。 ®
出典：https：//go.theregister.com/feed/www.theregister.com/2021/03/05/openai_writing_attack/
