15年2023月XNUMX日（
Nanowerkニュース) ChatGPT や Bard などの大規模言語モデル (LLM) は今年世界を席巻し、企業はこれらの AI ツールの開発に数百万ドルを投資し、一部の主要な AI チャットボットの価値は数十億ドルに達しています。
AI チャットボット内で使用されることが増えているこれらの LLM は、インターネット全体の情報を収集して学習し、「プロンプト」として知られるユーザー指定のリクエストに対する回答を通知します。
しかし、AI セキュリティの新興企業マインドガードと英国のランカスター大学のコンピューター科学者は、これらの LLM のチャンクはわずか 50 ドルで XNUMX 週間以内にコピーでき、得られた情報は標的型攻撃の開始に使用できることを実証しました。 。
研究者らは、攻撃者がこれらの脆弱性を悪用すると、個人の機密情報が漏洩したり、ガードレールを回避したり、誤った回答を提供したり、さらなる標的型攻撃を仕掛けたりする可能性があると警告している。
詳細は新しい論文 (
「モデルリーチング: LLM をターゲットとした抽出攻撃」) CAMLIS 2023 (情報セキュリティのための応用機械学習に関する会議) で発表される予定で、研究者らは既存の LLM の重要な側面を安価にコピーできることを示し、異なるモデル間で脆弱性が転送される証拠を実証しました。
「モデルリーチング」と呼ばれるこの攻撃は、LLM に一連の対象を絞ったプロンプトを要求するという方法で LLM に話しかけることで機能し、LLM がモデルがどのように機能するかを示す洞察力に富んだ情報を引き出します。
ChatGPT-3.5-Turbo に焦点を当てて研究を行った研究チームは、この知識を利用して独自のコピー モデルを作成しました。これは 100 倍小さいものの、LLM の主要な側面を再現したものでした。
研究者らは、このモデルのコピーをテストの場として使用し、検出されずに ChatGPT の脆弱性を悪用する方法を考案することができました。その後、モデルから収集した知識を使用して、ChatGPT の脆弱性を攻撃することができ、成功率は 11% 向上しました。
マインドガードの CEO であり、この研究の主任研究者でもあるランカスター大学のピーター・ガラハン博士は次のように述べています。これは、クローズドソースとオープンソースの機械学習モデルの間でセキュリティの脆弱性がうまく転移できることを実証的に実証した最初の研究の一つであり、HuggingFace などの場所でホストされている公開されている機械学習モデルに業界がどれほど依存しているかを考えると、これは非常に憂慮すべきことです。」
研究者らは、これらの強力なデジタル AI テクノロジーには明確な用途があるにもかかわらず、隠れた弱点が存在し、モデル間に共通の脆弱性が存在する可能性さえあることが、研究によって浮き彫りになったと述べています。
業界全体の企業が現在、スマート アシスタントなどの幅広いタスクを実行する独自の LLM の作成に数十億ドルを投資しているか、その準備をしています。金融サービスや大企業はこれらのテクノロジーを採用していますが、研究者らは、これらの脆弱性はサードパーティLLMの構築または使用を計画しているすべての企業にとって大きな懸念事項であるはずだと述べています。
ギャラハン博士は次のように述べています。「LLM テクノロジーは変革をもたらす可能性がありますが、企業も科学者も同様に、LLM の採用と展開に伴うサイバー リスクの理解と測定について非常に慎重に考える必要があります。」
