「敵対的AI」は軍事システムへの脅威、Shift5のロスピノソ氏が語る

「敵対的AI」は軍事システムへの脅威、Shift5のロスピノソ氏が語る

タイムスタンプ：29年2023月3日43:XNUMX PM
ソースノード： 2685907

Josh Lospinoso 氏の最初のサイバーセキュリティ スタートアップ企業は、2017 年に Raytheon/Forcepoint に買収されました。 彼の 5 番目のシフト 2009 は、米軍、鉄道事業者、ジェットブルーを含む航空会社と協力しています。 36 年にウェストポイント大学を卒業し、ローズ奨学生となった XNUMX 歳の元陸軍大尉は、XNUMX 年以上を過ごしました ハッキングツールのオーサリング 国家安全保障局と米国サイバー軍向け。

ロスピノソ氏は最近、上院軍事小委員会で人工知能が軍事作戦の保護にどのように役立つかを語った。 CEO兼プログラマーはAP通信とこの件について、兵器システムのソフトウェアの脆弱性がいかに米軍にとって大きな脅威であるかを論じた。 インタビューはわかりやすく、長くなるように編集されています。

Q: 証言の中で、AI 対応テクノロジーに対する XNUMX つの主要な脅威について説明しました。XNUMX つは盗難です。 それは一目瞭然です。 もうXNUMXつはデータポイズニングです。 それを説明してもらえますか？

A: データポイズニングについて考える XNUMX つの方法は、デジタル偽情報として考えることです。 敵対者が AI 対応テクノロジーが認識するデータを作成できる場合、そのテクノロジーの動作に重大な影響を与える可能性があります。

Q: データポイズニングは発生していますか?

A: 私たちはそれを広く見ていません。 しかし それは起こってしまった。 最もよく知られたケースの 2016 つは XNUMX 年に起こりました。マイクロソフトは、オンラインでの会話から学習した Tay という名前の Twitter チャットボットをリリースしました。 悪意のあるユーザーが共謀して、暴言や攻撃的な言葉をツイートしました。 テイは扇動的なコンテンツを生成し始めました。 マイクロソフトはそれをオフラインにしました。

Q: AI は単なるチャットボットではありません。 これは長い間、サイバーセキュリティにとって不可欠なものでした。

A: AI は電子メール フィルターで使用され、迷惑メールとフィッシング詐欺にフラグを立てて分離しようとします。 もう XNUMX つの例は、ラップトップ上のウイルス対策プログラムやネットワーク上で実行されるマルウェア検出ソフトウェアなどのエンドポイントです。 もちろん、攻撃的なハッカーも AI を使用して、これらの分類システムを破ろうとします。 それは敵対的AIと呼ばれます。

Q: 軍事ソフトウェア システムについて話しましょう。 憂慮すべき 2018 年 政府説明責任局報告書 新しく開発されたほぼすべての兵器システムにはミッションクリティカルな脆弱性があると述べた。 そして国防総省はそのようなシステムにAIを導入することを考えているのでしょうか？

A: ここには XNUMX つの問題があります。 まず、既存の兵器システムを適切に保護する必要があります。 これは私たちが抱えている技術的負債であり、返済するには非常に長い時間がかかるでしょう。 そして、AI アルゴリズムを保護するという新たなフロンティア、つまり私たちがインストールする新しいものがあります。 GAOの報告書ではAIについてはあまり触れられていない。 ですから、AI のことはちょっと忘れてください。 これらのシステムが現状のままであれば、依然として深刻な脆弱性が残ります。

私たちは、メンテナンスや運用インテリジェンスの向上などのために、限界を超えて AI 対応機能を追加することについて議論しています。 すべて素晴らしいです。 しかし、私たちは砂上の楼閣の上に構築しているのです。 多くのシステムは数十年前のものであり、デジタル技術が導入されています。 航空機、地上車両、宇宙資産、潜水艦。 それらは現在相互接続されています。 データの入出力を交換しています。 システムは多孔質でアップグレードが難しく、攻撃される可能性があります。 攻撃者がアクセスできるようになると、ゲームオーバーになります。

場合によっては、既存のシステムのデジタル コンポーネントを再設計するよりも、新しいプラットフォームを構築する方が簡単な場合があります。 しかし、これらのシステムを保護する上で AI の役割があります。 誰かがセキュリティを侵害しようとした場合、AI を使用して防御できます。

Q: あなたは、一部の人が主張しているように AI 研究を一時停止することは、中国や他の競合国に有利になるため悪い考えだと証言しました。 しかし、AI 製品への突進的な取り組みについても懸念を抱いています。 なぜ？

A: 運命論的に聞こえるのは嫌ですが、いわゆる「燃焼使用」のケースが当てはまるようです。 急いで市場に投入された製品は、発火することがよくあります（ハッキングされたり、失敗したり、意図しない損害が発生したりします）。 そして私たちは「セキュリティを組み込むべきだった」と言います。 AI 開発のペースは加速すると予想されており、これを安全かつ責任ある方法で行うには十分な立ち止まりができないかもしれません。 少なくともホワイトハウスと議会はこれらの問題について議論している。

Q: 防衛分野を含む多くの企業が中途半端な AI 製品の発表を急いでいるように思えます。

A: すべてのテクノロジー企業と多くの非テクノロジー企業は、AI へのほぼ驚くべき方向転換を行っています。 経済的混乱が来ています。 ビジネスモデルは根本的に変わろうとしています。 混乱はすでに起こっているか、あるいは起こりつつあり、ビジネスリーダーたちは不意を突かれないように努めています。

Q: 標的設定などの軍事的意思決定における AI の使用についてはどうですか?

A: 私は、人工知能アルゴリズム、つまり私たちが収集しているデータが、致死兵器システムが意思決定を行うための準備が整っているとは考えていません。 私たちはそれには程遠いのです。

タイムスタンプ：

より多くの 防衛ニュース