コンピュータ操作エージェントの安全性・セキュリティ脅威に関する調査:JARVISかUltronか?

arXiv cs.CL / 2026/4/30

💬 オピニオンIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、デスクトップやWeb、モバイルのアプリをGUI上で自律的に操作できるLLMベースの「コンピュータ操作エージェント(CUA)」を対象に、安全性・セキュリティの論点を整理します。
  • エージェントの能力が高まるほど新たな安全・セキュリティ上のリスクも増え、特にLLMの推論に起因する脆弱性やマルチモーダル入力、複数ソフトウェア連携による複雑さが脅威を難しくすると指摘しています。
  • 著者らは4つの目的(安全分析に適したCUAの定義、現行の安全脅威の分類、防御戦略の包括的な分類体系の提案、CUA評価に用いられるベンチマーク/データセット/評価指標の要約)に沿って、既存研究を体系的に集約しています。
  • この枠組みにより、今後の研究者が未解明の脆弱性を探索しやすくなるとともに、実務者がCUAを安全に設計・導入するための具体的な指針を得られることを狙っています。

要旨: 近年、コンピューティングデバイスに対するAI主導の対話は、基本的なプロトタイプツールから、グラフィカルユーザインタフェース上で人間らしい操作を模倣する、洗練されたLLMベースのシステムへと進化してきました。現在、
\emph{Computer-Using Agents}(CUA:計算機利用エージェント)が登場しつつあります。これらは、デスクトップアプリケーション、Webページ、モバイルアプリを自律的にナビゲートするなどのタスクを実行できるものです。しかし、エージェントの能力が高まるにつれ、新たな安全性およびセキュリティ上のリスクも同時に生み出します。LLM主導の推論における脆弱性は、多数のソフトウェアコンポーネントの統合およびマルチモーダル入力という複雑さが加わることで、セキュリティ環境をさらに難しくします。本論文では、CUAの安全性およびセキュリティ上の脅威に関する知見を体系化することを示します。私たちは包括的な文献調査を行い、4つの研究目的に沿って発見を抽出します:
\textit{\textbf{(i)}} 安全性分析に適したCUAを定義すること;
\textit{\textbf{(ii)}} CUAの間における現在の安全上の脅威を分類すること;
\textit{\textbf{(iii)}} 既存の防御戦略の包括的な分類法(タクソノミー)を提案すること;
\textit{\textbf{(iv)}} CUAの安全性と性能を評価するために用いられている、支配的なベンチマーク、データセット、および評価指標を要約すること。これらの洞察に基づき、本研究は、未解明の脆弱性を探究するための将来の研究者に対する構造化された基盤を提供するとともに、セキュアな計算機利用エージェントを設計・導入する際の、実務者にとって実行可能な指針も提供します。