身体性AIにおける安全性:リスク、攻撃、そして防御の調査

arXiv cs.CV / 2026/5/6

💬 オピニオンIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、知覚・認知・計画・行動・相互作用を統合し、交通・医療・産業/支援ロボットのような安全性が重要な環境で動作する「身体性AI(Embodied AI)」の安全リスクを調査する。
  • 身体性システムは、センサの不確実性、知識の不完全さ、変化する人とロボットの相互作用によって失敗が直接的な物理的危害につながりうるため、デジタルAIと比べて特有に危険である点を強調している。
  • 著者らは、知覚・認知から計画・行動・相互作用まで、身体性AIの全処理パイプラインにまたがって攻撃と防御を整理する「多層タクソノミー(分類体系)」を提案する。
  • 400件超の論文に基づき、敵対的攻撃、バックドア、ジェイルブレイク、ハードウェア攻撃などへの取り組みと、検出・安全な学習・頑健な推論の手法を統合してまとめている。
  • 未だ十分に掘り下げられていない課題として、多モーダル知覚融合の脆弱性、ジェイルブレイク攻撃下での計画の不安定さ、そしてオープンエンドな状況での人とエージェントの相互作用の信頼性に関する難しさを挙げている。

Abstract

身体性を備えた人工知能(Embodied Artificial Intelligence; Embodied AI)は、知覚、認知、計画、そして相互作用を統合し、オープンワールドで安全性が重要となる環境において動作するエージェントへと組み込みます。これらのシステムが自律性を高め、輸送、医療、ならびに産業用または支援用ロボティクスといった領域へと進出するにつれて、その安全性を確保することは技術的に難しくなるだけでなく、社会的にも不可欠になります。デジタルAIシステムとは異なり、身体性エージェントは、不確実なセンシング、不完全な知識、そして動的な人とロボットの相互作用のもとで行動しなければなりません。このとき、失敗は直接的に身体的な危害につながり得ます。本調査は、身体性AIにおける安全性研究を、包括的かつ体系的にレビューします。知覚と認知から、計画、行動、相互作用、そしてエージェント型システムに至るまで、身体性パイプライン全体にわたって、攻撃と防御を検討します。さらに、断片化した研究の流れを統合し、身体性に特化した安全性の知見を、視覚、言語、マルチモーダル基盤モデルに関するより広範な進展へと接続する、多層レベルのタクソノミーを提案します。本レビューは、敵対的、バックドア、ジェイルブレイク、そしてハードウェアレベルの攻撃を対象とする400本以上の論文から得られる洞察を統合し、攻撃検出、安全な学習、頑健な推論、ならびにリスクに配慮した人とエージェントの相互作用を扱います。この分析により、いくつかの見落とされがちな課題が明らかになります。たとえば、マルチモーダル知覚融合の脆弱性、ジェイルブレイク攻撃下での計画の不安定さ、そしてオープンエンドなシナリオにおける人とエージェントの相互作用の信頼性です。本調査は、分野を首尾一貫した枠組みに整理し、重要な研究ギャップを特定することで、能力と自律性だけでなく、現実世界での導入において安全で、頑健で、信頼できる身体性エージェントを構築するためのロードマップを提供します。