要旨: 大規模言語モデルがタスク計画や制御のための自律ロボットシステムに統合されるにつれ、侵害された入力や安全でないモデル出力が計画パイプラインを通じて物理世界にまで波及する可能性があります。先行研究では、ロボットのサイバーセキュリティ、敵対的知覚攻撃、LLMの安全性がそれぞれ個別に研究されてきましたが、既存の研究は、これらの脅威カテゴリがどのように相互作用し、統一されたアーキテクチャモデルにおいて信頼境界を越えて伝播するのかを追跡したものはありません。本研究では、このギャップを埋めるために、エッジ・クラウド・アーキテクチャ上でLLMが有効化された自律ロボットを階層型データフロー図(DFD)としてモデル化し、従来型サイバー脅威・敵対的脅威・会話型脅威の3分類タクソノミーを用いて、境界を越える6つの相互作用ポイントに対し、STRIDEを相互作用ごとに適用する分析を行います。その結果、これらのカテゴリは同一の境界越え箇所で収束することが分かり、外部の侵入ポイントから安全でない物理的作動へ至る3つの越境型攻撃チェーンを追跡しました。各チェーンは、異なるアーキテクチャ上の性質を明らかにします。すなわち、ユーザ入力とアクチュエータ送出の間に独立したセマンティック検証が存在しないこと、視覚知覚から言語モデルの指示へのクロスモーダル翻訳が行われること、そしてプロバイダ側のツール利用による仲介なしの境界越えがなされることです。筆者らの知る限り、本研究は、LLMが有効化されたロボットシステムの知覚—計画—作動の全パイプラインにわたって3つの脅威カテゴリを統合し、DFDベースで脅威分析を行った最初の研究です。
プロンプトから物理アクチュエーションへ:LLM対応ロボットの統合的スレットモデリング
arXiv cs.RO / 2026/5/1
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、LLMが自律ロボットのタスク計画や制御に組み込まれると、不正な入力や安全でない出力が意思決定パイプラインを通じて現実の物理的結果につながり得ると警告しています。
- エッジ・クラウド構成のLLM対応自律ロボットを対象に、階層型データフロー図(DFD)と「相互作用ごとの」STRIDE分析を用いた統一的な脅威モデリングを提案しています。
- 従来型サイバー脅威・敵対的脅威・会話型脅威の分類に基づき、6つの境界をまたぐインタラクション点で分析した結果、これらの脅威カテゴリが同一の境界箇所で収束することを示しています。
- 外部の侵入口から危険なアクチュエーションへ至る3つのクロスバウンダリ攻撃連鎖を追跡し、意味的バリデーション欠如、視覚から言語モデル指示へのクロスモーダル変換のリスク、プロバイダ側ツール利用での媒介不足といった設計上の弱点を明らかにしています。
- 本研究は、LLM対応ロボットの知覚→計画→作動(アクチュエーション)までを対象に、3種類の脅威カテゴリを統合してDFDベースで分析した初の試みだと主張しています。
![[はじめてのnote]人間はAIにどこまで任せられるのか。](/_next/image?url=https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F272323116%2Frectangle_large_type_2_cdc23772da0af48754759e5922c4bfc5.png%3Fwidth%3D219%26dpr%3D2%26frame%3D1%26format%3Djpg&w=3840&q=75)



