世界モデルにおける安全性・セキュリティ・認知リスク

要旨: 世界モデル――環境ダイナミクスの学習された内部シミュレータ――は、ロボティクス、自動運転車、エージェント型AIにおける自律的な意思決定のための基盤として急速に確立しつつあります。しかし、この予測能力は、特有の安全性・セキュリティ・認知上のリスクの一群も同時に引き込みます。攻撃者は学習データを改ざんし、潜在表現を毒し、さらにロールアウト誤差の増幅を悪用して、安全性がクリティカルな導入で壊滅的な失敗を引き起こし得ます。世界モデルを備えたエージェントは、自身の行動の帰結をシミュレートできるため、目標の誤一般化、欺瞞的アラインメント、そして報酬ハッキングがより高い精度で可能になります。さらに、権威ある世界モデルの予測は、オペレータが監査するための手段を欠くことから、自動化バイアスと、人間の信頼の誤校正（ミスキャリブレーション）を助長します。
本論文は世界モデルの全体像を調査し、軌跡の持続性と表現上のリスクに関する形式的な定義を提示し、5つのプロファイルからなる攻撃者の能力分類（タクソノミー）を導入し、MITRE ATLASおよびOWASP LLM Top 10を世界モデルのスタックへ拡張する統一的な脅威モデルを構築します。軌跡持続型の敵対的攻撃に関する実証的な概念実証を提供します（GRU-RSSM: A_1 = 2.26x 増幅、敵対的ファインチューニング下で -59.5% 減少；確率的RSSMプロキシ: A_1 = 0.65x；DreamerV3チェックポイント: 非ゼロのアクション・ドリフトを確認）。
4つの導入シナリオを通じてリスクを例示し、敵対的ハードニング、アラインメント工学、NIST AI RMFおよびEU AI Actのガバナンス、そして人間工学的（ヒューマンファクター）設計にまたがる学際的な緩和策を提案します。著者らは、世界モデルは、飛行制御ソフトウェアや医療機器と同じ厳密さをもって扱われるべき、安全性がクリティカルなインフラストラクチャであると主張します。