視界外エンボディド・エージェント：マルチモーダル追跡、センサーフュージョン、軌道予測

要旨: 軌道予測は、コンピュータビジョン、視覚言語行動モデル、ワールドモデル、自律システムにおける基礎的な問題であり、自動運転、ロボティクス、監視に幅広い影響を与えます。しかし、既存のほとんどの手法は完全でクリーンな観測を前提としているため、限られたカメラのカバレッジ、遮蔽、そして正解（ground-truth）のノイズ除去済み軌道が存在しないことによって生じる、見えない（out-of-sight）エージェントやノイジーなセンシング信号を十分に扱えていません。これらの課題は安全性に関する懸念を引き起こし、実運用における頑健性を低下させます。本拡張研究では、ノイズのあるセンサ観測から見えない対象のノイズフリーな視覚軌道を予測するための課題である「見えない軌道（Out-of-Sight Trajectory: OST）」に対して、大幅な改良を導入します。先行研究を踏まえ、見えない軌道予測（Out-of-Sight Trajectory Prediction: OOSTraj）を歩行者から歩行者と車両の両方へ拡張し、自動運転、ロボティクス、監視への関連性を高めます。改良した「視覚・位置決めノイズ除去モジュール（Vision-Positioning Denoising Module）」は、カメラのキャリブレーションを活用して視覚と位置の対応関係を確立し、直接的な視覚手がかりの欠如を緩和することで、ノイジーなセンサ信号の効果的な教師なしノイズ除去を可能にします。Vi-FiおよびJRDBのデータセットに対する大規模な実験により、本手法は軌道のノイズ除去と軌道予測の両方で最先端（state-of-the-art）の結果を達成し、従来のベースラインに対して明確な改善が示されます。また、カルマンフィルタリングを含む古典的なノイズ除去手法と比較し、さらに最近の軌道予測モデルをこの設定に適応することで、より強固なベンチマークを確立します。私たちの知る限り、本研究は視覚・位置決めの射影を用いて、見えないエージェントのノイジーなセンサ軌道をノイズ除去する最初の試みであり、今後の研究に向けた新たな方向性を切り拓きます。