探索と認識のための4D情報に基づくリトリーバルを用いたアクティブなワールドモデル

要旨: 身体的な気づき、特に大規模で動的な環境においては、空間・時間・スケールにわたる観測可能性（オブザーバビリティ）を決定する「センシングの意思決定」によって形成され、また観測はそのセンシングの意思決定の質に影響を与えます。このループ状の情報構造により、身体的な気づきは、部分観測を伴う基礎的に難しい意思決定問題となっています。過去10年の間に、完全観測のもとでの強化学習（RL）の前例のない成功を目の当たりにしてきましたが、POMDPのような部分観測下の意思決定問題は、依然として大部分が未解決です。現実世界での探索は過度にコストが高く、さらにシミュレーションから実世界への移行（sim-to-real）パイプラインでは観測されない視点の影響を受けます。我々は、探索のための「センシングのクエリ」に対して、センサネイティブな代理環境を提供する、気づき中心の生成型ワールドモデルであるAW4RE（探索のための4Dに基づくリトリーバルを備えたアクティブ・ワールドモデル）を提案します。AW4REは、要求されたセンシング行動を条件として、その行動条件付きの観測プロセスを推定します。これは、4Dに基づく証拠のリトリーバル、時間的な一貫性を伴う行動条件付きの幾何学的サポート、そして条件付きの生成完了を組み合わせることで実現します。実験により、AW4REは、極端な視点変化、時間的なギャップ、そして疎な幾何学的サポートの下で、幾何学を意識した生成ベースラインよりも、より根拠のある一貫した予測を生成することが示されます。