身体化エージェントによるセマンティック・シーン・グラフ生成のための強化学習ベースのナビゲーションの近代化

抄録: セマンティック・ワールドモデルは、身体性を備えたエージェントが、純粋に幾何学的な表現を超えて、対象物・関係・空間的文脈について推論できるようにします。オーガニック・コンピューティングにおいて、このようなモデルは、不確実性と資源制約のもとで、目的駆動型の自己適応を実現するための重要な実現要因です。主要な課題は、限られた行動予算内で、モデルの品質と下流での有用性を最大化する観測を獲得することです。
セマンティック・シーングラフ（SSG）は、この目的に適した、構造化されコンパクトな表現を提供します。しかし、有限の行動ホライゾン内でそれらを構築するには、情報獲得とナビゲーションコストのトレードオフを行い、追加の行動がどこで逓減する効果（限界利益）をもたらすのかを判断する探索戦略が必要です。
本研究では、身体性を備えたセマンティック・シーングラフ生成（Embodied Semantic Scene Graph Generation）のためのモジュール式ナビゲーション・コンポーネントを提示し、ポリシー最適化手法を置き換え、離散行動の定式化を見直すことで意思決定を近代化します。コンパクトで、よりきめ細かく、かつより大きな離散移動集合を検討し、原子（atomic）行動に対する単一ヘッドのポリシーと、行動成分に対する因数分解されたマルチヘッドのポリシーを比較します。カリキュラム学習と、任意の深度ベースの衝突監督を評価し、SSGの完全性、実行の安全性、ならびにナビゲーション挙動を評価します。
結果は、最適化アルゴリズムを置き換えるだけでも、同一の報酬成形（reward shaping）のもとで、ベースラインに比べてSSG完全性が21\%向上することを示しています。深度は主に実行の安全性（衝突のない運動）に影響し、完全性はほとんど変わりません。近代的な最適化と、よりきめ細かな因数分解された行動表現を組み合わせることで、最も強い全体的な完全性—効率性のトレードオフが得られます。