空間推論と行動の間にあるギャップに注意！Spatial-Gymで行うエージェントの段階的評価

要旨: 空間推論はナビゲーションやロボティクスの中核ですが、これらのタスクにおけるモデルの能力を測定することは依然として難しいです。既存のベンチマークはワンショット設定でモデルを評価しており、単一の応答内で完全な解答生成が必要である一方、人間は対話的な環境で段階的に作業します。私たちは、Spatial-Gym を導入します。これは Gymnasium 環境であり、2Dグリッドのパズルにおける経路探索を、オプションでバックトラッキングを伴う逐次意思決定タスクとしてテストすることで、空間制約推論を切り離して評価します。8つのモデルを3つの設定（ワンショット、段階的、段階的かつバックトラッキングあり）で、人間・ランダム・A* の基準手法と、500エピソードに対して比較評価します。最良のモデルである GPT-OSS 120B は、解答率 16.0% を達成し、人間の基準（98.0%）から 82 ポイント下回りました。段階的な形式は、書式エラーを取り除くことで弱いモデル（最大 +5.4%）を助けますが、グローバルな計画を制約することで強いモデル（最大 5.6%）には不利に働きます。バックトラッキングはエピソード完了を改善しますが、解答率が伸びるのは弱いモデルに限られます。強いモデルはほとんどバックトラッキングせず、それによる恩恵もありません。私たちの実験には3つの主要な発見があります。（1）モデルは推論のための努力を難易度に応じてスケールできない、（2）空間環境の画像を受け取る視覚モデルは解答率を 73% 減少させる、（3）拡張された chain-of-thought（思考の鎖）推論は、段階的な設定であっても標準的な推論より 3〜5 倍の精度優位を保つ。Spatial-Gym は、モデルの限界を診断し、強化学習によって空間推論を改善するための枠組みを提供します。