マルチ視点推論のためのアクティブ3Dシーン探索によるMLLMの空間理解の強化

要旨: マルチモーダル大規模言語モデルは目覚ましい進歩を遂げている一方で、2Dの視覚的な事前知識への依存により、複雑な3D空間推論では依然として苦手です。既存の手法はこの制約を通常、限られた3Dデータセットに対する計算コストの高い事後学習手続きによって緩和するか、あるいは明示的な幾何学的理解や視点の柔軟性を欠く、硬直的なツール呼び出しメカニズムによって緩和するかのいずれかで対応しています。これらの課題に対処するために、明示的な3D再構成に基づく extit{学習不要（training-free）}の枠組みとして、Visual Chain-of-Thoughtメカニズムを提案します。提案するパイプラインは、まず、MLLMに導かれたキーワード抽出と複数の粒度でのマスク生成を用いて、単一画像から高精細な3Dメッシュを再構成します。続いて、この枠組みは外部の知識ベースを活用し、最適なカメラ外部パラメータを反復的に計算し、新しい視点を合成することで、人間の視点の取り方（perspective-taking）を模倣します。大規模な実験の結果、提案手法は空間理解を大幅に向上させることが示されました。具体的には、この枠組みは、3DSRBenchやRel3Dといった主要ベンチマークにおいて、 extit{GPT-5.2}や extit{Gemini-2.5-Flash}を含む、専用の空間モデルおよび汎用のMLLMを上回ります。