幾何学を導くGUIDE：マルチモーダルLLMにおける幾何学的プリオルの層ごとのアンローリング
arXiv cs.CV / 2026/4/8
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、2Dには強い一方で実世界の映像処理における物理的な空間認識が弱いマルチモーダルLLM（MLLM）に対し、幾何学的プリオル（geometric priors）をより効果的に統合する手法を提案しています。
- 従来の「単一の深い層からの抽出＋入力レベルのフュージョン」による情報のフラット化が、局所幾何の損失や初期層での意味ミスマッチを招くボトルネックになると指摘しています。
- 提案手法GUIDE（Geometric Unrolling Inside MLLM Early-layers）では、幾何学エンコーダ内で多段階のサンプリングを行い、エッジから大域トポロジまでの多粒度特徴を得たうえで、MLLMの初期層へ段階的にアライン＆フュージョンします。
- さらに、文脈に応じて必要な空間手がかりを取得するcontext-aware gatingを導入し、空間プリオルの有効活用と冗長な幾何ノイズの抑制を両立させます。
- 実験では、GUIDEが複雑な空間推論・知覚タスクで既存ベースラインを大きく上回り、3D幾何プリオルを大規模モデルへ統合する新しいパラダイムを示したとしています。
