3D-IDE：3D インプリシット・デプスの創発

要旨: マルチモーダル大規模言語モデル（MLLM）内で3D情報を活用することは、屋内シーン理解において最近大きな利点を示してきました。しかし、既存手法は、明示的なグラウンドトゥルースの3D位置エンコーディングを用いるものや、暗黙的なジオメトリのために外部の3D基盤モデルを移植するものを含め、2D-3D表現融合におけるトレードオフの問題から、最適とはいえないデプロイにつながっています。そこで本研究では、3D知覚を、明示的なエンコーディングではなく幾何学的な自己教師あり学習から生じる創発的性質として捉え直す手法「3D-Implicit Depth Emergence（3D-暗黙深度の創発）」を提案します。私たちの中核となる洞察は、暗黙幾何学的創発原理（Implicit Geometric Emergence Principle）です。細粒度のジオメトリ・バリデータやグローバルな表現制約といった仕組みを通じて、特権的な幾何学的監督を戦略的に活用することで、情報ボトルネックを構築します。このボトルネックは、視覚特徴と3D構造の間の相互情報量を最大化することをモデルに強制し、統一された視覚表現の中で3Dの気づきが自然に創発するようにします。既存のアプローチとは異なり、本手法では3D知覚が暗黙的に創発することができ、密な領域における特徴の分離を可能にし、さらに重要な点として、推論時に深度およびポーズへの依存を排除しつつ、ゼロのレイテンシ・オーバーヘッドで実現します。外部の移植から暗黙的な創発へのこのパラダイム転換は、視覚言語モデルにおける3D知識統合の根本的な再考を表します。広範な実験により、本手法が複数の3Dシーン理解ベンチマークにおいてSOTAを上回ることを示します。本手法は、多様な下流タスクにわたって強い性能を維持しながら、推論レイテンシを55%削減します。依存のない3D理解のために、綿密に設計された補助目的の有効性が裏付けられます。ソースコードはgithub.com/ChushanZhang/3D-IDEで入手できます。