GeoAlign：MLLMの空間推論のための幾何学的特徴再配置

Abstract

マルチモーダル大規模言語モデル（MLLM） はさまざまな視覚タスクで目覚ましい性能を示している一方、空間推論ではいまだに困難を抱えています。近年の取り組みでは、3D基盤モデルからの幾何学的特徴を注入することでこの問題を緩和していますが、静的な単一層の抽出に依存しています。私たちは、このようなアプローチがタスク不一致のバイアスを生むことを見出しました。すなわち、幾何学的特徴は自然に3D事前学習の目的へ向かって進化するため、MLLMが必要とする異種の空間的要求と矛盾する可能性があります。その結果、いかなる単一層も本質的に不十分になり得ます。これを解決するために、実際の要求に合わせて再整列するために、複数層の幾何学的特徴を動的に集約する新しい枠組み GeoAlign を提案します。GeoAlign は階層的な幾何学的特徴バンクを構築し、MLLMの元の視覚トークンをコンテンツに応じたクエリとして用いることで、層ごとのスパース・ルーティングを行います。これにより、各パッチに対して適切な幾何学的特徴を適応的に取得します。VSI-Bench、ScanQA、および SQA3D に対する大規模な実験により、コンパクトな 4B モデルであっても、既存のより大きな MLLM を上回ることさえあるなど、最先端の性能を効果的に達成できることを示します。