Efficient3D：3D MLLMにおける適応的かつデバイアスされたトークン削減のための統一フレームワーク

要旨: 多モーダル大規模言語モデル（MLLMs）の最近の進展により、推論能力が3D領域へと拡張され、きめ細かな空間理解が可能になりました。しかし、3D MLLMsの大規模さと入力特徴の高い次元性は、かなりの推論オーバーヘッドを引き起こし、その結果、リソースが制約されたプラットフォームでの実用的な展開を制限しています。この制約を克服するため、本論文は、視覚トークンのプルーニングを加速する統一的フレームワークであるEfficient3Dを提案し、競争力のある精度を維持しつつ3D MLLMsを高速化します。提案フレームワークは、注意の集約において浅い初期層の影響を考慮する、Debiased Visual Token Importance Estimator（DVTIE）モジュールを導入し、それによって視覚トークンの重要度予測をより信頼性の高いものにします。さらに、Adaptive Token Rebalancing（ATR）戦略を開発し、シーンの複雑さに応じてプルーニングの強度を動的に調整することで、意味の完全性を保持しつつ、層間での注意をバランスよく維持します。これらにより、必須の意味を低計算量で維持したまま行える、文脈に応じたトークン削減が実現されます。ScanRefer、Multi3DRefer、Scan2Cap、ScanQA、SQA3Dを含む5つの代表的な3Dビジョンと言語のベンチマークで実施した包括的な実験の結果、Efficient3Dは、非プルーニングのベースラインと比較して優れた性能を達成し、Scan2CapデータセットでCIDErが+2.57%向上しました。したがって、Efficient3Dは、3D MLLMsにおける効率的な推論のためのスケーラブルで効果的な解決策を提供します。コードは以下で公開されています: https://github.com/sol924/Efficient3D