2Dか3Dか：VLAモデルにおけるサリエンスを支配するのは誰か？――モダリティのサリエンス認識に基づく3段階トークンプルーニングフレームワーク

Abstract

視覚-言語-行動（VLA）モデルは、身体性のある知能の主流として登場してきました。近年のVLAモデルは、入力モダリティを2Dのみから2D+3Dパラダイムへと拡張し、多視覚モダリティVLA（MVLA）モデルが形成されました。空間認識の向上を達成している一方で、MVLAはモダリティ拡張によって増加した入力トークン数により、より大きな加速要求に直面しています。トークン・プルーニングは、MVLAモデルに特化した効果的な最適化手法です。しかし、既存のトークン・プルーニング方式は2DのみのVLAモデル向けに設計されており、2D/3Dモダリティの重要度（salience）の違いを無視しています。本論文では、MVLAモデルにおけるマルチモーダルデータの適用プロセスに従い、2D/3Dモダリティの重要度の不一致とダイナミクスを捉えるための三段階の分析を開発します。これに基づき、2D/3Dの最適なトークン選択と効率的なプルーニングを実現するための、対応する三段階トークン・プルーニングの枠組みをMVLAモデル向けに提案します。実験の結果、当該枠組みは、精度の損失を最小限に抑えつつ、最大2.55倍の推論速度向上を達成し、オーバーヘッドはわずか5.8%に留まることが示されました。コードはまもなく公開予定です。