ViTベースのスパースなマルチビュー3Dオブジェクト検出を加速するためのトークン圧縮の再検討

要旨: Vision Transformer（ViT）ベースの疎（sparse）なマルチビュー3D物体検出器は目覚ましい精度を達成していますが、重いトークン処理により推論レイテンシが高いという課題がまだ残っています。このモデルを高速化するために、トークン圧縮が広く検討されてきました。しかし、トークンプルーニング、マージ、パッチサイズの拡大といった既存の戦略を再検討したところ、それらはしばしば有益な背景の手がかりを捨ててしまい、文脈の一貫性を損ない、微細な意味（fine-grained semantics）を失うことで、3D検出に悪影響を及ぼすことがわかりました。これらの制約を克服するために、我々はSEPatch3Dという新しい枠組みを提案します。この枠組みでは、粗いパッチ内において重要な意味情報を保持しつつ、パッチサイズを動的に調整します。具体的には、近接する物体を含むシーンには微細な詳細を保持するため小さなパッチを割り当て、背景が支配的なシーンには計算コストを削減するため大きなパッチを割り当てる、時空間を考慮したパッチサイズ選択（Spatiotemporal-aware Patch Size Selection: SPSS）を設計します。潜在的な詳細の損失をさらに抑えるために、Informative Patch Selection（IPS）が特徴の精緻化（feature refinement）のための有益なパッチを選択し、Cross-Granularity Feature Enhancement（CGFE）が選択された粗いパッチに微細な詳細を注入することで、意味的特徴を豊かにします。nuScenesおよびArgoverse 2の検証セットでの実験では、SEPatch3DはStreamPETRのベースラインに比べて最大で extbf{57}より高速な推論を達成し、最先端のToC3D-fasterに比べて extbf{20}高い効率を示しながら、同等の検出精度を維持することが示されました。コードはhttps://github.com/Mingqj/SEPatch3Dで公開されています。