適応的検出器蒸留のための学習可能なインスタンス注意フィルタリング

Abstract

より高い性能を達成するために深いビジョンモデルがますます複雑化するにつれ、デプロイメントの効率は重要な懸念となっています。知識蒸留（KD）は、大規模な教師モデルの知識を小型の生徒モデルへ転移することでこの問題を緩和します。多くの特徴ベースのKD手法は、空間フィルタリングにより蒸留を導くことに依存していますが、一般にはすべての物体インスタンスを一様に扱い、インスタンスレベルの変動を無視しています。さらに、既存の注意フィルタリング機構は、通常ヒューリスティックまたは教師主導であり、生徒によって学習されるものではありません。これらの制限に対処するために、本研究では、適応的な検出器蒸留のための学習可能なインスタンス注意フィルタリング（Learnable Instance Attention Filtering for Adaptive Detector Distillation; LIAF-KD）を提案します。これは、蒸留中にインスタンスの重要度を動的に評価し再重み付けする、学習可能なインスタンスセレクタを導入する新しい枠組みです。注目すべき点として、このプロセスは生徒の変化する学習状態に基づいて行われます。KITTIおよびCOCOデータセットでの実験により、一貫した改善が示されます。追加の複雑さを伴わずにGFLのResNet-50生徒で2%の向上が得られ、最先端手法を上回ります。