FD$^2$:きめ細かなデータセット蒸留のための専用フレームワーク

概要: データセット蒸留（DD）は、大規模な学習データセットを小さな合成データセットへと圧縮し、保存コストおよび学習コストを削減するものであり、一般的なベンチマークで強い結果を示してきました。デカップルドDD（Decoupled DD）は、パイプラインを事前学習、サンプル蒸留、ソフトラベル生成に分割することで、さらに効率を高めます。しかし、既存のデカップルド手法は主に粗いクラスラベルの教師信号に依存しており、各クラス内のサンプルをほぼ同一の方法で最適化することが多いです。微細粒度（fine-grained）データセットでは、このことがしばしば、（i）クラス内の大きなばらつきは維持する一方でクラス間の差が微細な蒸留サンプルを生成し、さらに（ii）同一クラス内でサンプルが過度に類似してしまう結果につながり、局所的な識別手がかりが制限され、認識性能を低下させます。上述の問題を解決するために、我々は微細粒度データセット蒸留（Fine-grained Dataset Distillation）専用の枠組みFD^{2}を提案します。FD^{2}は、識別領域を局所化し、蒸留のための微細粒度表現を構築します。事前学習の間、反事実的注意（counterfactual attention）の学習により識別表現を集約し、クラスのプロトタイプを更新します。蒸留の間では、微細粒度の特性制約が各サンプルをそのクラスのプロトタイプに整合させる一方で他を退け、さらに類似度制約により同一クラス内のサンプル間で注意を多様化します。複数の微細粒度および一般データセットでの実験により、FD^{2}がデカップルドDDとシームレスに統合され、多くの設定で性能を向上させることが示されており、強い転移可能性を示しています。