ポストトレーニング量子化による効率的なデータセット凝縮

要約：データセット凝縮（DC）は、大規模なデータセットから小規模なデータセットへ知識を蒸留し、トレーニングを加速させ、ストレージ要件を削減します。しかし、顕著な進歩にもかかわらず、従来の手法はストレージコストをさらに削減する量子化の可能性を大きく見落としてきました。本論文では、データセット凝縮におけるポストトレーニング量子化を探る第一歩を踏み出し、昂貴なトレーニングコストを要求することなく、表現品質を維持しつつストレージサイズを削減する効果を示します。しかし、非常に低ビット幅（例：2ビット）では、従来の量子化は表現品質の大幅な劣化を招き、これらのデータで訓練されたネットワークに悪影響を及ぼします。これに対処するため、局所的な情報損失を最小限に抑えた局所的な量子化を保証する新規の \emph{パッチベースのポストトレーニング量子化} アプローチを提案します。量子化パラメータのオーバーヘッドを低減するため、特に小さなパッチサイズに対して、同一性の高いパッチを識別する \emph{quantization-aware clustering}（量子化対応クラスタリング）を用い、それらを効率的な量子化のために統合します。さらに、元画像とデクアント化後の対応画像との分布を揃えるための refinement モジュールを導入し、量子化誤差を補償します。私たちの手法は、さまざまな DC 手法によって生成された合成画像に適用可能な、プラグアンドプレー型のフレームワークです。CIFAR-10/100、Tiny ImageNet、ImageNet のサブセットを含む多様なベンチマークでの広範な実験により、我々の手法が同じストレージ制約の下で従来手法を一貫して上回ることが示されています。特に、本手法は極端な圧縮レジームにおいて既存手法のテスト精度をほぼ \textbf{2倍} にします（例：DM で IPC=1 の場合、26.0\% ightarrow 54.1\%）、追加の蒸留を行わずに2ビット画像上で直接動作します。