弱者から強者への知識蒸留が視覚学習を加速する
arXiv cs.CV / 2026/4/20
📰 ニュースModels & Research
要点
- この論文は、通常の「強い教師→弱い生徒」ではなく、弱い教師を用いて強い生徒の学習を加速する新しい知識蒸留戦略を提案しています。
- 弱い教師を凍結し、蒸留を学習の序盤のみに適用したうえで、生徒が教師レベルに到達またはそれを超えた時点で蒸留を無効化する“プラグアンドプレイ”な手順を示します。
- ImageNetおよびCIFARの分類実験では、目標到達が大幅に早まり、エポック換算で最大4.8倍の高速化が得られたと報告されています。
- この手法はCOCOでの物体検出（エポックで1.7倍）やCIFAR-10での拡散生成（ステップで目標FID到達が2.5倍早い）など、他のタスクにも一般化するとされています。
- 結果として、本手法は視覚学習における普遍的なトレーニング高速化メカニズムになり得ることが示されています。
