ドリフティングモデルにおけるサブサンプリングバイアスの解析的補正
arXiv cs.LG / 2026/5/1
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 本論文は、ドリフティング型のワンステップ生成モデルにおいて、ミニバッチでのサンプルによりセントロイドを近似すると、softmaxの自己正規化が原因で推定が一般に偏り、点ごとのバイアスがO(1/n)になることを示しています。
- 全分布にわたる期待値を用いた厳密な補正は計算困難であるため、著者らはバッチ内統計から見積もる閉形式のプラグイン補正としてAnalytical Bias Correction（ABC）を提案します。
- 理論的には、ABCによりバイアスのスケーリングをO(1/n)からO(1/n^2)へ低減でき、総分散は一次の範囲で増加せず、補正後のセントロイドが元の凸包（convex hull）に収まることも示されます。
- おもちゃ実験およびCIFAR-10での実験により、理論どおりのO(1/n)・O(1/n^2)の挙動が確認され、特にミニバッチサイズnが小さい場合にFID改善と学習の高速化が得られることが報告されています。
