正確かつ較正された分類に向けて：生成的観点からの交差エントロピーの正則化
arXiv cs.LG / 2026/4/9
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、深層学習における分類の根本的な課題を扱っている。すなわち、モデルは高い精度を達成する一方で、確率推定が不十分に較正（過信）されがちであり、この問題はしばしば負の対数尤度（NLL）の過剰適合に関連している。
- そこで、生成的観点からの交差エントロピーの再定式化である Generative Cross-Entropy（GCE）を提案する。GCEは p(x|y) を最大化し、クラス単位の信頼度に関する正則化項を追加することで、弱い条件の下で厳密に適切（strictly proper）であることを保つ。
- CIFAR-10/100、Tiny-ImageNet、ならびに医療画像ベンチマークでの実験により、GCEは標準的な交差エントロピーと比べて精度と較正の両方を改善し、特に長い裾をもつクラス分布（long-tailed class distributions）下で効果が顕著であることが示される。
- GCEを適応的な区分的温度スケーリング（ATS）と組み合わせることで、GCEは較正性能を focal loss の派生手法と同等の水準まで高める。さらに、これらの手法にしばしば見られる精度低下を伴わない。
