鋭すぎる、確信しすぎる：曲率に続くキャリブレーション

要旨: 現代のニューラルネットワークは、高い精度を達成しつつも校正（キャリブレーション）が不十分であることがあり、その結果、信頼度推定が経験的な正しさと一致しません。しかし校正はしばしば事後的（ポストホック）な属性として扱われがちです。本研究では別の観点を取ります。すなわち、小規模な視覚タスクにおいて、校正を訓練時の現象として調べ、訓練手順に介入することで校正された解が確実に得られるかどうかを問いにします。複数の勾配ベース手法による深いネットワークの訓練中において、校正・曲率・マージンの間には密接な結びつきがあることを見出します。経験的には、期待校正誤差（Expected Calibration Error; ECE）が、最適化の過程を通じて曲率に基づく鋭さ（sharpness）と非常によく追随することを確認しました。数学的には、ECE とガウス―ニュートン（Gauss--Newton）曲率の双方が、問題固有の定数までの範囲で、軌道に沿った同じマージン依存の指数テール汎関数によって制御されることを示します。この機構に導かれて、頑健なマージンのテールと局所的な滑らかさを明示的に狙う、マージンを考慮した訓練目的関数を導入します。これにより、精度を犠牲にすることなく、オプティマイザ間で外挿（out-of-sample）の校正が改善されます。