完全に真実なカリブレーション指標

要旨: キャリブレーションには、予測が条件付きで不偏であることが必要であり、したがって確率として確実に解釈可能である必要がある。キャリブレーション指標は、予測器が完全なキャリブレーションからどれだけ離れているかを定量化する。Haghtalab ら（2024）によって導入されたように、キャリブレーション指標が「真実性（truthful）」を持つとは、予測器がグラウンドトゥルースの確率を出力するときに、その指標が期待値のもとで最小化されることを指す。真の確率を予測すれば完全なキャリブレーションは保証されるが、現実には、キャリブレーションをランダムサンプルで評価すると、既知のすべてのキャリブレーション指標が、予測器に対して、よりキャリブレートされて見えるために嘘をつくことを促す。こうした真実性の欠如により、Haghtalab ら（2024）および Qiao と Zhao（2025）は逐次予測設定において、概ね真実的なキャリブレーション指標を構成することを動機づけられたが、より基本的なバッチ設定でも、完全に真実的なキャリブレーション指標は知られていなかった。
我々はバッチ設定において、単純で、完全かつ厳密に真実的で、健全で、かつ完全なキャリブレーション指標を設計する：平均化された二分割ビンキャリブレーション誤差（ATB）。ATB は、既存の2つのキャリブレーション指標であるスムーズキャリブレーション誤差 smCal と、キャリブレーションからの下側距離 distCal に二次的に関係している。ATB の定義の単純さにより、それは効率的で計算が容易であり、Hu ら（2024）の結果を改善して、初の線形時間のキャリブレーション検定アルゴリズムを提示できる。また、独立な確率変数の分散加法性に基づいて真実的な指標を構成する一般的なレシピも導入する。これにより、ATB の真実性が特殊ケースとして証明され、さらに quantile-binned l_2-ECE のような他の真実的なキャリブレーション指標も構成できる。