Continual Calibration：生涯にわたるLLM微調整で「精度」より先に「カバレッジ」が崩壊する

要旨: 大規模言語モデルに対する継続学習は、通常、逐次的な微調整における精度の保持（accuracy retention）によって評価されます。私たちは、この見方は不完全だと主張します。というのも、不確実性の信頼性（uncertainty reliability）は、トップ1の性能（top-1 performance）よりも前から、かつより鋭く劣化し得るからです。私たちはこれを実証的に調べ、3つのモデルファミリーと、主に分類および多肢選択のベンチマークから引いた8つのタスク系列にわたって、逐次微調整されたモデル上で、共形（conformal）のカバレッジとキャリブレーション誤差を測定しました。私たちが調べた分類スタイルの設定では、平均においてカバレッジ損失は精度損失を約 \(3.4\times \pm 0.5\times\) の倍率で上回ります。最も顕著な場合には、カバレッジは \(0.92\) から \(0.61\) に低下する一方で、精度はベースラインから3ポイント以内に留まります。精度を保持することを目的とした標準的な継続学習手法は、カバレッジを自動的には保持しません。また、単純なキャリブレーションのベースラインでは、そのギャップの一部しか回復できません。そこで私たちは、キャリブレーション・リプレイ（calibration replay）という軽量な事後（post-hoc）手続を提案します。これは、タスク固有の保持用バッファを維持し、各更新の後に現在のモデルのもとでタスク固有の共形閾値（conformal threshold）を再調整（refit）します。学習時の勾配計算コストは追加せず、通常の経験リプレイのメモリ使用量の1%未満で済み、一般に、バッファサイズ \(m = 200\) で公称値（nominal）に対してカバレッジを2ポイント以内まで回復します。私たちは、実証研究に加えてドリフトの分解（drift decomposition）と、交換可能性（exchangeability）の下での厳密な共形妥当性（exact conformal validity）を示す有限標本回復定理、さらに、プールした閾値ではなぜ不十分なのかを説明する混合妥当性（mixture-validity）の命題を添えています。保証は、タスク固有バッファを用いる分類スタイルのタスクに対して述べます。開放端の生成（open-ended generation）への拡張は探索的です。