CLAPS:最終層ラプラスによるラレアトリック・エピステミック・スケーリングを用いた共形回帰

arXiv stat.ML / 2026/5/6

💬 オピニオンIdeas & Deep AnalysisModels & Research

要点

  • この論文は、共形回帰の限界に焦点を当てています。共形回帰は有限標本での周辺的カバレッジ保証を与える一方、入力の不均一性に応じて予測区間の幅をどう適応させるかは自明ではありません。
  • CLAPS(Conformal Laplace-Aware Predictive Scaling)として、分割共形回帰の手法を提案し、ヘテロスケダス(入力依存)な最終層ラプラス不確実性を局所的な正規化スケールとして用います。
  • CLAPSは、入力依存の学習された雑音によるラレアトリック不確実性と、最終層ラプラスに基づくエピステミック不確実性を明示的に組み合わせ、学習データが弱い領域でも区間幅をより適切に調整することを目指します。
  • 著者らは、アレアトリック–エピステミックのスケールが最終層の精度(precision)とどう関係するかを導出し、エピステミック不確実性が小さくなるとアレアトリックのみの局所スケーリングに帰着することを示します。
  • 実験では、校正ターゲットに沿った“公称レベル”のカバレッジと、既存手法と比べて競争力のある区間効率が報告されています。

概要: 近似回帰は有限サンプルにおける周辺被覆(marginal coverage)を保証しますが、それだけでは異種の入力にまたがって区間幅がどのように適応すべきかは決まりません。既存の局所適応型手法は主に、異質性(アレアトリック)ノイズを考慮している一方で、学習支援が弱いことによる不確実性(不確実性の由来)をより明示的に扱えていません。そこで本研究では、Conformal Laplace-Aware Predictive Scaling(CLAPS)を提案します。CLAPSは分割型(split)共形回帰の手法であり、異質分散(ヘテロスケダスティック)な最終層ラプラス不確実性を局所正規化スケールとして用います。CLAPSは、学習された入力依存のノイズと最終層のエピステミック不確実性を組み合わせつつ、標準的な共形キャリブレーションによって妥当性(validity)を維持します。さらに本稿では、このアレアトリック—エピステミックのスケールを特徴付け、ヘテロスケダスティックな最終層の精度(precision)を導出し、エピステミック不確実性が縮退(収縮)するとアレアトリックな局所スケーリングへと帰着することを示します。実験の結果、名目水準における被覆が得られ、区間効率についても競争力のある性能が示されました。