回帰データ駆動モデルの（再）較正における定量的不確実性の品質評価

Abstract

安全性が重要なアプリケーションでは、データ駆動モデルは正確であるだけでなく、信頼できる不確実性推定も提供しなければなりません。この性質は、一般にキャリブレーション（calibration）と呼ばれ、リスクを考慮した意思決定に不可欠です。回帰では、キャリブレーションを評価するさまざまな指標や、再キャリブレーション（recalibration）手法が数多く登場しています。しかし、これらの指標は定義・仮定・スケールが大きく異なるため、研究間で結果を解釈・比較することが難しくなっています。さらに、ほとんどの再キャリブレーション手法は指標のごく一部のみによって評価されており、改善がキャリブレーションの異なる概念全体にわたって一般化するのかどうかが不明です。本研究では、文献から回帰におけるキャリブレーション指標を体系的に抽出し分類するとともに、特定のモデリング手法や再キャリブレーション手法に依存せずにこれらの指標を個別にベンチマークします。実世界、合成、そして意図的にミスキャリブレーションされたデータに対する制御された実験を通じて、キャリブレーション指標がしばしば矛盾する結果を生み出すことを示します。分析の結果、重大な不整合が明らかになりました。すなわち、同じ再キャリブレーション結果に対する評価で、多くの指標が一致せず、さらに中には矛盾した結論を示すものもあります。この不整合は、成功を印象づける誤解を招くような事態を作るために、指標を恣意的に選別（cherry-picking）することが潜在的に可能になってしまう点で、特に懸念されます。私たちは、テストにおいて最も信頼できる指標として、Expected Normalized Calibration Error（ENCE）とCoverage Width-based Criterion（CWC）を特定します。これらの知見は、キャリブレーション研究における指標選択の重要な役割を強調しています。