適合予測の評価：条件付きカバレッジ評価と選択のためのフレームワーク

要旨: 共形予測（Conformal prediction）は、交換可能性（exchangeability）の仮定のもとで、周辺（marginal）被覆に関する厳密な分布自由の有限標本保証を提供するが、特定のサブポピュレーションに対しては、体系的な過小被覆または過大被覆が生じうる。条件付き妥当性（conditional validity）の評価は難しい。標準的な層別化手法は次元の呪い（curse of dimensionality）に悩まされるためである。我々は、Conformal Prediction Assessment（CPA）という枠組みを提案する。これは、条件付き被覆の評価を、インスタンス単位の被覆確率を予測する信頼性推定器（reliability estimator）を学習することで、教師あり学習タスクとして捉え直すものである。この推定器に基づき、安全性（safety：過小被覆リスク）と効率性（efficiency：過大被覆コスト）に信頼性を分解する Conditional Validity Index（CVI）を導入する。信頼性推定器に対する収束率を確立し、CVI に基づくモデル選択の整合性（consistency）を証明する。合成データセットおよび実世界データセットに対する大規模な実験により、CPA が局所的な失敗モードを効果的に診断できること、ならびに我々の CVI に基づくモデル選択アルゴリズムである CC-Select が、優れた条件付き被覆性能をもつ予測器（predictor）を一貫して特定できることを示す。