キャリブレーション付き予測パワード推論

arXiv stat.ML / 2026/4/24

📰 ニュースTools & Practical UsageModels & Research

共有:

要点

この論文は、小規模のラベル付きデータ、大規模のラベルなしデータ、そして出力が不適切にキャリブレーションされている可能性のあるブラックボックス予測モデルを用いた半教師あり平均推定に取り組みます。
提案手法は、元モデルを再学習せずにラベル付きデータ上で予測スコアを事後キャリブレーションすることで、予測の質と半教師あり推論の双方を改善する「Calibrated Prediction-Powered Inference（PPIのキャリブレーション版）」です。
キャリブレーション法として線形と等張（isotonic）を扱い、等張キャリブレーションでは一次の最適性・効率性に関する保証を提示し、当てはめ済み等張スコアへの追加の事後処理では一次の改善が得られないことも示します。
既存推定量との関係も整理しており、元のPPIはAIPWの特殊ケースで、予測がすでに良く整合している場合に非効率になり得る一方、PPI++は実データに基づく効率最大化を伴うAIPWに相当すると述べています。
シミュレーションと実データ実験の結果、キャリブレーション付き推定量はPPIを上回ることが多く、AIPWやPPI++とも競合、またはそれらより良い性能を示し、あわせてPythonパッケージ（ppi_aipw）も公開されています。

Abstract

本稿では、少量のラベル付きサンプル、大量のラベルなしサンプル、および出力が誤って校正されている可能性のあるブラックボックス予測モデルを用いた、半教師あり平均推定を研究する。この設定における標準的な手法は補強逆確率重み付け（AIPW）[Robins et al., 1994]であり、予測モデルのミス仕様に対して頑健であるが、予測スコアが結果（アウトカム）の尺度と十分に整合していない場合には非効率になり得る。そこで我々は、半教師あり推定に用いる前にラベル付きサンプル上で予測スコアを事後的に校正する、Calibrated Prediction-Powered Inference（校正済みPrediction-Powered推論）を導入する。この単純な手順は再学習を必要とせず、結果の予測器としての元のスコアと、半教師あり推論のための回帰調整としての元のスコアのいずれにおいても改善をもたらし得る。線形校正と等張（isotonic）校正の両方を検討する。等張校正については、一次の最適性保証を確立する。すなわち、等張の事後処理は、元のスコアやより単純な事後処理ルールに比べて、予測精度と推定量効率を改善し得る一方で、適合した等張スコアに対してこれ以上の事後処理を行っても、追加の一次的な向上は得られない。線形校正については、PPI++ との一次的な同値性を示す。また、既存の推定量間の関係を明確化し、元の PPI 推定量が AIPW の特殊ケースであり、予測モデルが正確な場合には非効率になり得ることを示す。さらに PPI++ は、経験的効率最大化による AIPW［Rubin et al., 2008］であることを述べる。シミュレーションおよび実データ実験において、我々の校正済み推定量はしばしば PPI を上回り、AIPW および PPI++ と競合するか、それらを上回る。付随する Python パッケージ ppi_aipw を https://larsvanderlaan.github.io/ppi-aipw/ にて提供する。