打ち切り下での生存アウトカムに対するオフポリシー評価と学習

Abstract

患者の生存や顧客の継続利用など、生存結果を最適化することは、データ駆動型の意思決定における重要な目的である。オフポリシー評価（Off-Policy Evaluation~(OPE)）は、高リスクなオンライン実験や費用のかかる実験を、意思決定の対象が高い社会的影響を持つ応用分野で行う必要なしに、記録されたデータのみを用いてそのような意思決定ポリシーを評価するための強力な枠組みを提供する。しかし、一般的な推定器は打ち切り（右打ち切り）の生存アウトカムを扱うようには設計されていない。具体的には、打ち切り時刻以降に観測されない生存時間を無視するため、真のポリシー性能を体系的に過小評価してしまう。 この問題に対処するために、本研究では、打ち切り下での生存アウトカムに合わせた、OPEおよびオフポリシー学習（Off-Policy Learning~(OPL)）の新しい枠組みを提案する。具体的には、打ち切りバイアスを明示的に扱うために、打ち切りの逆確率重み付け（Inverse Probability of Censoring Weighting）技法を用いるIPCW-IPSおよびIPCW-DRを導入する。我々は理論的に、提案手法の推定量が不偏であることを示し、さらにIPCW-DRが二重頑健性を達成することを確立する。これにより、傾向スコア（propensity score）またはアウトカムモデルのいずれかが正しければ、一貫性が保証される。さらに、本枠組みを、予算制約の下でポリシー価値を最適化するための制約付きOPLへと拡張する。模擬実験によって提案手法の有効性を示し、評価タスクと学習タスクの両方について、公的に利用可能な実世界データを用いて、その実践的な影響を具体的に示す。