非定常性なしのオフライン文脈付きMDPにおける適応推定と最適制御

要旨: 文脈付きMDPは、生物統計から機械学習に至るまで幅広い領域に適用可能な強力なツールである。とはいえ、頑健で理論的裏付けのある手法が欠けていることにより、それらをオフラインデータセットに適応させることは困難であった。本研究は、文脈付きMDPの適応的推定とコスト最適化に向けた新しいアプローチを導入することで、この問題に取り組む。提案する推定器は、我々の知る限りその種のものとして初めてであり、強力な最適性保証を備えている。文脈付きMDPの内生的な性質から生じる、非定常性やモデルの不規則性といった主要な技術的課題を克服することでこれを実現する。保証は、比較的新しく強力な統計手法であるT推定（Baraud, 2011）を用いることにより、完全な一般性のもとで確立する。まず、文脈付きMDPから得られたサンプルに基づいて推定器を選択するための手順を提示し、それを用いて、互いに異なるがそれでもなお意味のある2つの損失関数に対するオラクルリスクの上界を導出する。次に、上述の密度推定を助けとして、最適制御を決定する問題を考察し、コスト関数に対する有限標本の保証を与える。