Influence関数グラデントによる凹型の統計的ユーティリティ最大化バンディット

要旨: 本研究では、目的が期待報酬そのものではなく、長期的な報酬分布の統計的汎関数であるような確率的マルチアーム・バンディットを考察する。穏やかな連続性の仮定のもとで、無限ホライズン問題は定常な混合方策に対する最適化へと帰着することを示す。すなわち、単体上の各重みベクトル\(w\) は混合則 \(P^w\) を誘導し、性能は凸性のある（凹）効用 \(U(w)=\mathfrak U(P^w)\) によって測定される。
微分可能な統計的効用に対しては、影響関数の計算（influence-function calculus）を用いて、バンディットのフィードバックから確率的勾配推定量を導出する。これにより、切り詰めた単体上でのエントロピー的ミラー・アセント法（mirror-ascent algorithm）を構築する。実装は、乗法的重み更新と、影響関数のプラグイン推定により行う。さらに、ミラー・アセントの最適化誤差と、影響関数を推定することによって生じるバイアスとを切り分けた形の後悔（regret）境界を確立する。
この枠組みは一般の凹な分布ベースの効用に対して開発され、分散およびワッサースタイン（Wasserstein）目的関数を通じて具体的に示す。数値実験では、厳密な影響関数の実装とプラグインによる影響関数の実装とを比較する。