選好フィードバック付きベイズ最適化におけるトンプソンサンプリングの有限時間解析

Abstract

スカラーのスコアではなく一対比較という形の嗜好フィードバックは、人間・研究室・エキスパート・イン・ザ・ループの設計だけでなく、科学的発見といった用途で、ますます利用が増えています。本研究では、潜在効用差に対して単調なリンクを用いて比較をモデル化し、基底カーネルから誘導されるデュエリング（dueling）カーネルを活用する、嗜好フィードバック付きベイズ最適化のための Thompson Sampling（TS）アプローチを提案します。提案手法の性能が、スカラー・フィードバックによる従来のベイズ最適化に対する標準的なTSと一致することを、有限時間での解析により示します。この解析では、対戦相手（challenger）選択におけるTSのアンカー不変性を活用し、ダブルTSのペアリング変種を導入します。また、合成例と実世界の例の両方で本手法の性能を実証します。