高次元ベイズ最適化における適応的候補点トンプソン・サンプリング

Abstract

ベイズ最適化において、トンプソンサンプリングは、目的関数の最大化者に関する事後分布からサンプリングすることで評価点を選択します。しかし、このサンプリング問題はガウス過程（GP）サロゲートに対しては計算不可能（intractable）であるため、事後分布は通常、固定された離散化（すなわち候補点）に制限されます。この候補点は、次元数が増加するにつれて指数関数的に疎になります。先行研究では、スケーラブルなGP近似によって候補点の密度を高めることが目指されていますが、我々の直交的なアプローチは、サンプリング中に探索空間を適応的に縮小することで密度を高めます。具体的には、Adaptive Candidate Thompson Sampling（ACTS）を提案します。ACTSは、サロゲートモデルのサンプルの勾配によって導かれる部分空間において候補点を生成します。ACTSは、信頼領域やその他の局所近似を用いるものを含む、既存のTS手法のシンプルなドロップイン置換です。これにより、最大値のより良いサンプルが得られ、合成および実世界のベンチマークにおいて最適化が改善されます。