高次元ベイズ最適化について、いまだに十分に理解できていない

Abstract

既存の高次元ベイズ最適化（BO）手法は、局所性から疎性、滑らかさに至るまでの構造的仮定を最適化手順へ慎重に組み込むことで、次元の呪いを克服することを目指しています。驚くべきことに、本研究では、これらのアプローチが、想像し得る限り最も単純な方法、すなわちベイズ線形回帰によって上回られることを示します。境界を探しに行く挙動を回避するために幾何学的変換を適用した後、線形カーネルを用いるガウス過程は、探索空間が60次元から6,000次元のタスクにおいて最先端の性能に一致します。線形モデルは、非パラメトリックな対応物に比べて数多くの利点を提供します。すなわち、閉形式のサンプリングが可能であり、計算量はデータに対して線形にスケールします。私たちはこの性質を、>20,000件の観測を持つ分子最適化タスクで活用します。実証的な分析と併せて、我々の結果は、高次元におけるBO手法に関する従来の直感から離れる必要があることを示唆しています。