要旨: 効率的な大域最適化(EGO)は、最も広く用いられているノイズ無しベイズ最適化アルゴリズムの1つです。これは、ガウス過程(GP)の代理モデルと、期待改善(EI)獲得関数から構成されます。実際には、EGOを適用する際、数値安定性を改善するために、正の小さな値のスカラー行列(ヌゲットまたはジッタとも呼ばれます)を決定論的GPの共分散行列に通常追加します。この、正のヌゲットを用いたEGOを実用的EGOと呼びます。広く採用され、経験的にも成功しているにもかかわらず、これまでのところ、実用的EGOに対する累積リグレットの上界は確立されていません。本論文では、初めて実用的EGOの累積リグレット上界を提示します。具体的には、実用的EGOが、二乗指数(SE)およびマタルン(Mat\'e\'rn)核()を含む一般的に用いられるカーネルに対して、劣線形の累積リグレット上界を持つことを示し、それゆえに無リグレット(no-regret)アルゴリズムであることを示します。さらに、リグレット上界に対するヌゲットの効果を解析し、その選択に関する理論的含意について議論します。数値実験を行い、これらの知見を支持し検証します。
u>\frac{1}{2}
実用的で効率的なグローバル最適化はノーリグレット
arXiv stat.ML / 2026/3/27
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 本論文は、「実用的」な効率的グローバル最適化(EGO)を研究する。これは、ガウス過程の共分散行列に正のナゲット/ジッタを加えて数値安定性を高める、ノイズフリーのベイズ最適化手法である。
- 実用的EGOに対する初めての累積リグレット上界を提示し、二乗指数(平方指数)カーネルや、ν>1/2 を満たすマタニ(Matérn)カーネルなど、一般的に用いられるカーネルに対して、従属的(サブリニア)な累積リグレット(ノーリグレット)を証明する。
- 著者らは、ナゲットの大きさがリグレット上界に与える影響を解析し、実務者がジッタをどのように選ぶべきかに関する理論的指針を与える。
- 理論で示された実用的EGOのリグレット挙動およびナゲットに関する解析を検証するための数値実験も含まれている。



