Gaussianプロセス事後平均関数の大域最適化のための効率的な空間分岐限定アルゴリズム

arXiv stat.ML / 2026/5/5

💬 オピニオンDeveloper Stack & InfrastructureModels & Research

要点

  • 本論文は、学習済みGaussianプロセス(GP)の事後平均関数を超直方体領域上で決定論的に大域最適化することを扱い、閉形式の表現がある一方で目的関数は非線形・非凸であるため難しさが残ると述べている。
  • そこで、PALM-Meanという「区分的解析的な下界付け」フレームワークを、縮約空間の空間分岐限定法(branch-and-bound)に組み込む新手法を提案している。
  • 各ノードでは、重要なカーネル項を符号を考慮した区分的線形緩和で置き換え(適切なスカラー距離変数上で)、残りの項は解析的に閉形式で上界/下界を構築することで、事後平均の妥当な下界を形成する。
  • ノード下界の妥当性と、アルゴリズムの ebpsilona-大域収束性が理論的に示されている。
  • 合成ベンチマークおよび実問題での計算結果では、学習データ点数が増えるほど、一般的な目的関数向け決定論的大域ソルバに比べてPALM-Meanがスケーラビリティを改善することが示された。

Abstract

本研究では、超長方形領域上で学習済みガウス過程事後平均関数の決定論的な大域最適化を扱う。事後平均関数はコンパクトな閉形式表現を持つものの、その大域最適化は依然として非線形かつ非凸であるため困難である。既存の厳密な決定論的アプローチは、学習データ点の数が増えるにつれてスケールしにくくなり、その結果、修正された(不完全な)目的関数を最適化することで扱いやすさを改善する近似ベースの手法が用いられている。本研究では、還元空間の空間分岐限定法に埋め込まれた、区分解析的な下界付けの枠組みであるPALM-Meanを提案する。各ノードにおいて、局所的に重要なカーネル項は、適切なスカラー距離変数における符号を考慮した区分線形緩和で置き換え、残りの項は閉形式で解析的に上(下)界付けする。これらのハイブリッド手法が事後平均に対して有効な下界を与えることを示しつつ、分岐限定法のサブ問題のサイズを制限する。ノードの下界の妥当性および得られるアルゴリズムのvarepsilon-大域収束を確立する。合成ベンチマークおよび実世界の応用問題に対する計算結果は、特に学習データ点の数が増えるにつれて、PALM-Meanが代表的な汎用の決定論的大域ソルバに比べてスケーラビリティを向上させることを示している。