線形時間のベイズ最適化

arXiv cs.LG / 2026/5/4

📰 ニュースIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、目的関数の評価が高コストで仮定が少ない状況での最小化に対し、ガウス過程モデルと「大域探索+局所活用」のバランスを組み合わせる新しいベイズ最適化手法を提案しています。
  • 標準的なベイズ最適化の課題である、データ増加に伴う学習コストの三次計算量と、局所的な最小化に対して大域的なモデル化が必ずしも最適でない点を改善します。
  • 探索空間を柔軟かつ再帰的に二分割する仕組みを用い、 surrogate(近似)モデルと獲得関数(acquisition)の両方を分割スキームに整合させることで、両方の欠点を緩和します。
  • 次元6〜124の難しめのベンチマーク関数7つで、広く使われているベイズ最適化ライブラリよりも常に良い最適化性能を示したと報告しています。
  • アプローチは線形の計算複雑性を持つとされ、データが増えるにつれて標準的なガウス過程ベースの手法よりスケールしやすい可能性があります。

Abstract

ベイズ最適化は、評価コストが高く、少数の仮定しか置けない目的関数を最小化するための逐次的手法である。収集された全データを用いて、当該関数のガウス過程モデルを訓練し、グローバルな探索とローカルな活用を適応的に混合して用いることで、この手法は機械学習、自動車工学、強化学習など、多くの分野における最適化に利用されてきた。しかし標準的な手法には2つの問題がある。1) 訓練集合のサイズに対して計算量が立方的であるため、いずれモデルの訓練が計算的に不可能になること、そして2) 最小化の局所性を考えると、目的関数をグローバルにモデル化することが必ずしも最適ではないこと、である。探索空間を柔軟かつ再帰的な二分割で扱うことで、我々は標準的なベイズ最適化の「モデル化」と「獲得(acquisition)」の両側面を、分割スキームと調和するように適応させ、その結果、標準的な欠点の双方を改善する。次に、次元数が6から124までの範囲に及ぶ7つの困難なテスト関数に対して、一般に用いられているベイズ最適化ライブラリと我々の手法を比較し、全てのテストにおいて我々の手法が優れた最適化性能を達成することを示す。さらに、我々の手法は線形の計算複雑性を持つ。

線形時間のベイズ最適化 | AI Navigate