高速な学習率による適応的マルチフィデリティ最適化

arXiv stat.ML / 2026/4/20

📰 ニュースIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、目標関数に対するコストの異なる偏った近似(マルチフィデリティ)を用い、限られた予算のもとで評価コストと近似バイアスのトレードオフを扱う最適化問題を扱います。
  • コストとバイアスの関係(cost-to-bias 関数)に基づいて、フィデリティの仮定の違いごとに単純な後悔(simple regret)の下界を理論的に導出しています。
  • 著者らは Kometo アルゴリズムを提案し、余分な対数因子を除けば、関数の滑らかさやフィデリティ仮定についての事前知識なしで同等の後悔率を達成し、従来保証を改善しています。
  • 実験により、問題依存のパラメータが不明な状況でも、Kometo が従来のマルチフィデリティ最適化手法より優れることを示しています。
  • 総じて、後悔率の厳密な理論と、滑らかさ/フィデリティ情報が欠けても頑健に動くアルゴリズム設計を両立させた点が主な貢献です。

Abstract

多忠実度最適化では、目標関数のコストが異なる複数のバイアス付き近似が利用可能である。本論文では、学習者がこれらの近似のコストとバイアスの間でトレードオフを行わなければならないという、限られた予算のもとで局所的に滑らかな関数を最適化する問題を研究する。まず、コスト対バイアス関数に基づき、忠実度に関する異なる仮定のもとでの単純レグレット(simple regret)の下界を証明する。次に、追加の対数因子を伴い、関数の滑らかさおよび忠実度の仮定についての知識なしに同じレートを達成し、先に証明された保証を改善する、Kometoアルゴリズムを提示する。最後に、我々のアルゴリズムが、問題依存のパラメータについての知識なしに、従来の多忠実度最適化手法よりも優れていることを実験的に示す。