Fenchel-Young損失による逆最適化:回帰(regret)境界と幾何学の役割

arXiv stat.ML / 2026/5/5

💬 オピニオンIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、Fenchel-Young(FY)損失に基づく逆最適化手法を提案し、正則化した順問題の劣適合(suboptimality)が構造化予測のFY損失に一致する関係を示します。
  • 提案する代理目的関数は凸であり、閉形式の勾配を持ち、不完全・不適切(非実行可能)な観測を含むノイズに対して頑健で、SGDによる学習では1反復あたりの計算コストがサンプル数 n に依存しません。
  • 著者らは理論面で、FY推定量の超過リスクが、実運用で重要な regret を抑えることを示し、強凸な可行集合や多面体(polyhedral)な可行集合に対して幾何学に即した学習率を与えます。
  • 実験では、KKT残差や変分不等式型の複数のベースラインよりもFY手法が優れており、合成ベンチマークとUber Movementのロサンゼルス最短経路データで、regretをサブパーセント水準まで下げつつ、10〜100倍高速で動作します。
  • 全体として、可行集合の幾何学的性質やマージン条件が、データ駆動型の逆最適化における学習と保証をどのように高めるかに焦点が当てられています。

Abstract

データ駆動型の逆最適化は、最適化モデルの未知パラメータを、ノイズを含み、場合によっては最適でない意思決定の観測から推定する。適用範囲は、物流、ポートフォリオ選択、アソートメント、そしてエネルギー市場にまで及ぶ。KKT残差、変分不等式、または観測された意思決定への二乗距離に基づく既存手法は、非凸または非微分であり、サンプルサイズに対してスケールしにくく、ノイズの下でしばしば退化する。そこで本研究では、凸な実行可能集合上での線形な順問題目的に対する逆最適化のための 93\emph{Fenchel-Young (FY)損失} 00 アプローチを提案する。すなわち、正則化された順問題の劣等(サブオプティマリティ)損失が、構造化予測における Fenchel-Young損失と一致することを観察する。その結果得られる代理(サロゲート)は凸であり、閉形式の勾配を持ち、不可能(非実行可能)な観測にも頑健であり、反復ごとの計算コストが n に依存しない形で確率的勾配降下法により学習できる。理論面では、FY推定量の過剰リスクが、配備(デプロイ)に関連する 93\emph{regret}(後悔/損失)を制御することを示す。幾何学を考慮した上界を与え、正則化を不要とする強凸な実行可能集合では、パラメトリック 93\tilde O(p/n) であり、指数 93\beta \geq 1 を持つマージン条件のもとで多面体(ポリヘドラル)な実行可能集合では、93\lambda^93\star \asymp n^{-1/(2\beta)} において 93\tilde O((p/n)^{(\beta+1)/(2\beta)}) となる。実験的には、FY推定量は合成ベンチマーク(多面体、滑らか、強凸な実行可能集合を含む)およびUber Movement Los Angelesの最短経路データセットの両方において、KKT残差、変分不等式、セミパラメトリック、最大最適性マージンのベースラインを上回る。後者ではサブパーセントのregretを達成しつつ、計算は10倍から100倍高速である。