MAPE損失とサンプル依存ボックス制約を用いた ε-SVR の逐次最小化(SMO)

arXiv stat.ML / 2026/5/5

💬 オピニオンDeveloper Stack & InfrastructureTools & Practical UsageModels & Research

要点

  • 本論文は、損失関数の中でMAPE(平均絶対パーセント誤差)を直接最小化する目的関数として定式化し、ε-SVR向けの逐次最小化(SMO)アルゴリズムを導出している。
  • 変数(αk, αk*)に対して [0, 100C/yk] というサンプル依存の二重(dual)ボックス制約を導入し、その変更が作業集合(working-set)選択で用いる実行可能集合と、二変数更新時のクリッピング境界に影響する。
  • しかし、曲率(curvature)と勾配更新の構造は、標準的なSMOと本質的に同じままであることを示している。
  • さらに、サンプル依存境界に合わせた縮小(shrinking)ヒューリスティックを提案し、αとα*の間に非対称性が生じ、その大きさが 2ykε/100 というギャップ項によって制御される。
  • これらの同一ソルバは対称カーネル版にも拡張でき、実装はオープンソースのRパッケージ「psvr」で提供されている。

Abstract

本稿では、epsilon-SVR~\cite{Vapnik1995, Drucker1997, Smola2004}に対して損失関数中でMean Absolute Percentage Error (MAPE)~\cite{Makridakis1993, Hyndman2006}を直接最小化するように修正した、二次双対問題に対するSequential Minimal Optimization (SMO)アルゴリズムを導出する~\cite{benavides2025support}。この定式化は、パーセンテージ誤差損失を用いるSVRモデルのより広いファミリの一部であり、そこには最小二乗型の変種~\cite{Suykens2002}や対称カーネル拡張~\cite{Espinoza2005}も含まれる。これらの統一的な構造は~\cite{benavides2026unified}で研究されている。標準的なepsilon-SVRとの主な構造上の相違は、ボックス制約が\\emph{サンプル依存}になる点である:alpha_k, alpha_k^* \in [0,\, 100C/y_k]。この修正が、作業集合選択における(i) 可行領域IupIdown、および(ii) 解析的な2変数更新におけるクリッピング境界にのみ影響することを示す。さらに、曲率の式と勾配更新は、標準SMO~\cite{Platt1998, Platt1999, Fan2005}と構造的にまったく同一のままである。サンプル依存の境界に適応した縮小(shrinking)ヒューリスティックを導出し、ギャップ2y_k\varepsilon/100によって制御されるalphaalpha^*変数間の非対称性を導入することを示す。対称カーネル変種(m2)にも同じソルバが適用でき、OmegaOmega_s = \tfrac{1}{2}(\Omega + a\Omega^*)~\cite{Espinoza2005}に置き換える。実装はオープンソースのRパッケージ\texttt{psvr}~\cite{BenavidesHerrera2026Rpsvr}で利用可能である。