割引VAWと部分空間近似によるRKHS上のオンライン回帰におけるダイナミック・リグレット

要旨: 我々は、再生核ヒルベルト空間における二乗損失を用いたオンライン回帰を、動的レグレット（dynamic regret）基準の下で研究する。学習者は、時間変化する比較対象の系列と比較され、その上界はRKHSノルムにおけるその経路長に依存する。提案手法は、Jacobsen & Cutkosky（2024）の有限次元割引Vovk--Azoury--Warmuth（VAW）手法を、有限次元部分空間の近似によって、RKHS設定へと移植する。ある固定した部分空間に対して、割引係数の幾何学的グリッド上で、VAWベースの割引VAW予測子のアンサンブルを実行する。追加される近似誤差は、核のセクションに対する一様な射影誤差によって制御される。
次に、一般的な直交打ち切り法を導入する。核の特徴展開から出発して、特徴関数を直交正規にする内積を導入することで、対応するRKHSを構成し、そして最初の基底関数の張る空間を有限次元の近似空間として用いる。得られた部分空間の縮約は、いくつかの近似手法に適用される。明示的な特徴展開は、ガウスおよび解析的な内積核に対して高速レジームの上界を与える。Mercer打ち切りはスペクトル近似の方法を提供し、固有値の減衰に応じて高速・低速の両レジームにおける動的レグレットの上界につながる。最後に、核のセクションによって張られる部分空間を研究し、この構成をMat\'ernカーネルに適用する。