概要: 本論文では、ポーランド空間から可分ヒルベルト空間への回帰作用素の推定を扱う、あるクラスの統計的逆問題を考察する。ここで目標は、作用素値カーネルによって誘導されるベクトル値再生核ヒルベルト空間に属するものとする。関連する不適切さ（ill-posedness）に対処するため、正則化された確率的勾配降下法（SGD）アルゴリズムを、オンライン設定と有限ホライズン設定の両方で解析する。前者は、多項式的に減衰するステップサイズと正則化パラメータを用い、後者は固定値を採用する。適切な構造的および分布的仮定のもとで、予測誤差と推定誤差に対する次元に依存しない上界を確立する。得られる収束率は期待値のもとでほぼ最適であり、さらにほぼ確実収束を意味する高確率評価も導出する。本解析は、無限次元設定において高確率保証を得るための一般的な手法を導入する。枠組みの実務的な適用範囲を、構造化予測やパラメトリックなPDEへの応用によって示し、このアプローチが実際にどのように適用できるかを反映した例を提供する。
演算子値カーネルによる正則化付き確率的勾配降下でのオペレータ学習
arXiv stat.ML / 2026/4/28
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、Polish空間から可分ヒルベルト空間への演算子を推定する統計的逆問題を扱い、目標は演算子値カーネルによって誘導されるベクトル値RKHS上にある状況を考察している。
- 正則化付き確率的勾配降下（SGD）について、オンライン設定と有限ホライズン設定の両方で解析し、オンラインでは学習率と正則化パラメータを多項式的に減衰させ、有限ホライズンでは固定値を用いる。
- 適切な構造的および分布的仮定のもとで、予測誤差と推定誤差に関する次元に依存しない上界を証明し、期待値の意味での収束がほぼ最適であることを示す。
- 高確率の誤差評価も導出され、それがほぼ確実収束につながることを示すとともに、無限次元設定で高確率保証を得るための一般的手法を提示している。
- 構造化予測やパラメトリックPDEへの応用により実用面も示され、この枠組みが実問題へ適用できる具体例が示されている。
