ラングバン更新を用いた勾配降下のデータ駆動チューニングに関する一般化保証
arXiv cs.LG / 2026/4/16
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 本論文は、凸回帰損失と正則化器によって示唆される事後分布の平均を近似することでハイパーパラメータを調整するメタ学習アプローチである、ラングバン勾配降下アルゴリズム（LGD）を導入する。
- 研究対象の凸回帰設定において、二乗損失に対するベイズ最適予測器をLGDが達成するような最適なハイパーパラメータ構成の存在を証明する。
- 著者らは、タスクの集合からLGDのハイパーパラメータを選択するメタ学習プロセスに対して、疑似次元（pseudo-dimension）に基づくデータ駆動型の一般化保証を導出し、そのスケーリングは（対数因子まで）O(dh)となる。
- 本研究は、弾性ネットにおける先行するハイパーパラメータ一般化結果（h=2のハイパーパラメータに限定）を、より大きなハイパーパラメータ空間を持つより広いクラスの凸回帰問題へと拡張する。
- 本論文には、合成データセットを用いた少数ショットの線形回帰において、LGDとそれに対応するメタ学習手続きの両方が機能することを示す予備的な実験的証拠が含まれている。
