タスク間でチューニングする線形回帰に対する分布依存の一般化境界

要旨: 現代の回帰問題では、多次元データを扱うことが多く、過度に複雑なモデルが学習データに過適合するのを防ぎつつ、有効な変数選択のような望ましい性質を保証するために、正則化ハイパーパラメータを慎重に調整することが重要です。本研究では、線形回帰において複数の関連タスクにわたり正則化ハイパーパラメータを調整するという、最近導入された方向性を調べます。私たちは、L1 および L2 の係数の調整（リッジ、ラッソ、エラスティックネットを含む）を行ったときの、検証損失に対する汎化誤差について、分布に依存する境界（bound）を得ます。対照的に、先行研究では、すべての分布に一様に適用できる境界が開発されていますが、そのような境界は必然的に特徴量次元 d に対して劣化します。これらの境界は最悪の場合の分布に対してタイト（厳密）であることが示されている一方で、私たちの境界はデータ分布の「素直さ（niceness）」により改善します。具体的には、各タスク内のインスタンスが、サブガウス性を含む、広く研究されてきた分布クラスからの i.i.d. 抽出であるという追加の仮定のもとでは、汎化境界が d の増大とともに悪化せず、非常に大きな d に対しては先行研究よりもはるかに鋭いことを示します。また、私たちは結果をリッジ回帰の一般化にも拡張し、基準となる真の分布の平均の推定を考慮した、より締まった境界を達成します。