不均一な環境に対するファインチューニング付き因子拡張ニューラルラッソ

要旨: 微調整は、事前学習済みモデルを新しいタスクに適応させるために広く用いられている戦略ですが、可変選択を伴う高次元の非パラメトリック設定における、その方法論および理論的特性は、まだ十分に開発されていません。本論文では、共変量シフトおよび事後（ポステリア）シフトの両方を同時に扱う、高次元非パラメトリック回帰における可変選択のための転移学習フレームワークである、微調整因子拡張ニューラルラッソ（FAN-Lasso）を導入します。高次元の従属的な共変量を管理するために低ランク因子構造を用い、目的関数を、凍結したソース関数と他の変数の変換として表す、新しい残差微調整分解を提案します。これにより、転移学習と非パラメトリックな可変選択を実現します。ソース予測器から得られるこの拡張特徴は、ターゲット領域への知識移転を可能にし、そこでのモデル複雑性を低減します。さらに、微調整FAN-Lassoに対するミニマックス最適な超過リスクの上界を導出し、相対的なサンプルサイズと関数の複雑性という観点から、微調整が単一タスク学習に対して統計的加速をもたらすための、正確な条件を特徴付けます。提案フレームワークは、パラメータ効率の良い微調整手法に対する理論的な視点も提供します。多様な共変量シフトおよび事後シフトの状況にわたる大規模な数値実験により、微調整FAN-Lassoが標準的なベースラインを一貫して上回り、過酷なターゲットのサンプルサイズ制約下でもほぼオラクル性能を達成することが示され、導出されたレートが経験的に検証されます。