小さなランクが大きな効果をもたらす：LoRAアダプタ付きのランダム足場だけで十分

要旨: ニューラルネットワークのパラメータのうち、実際にタスク固有の情報を符号化しているのはどれほどでしょうか？本研究では、LottaLoRAという学習パラダイムを用いてこの問いを調べます。この枠組みでは、バックボーンのすべての重みをランダムに抽出して固定し、学習するのは低ランクのLoRAアダプタのみです。単一層の分類器から最大9億パラメータのTransformerまで、多様なアーキテクチャ系統にまたがる9つのベンチマークにおいて、固定したランダムなバックボーン上で低ランクのアダプタを学習することで、完全に学習した場合の性能の96-100%を回復しつつ、学習するパラメータは全体の0.5-40%にとどまります。したがって、タスク固有の信号は、全パラメータ数が示唆するよりも桁違いに小さい部分空間に存在します。この結果を支える3つの機構的な発見があります：(1) 凍結されたバックボーンは、静的であるときに積極的に利用されます。学習されたスケーリング~\betaは、すべてのアーキテクチャにおいて厳密に正のまま維持されますが、足場（scaffold）が不安定化されると、オプティマイザがそれを無効化し、LoRA因子がタスク情報をすべて吸収します；(2) 凍結バックボーンは望ましいものの、ランダム初期化であれば置き換え可能であり、学習の間ずっと固定されていれば同様にうまく機能します；(3) 性能が飽和する最小のLoRAランクは、タスクの固有の次元性（intrinsic dimensionality）を見積もるものであり、主成分分析（PCA）で保持される成分数に類似しています。構成は、フィードフォワードネットワークの深さ方向に沿って展開されたリザバー・コンピューティング（Reservoir Computing）と形式的に同等です。バックボーンはランダムシードのみで決まるため、モデルはアダプタにシードのフットプリントを加えたものとして配布できます。このフットプリントはモデルサイズではなくタスクの複雑さに応じて増大します。そのため、保存性とメモリ節約は、アーキテクチャがスケールするほど累積的に増大します。