バックプロパゲーションで迷子になる: LMヘッドは勾配のボトルネック

本文: arXiv:2603.10145v1 発表タイプ: new 要旨: ニューラル言語モデル（LMs）の最終層は、出力特徴を次元 $D$ から語彙のサイズである次元 $V$ のロジットへ射影します。通常 $D \\ll V$。この不一致はニューラルLMにおける表現力の制限リスクを高め、いわゆるソフトマックスボトルネックを生み出すことが知られています。私たちは、ソフトマックスボトルネックは表現力のボトルネックだけでなく、最適化のボトルネックでもあることを示します。$V$ 次元の勾配をランク-$D$ の線形層を通して逆伝播させると、避けられない圧縮が生じ、訓練中のほとんどのパラメータに提供される訓練フィードバックを変えてしまいます。この現象の理論的分析を提示し、経験的に出力層によって勾配ノルムの95-99%が抑制されることを測定し、更新方向が大幅に不適切になることを示します。制御された事前学習実験を実施し、勾配ボトルネックが自明なパターンを学習不能にし、LLMsの訓練ダイナミクスを大幅に変えることを示します。我々は、この固有の欠陥がモデルアーキテクチャに依存せずスケール時の訓練の非効率性に寄与しており、新しいLMヘッド設計の必要性を提唱します。