トランスフォーマー言語モデルにおける解剖学的異質性

概要: 現在のトランスフォーマー言語モデルは、全層に対して均一な計算予算でトレーニングされており、層間の均質性を暗黙の前提としている。
私たちは SmolLM2-135M（30層、135Mパラメータの因果言語モデル）を対象に、5つの診断指標を用いた実証分析を通じてこの前提に挑戦する。指標は、重みの予測可能性（R2）、アブレーションによる劣化、回復速度、重み操作の頑健性、構造分析である。
著しく解剖学的な不均質性を見出した：
(1) 層の重みは強い数学的規則性（R2 = 0.91）に従い、普遍的な振動性デルタパターン（相関係数は約 -0.50）を示すが、予測された重みは非線形誤差の蓄積により壊滅的な性能低下を招く。
(2) 層の重要性は 10の7乗 の範囲に及び、臨界コア（L8-11、最大で PPLの63,419%の劣化）からアンチ層（L14、L17）まであり、これらを除去すると性能が改善される。
(3) 回復速度は層の重要性と相関しており、異なるトレーニング要件を示している。
(4) テストされた5つの操作戦略のうち、重みのスケーリングのみ（α = 0.9）がモデル品質を維持する。
(5) 層の重要性に基づいて予算を割り当てる Growth Transformer Training は約54%のコスト削減を達成する。
概念実証実験はこれを裏づける：同一パラメータ数で、均一トレーニングより検証損失が約4.7倍低く、かつ13%高速である。