Abstract
ゴーッキング（grokking）中の学習ダイナミクスは、少数の支配的な更新方向――スペクトル端（spectral edge）――に沿って集中します。このスペクトル端は、ゴーッキングと非ゴーッキングの領域を確実に区別します。標準的なメカニスティック解釈可能性ツール（ヘッド帰属、活性プロービング、スパースオートエンコーダ）は、これらの方向を捉えることに失敗することを示します。すなわち、これらの方向の構造は、パラメータ空間や特徴空間に局在していません。代わりに、各方向は入力領域上にわたる構造化された関数を誘発し、表象レベルの解析では見えない低次元の機能的モードを明らかにします。
加法（modular addition）では、すべての主要な方向が単一のフーリエ・モードに崩壊します。乗法（multiplication）では、同様の崩壊は離散対数（discrete-log）の基底でのみ現れ、集中度（concentration）が5.9倍改善されます。減法（subtraction）では、端は小さな複数モードのファミリーにまたがります。x^2+y^2では、単一の調和（harmonic）基底では不十分ですが、加法的特徴と乗法的特徴の交差項が4倍の分散ブーストをもたらし、分解 \left(a+b\right)^2 - 2ab と整合します。マルチタスク学習はこの構成的（compositional）な構造を増幅し、x^2+y^2 のスペクトル端が、加法回路の特徴的な周波数（2.3倍の集中度増加）を継承します。
これらの結果は、学習が入力領域上での低次元の機能的モードを発見することを示唆しており、その構造はタスクの代数的対称性に依存します。
これらの結果は、スペクトル端のダイナミクスが、学習を支配する低次元の機能的部分空間を同定することを示唆しており、その表象はタスクの代数構造に依存します。単純な調和構造は、タスクが対称性に適応した基底を許す場合にのみ現れ、より複雑なタスクではより豊かな機能的記述が必要になります。
