[P] 重みノルムクリッピングがグロッキングを18-66×加速 | 300個のシードで失敗ゼロ | リポジトリ内のPDF

https://preview.redd.it/9hxa34bwhopg1.png?width=3600&format=png&auto=webp&s=909e4e1ba2feebbab94651d125a5c8e7591c4ca6

300個のシードで失敗ゼロ。66×の高速化。コードは5行。

私たちは二人の独立した研究者です。 手法： 各行ごとに ℓ₂ クリッピングを、各最適化ステップ後にデコーダの重みに適用します。追加のメモリは不要、ウェイト減衰も不要です。

標準的な Grokking ベンチマークでの結果（モジュラー算術、デコーダーのみのトランスフォーマー、Grokfast [2024] と同じ設定）：

• 2層（422k パラメータ）：Lion+Clip を用いた AdamW ベースラインより 66×上回る
• 8層（1.6M パラメータ）：ベースラインより 18×、300 個のシードで失敗ゼロ、エッジ初期化で IQR が 61–72% 減少

正直な範囲： すべての実験はモジュラー算術です。277M パラメータの LLM テストを実施していますが、私たちのハードウェア上では数週間かかり、結果がクリーンに転送されない可能性があります — 私たちはそれを否定しません。進捗、データセット、完全なモデル/トレーニングパラメータを共有することを喜んでいます。

コード + PDF：
https://github.com/NiftyliuS/cliptogrok
https://github.com/NiftyliuS/cliptogrok/blob/main/cliptogrok.pdf

cs.LG の arXiv の承認を求めています — ご希望なら DM をお願いします。