フラットミニマが失敗する理由：FP32収束後のINT4量子化崩壊を特徴づける

arXiv cs.LG / 2026/4/17

📰 ニュースDeveloper Stack & InfrastructureModels & Research

原文を読む →

共有:

要点

本研究は、PTQでよくある「FP32で十分に収束していれば量子化にも適している」という前提が成り立たないことを、INT4がFP32収束後でも構造的に破綻し得る点から示しています。
キャリブレーション不要のper-group INT4プローブを、Pythia-160mの公開学習チェックポイント154件すべてに適用した結果、挙動は3相に分かれることが分かりました（急速学習期→約70,000ステップの準安定プラトー→FP32はほぼ動かないのにINT4ギャップが爆発的に増大する発散期）。
発散の開始は学習率減衰のタイミングではなく、FP32のperplexityがより細かな予兆に収束した瞬間と一致しており、原因は学習率減衰の大きさ単独ではなく「収束後の重み更新」にあると示唆されます。
この現象はINT4の16段階（粗いグリッド）に特有で、INT8は3相すべてで免疫があるため、機構がINT4の量子化粒度に強く制約されることが分かります。また、重みの外れ値蓄積は尖度（kurtosis）の直接測定により否定しています。
学習率スケジュールを変えた制御実験では、SGDRは全9回で発散を一様に加速し、一方で提案手法のOscillatory Lock-Inは“冷却”した定常相によりINT4ギャップを平均2.2ポイント低減しました（t = -5.46, p < 0.0001）。これより、助ける／害するのは“振動そのもの”ではなく振幅のキャリブレーションだと結論づけています。