信号劣化から計算崩壊へ：LLM量子化における2つの故障モードの解明
arXiv cs.CL / 2026/4/23
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 本論文は、LLMのポストトレーニング量子化で4ビットから2ビットへ精度を下げると「パフォーマンス・クリフ」が起きやすい理由を分析している。
- PTQの失敗には質的に異なる2つの故障モードがあることを明らかにしており、計算パターンは維持されるが情報の精度が累積誤差で損なわれる「信号劣化」と、主要コンポーネントが機能不全に陥り初期層で信号が破壊される「計算崩壊」を区別できる。
- 著者らは故障メカニズムに基づいた介入を提案し、トレーニング不要の修復で信号劣化は緩和できることを示している。
- 一方で、同様の修復は計算崩壊には効果がなく、この問題は補償ではなく構造的な再構築を要する可能性が高い。
- 本研究はPTQの失敗を分類し、適切な対策を選ぶための体系的な診断フレームワークを提供する。
