初期化が盆地を決める：極端なLLM量子化に向けた効率的なコードブック最適化
arXiv cs.CL / 2026/4/10
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、LLMに対する極端な2ビット加法量子化において、壊滅的な失敗は、後続の探索や微調整だけによるものというより、主にコードブックの初期化が不適切であることに起因することを示している。
- 強欲な逐次初期化では、モデルが不適切な最適化領域に到達しやすく、その状態からビームサーチやPVチューニングで信頼性よく回復できないことが多い。特に圧縮率がより厳しい場合に顕著である。
- 表現比（ρ̂ = N/KM）に基づく解析により、初期化ボトルネックの深刻さが、コードブック容量と重みグループ構造の関係でどのようにスケールするかを明らかにする。
- ヘッセ行列で重み付けしたマハラノビス距離を用いる、出力を考慮したEM初期化手法であるOA-EMを提案する。これによりPVチューニング後の量子化モデル品質が一貫して向上する。
- 複数のアーキテクチャ（Llama 3.2 3B、Llama 3.1 8B、Qwen 2.5 3B）とさまざまな圧縮設定において、OA-EMは品質と計算量のトレードオフを改善し、2 bppにおいてパープレキシティが桁違いに悪化することを防げる可能性がある。
