STQuant：大規模マルチモーダルモデル学習におけるオプティマイザ量子化のための時空間適応フレームワーク
arXiv cs.LG / 2026/4/9
📰 ニュースDeveloper Stack & InfrastructureIdeas & Deep AnalysisModels & Research
要点
- 本論文は、大規模マルチモーダルモデル学習向けの時空間適応型量子化フレームワークSTQuantを提案し、固定ビット幅の方針ではなく、層、オプティマイザ変数、学習ステップごとにオプティマイザ状態の精度（ビット幅）を変化させる。
- 数値的に敏感なオプティマイザ状態により、また複数の要因を同時に適応させることで組合せ的な探索問題になるため、素朴な動的量子化は難しいと主張する。
- STQuantは、最も影響の大きい精度適応要因を特定するための、理論的にほぼ最適であることが示される因子選択戦略と、探索の複雑性を指数から線形へと削減する動的な遷移判断アルゴリズムにより、これらの課題に対処する。
- GPT-2およびViTでの実験では、オプティマイザ状態メモリが84.4%削減され、モデル品質を維持しつつ平均ビット幅が5.1ビット以下まで低減できることが報告されている。
- 本手法は分散学習に対して実用的に設計されており、追加の計算オーバーヘッドはO(N/K)のみで、必要な追加メモリはO(1)である。
