CoQuant：混合精度LLMに対する重み・活性の共同サブスペース射影
arXiv cs.LG / 2026/4/30
📰 ニュースDeveloper Stack & InfrastructureModels & Research
要点
- 本論文では、CoQuantというPTQ手法を提案し、活性統計だけに頼るのではなく、重みと活性の量子化ノイズを同時に考慮することで混合精度LLMの推論コスト削減を目指します。
- CoQuantは、期待出力誤差を理論的にモデル化することで、重み付きPCAによる閉形式の解を導出し、最適な高精度サブスペースを選択します。
- Llama-3.2およびQwen2.5での実験では、WikiTextのperplexityとゼロショットの常識推論精度の両方で、強力なPTQベースラインに対して一貫した改善が示されています。
- 実装可能なコードも公開されており、重み・活性の共同サブスペースモデリングを低ビットLLM量子化へ適用するための検証・導入が進めやすくなっています。
