コーディングベンチマークにおける拡散言語モデルの量子化ロバスト性について

arXiv cs.LG / 2026/4/23

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

本論文では、GPTQと改良版ハウスホルダー・ヘッシアン対応量子化（HAWQ）といったポストトレーニング量子化（PTQ）が、低ビット設定における拡散型コーディングLLMへ与える影響を検証している。
拡散型コーディングLLM（CoDA）を、自回帰型の対応モデル（Qwen3-1.7B）と、標準化された評価パイプラインで比較している。
CoDAは2〜4ビットという極めて低いビット幅で特に優れたロバスト性を示し、HumanEvalおよびMBPPでの精度低下が自回帰型モデルより小さい。
HAWQから導出した混合精度構成により、精度・レイテンシ・メモリの間でより滑らかなトレードオフを実現できると報告している。
全体として、拡散LLMは量子化に対してより耐性が高い可能性があり、コストやメモリ制約下での推論を現実的にし得ることを示唆している。