局所的に自信があるが、世界的には行き詰まる：拡散言語モデルにおける品質—探索のジレンマ

arXiv cs.CL / 2026/4/3

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

この論文は、任意の順序でトークンを復号できる拡散LLMが、理論上の探索の柔軟性にもかかわらず、ランダム順序の復号では生成品質をしばしば損なう理由を分析します。
「品質—探索のジレンマ」を説明し、高信頼なトークンを優先することで低自信のリマスキングが単一サンプルの品質（例：Pass@1）を高める一方、探索が低下し、多数サンプルでの改善（例：Pass@k）が頭打ちになることを示します。
著者らはこのジレンマを統一的に捉え、低自信のリマスキングが近視眼的な品質指標を改善しつつ、生成される配列分布のエントロピーを理論的に制限することを示します。
この制限に対処するため、品質と探索のバランスを明示的に取る最適な分布を導出し、復号中にその目標を近似するためのIndependent Metropolis–Hastingsサンプラを提案します。
推論ベンチマーク（MATH500、AIME24/25、HumanEval、MBPP）での実験により、提案するサンプリング手法は、ランダム復号および低自信のリマスキングの両方と比べて、探索—品質のトレードオフを改善することが示されます。