コアに焦点を：自己コントラストによる拡散型大規模言語モデルの強化

要旨: 拡散大型言語モデル（DLMs）の反復的なノイズ除去パラダイムは、グローバルな文脈モデリングにおける明確な優位性をそれらにもたらします。しかし、現在のデコーディング戦略はこの能力を十分に活用できず、典型的には文脈内の情報密度が不均質である点を見落とす局所的な嗜好が現れ、その結果として生成品質が低下します。この制約に対処するために、情報密度が高い（HD）トークンを体系的に調査し、2つの主要な知見を提示します:（1）HDトークンを明示的に条件付けすると、出力品質が大幅に向上すること; および（2）HDトークンは早期デコーディングの傾向を示し、周辺のトークンよりも早く収束することです。これらの知見に動機づけられ、学習を行わない（training-free）デコーディング戦略である Focus on the Core \textbf{(FoCore)} を提案します。これはHDトークンを自己コントラストの形で用い、HDトークンを一時的にマスクし直して負のサンプルとして扱うことで生成を導くものです。さらに、HDトークンの収束を検出した際に、局所的な文脈ウィンドウ内の安定した候補に対して並列デコーディングを行うことで、生成を大幅に加速する効率的な派生手法 FoCore\_Accelerate \textbf{(FoCore\_A)} も導入します。数学・コード・論理推論のベンチマークに対する大規模な実験により、FoCore は LLaDA および Dream の双方のバックボーンにおいて一貫して生成品質と効率を改善することが示されます。例えば HumanEval では、FoCore は標準の Classifier-Free Guidance に対して pass@1 を 39.02 から 42.68 に向上させ、FoCore-A はデコーディングステップ数を 2.07x 減らし、サンプルあたりのレイテンシを 20.76s から 8.64s（-58.4\%）に低減します。