Efficient-DLM：自己回帰から拡散言語モデルへ、そして速度面でのさらなる展開

Abstract

拡散言語モデル（dLM）は、並列かつ非自己回帰的な生成を可能にする有望なパラダイムとして登場してきましたが、スクラッチから学習する際には、自己回帰（AR）言語モデルに比べて学習効率が劣っています。そこで本研究では、事前学習済みのARモデルを効率的なdLMへ変換し、速度に優れつつARモデルのタスク精度を維持するためのAR-to-dLM変換を検討します。既存のAR-to-dLM手法の注意パターンと目的関数における制約を特定し、その上でより効果的なAR-to-dLM変換のための原理と方法論を提案することで、この課題に取り組みます。具体的には、まず異なる注意パターンを体系的に比較し、効果的なAR-to-dLM変換には事前学習済みARの重み分布を維持することが重要であることを見いだします。そこで、ブロックごとの注意パターンを用いた連続的な事前学習スキームを導入します。このスキームはブロック間では因果的でありつつ、各ブロック内では双方向モデリングを可能にします。このアプローチは、完全な双方向モデリングよりも、事前学習済みARモデルの重み分布をより良く保持できることに加え、よく知られたKVキャッシングを可能にする利点も併せ持ち、精度と効率の双方で「勝ち」につながることを示します。第二に、マスクトークン分布における学習時とテスト時のギャップ（一様 vs. 非常に左から右へ）を緩和するために、位置依存のトークンマスキング戦略を提案します。この戦略では、テスト時の振る舞いをよりよく模倣するため、学習中は後半のトークンほど高いマスキング確率が与えられるようにします。この枠組みを活用し、dLMの注意パターン、学習ダイナミクス、その他の設計選択について大規模な検討を行い、スケーラブルなAR-to-dLM変換に向けた実行可能な知見を提供します。これらの研究は、Efficient-DLMファミリーを生み出し、例えば提案手法のEfficient-DLM 8Bでは、Dream 7BおよびQwen3 4Bと比べて、それぞれ4.5倍/2.7倍の高いスループットを達成しつつ、+5.4%/+2.7%の高い精度を上回ります。