DOS: マスク付き拡散言語モデルの依存関係指向サンプラー
arXiv cs.CL / 2026/3/17
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- DOSは、トレーニング不要のデコーディング戦略で、マスク付き拡散言語モデルにおいてトークン間の依存関係を利用し、生成時のトークン更新を導く。
- Transformerブロックからのアテンション行列を用いてトークン間の依存関係を近似し、マスクされた位置を更新する際にはマスクされていないトークンからの情報を優先する。
- 実証的な結果は、DOSがコード生成や数学的推論タスクの性能を向上させ、既存の並列サンプリング手法と統合して、品質を損なうことなく効率を高めることができることを示している。
- シーケンスレベルの情報を強調することで、MDLM（マスク付き拡散言語モデル）のデコーディングにおけるトークン依存関係の重要性を浮き彫りにし、より効率的な生成への実用的なアプローチを提供します。
