拡散言語モデルに対する注意に基づくサンプラー
arXiv cs.CL / 2026/4/13
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、自己回帰的デコーディングの限界を、拡散ベースのLLMがトークン単位の信号を超えてどのように生成順序を選択できるかという観点から検討する。
- 近似的に系列の対数尤度を最大化する理論的結果として、注意行列の列和が大きい順にトークンをデコーディングすることで良好な性能が得られることを示す。
- この理論に基づき、著者らは、貪欲デコードよりも生成品質を向上させることを目的とした、学習不要の注意誘導型デコーディングアルゴリズムである「Attn-Sampler」を提案する。
- 実用化と高速化のために、利点を維持しつつデコードを加速するブロック注意の近似と、動的な注意閾値付けを導入する。
- 複数のベンチマークに関する実験により、既存のデコーディング手法と比べて生成品質が向上し、デコーディングの並列性が増大することが示される。
