拡散型LLMのためのAttentionを用いた依存関係認識パラレルデコード

概要: 拡散モデルを用いる大規模言語モデル（dLLMs）の並列デコードは難しい。各デノイジングステップがトークンごとの周辺分布しか提供しない一方で、複数トークンを同時にマスク解除するにはトークン間の依存関係を考慮する必要がある。私たちは Dependency-Aware Parallel Decoding（DAPD）を提案する。これは訓練不要のシンプルなデコード手法で、自己注意を用いてマスク済みトークン上の条件付き依存グラフを誘導する。各反復でこのグラフのエッジは強いトークン間の相互作用を捉え、非エッジは弱い依存を示す。並列デコードはグラフ上の独立集合を選択し、選択したトークンを並列にマスク解除することに縮小される。これにより、補助モデルや再訓練なしに、強く結合したトークンを同時に更新することを回避する。LLaDAとDreamでの実験は、DAPDが従来の方法よりも精度とステップ数のトレードオフを改善し、どの順序でも生成可能な dLLMs の特性をより活用できる、よりグローバルに分散した並列更新を実現することを示している。