ブロック境界を打ち破る：拡散大規模言語モデルに対するアンカーに基づく履歴安定デコーディング
arXiv cs.CL / 2026/4/13
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- この論文は、拡散LLMにおける準自己回帰的デコーディングには本質的なブロック制約があり、多くのクロスブロックの安定トークンのデコードが遅れると主張する。
- 安定トークンの同定に関する3つの観察事項として、(1) 素朴な先読みは信頼できない、(2) トークンの安定性は収束の傾向と相関する、(3) 履歴情報がブロック間で隔離される、を示す。
- これに対処するため、著者らは、動的アンカーによってトークンの安定性をリアルタイムに追跡する、学習不要でプラグアンドプレイ可能な動的デコーディング手法「Anchor-based History-stable Decoding（AHD）」を提案する。
- 言語、視覚言語、音声言語の各タスクにまたがる実験により、AHDは性能と推論効率の両方を改善し、他の高度な加速戦略で典型的に見られる性能低下を覆せることを示す。
- とくにBBHベンチマークでは、AHDはデコーディング手順を80%削減しつつ、性能を3.67%向上させる。
