DIVERSED：動的アンサンブル検証によるリラックスした推測的デコーディング

Abstract

推論時に大規模言語モデルを高速化するための効果的な手法として、推論（スペキュラティブ）デコーディングがある。実際には、その速度向上は多くの場合、受理されるトークン分布を厳密にターゲットモデルと一致させる、硬直的な検証ステップによってボトルネックとなる。この制約により、多くのもっともらしいトークンが拒否され、受理率が低下し、結果として全体の時間に対する速度向上が制限される。こうした限界を克服するため、生成品質を維持しつつ時間効率を改善する、Dynamic Verification Relaxed Speculative Decoding（DIVERSED）を提案する。DIVERSEDは、ドラフトモデルとターゲットモデルの分布を、タスク依存かつコンテキスト依存の重みでブレンドするアンサンブルベースの検証器を学習する。提案手法の理論的裏付けを示し、実験的にも、DIVERSEDが標準的な推論（スペキュラティブ）デコーディング手法と比べて推論効率を大幅に高めることを実証する。コードは以下で公開している： https://github.com/comeusr/diversed.