SpecTr-GBV：複数ドラフトによるブロック検証が推論のスペキュレイティブ・デコーディングを加速
arXiv cs.CL / 2026/4/30
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- SpecTr-GBVは、マルチドラフト戦略とグリーディなブロック検証（GBV）を単一の枠組みに統合した新しいスペキュレイティブ・デコーディング手法であり、従来のように別々の改善として扱いません。
- 検証ステップを、ドラフトトークンブロックとターゲットトークンブロック間のオプティマル・トランスポート問題として定式化し、理論面と実運用面の双方で効率の向上を狙います。
- 著者らは、i.i.d.なドラフト生成の前提のもとでSpecTr-GBVが達成可能な最適な期待受理長に到達することを理論的に証明し、ドラフト数が増えるほどこの上界が改善することも示しています。
- 5つのデータセットで4つのベースラインと比較した結果、出力品質を維持しつつ、速度向上とブロック効率のいずれも高い性能を示し、さらにアブレーション研究で重要なハイパーパラメータの影響を評価しています。
