アラインメントフィードバック付きマルチ・ドラフター推測デコーディング

要旨: スペキュレイティブ・デコーディング（SD）は、小型モデルを用いて将来のトークンを下書きし、その後にターゲットとなるLLMでそれらを検証することで、大規模言語モデル（LLM）の推論を高速化します。これは整合したトークンのみを受理することで生成品質を維持します。しかし、特定のタスクや領域のために学習されることが多い個々の下書きモデル（drafter）は、多様なアプリケーションにわたって限定的な有効性しか示しません。これに対処するために、複数のdraftersをSDプロセスに統合する統一フレームワークである\textsc{MetaSD}を提案します。MetaSDは、整合性フィードバックを活用し、下書きモデルの選択を多腕バンディット問題として定式化することで、異種のdraftersに対して計算資源を動的に割り当てます。大規模な実験により、MetaSDが単一-drafterの手法に対して一貫して優れた性能を示すことが確認されています。