Sequential Monte Carloによる高速LLM推論

要旨: 推測的デコーディング（SD）は、安価な提案モデルからトークンを下書きし、それらをリジェクション・サンプリングによって高価なターゲットモデルで検証することで、大規模言語モデルの推論を高速化します。リジェクションは最初の誤りで下書きブロックを途中で打ち切るため、下書きモデルとターゲットモデルが乖離するとスループットが低下します。そこで、下書きトークンをそのまま一律に拒否するのではなく、これらに重み付けを行うことを提案します。そのために、逐次モンテカルロによる推測的デコーディング（SMC-SD）を導入します。これは、トークン単位の拒否をやめ、下書き粒子の母集団に対して重要度付きの再サンプリングを行うことで置き換えます。SMC-SDは、厳密さを追加の速度と引き換えにする原理に基づく近似推論手法であり、各ステップの近似誤差に関する理論的な上界を保ったまま動作します。LLMの推論はメモリ帯域に律速されるため、粒子を下書きするために必要な算術演算や、それらを並列にスコアリングするために必要な算術演算は、ほぼコストがかかりません。SMC-SDは、アイドル状態の計算資源を用いて検証をベクトル化された固定サイズ操作に変換し、ロールバックなしで実行します。実験的に、SMC-SDは推測的デコーディングに対して2.36倍の速度向上を達成し、自己回帰的デコーディングに対しては5.2倍の速度向上を達成します。また、推論・命令追従・コーディングのベンチマークにおいて、ターゲットモデルの精度から3%以内に収まっています。