ToolSpec：スキーマ認識および検索拡張型の推測的デコーディングによるツール呼び出しの高速化

要旨: ツール呼び出しは、大規模言語モデル（LLM）が外部アプリケーションと対話できるようにすることで、その実用的な有用性を大きく拡張しました。LLMの能力が進歩するにつれ、効果的なツール利用は、複雑なタスクを解くために多段階・多ターンのやり取りを伴うことがますます重要になっています。しかし、その結果として生じるツール対話の増大は大きな遅延を招き、リアルタイムのLLM提供における主要な課題となっています。実証的な分析により、ツール呼び出しの痕跡は非常に構造化されており、制約されたスキーマに適合していること、またしばしば反復的な呼び出しパターンを示すことを見出します。これに動機づけられて、本研究では、ツール呼び出しを高速化するための、スキーマに着目した検索拡張型の推測デコード手法であるToolSpecを提案します。ToolSpecは、事前に定義されたツールのスキーマを活用して正確なドラフトを生成し、有限状態機械を用いて決定的なスキーマトークンの埋め込みと、可変フィールドに対する推測生成とを交互に行います。さらにToolSpecは、類似した過去のツール呼び出しを検索し、それらをドラフトとして再利用することで、効率をさらに高めます。ToolSpecは、既存のLLMワークフローにシームレスに統合できる、プラグアンドプレイなソリューションを提示します。複数のベンチマークにわたる実験の結果、ToolSpecは最大4.2倍の速度向上を達成し、既存の学習不要の推測デコード手法を大幅に上回ります。