ツールだけで十分？LLMエージェントにおけるツール使用税（Tool-Use Tax）の解明

要旨: ツールによって補強された推論は、LLMベースのエージェントにおいて人気の方向性となっており、推論と信頼性が改善されることが広く期待されています。しかし我々は、この見解が常に成り立つわけではないことを示します。すなわち、意味的な注意そらし（セマンティック・ディストラクタ）が存在する場合、ツールによって補強された推論は必ずしもネイティブなCoT（Chain-of-Thought：思考の連鎖）より優れません。この性能差を説明するために、プロンプト整形のコスト、ツール呼び出しプロトコルのオーバーヘッド、そしてツールを実行することによる実際の利得を切り分ける、因数分解された介入（Factorized Intervention）フレームワークを提案します。分析の結果、重要なトレードオフが明らかになりました。すなわち、意味的ノイズの下では、ツールによる利得が、ツール呼び出しプロトコルそのものが導入する性能劣化である「ツール使用税（tool-use tax）」を相殺できないことが多いのです。この問題に対処するため、プロトコルに起因する誤りを緩和する軽量な推論時ゲートとしてG-STEPを導入します。これにより部分的な回復は得られますが、我々の結果は、より大きな改善を得るには、モデルの固有の推論能力およびツールとの相互作用能力をさらに強化する必要があることを示唆しています。