セマンティック・ルーター向け結果志向のツール選択: LLM推論なしのレイテンシ制約付き学習

要旨：LLM推論ゲートウェイのセマンティックルータは、重要なリクエスト経路でツールを選択します。追加の遅延が1ミリ秒でも、数百万のリクエストにわたって影響が累積します。私たちは Outcome-Aware Tool Selection（OATS）を提案します。これは、過去にツールが成功したクエリの重心に向かってツール埋め込みを補間するオフラインプロセスであり、提供時にはパラメータ、遅延、GPUコストを追加しません。MetaTool（199個のツール、4,287個のクエリ）では、NDCG@5を0.869から0.940へ改善します； ToolBench（2,413個のAPI）では0.834から0.848へ改善します。さらに、学習済みの拡張として2,625パラメータのMLPリランキングと197Kパラメータのコントラスト学習アダプターを評価します。アウトカムデータがツールセットに対して希薄な場合、MLPリランキングはベースラインを下回るか同等となります；コントラスト学習アダプターはMetaToolで同等の利得を提供します（NDCG@5: 0.931）。すべての手法は、同じホールドアウトの30%テスト分割で評価されます。実務的な結論は、ゼロコストの改良から開始し、データ密度がそれを正当化する場合にのみ学習コンポーネントを追加することです。すべての仕組みは、一桁ミリ秒のCPU予算内で実行されます。