約25〜30個のツール(APIと内部ユーティリティの混在)にアクセスできるエージェント設定を試しています。
ツール数が約10〜15個を超えるときは以下の事象が起きます。- プロンプトサイズが膨れ上がる - トークン使用量が急速に高くなる - レイテンシが顕著に悪化する(特に複数ステップの推論時に)
いくつか試してみました:- ツールの説明を短くする - ツールをグループ化する - サブセットを手動で選択する
しかしどれもすっきりとした印象はなく、スケーラブルにも感じません。
ここにいる他の人はこれをどう対処していますか?
- ツールの数を制限していますか?
- 何らかの動的ロードを行っていますか?
- それとも単にトレードオフを受け入れていますか?
エージェントの能力が高まるにつれて、これがより大きな問題になるように感じます。
[リンク] [コメント]




