私は業務で使えるユースケース向けに、エージェント型AIのワークフロー・システムを構築する作業を進めていましたが、すぐに非常に明確になったことがあります。それは、適切なLLMを選ぶ話ではないということです。
本当の複雑さが始まるのは、推論・メモリ・ツール実行を複数ステップにまたがって連鎖させようとしたときです。単一のエージェントならデモではうまくいきます。外部APIを伴うマルチステップのワークフローを導入した瞬間、事態はおかしくなり、複雑になります。
状態管理が問題になります。メモリの取得は一貫しません。レイテンシはステップを重ねるたびに増幅します。そして、デバッグがつらいのは、単一の関数を追跡しているのではなく、システム全体にまたがる意思決定を追跡しているからです。
助けになったのは、層（レイヤー）で考えることでした。入力処理、計画、実行、フィードバック。これらを分離すると、失敗箇所を切り分けるのがずっと簡単になりました。さらに、大半の非効率はモデルそのものではなく、不要なモデル呼び出しから生じていることにも気づきました。
もう一つ、人々が十分に話していないのがコストのスケーリングです。トークン使用量は初期の段階では管理可能ですが、ワークフローが深くなると、コンテキストやステップ数を制御していない限り、すぐに積み上がっていきます。
[link] [comments]
