複数ステップのLLMエージェントのデバッグは意外と難しい――人はどう対処しているのか？

私はマルチステップのLLMエージェント（LLM＋ツール）を構築してきましたが、それらをデバッグするのは予想していたよりもずっと難しいです。

私が繰り返し直面している問題のいくつか：

- 無効なJSONがワークフローを壊してしまう

- 各ステップでプロンプトが大きくなりすぎる

- 特定のツールによるレイテンシのスパイク

- 実行間で何が変わったかを理解する明確な方法がない

フローがほんの少しでも複雑になると、ログはほとんど役に立たなくなる。

他の人がこれをどのように対処しているのかに興味があります — 特にマルチステップのエージェントについて。

ログと再試行だけに頼っていますか、それとも何らかのトレーシング／可視化を使っていますか？

結局、自分のために実行 → スパン → 入力/出力を可視化する小さなトレーシング設定を作成しました。これにより大いに助かりましたが、他の人がどんなアプローチを採用しているのか気になります。