誰も見ていないときにAIエージェントが実際に何をしているか追跡した。すべての判断をリプレイするツールを作った

AIエージェントを約1年ほど作ってきたんだけど、いつもイラッとさせられるのは、エージェントをデプロイすると、何時間も動くのに、あなたは実際に何をしたのかまったく分からないことなんだ。ログには「task complete」が47回表示されるけど、本当に47種類の別のことをやったの？それとも同じタスクを延々とループしていただけなの？

週末の間に、APIクレジットを約340ドル分消費してしまうエージェントがいた。まったく同じリクエストをリトライし続けて詰まっていたんだ。ログは呼び出しごとに200 OKになっていて、全部ちゃんとして見えた。だけど、あなたが寝ている間もずっと同じことを6時間続けていた。

そこで、これを解決するものを作った。Octopodaと呼んでいて、基本的にはエージェントの下に入る観測（オブザーバビリティ）レイヤーだ。メモリの書き込み、あらゆる判断、あらゆるリコールがタイムラインに記録される。文字通り再生ボタンを押して、3amにエージェントが何をしたのかを、動画を早送りで確認するみたいに、1ステップずつ見ることができる。

いちばん驚いたのは、ループ検出だった。全タイムラインが見えるようになってから、エージェントがどれくらいの頻度で、あなたが知らないうちにループしているのかが分かった。明らかな無限ループではない、微妙なものが多い。例えば、まったく同じ結論を、言い回しを少し変えながら8回書き直すエージェント。あるいは、データが変わっていないのに30秒ごとに同じAPIエンドポイントをチェックし続けるやつ。各イテレーションでトークンはコストとして消えるのに、新しい成果は何も生まれない。

これのために5つのシグナルを追跡している。書き込みの類似度、キーの上書き頻度、速度（ボリューム）の急上昇、アラート頻度、ゴールのドリフト。十分な数のシグナルが同時に発火すると、それをフラグ付けして、ループが1時間あたりいくら損を生んでいるかを見積もる。検出が追いつく前に、重複した書き込みで1時間あたり約10ドルを無駄にしていた研究エージェントがいた。

さらに、自動チェックポイントも行う。書き込みが25回ごとにスナップショットを自動保存するので、何か問題が起きたときも、ワンクリックで任意の時点までロールバックできる。4amに何かが壊れて、エージェント作業の一晩まるごと失うことはもうない。

LangChain、CrewAI、AutoGen、OpenAI Agents SDKに対応している。統合は1行：

ダッシュボードではすべてをリアルタイムで表示する。エージェントのヘルススコア、エージェントごとのコスト、エージェント間で共有されるメモリ、そして意思決定のあらゆる根拠を含む完全な監査ログ（オーディットトレイル）。正直、一番役に立つのは「今夜の間に何が起きたの？」に、ログを読んで1時間使うことなく答えられることだ。

「自分のエージェントが何をしたのか分からない」問題に悩んでいる人は他にもいる？ 自律的なワークフローのオブザーバビリティを、他の人はどうやって扱っているのか気になる。

誰かが試してみたいと思ったら、チェックしてみて！