暴走するエージェントでAPIクレジットを数百ドル無駄にするのは、もはや通過儀礼——私のケース

最近、これってみんな共通の体験になってきてるんじゃないかと思い始めました。エージェント的AIで何か作っている人たちは、みんな、git履歴のどこかに同じような小さな告白をしまい込んでいます。週末に、監視なしでエージェントを動かしっぱなしにしてしまったこと。月曜に届いた請求書。実際に何をしたのかを突き止めようとした調査作業。

私の場合は、2日で400ドルを超えていました。私のエージェントは、同じ調査タスクを自分自身に対して48時間もの間言い換えて（繰り返して）みたのに、何も出力しませんでした。とても丁寧な哲学者に強盗にあったみたいな気分になりました。

このことが3回目に起きた後は、もう腹が立つのをやめて、代わりに好奇心が湧いてきました。こうしたループの間、エージェントは実際に何を考えているんでしょう。起きているところを見られるのでしょうか。月曜に届く請求書が来る前に止められるのでしょうか。

そこで私はダッシュボードを作りました。エージェントの作業メモリ（稼働中の記憶）の状態をリアルタイムで3D可視化するものになり、何が起きているのかを一目で理解したかったので、意図的に色分けしました。

以下は色の意味です。ここが私が最も時間をかけて正しく理解しなければならなかった部分で、ほかの誰かがこのように整理しているのを見たことがなかったからです。

ノードは、エージェントが保持している「信念」です。ノードの色はその健康状態（ヘルス）を表します。鮮やかな緑は、その信念が新しく、推論の中で積極的に使われていることを意味します。淡い青は、古いけれどまだ関連性があることを意味します。グレーは、薄れていて次回のクリーンアップで忘れられそうであることを意味します。

エッジは、事実同士の間にエージェントが引いたつながりです。エージェントが2つの信念を突き合わせて意思決定するとき、エッジは小さく脈動します。同じエッジが何度も何度も繰り返し点滅し続ける、ぴったりしたクラスターはループの視覚的なサインで、請求書が気づくずっと前から見えてしまいます。

グラフ全体にもオーバーレイの色合いがあります。緑は健全です。黄は「エージェントが考えすぎ始めているので、注意して見ておくべき」状態です。オレンジは、繰り返しの自己参照で、たぶんループしています。赤は「今すぐエージェントを止めてください」。推論の予算を使い果たしてしまい、もはや前進していません。あの47ドルの週末を救ってくれたのが、この状態表示だったでしょう。

ここで、私が想定していなかったことがあります。ループしているエージェントは、混沌としては見えません。落ち着いて見えます。同じ2つのエッジが、回転するように脈動する、3つか4つの小さなクラスターがあるだけです。まるで小さな軌道（オービット）のように。最初に、色付きで実際のループの再生を見たとき、なぜログを読んでいるだけでは気づけなかったのかが分かりました。ログは忙しそうに見えます。グラフは退屈そうに見えるのです。

ここ数週間、このことを考え続けていて、エージェントの可観測性（observability）が、そのものとして独立したカテゴリーになりそうだとますます確信しています。私たちは過去10年で、マイクロサービスの観測方法を突き詰めてきました。これから次の10年で、エージェントを観測する方法を突き詰めていくわけですが、最初のもの（マイクロサービス）とはまったく似たものにはならないと思います。

とにかく、私の話はこれくらいにしておきます。通過儀礼の体験談、心から聞きたいです。自律エージェントがあなたのAPI予算を一番バカみたいに食い尽くしたのは、どんなケースでしたか。コメント欄で、お互いに同じ苦しみを分かち合いましょう。

www.octopodas.com

みなさんのフィードバックが欲しいです！