リアルタイムでAIエージェントが考える様子を見守る3Dブレインを自作した（無料：メモリ、共有メモリの監査ログ、意思決定分析をエージェントに提供）

昨日このサブに投稿したのですが、皆さんの親切な言葉に本当に感謝したくて書き込みました。聞けてすごく最高です。なので、今日は新しい機能をこちらに置いてみようと思いました（みなさんの意見をもとに昨夜ずっと最後の最小変更をしてました笑）。

基本的に、数週間かけてRedditをスクレイピングし、GitHub上のGPT Researcherを使ったAIエージェントに人々が一番よく抱えている不満を集めました。結果としておおよそ、セッションの間にエージェントがすべてを忘れてしまうと言っているのが38%（驚くほどではないですが）、マルチエージェントシステムのデバッグが悪夢だと言っているのが24%、自分のエージェントを動かすのに実際いくらかかるか分からないというのが17%、セッションリプレイが欲しいというのが12%、そして9%がループ検知が欲しいというものでした。

そこで、これらすべてに同時に対処しようとするものを作りました。いま見ているのは3Dグラフで、各エージェントがこの放射状の星のような形になります。そこから伸びている一本一本がイベントで、いつ起きたかによって長さが決まります。短い線は昔の出来事で、ずっと前に起きたものです。長い線は最近の出来事です。私のアイデアは、エージェントがもっと仕事をすれば、その“成長していく様子”を文字通り眺められることでした。忙しいエージェントは大きな星、静かなエージェントは小さな星です。

色分けは私にとって本当に重要でした。緑はメモリが保存されたこと、青はメモリが呼び出されたこと、琥珀色のダイヤはエージェントが下した意思決定、赤い円錐はエージェントが同じことを繰り返して行き詰まったときのループアラート、そしてシアンの線は、あるエージェントが別のエージェントの共有メモリを読んだときです。なので、ログを1つも読まなくてもパッと見れば何が起きているかすぐ分かります。

見た目の可視化が派手な部分ですが、その下にある実際のダッシュボードも退屈な作業（本来の機能）をちゃんとやっています。セマンティック検索とプレフィックス検索による永続的なメモリ、エージェント同士が互いの知識を読み取り、実際に使える共有メモリ、そして私のお気に入りである監査トレイルとループ検知です。もしエージェントがループしているなら、なぜそうなっているのか、どのキーで詰まっているのか、どれくらいコストがかかっているのかが正確に分かり、さらに文字通りボタンを1つ押すだけで、その書き込みを即座にブロックできます。

私が面白いと感じたのは、ループ検知はデータ中で5番目に要望が多い機能だったのに、実際に本当のお金を節約してくれるのがそれだという点です。あるユーザーは、ある午後の間に暴走したGPT-4呼び出しで$200節約できたと言っていました。人が求める機能と、本当に重要な機能はいつも同じとは限りません。

ここで動いているデモでは、5つのエージェントが実際のGPT-4oとClaudeのAPI呼び出しを行い、実際のリサーチ、戦略分析、コンプライアンスチェックを生成します。保存されているメモリは500件以上。見えているループも本物で、ペイウォールの背後にあるデータを検証しようとして本当に詰まったり、収束しない財務モデルを再計算したりしています。

もちろん完璧ではありませんし、皆さんが実際に求めているものに基づいて少しずつ追加しています。日々何を使っているのか、そして「これ今すごくウザいな」と思わせるような瞬間について、ぜひ教えてもらえたら本当に嬉しいです。というのも、それこそが次に作りたいものそのものだからです。

これはローカルでもクラウドでも動き、セットアップはかなり簡単で、エージェントを追加するのはコード3行のようなものです。

質問があれば何でも言ってください。何でも喜んでお答えします。