私はAIエージェント向けの、プログラマブルなガバナンス層を構築しました。完全にオープンソース化しようと考えています。フィードバックを探しています。
エージェントのデモは簡単です。
プロダクションのエージェントでは、物事が厄介になります：
- エージェントが間違ったツールを呼び出す
- 機密データがモデルに渡されてしまう
- 高リスクなアクションが、本来承認されるべきでないのに承認される
- 顧客が「この実行で正確に何が起きたの？」と聞いてくる
- チームが後でチェーンをリプレイして改ざんされていないことを証明する必要がある
それが、私がAI Governance SDKで解決しようとしている問題です。
SDKはPythonとTypeScriptで提供されており、エンジニアがプログラマブルに次のような追加を行えるようにします：
- エージェントの実行およびツール呼び出しの監査トレイル
- 実行時アクションに対する決定論的なリスク判断
- コンプライアンスの証明生成および検証
- 履歴の実行に対するリプレイ＋ドリフト診断
中核となる考え方はシンプルです：
エージェントが推論し、ツールを呼び出し、アクションを取ることができるなら、ログ以上のものが必要です。次の問いに答えられるシステムが必要です：
- エージェントは何をしたのか？
- なぜそのアクションが許可されたのか？
- どのポリシー／リスクの入力が関与していたのか？
- その実行を後でリプレイできるのか？
- セキュリティ、コンプライアンス、またはエンタープライズのレビューのためのエビデンスを生成できるのか？
エンジニアとして私が欲しかったのは、別の「AIガバナンス・ダッシュボード」ではありませんでした。
欲しかったのはインフラです。
認証、キュー、または可観測性を配線するのと同じように、エージェントのループ、ツール呼び出し、そして実行時の制御に組み込めるものが欲しかったのです。
エージェント、コパイロット、または自律的なワークフローに取り組んでいるなら、率直なフィードバックをいただきたいです：
プロダクション環境でAIエージェントを完全に信頼できるようにするには、何が必要ですか？
[link] [comments]
