AIエージェントがどんどん自律性を高めていき、シェルコマンドを実行し、APIを呼び出し、さらには機密性の高い操作まで扱うようになっているというトレンドを見ています。
しかし、これまで見てきたほとんどの構成には、基本的に強制（enforcement）層がありません。単に「エージェントがちゃんと振る舞うことを期待する」だけです。
そこで、AictionGuard というプロジェクトを作りました。
エージェントとツールの間に位置し、何かが実行される前にポリシーを強制します。
いくつかの例:
- 実行前に
rm -rf *のようなコマンドをブロック sudoや本番環境API呼び出しのようなものに承認を必須にする- 推論＋意思決定（監査証跡）とともに、あらゆるアクションをログに記録する
- すべてをYAMLのポリシーファイルで定義する
現時点ではまだ初期段階（アルファ）ですが、:
- コアのポリシーエンジンは動作中
- HTTPプロキシを実装済み
- Python + TypeScript のSDKが動作する
まだギャップはあります（永続DBなし、一部の機能はまだ接続されていない）ですが、土台はすでにあり、プロジェクト自体より先にREADMEを書いたので、そのギャップの解消にも引き続き取り組んでいます。
ぜひお願いします:
- アーキテクチャへのフィードバック
- ポリシールールのアイデア
- AIセーフティ / インフラに関心のあるコントリビューター
Repo:
https://github.com/Caua-ferraz/AictionGuard
気になっているのですが、もしあなたがエージェントを構築または利用しているなら、何を制限または監視したいと思うでしょうか？
[link] [comments]
