分布型安全性のためのマルチエージェントにおけるソフトラベル・ガバナンス

要旨: マルチエージェントAIシステムは、単一のエージェントが単独で生み出すことのない創発的なリスクを示す。既存の安全性フレームワークは、エージェント行動の二値分類に依存しており、代理（プロキシ）に基づく評価に内在する不確実性を捨て去っている。私たちは、SWARM（\textbf{S}ystem-\textbf{W}ide \textbf{A}ssessment of \textbf{R}isk in \textbf{M}ulti-agent systems）を提案する。これは、二値の良い／悪いラベルを、\emph{ソフトな確率ラベル} p = P(v{=}+1) \in [0,1] で置き換えるシミュレーション・フレームワークであり、連続値の報酬計算、毒性（トキシシティ）測定、統治（ガバナンス）介入を可能にする。SWARMは、調整可能なレバー（取引税、サーキットブレーカー、評判の減衰、ランダム監査）を備えたモジュール式の統治エンジンを実装し、期待毒性 \mathbb{E}[1{-}p \mid \text{accepted}] や品質ギャップ \mathbb{E}[p \mid \text{accepted}] - \mathbb{E}[p \mid \text{rejected}] といった確率的指標によってその効果を定量化する。5つのシードによる複製を含む7つのシナリオにわたって、厳格な統治は安全性を改善せずに福利（ウェルフェア）を40\%超減少させる。一方で、システム外部性を過度に内部化すると、総福利は基準値 +262 から -67 へと崩壊するが、毒性は不変のままである。サーキットブレーカーは慎重な較正を要する。閾値が厳しすぎるとシステム価値が著しく損なわれるが、最適な閾値は、中程度の福利と毒性最小化のバランスを取る。付随する実験では、ソフト指標が、自らを最適化して従来の二値評価を通過することで代理（プロキシ）を“ごまかす”行為を検出できることが示される。この基本的な統治レイヤーは、ライブのLLMに裏打ちされたエージェント（Concordiaエンティティ、Claude、GPT-4o Mini）にも、修正なしで適用できる。結果は、分布（ディストリビューション）としての安全性には \emph{連続} 的なリスク指標が必要であり、統治レバーの較正には定量化可能な安全性—福利のトレードオフが伴うことを示している。ソースコードおよびプロジェクト資源は、https://www.swarm-ai.org/ で公開されている。