攻撃的セキュリティ課題に向けた最適なエージェント型アーキテクチャ

概要: エージェント型セキュリティシステムは、ツールを使うLLMによってライブな対象を監査することがますます増えていますが、従来のシステムは単一の協調トポロジーを固定しており、追加のエージェントがいつ有益で、いつ単にコストを増やすだけなのかが不明確でした。本研究では、トポロジー選択を実証的なシステムの問題として扱います。エンドポイントに到達可能な1つの真の脆弱性をそれぞれ公開する、20のインタラクティブなターゲット（10のWeb/APIと10のバイナリ）からなる、制御されたベンチマークを導入します。これをホワイトボックスおよびブラックボックスのモードで評価します。本質的な研究は、5つのアーキテクチャファミリ、3つのモデルファミリ、両方のアクセスモードに対して計600回の実行を行い、別途60回のロングコンテキストのパイロットは付録でのみ報告します。完了した主要ベンチマークでは、検出-anyが58.0%に到達し、検証された検出が49.8%に到達しました。MAS-Indepは検証された検出率で最も高く（64.2%）、一方でSASは、検証済みの発見あたり$0.058という最も強い効率のベースラインです。ホワイトボックスはブラックボックスを大きく上回ります（検証された検出: 67.0% vs. 32.7%）。また、Webはバイナリを大きく上回ります（74.3% vs. 25.3%）。ブートストラップによる信頼区間と、ターゲット単位のペア比較の差分から、支配的な効果は観測可能性とドメインであることが示されますが、いくつかの主要なホワイトボックストポロジーは統計的に近いままです。主要な結果は、非単調なコスト・品質フロンティアです。より広い協調はカバレッジを改善し得ますが、レイテンシ、トークンコスト、エクスプロイト検証の難しさを考慮すると、それが常に優勢に支配するわけではありません。