ドメイン特化エージェントのためのシンボリック・ガードレール：有用性を損なわずにより強い安全性とセキュリティ保証を

要旨: ツールを通じて環境と相互作用するAIエージェントは、強力なアプリケーションを可能にしますが、高リスクなビジネス環境では、意図しない行動が、プライバシー侵害や金銭的損失のような容認できない被害につながり得ます。訓練ベースの手法やニューラルなガードレールといった既存の緩和策は、エージェントの信頼性を向上させますが、保証を提供することはできません。本研究では、AIエージェントに対する強力な安全性およびセキュリティ保証に向けた実用的な道筋として、象徴的ガードレールを検討します。本研究は3部構成で、(1) 評価されているポリシーを特定するために、最先端のエージェント安全性・セキュリティベンチマーク80件に対する体系的レビューを行い、(2) どのポリシー要件が象徴的ガードレールによって保証可能かを分析し、(3) 象徴的ガードレールが、安全性、セキュリティ、そしてエージェントの成功にどのような影響を与えるかを、\tau^2-Bench、CAR-bench、およびMedAgentBenchで評価します。その結果、85\%のベンチマークには具体的なポリシーが欠けており、代わりに、過不足のある高レベル目標や常識に依存していることが分かりました。指定されたポリシーのうち、74\%のポリシー要件は象徴的ガードレールによって強制でき、しかも単純で低コストな仕組みを用いることが多いです。これらのガードレールは、エージェントの有用性を損なうことなく、安全性とセキュリティを改善します。全体として、本研究の結果は、特にドメイン固有のAIエージェントにおいて、象徴的ガードレールが一部の安全性・セキュリティ要件を保証するための実用的かつ効果的な方法であることを示唆しています。すべてのコードおよび成果物を https://github.com/hyn0027/agent-symbolic-guardrails で公開します。