T-MAP：軌跡に着目した進化的探索によるLLMエージェントのレッドチーミング

Abstract

これまでのレッドチーミングの取り組みは、大規模言語モデル（LLM）から有害なテキスト出力を引き出すことに焦点を当ててきましたが、こうした手法は、特にModel Context Protocol（MCP）のように急速に拡大するエコシステムにおいて、多段階のツール実行を通じて生じるエージェント固有の脆弱性を捉えきれていません。このギャップに対処するために、軌跡（トラジェクトリ）を意識した進化的探索手法であるT-MAPを提案します。本手法は、実行の軌跡を活用して、敵対的プロンプトの発見を導きます。これにより、安全性ガードレールを回避するだけでなく、実際のツール操作を通じて有害な目的を確実に達成する攻撃の自動生成を可能にします。多様なMCP環境に対する実証評価により、T-MAPは攻撃実現率（ARR）においてベースラインを大幅に上回り、GPT-5.2、Gemini-3-Pro、Qwen3.5、GLM-5を含むフロンティアモデルに対しても有効であることが示されました。これにより、自律型LLMエージェントにおける、これまで十分に調査されてこなかった脆弱性が明らかになります。