AIエージェントのセキュリティ用ガードレールに関する比較評価

Abstract

本報告書では、AIエージェントのセキュリティシナリオにおけるDKnownAI Guardの比較評価を提示し、これを3つの競合製品であるAWS Bedrock Guardrails、Azure Content Safety、Lakera Guardとベンチマークします。グラウンドトゥルースとして人手による注釈を用い、各ガードレールが2種類のリスクを検出する能力を評価します。すなわち、エージェント自体への脅威（例：指示の上書き、間接的インジェクション、ツールの悪用）と、有害なコンテンツを引き出すことを意図したリクエスト（例：ヘイトスピーチ、ポルノ、暴力）です。評価結果から、DKnownAI Guardは最も高いリコール率96.5\%を達成し、真の否定率（TNR）では90.4\%で1位にランクインすることが示されました。これにより、評価対象となったすべてのガードレールの中で最も優れた総合パフォーマンスを提供します。