双曲幾何学を活用した有害プロンプトの検出とサニタイズ

要旨:
Vision-Language Models（VLM）は、共有された埋め込み空間においてテキスト情報と視覚情報を整合させることで、画像合成、キャプション付与、検索などのタスクにとって不可欠なものになってきました。しかし、この柔軟性は、危険なコンテンツを生成させることを目的とした悪意あるプロンプトに対して脆弱でもあり、重大な安全性に関する懸念を引き起こします。既存の防御策は、簡単に回避されてしまうブラックリスト型のフィルタに依存するか、あるいは重たい分類器ベースのシステムに依存しており、いずれもコストが高く、埋め込みレベルの攻撃に対して脆弱であるという問題があります。そこで本研究では、2つの補完的な構成要素によってこれらの課題に取り組みます。Hyperbolic Prompt Espial（HyPE）とHyperbolic Prompt Sanitization（HyPS）です。HyPEは、双曲空間の構造化された幾何学を活用して良性のプロンプトをモデル化し、危険なプロンプトを外れ値として検出する、軽量な異常検知器です。HyPSはこの検出を基盤として、説明可能なアトリビューション手法を適用し、有害な語を特定して選択的に修正します。これにより、安全でない意図を無力化しつつ、ユーザープロンプトの元の意味論を保持します。複数のデータセットと敵対的シナリオにまたがる大規模な実験を通じて、提案フレームワークが検出精度と頑健性の両面において、従来の防御策を一貫して上回ることを示します。HyPEとHyPSにより、悪意あるプロンプトの不正利用からVLMを守るための、効率的で解釈可能かつ回復力のあるアプローチが提供されます。