役割混乱としてのプロンプトインジェクション

要約: 言語モデルは広範な安全性トレーニングにもかかわらず、プロンプト挿入攻撃に対して依然として脆弱である。私たちはこの失敗を役割混乱に起因すると追跡する。モデルはテキストの書き方から役割を推測し、出所から来たものかどうかを判断しない。私たちは内部的に「誰が話しているのか」を識別する方法を捉える新規の役割プローブを設計する。これらは、なぜプロンプト挿入が機能するのかを明らかにする。信頼されていないテキストが役割を模倣すると、その役割の権威を継承する。私たちはこの洞察を検証するために、ユーザーのプロンプトとツール出力へ偽装した推論を注入し、複数のオープンウェイトおよびクローズドウェイトモデルで、ほぼゼロのベースラインから、StrongREJECTで平均60%、agent exfiltrationで61%の平均成功率を達成した。驚くべきことに、内部の役割混乱の程度は、生成が始まる前に攻撃の成功を強く予測する。我々の発見は根本的なギャップを示す。セキュリティはインターフェイスで定義されるが、権威は潜在空間に割り当てられる。より広く言えば、プロンプト注入の統一的で機械的なフレームワークを導入し、多様なプロンプト注入攻撃が同じ基本的な役割混乱のメカニズムを悪用していることを示す。