言語モデルにおける分布外（OOD）入力の処理：2つの経路フレームワーク

Abstract

LLMに対する最近のホワイトボックスOOD検出手法—CED、RAUQ、WildGuardの信頼度スコアを含む—は有効であるように見えるが、我々はそれらが構造的に系列長によって混同（confounded）されていることを示す（|r| >= 0.61）。さらに、長さを一致させた評価の下では、それらはほぼ偶然（chance）に崩れ落ちる。含めた完全性のための自然なベースラインである、生の注意エントロピー（ヘッドと層をまたいだ平均H(alpha)）も同様の混同を示す。この混同は、注意が入力長に対して持つTheta(log T)依存に起因する。混同を取り除いた後に真のOOD信号を同定するため、我々は二経路（two-pathway）フレームワークを提案する。埋め込み（embeddings）はテキストが何についてかを捉える（話題の変化に有効）一方で、処理軌跡—層を跨いだ隠れ状態の推移—はモデルが入力をどのように処理するかを捉える。各経路の相対的な強さは、語彙の透明性（vocabulary-transparency）スペクトルに沿って変化する。埋め込み手法は語彙が識別的なOODに優れ、軌跡（trajectory）特徴は通常テキストと語彙を共有する秘匿意図（covert-intent）入力を検出する（平均AUROC: 0.721；Jailbreak: 0.850）。このフレームワークを支持する3つの証拠ラインがある。(1) 6つのタスクにおいてk-NNと軌跡スコアリングの間で交差が見られ、各経路が異なる種類のOODで勝つこと。(2) 層ごとの分析により、層0のk-NN信号はほぼ完全に長さのアーティファクトであること（Jailbreak: 0.759（生）-> 0.389（一致））。これにより、処理が偶然に近い埋め込みから真のOOD信号を構築すること。(3) 回路帰属（circuit attribution）により、敵対的タスクは意味的タスクよりも注意回路をより強く活性化することが示される（p = 0.022；Jailbreakのパッチ適用：p < 0.001）、さらに部分的なモデル間での再現がある。公開時にコードをリリース。