ステアリングベクトルが機能する場所の予測

要旨: ステアリングベクトルは一部の概念や層に対しては機能しますが、その他では失敗し、実務者は介入を実行する前にどの設定が適用されるかを予測する手段を持っていません。私たちは、線形アクセシビリティ・プロファイル（LAP）という、層ごとの診断指標を導入します。これは、ステアリングベクトルの有効性の予測としてlogit lensを転用するものです。主要な指標 A_{mathrm{lin}} は、学習を必要とせずに、モデルのunembedding行列を中間の隠れ状態に適用します。5つのモデル（Pythia-2.8B から Llama-8B）上で、24の制御された二値概念ファミリに対して、ピーク時の A_{mathrm{lin}} は、ステアリング有効性を ho = +0.86 から +0.91 の相関で、層選択を ho = +0.63 から +0.92 の相関で予測します。3つのレジーム（領域）の枠組みにより、差の平均（difference-of-means）によるステアリングが機能する場合、非線形手法が必要な場合、そしてどの手法も機能しない場合が説明されます。エンティティ・ステアリングのデモにより、予測がエンドツーエンドで裏付けられます。すなわち、LAPが推奨する層でのステアリングは Gemma-2-2B と OLMo-2-1B-Instruct の補完をリダイレクトします。一方で標準的なヒューリスティックである中間層では、どちらのモデルにも効果がありません。