大規模言語モデルにおけるプリファレンス・ヘッド：解釈可能なパーソナライズのためのメカニスティック・フレームワーク

要旨: 大規模言語モデル（LLM）は強い暗黙のパーソナライゼーション能力を示すが、既存のほとんどの手法はこの振る舞いをブラックボックスとして扱い、プロンプトエンジニアリングやユーザーデータに対する微調整に依存している。本研究では、機械論的解釈可能性の観点を採用し、ユーザ固有の様式的および話題的嗜好を符号化し、生成に因果的な影響を及ぼす注意ヘッドの疎な集合としての「Preference Heads（選好ヘッド）」が存在するという仮説を立てる。我々は、Differential Preference Steering（DPS）を提案する。これは学習を必要としない枠組みであり、(1) 因果的マスキング解析によりPreference Headsを同定し、(2) 推論時にそれらを用いて制御可能かつ解釈可能なパーソナライゼーションを実現する。DPSは各注意ヘッドに対してPreference Contribution Score（PCS）を計算し、ユーザに整合した出力への因果的寄与を直接測定する。復号（デコーディング）においては、Preference Headsを含む場合と含まない場合のモデル予測を対比し、パーソナライズされたロジットと一般的なロジットの差を増幅することで、嗜好に整合した継続を選択的に強化する。複数のLLMにわたって広く用いられているパーソナライゼーションのベンチマークでの実験により、内容の整合性（コヒーレンス）を保ちつつ、低い計算オーバーヘッドのまま、パーソナライゼーションの忠実性に対して一貫した向上が示された。経験的な改善にとどまらず、DPSはトランスフォーマーのアーキテクチャ内でパーソナライゼーションが「どこで、どのように」生じるのかについての機械論的な説明を提供する。我々の実装は公開されている。