ヘッシアン強化トークン帰属（HETA）：自己回帰型LLMを解釈する

要旨: 帰属（attribution）手法は、入力トークンが生成出力にどれだけ寄与したかを定量化することで、言語モデルの予測を説明しようとします。しかし、既存のほとんどの手法はエンコーダベースのアーキテクチャ向けに設計されており、線形近似に依存するため、デコーダのみのモデルにおける自己回帰生成の因果的かつ意味論的な複雑さを捉えられません。これらの制約に対処するために、本研究では、デコーダのみの言語モデルに特化した新しい帰属フレームワークである Hessian-Enhanced Token Attribution（HETA）を提案します。HETA は、互いに補完し合う3つの要素を組み合わせます。層をまたいだトークン間の影響を捉えるセマンティック遷移ベクトル、2次効果をモデル化するヘッセ行列に基づく感度スコア、そしてトークンをマスクしたときの情報損失を測るためのKLダイバージェンスです。この統一的な設計により、文脈に応じた、因果的に忠実で、意味論的に根拠づけられた帰属が得られます。さらに、本研究では、生成設定における帰属品質を体系的に評価するための厳選されたベンチマークデータセットも導入します。複数のモデルおよびデータセットにわたる実験評価により、HETA は帰属の忠実性および人間の注釈との整合性において、一貫して既存手法を上回ることが示され、自己回帰型言語モデルにおける解釈可能性の新たな標準を確立します。