理論に基づく評価がLLMのパーソナライズにおける「著者性のギャップ」を可視化する

Abstract

スタイリスティックなパーソナライゼーション――タスクの嗜好に単に適応するのではなく、特定の個人の文体でLLMに書かせること――には、著者性科学に基づく評価が欠けている。著者性検証理論に基づいて評価を行うことが、ベンチマークに何を測らせられるかを変えることを示す。3つの計測伝統――LUAR（学習済みの著者性検証モデル）；特性マッチングを分離したLLM-as-judge；古典的な機能語（function-word）スタイロメトリクス――に依拠し、50人の著者と1,000世代にわたって、推論時のパーソナライゼーション手法4種類を評価する。理論に基づく指標であるLUARは、恣意的な代替手法では得られないもの、すなわち較正されたベースラインを提供する。人間の上限は0.756、著者をまたいだ下限は0.626であり、これらによってスコアは絶対的な意味を持つ。すべての手法はこの下限を下回り、0.484から0.508の範囲に収まる。この結果は、較正されていない指標では見えない「著者性のギャップ」を明らかにする。3つの指標は、ペアごとの相関がほぼゼロで、絶対値のrが0.07未満となり、理論的な裏付けなしでは指標の選択が結論を左右することを確認する：あるLLM判定器は明確な勝者を宣言する一方で、LUARは意味のある差別化を見出さない。これらの知見は、理論とベンチマークのサイクルが実際に機能していることを示す。著者性理論は、恣意的なベンチマークでは見逃される評価上の失敗を露呈させる。