合意の幻影を超えて: LLMを判定者とする評価における表層的ヒューリスティックから知識に基づく評価へ

要旨: LLMをジャッジとする評価のパラダイムは、評価者間の高い一致が信頼できる客観的評価を示すという重要な仮定に依存しています。我々はこの仮定に挑戦する2つの補完的な発見を提示します。第一に、このコンセンサスは頻繁に幻影であることを示します。我々は「評価の幻影（Evaluation Illusion）」を特定し、定式化します。これは、LLMのジャッジが高度な批評を生み出す一方で、共通の表面的ヒューリスティックにスコアを anchor してしまうという現象です。105,600件の評価事例（32のLLM × 3名の最先端審査員 × 100タスク × 11段階の温度設定）を対象とした大規模研究を通じ、モデルレベルの一致（Spearman ρ = 0.99）がサンプルレベルの脆弱な一致（Pearson r̄ = 0.72、絶対 ICC = 0.67）を覆い隠すこと、ルーブリック構造を共有するだけで総合同意の約62%を回復できること、そして高品質な出力が逆説的にも最も一貫性のない評価を受けることを示します。第二に、ドメイン知識に基づく評価ルーブリックを動的に生成することは、より意味のある評価を生み出すことを示します。我々はMERG（Metacognitive Enhanced Rubric Generation、メタ認知的強化ルーブリック生成）を紹介します。これは知識駆動のルーブリック生成フレームワークであり、そのドメイン選択的な効果がこれを裏付けます。教育分野での合意は +22%、学術分野での合意は +27% となり、知識が評価者を共有された標準へと固定する領域で合意を高め、主観的領域では真の評価的多元性が現れるため合意は低下します。これらの発見は、評価ルーブリックは汎用的な基準に頼るのではなく、専門家の知識で動的に強化すべきであることを示唆しており、RLAIF/RLHFにおける報酬モデリングへの影響を示唆しています。