対数スコア、パワーロー発見：エージェントベース評価における測定とカバレッジの切り分け

要旨: LLMベースのエージェント評価者は、対話型AIを評価するための新たなアプローチとして注目されている一方で、根本的な不確実性が残っています。すなわち、これらの評価を信頼できるのか、また信頼できる場合に何件必要なのか、という点です。15の課題にまたがる2つのモデル・ペアによる960セッションを通じて、ペルソナに基づくエージェント評価者がチューリング型の検証において、人間の評価者と区別できない評価を生み出すことを示します。さらに、スコアとカバレッジの乖離を特定します。すなわち、品質スコアはパネル数に対して対数的に改善する一方で、独自の論点の発見数は準一次のべき法則に従います。いずれも減少する収穫を示しますが、発見に比べてスコアはおよそ2倍の速さで頭打ちになります。我々は、この現象が「発見空間」のべき法則的な分布を反映していることを仮説として提案します。重要な論点は小さなパネルによって最初に発見される一方で、コーナーケースは次第に大きなパネルを必要とします。これは、生態学における種の蓄積曲線に類似しています。メカニズムはアンサンブルの多様性に起因します。Big Fiveのパーソナリティ条件付けによってエージェントは異なる品質の側面を探索し、専門家の評価者は敵対的プローブとして機能して、発見分布の裾へと発見を押し込みます。制御されたアブレーションにより、単純なプロンプトではなく、構造化されたペルソナ条件付けがこれらのスケーリング特性を生み出すのに必要であることが確認されます。