RADIUS: ランキング・分布・意義 - 調査シミュレーションの総合的アライメントスイート

要旨: LLMを用いた調査のシミュレーションは、規模に応じて人間のような応答を生成する強力なアプリケーションとして浮上しています。先行研究は、他の領域から借用したメトリクスを用いて調査シミュレーションを評価しますが、それらはしばしばアドホックで断片的、標準化されていないため、比較が難しい結果につながります。さらに、既存のメトリクスは主に正確性や分布測定に焦点を当て、ランキング整合性という重要な次元を見落としています。実務上、シミュレーションは高い正確性を達成しても、人間が最も好む選択肢を捉えられない場合があります。これは意思決定アプリケーションにおいて極めて重要な区別です。我々はRADIUSを導入します。調査シミュレーションのための包括的な二次元整合性ツール群で、以下を捉えます：1) ランキング整合性、2) 分布整合性、それぞれ統計的有意性検定を補完します。RADIUSは既存メトリクスの限界を浮き彫りにし、調査シミュレーションのより意味のある評価を可能にし、再現可能で比較可能な評価のためのオープンソース実装を提供します。