制御された実験においてLLMを人間の代替として評価する

要旨: 大規模言語モデル（LLM）は、行動研究において人間の応答をシミュレートするためにますます利用されている一方で、LLMが生成したデータが、いつ人間データと同じ実験的推論を支持するのかは依然として不明である。われわれは、汎用のLLMによって生成された応答を、精度知覚に関する代表的な調査実験における人間の応答と、直接比較することでこの点を評価する。各人間の観測は構造化されたプロンプトに変換され、モデルはタスク固有の訓練なしで、単一の0〜10の結果変数を生成する。人間および合成応答に同一の統計解析を適用する。われわれは、LLMが人間で観測されるいくつかの方向性の効果を再現することを見出したが、効果の大きさと調整（モデレーション）のパターンはモデル間で異なる。したがって、汎用のLLMは、統制された条件下での集計的な信念更新パターンは捉えるものの、人間規模の効果と一貫して一致するわけではない。これにより、LLMが生成したデータが行動上の代理（サロゲート）として機能しうるのはいつかが明確になる。