フォールバックから最前線へ：LLMはいつ人間の視点の優れたアノテータになれるのか？

概要: 大規模言語モデル（LLM）は、スケールしたアノテーションにおいて注釈付け者（アノテータ）としてますます多用されているものの、通常は、人間の視点を忠実に推定するものというより、実務上の代替策（フォールバック）として扱われています。本研究は、その前提に異議を唱えます。視点の取り方を、潜在する集団レベルの判断の推定として捉えることで、現代のLLMが、人間のアノテータに勝ることができる条件を特徴づけます。これには、主観的なタスクにおいて集計されたサブグループの意見を予測する際に、同一集団（in-group）の人間が含まれます。そして、その条件が実際の運用において一般的であることを示します。この優位性は、経験の共有（lived experience）を主張することによるものではなく、推定器としてのLLMの構造的性質、すなわち分散が小さいことや、表象と処理におけるバイアスの結びつきが低減されていることに起因します。本分析は、LLMが統計的に優れた最前線の推定器として振る舞う明確な領域、ならびに、人間の判断が不可欠であり続けるという原理に基づく限界を特定します。これらの発見は、LLMをコスト削減のための妥協案から、集団としての人間の視点を推定するための原理的な道具へと位置づけ直すものです。