主観的タスクにおける妥当な分析のためのマルチパースペクティブLLMアノテーション
arXiv cs.CL / 2026/3/24
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、LLMベースのテキストアノテーションが、偏りのある人間の視点を符号化できる一方で、意味のある人口統計（デモグラフィック）間の不一致が存在する主観的タスクでは、単一の正解（ground truth）を前提とした修正手法では不十分であると主張する。
- 「Perspective-Driven Inference（視点駆動推論）」を提案し、限られた人手アノテーション予算のもとで、デモグラフィック集団ごとのアノテーション分布を推定すべき対象量としてモデル化する。
- 人手アノテーションの労力を、LLMの「代理」シグナルが最も不正確な集団へ割り当てるための適応的サンプリング戦略を導入し、効率を高める。
- 丁寧さおよび侮辱／攻撃性の評価タスクに関する実験では、一様サンプリングのベースラインと比較して、より難しいデモグラフィック集団に対する的を絞った改善が示されつつ、カバレッジは維持される。
- 本研究は、集団間の違いが重要となる主観的評価の場面でLLMを用いる際に、分析の妥当性（analysis-validity）を高めるアプローチであるとして位置づけられている。
