人間とAIの共同アノテーションに向けた推論ベースの足場の評価：ReasonAlignアノテーションプロトコル
arXiv cs.CL / 2026/3/24
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、LLMが生成した説明を提示しつつ、モデルの予測ラベルは非公開にする推論ベースのアノテーション足場「ReasonAlign」を提案する。
- 最終的なアノテーション精度に焦点を当てるのではなく、二段階のDelphiスタイルの修正プロトコルを用いて、露出した推論が人間のアノテーション行動に与える影響を調べる。
- 感情分類および意見検出の実験により、モデルの推論を見た後のアノテータ間一致度と修正パターンの変化を評価する。
- 著者らは、露出後にアノテータがラベルをどれだけ修正するかを測定する指標としてAnnotator Effort Proxy（AEP）を導入し、最小限の修正で一致が増加することを見いだす。
- 全体として、得られた結果は、推論の説明が主に曖昧なケースの解決に人間を助け、より高い整合性を人間–AIの共同アノテーションワークフローにもたらし得ることを示唆している。
