Ground Truth から計測へ：人間のラベリングのための統計的フレームワーク

要旨: 教師あり機械学習では、ラベル付きデータが、モデルが学習すべき概念について正確な測定値を提供すると仮定されます。しかし実際には、人間によるラベリングは、曖昧な対象から生じる系統的なばらつき、解釈の食い違い、単純な誤りによるばらつきを引き起こします。機械学習の研究では、一般にすべての意見の不一致をノイズとして扱うことが多く、その結果としてこれらの違いが見えにくくなり、モデルが実際に何を学習しているのかの理解が制限されます。本論文は、アノテーションを測定プロセスとして捉え直し、ラベリング結果を解釈可能なばらつきの要因に分解するための統計的枠組みを導入します。具体的には、インスタンスの難しさ、アノテータのバイアス、状況に起因するノイズ、そして関係の整合（relational alignment）です。この枠組みは、誤り（error）に関する、伝統的な見方と人間によるラベルのばらつきに基づく解釈の双方に対応できるよう、古典的な測定誤差モデルを拡張し、共通の真実と個別化された真実の双方を扱えるようにします。また、どのレジーム（状態・領域）が与えられたタスクをよりよく特徴づけるのかを評価するための診断手法も提供します。提案するモデルを、多アノテータによる自然言語推論データセットに適用したところ、理論化した4つの構成要素すべてについて経験的な証拠が得られ、提案手法の有効性を示します。データ中心の機械学習に対する含意で締めくくり、このアプローチが、ラベリングのためのより体系的な科学の発展をどのように導き得るかを概説します。