KαLOSはコンセンサスを見出す：複雑な視覚タスクにおけるアノテータ間一致度を評価するためのメタアルゴリズム

要旨: オブジェクト検出のベンチマークにおける進展は停滞している。これはアーキテクチャによって制限されているのではなく、モデルの改善をラベルノイズと区別できないことによって制限されている。ベンチマークへの信頼を回復するためには、評価データの信頼性を確実にするための注釈整合性に関する厳密な定量化が必要である。しかし、標準的な統計指標は、視覚タスクに固有のインスタンス対応問題を扱えない。さらに、新しい合意（agreement）指標の妥当性確認は、合意に対する客観的な真値が存在しないため循環的にならざるを得ない。結果として、検証不能なヒューリスティックに頼ることになる。
本論文では、データセット品質評価を標準化するために、「Localization First（局在化を先に）」という原則を一般化した統一的メタアルゴリズムであるK\alphaLOS（KALOS）を提案する。合意を評価する前に空間的対応を解決することで、我々の枠組みは複雑な時空間的・カテゴリ的問題を名目的な信頼性行列へと変換する。先行研究のヒューリスティック実装とは異なり、K\alphaLOSは原理に基づいたデータ駆動型の設定を用いる。すなわち、局在化パラメータを内在する合意分布に対して統計的にキャリブレーションすることで、バウンディングボックスからボリュメトリックセグメンテーション、あるいはポーズ推定まで、多様なタスクへと一般化できる。この標準化により、単一のスコアを超えたきめ細かな診断が可能になる。例えば、アノテータの活力、コラボレーションクラスタリング、局在化の感度などである。本アプローチを検証するために、我々は新規かつ経験的に導出されたノイズ生成器を導入する。従来の検証が一様な誤差仮定に依拠していたのに対し、本研究の制御可能なテストベッドでは、人間の変動を複雑かつ等方的でない（非等方的）ものとしてモデル化する。これにより、指標の性質に関するエビデンスを提示し、K\alphaLOSを、現代のコンピュータビジョンベンチマークにおいて信号とノイズを切り分けるための堅牢な標準として確立する。