ニュアンスを考慮した分類器評価におけるインスタンス単位コスト

要旨: 標準的な分類ではすべての誤りを同等に扱いますが、コンテンツモデレーション、医療スクリーニング、安全性に重大な影響を与えるアプリケーションでは、判然としている事例における誤りは、曖昧な事例における誤りよりもはるかにコストが大きくなります。私たちは、各事例ごとのコストによって分類エラーに重み付けを行い、コストが一様であれば標準的な誤り率に帰着する指標である、正規化過剰コスト（NEC）を提案します。コストは、注釈者の投票マージン、意思決定のしきい値からの距離、または確信度の評価値から導くことができます。テキスト、画像、表形式のベンチマークにわたって、NECはしばしば誤り率よりも大幅に低いことが分かります――誤り率が5\%のモデルが1.8\%のNECを達成できることもあります。これは、大半の誤りが、曖昧でコストの低い事例に集中していることを示唆しています。しかし、損失の重み付け、サンプリング戦略、回帰によって学習にコストを組み込むと、得られる効果は一貫しません。改善が見られるのは、合成的な統制（synthetic control）のようにコストが入力特徴から予測可能な場合に限られますが、実世界のデータセットでは混在した結果、あるいはほとんど効果がないことが示されています。私たちの枠組みは、コストに敏感な学習が限定的な利益しかもたらさない場合でも、事例（インスタンス）レベルの誤分類コストを導出し評価するための実用的な方法論を提供します。