オープンセット・テキスト分類システムにおける不確実性推定

arXiv cs.AI / 2026/4/13

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、入力を既知クラスに割り当てるか未知として拒否する必要があるオープンセット・テキスト分類（OSTC）を対象とし、正確な不確実性推定の重要性を強調している。
Holistic Uncertainty Estimation（HolUE）アプローチをテキスト領域に適応し、2つの異なる誤り要因をモデル化する：不適切に定式化されたクエリによるテキスト不確実性、曖昧なデータ分布によるギャラリー不確実性である。
これらの不確実性成分を捉えることで、分類器が認識ミスを起こしそうな状況を予測し、それに応じて拒否（rejection）を発動することを目指す。
著者らは新しいOSTCベンチマークを導入し、著者推定、意図分類、トピック分類のデータセットにわたって大規模な実験を行っている。
実験結果より、HolUEは品質ベースのSCFベースラインに比べてPrediction Rejection Ratio（PRR）を大幅に改善することが示される（例：Yahoo Answersで最大365%）。また、コード／プロトコルは公開されている。

Abstract

正確な不確実性推定は、堅牢で信頼できる認識システムを構築するために不可欠です。本論文では、オープンセットテキスト分類（OSTC）課題と、それに対する不確実性推定を扱います。OSTCでは、テキストサンプルを既存のクラスのいずれかとして分類するか、未知として却下する必要があります。OSTCで遭遇するさまざまな不確実性の種類に対応するため、テキスト領域向けにHolistic Uncertainty Estimation（HolUE）手法を適応します。我々のアプローチは、テキスト認識システムにおける予測誤りの主な2つの原因に対処します。それは、不適切に定式化されたクエリに起因するテキスト不確実性と、データ分布の曖昧さに関連するギャラリー不確実性です。これらの情報源を捉えることで、システムがいつ認識誤りを起こすかを予測できるようになります。我々は新しいOSTCベンチマークを提案し、著者属性推定、意図分類、トピック分類のデータセットを利用して、幅広いデータに対する大規模な実験を実施します。HolUEは、品質ベースのSCFベースラインに比べて、データセットごとにPrediction Rejection Ratio（PRR）を40〜365%改善します。Yahoo Answersでは365%（FPIR 0.1で0.79 vs 0.17）、DBPediaでは347%（0.85 vs 0.19）、PAN著者属性推定では240%（FPIR 0.5で0.51 vs 0.15）、CLINC150意図分類では40%（0.73 vs~0.52）です。コードとプロトコルを公開します https://github.com/Leonid-Erlygin/text_uncertainty.git