不確実性を考慮したトランスフォーマ：言語モデルのための共形予測
arXiv cs.LG / 2026/4/13
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、単一のブラックボックス出力ではなく統計的に妥当な予測集合を生成するために、共形予測をトランスフォーマ型言語モデルへ適用する不確実性定量化フレームワーク「CONFIDE」を提案する。
- CONFIDEは、BERTやRoBERTaのようなエンコーダのみのモデルに対して、[CLS]トークン埋め込み、または平坦化した隠れ状態のいずれかを用いてクラス条件付きの非適合度スコアを構築し、さらにハイパーパラメータの調整にも対応する。
- 実験の結果、CONFIDEはBERT-tinyで最大4.09%のテスト精度向上を実現し、真のラベルが含まれている場合に予測集合の期待サイズを減らすことで「正しい効率（correct efficiency）」も改善できることが示される。
- この手法では、トランスフォーマの初期層や中間層が、共形予測に対してより良く較正された、かつ意味論的に有意な表現を提供しやすいことが明らかになっている。
- 著者らは、CONFIDEは特に、計算資源が限られたモデルや、ラベルが曖昧になりやすく高いリスクを伴うタスクで有用だと主張する。そこではソフトマックスに基づく不確実性が信頼できない場合があり、インスタンス単位の説明が必要になるためである。
