ソクラテス損失：未知を活用して自信のキャリブレーションと分類を統一する

arXiv cs.LG / 2026/4/15

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文では、深層ニューラルネットワークは高い精度を持ち得る一方で、自信（confidence）推定が不十分にキャリブレーションされることがあり、その結果として高リスク用途での信頼性が損なわれると説明している。
既存のキャリブレーション手法の重要な限界として、キャリブレーションを改善する手法ほど安定性–性能のトレードオフを引き起こし、二段階（two-phase）学習は不安定になりやすい一方で、単一損失（single-loss）による学習は安定であるが精度が十分になりにくい、という点を指摘している。
著者らは、「Socrates Loss（ソクラテス損失）」と呼ばれる統一的な損失関数を提案する。これは補助的な「未知（unknown）クラス」を追加し、その未知成分から得られる予測を用いて、目的関数および動的な不確実性ペナルティの双方を形作る。
本手法は、複雑なスケジュールや二段階損失による不安定性を回避しつつ、同時に分類の品質と自信のキャリブレーションを最適化するよう設計されている。
4つのベンチマークデータセットと複数のアーキテクチャに対する実験結果により、学習安定性の向上と、より良い精度–キャリブレーションのトレードオフが示される。また、理論的保証によりミキャリブレーションや過学習に対する裏付けが提供され、より速い、あるいはより信頼性の高い収束が得られることが報告されている。

要旨: 高い精度にもかかわらず、深層ニューラルネットワークはしばしば信頼度のキャリブレーションが不十分であり、その結果として高リスクなアプリケーションにおいて信頼性が制限されます。現在の場当たり的な信頼度キャリブレーション手法は、学習中にこれを修正しようと試みますが、根本的なトレードオフに直面しています。すなわち、二段階学習法はトレーニングの不安定性と、より劣る信頼度キャリブレーションと引き換えに強い分類性能を達成する一方で、単一損失法は安定ですが分類性能が劣ります。本論文は、この安定性と性能のトレードオフに対処し、軽減します。私たちは、不確実性を明示的に活用する新規で統一的な損失関数である Socrates Loss を提案します。この損失関数は、補助的な「未知クラス」を取り入れることで不確実性を利用し、その予測が損失関数と動的な不確実性ペナルティに直接影響します。この統一された目的により、複雑でスケジュールされた損失に伴う不安定さなしに、モデルを分類と信頼度キャリブレーションの両方のために同時に最適化できます。さらに、本手法が誤キャリブレーションや過学習を防ぐためにモデルを正則化することに関する理論的保証を提供します。4つのベンチマークデータセットと複数のアーキテクチャにわたる包括的な実験により、Socrates Loss が一貫して学習の安定性を改善し、より好ましい精度とキャリブレーションのトレードオフを達成すること、また既存手法よりも速く収束することが多いことを示します。