平均の彼方へ：二峰性回帰のための分布を考慮した損失関数

Abstract

多くのアプリケーション領域にわたって機械学習モデルが強い予測性能を達成できているにもかかわらず、予測の確信度に関する信頼できる推定を通じてそれらの信頼性を評価することは、依然として重要な課題である。この問題は、学習された表現から推論される誤りの尤度が二峰性分布に従うような状況で生じる。これは、確信のある予測と曖昧な予測が共存することによって起こる。標準的な回帰アプローチは、このような状況における予測不確実性を十分に表現できないことが多い。というのも、これらは暗黙に単峰のガウス雑音を仮定しているため、二峰性の設定では平均崩壊（mean-collapse）という挙動につながるからである。Mixture Density Networks（MDNs）は異なる分布を表現できるものの、最適化の不安定さが深刻である。我々は、正規化RMSEに加えてWasserstein距離およびCram\'er距離を統合した、分布を意識した損失関数のファミリーを提案する。これを標準的な深層回帰モデルに適用すると、混合モデルの不安定性を伴うことなく二峰性分布を復元できる。4つの実験段階で検証した結果、提案するWasserstein損失は新しいパレート効率のフロンティアを確立することが示された。具体的には、単峰タスクにおけるMSEのような標準的な回帰損失と同等の安定性を保ちながら、複雑な二峰性データセット上でJensen-Shannon Divergenceを45%削減する。提案フレームワークは、忠実度と頑健性の両面でMDNsを厳密に上回り、信頼できるAIシステムにおけるアレアトリック不確実性推定のための信頼性のある手段を提供する。