ベイズ深層学習評価における不安定な順位

要旨: ベイズ深層学習手法に関する標準的な評価では、メトリクスの推定が信頼できると仮定するが、データが乏しい状況ではこの仮定が破綻することを示す。手法のランキングは小さい n では信頼できないだけでなく、推定値（point estimates）では明らかにならない仕方でデータセット依存的である。同じ手法同士の比較でも、あるデータセットでは n = 50 のとき P(mathrm{MCD} prec mathrm{Ensemble} ) = 1.000 となる一方、別のデータセットでは n = 500 でさえ 0.95 を下回ったままである。検討するデータセットの範囲では、普遍的なサンプルサイズの閾値は存在しない。だからこそ、データセット固有の事後推論が必要になる。本研究ではこれに対処するため、データの実現（data realizations）にわたって評価メトリクスを確率変数として扱うべく、手法ごとの分散を持つベイズ階層モデルを用い、観測されたギャップが所定の学習サイズで検出可能かどうかを評価するために、予測的な「検出可能最小差（predictive Minimum Detectable Difference）」の曲線を用いる。6つのベイズ深層学習手法と5つの回帰データセットにわたる結果から、低データ設定では不確実性を考慮した評価が必要であることが示される。これは、同じ学習サイズにおける手法優越のための現在のエビデンスと、予測される検出可能性が、著しく乖離し得るためである。本枠組みは、手法の優越性について結論を引き出す前に、評価データが十分かどうかを判断するための、原理に基づいた手段を実務者に提供する。