なぜ機械学習モデルは極端な値を体系的に過小評価するのか II：LatentNNでそれを修正する方法

Abstract

減衰バイアス -- 入力変数における計測誤差により回帰係数が体系的に過小評価されること -- は、天文学のデータ駆動モデルに影響を与えます。線形回帰では、この問題は真の入力値を潜在変数として扱い、モデルパラメータとともに推定することで解決されてきました。本論文では、ニューラルネットワークも同様の減衰バイアスを被り、その潜在変数による解法がニューラルネットワークに対して直接一般化できることを示します。そこで、LatentNNという手法を導入します。これは、入力と出力の両方を観測する同時尤度を最大化することで、ネットワークパラメータと潜在入力値を同時に最適化します。1次元回帰、多変量の入力（相関のある特徴量）、および恒星分光への応用において、補正を実証します。LatentNNは、標準的なニューラルネットワークで大きなバイアスが見られる信号対雑音比の範囲にわたって減衰バイアスを低減します。これにより、天文学データに特徴的な低信号対雑音領域におけるニューラルネットワーク推論の改善のための枠組みを提供します。このバイアス補正は、計測誤差が内在的なデータ範囲の概ね半分未満である場合に最も効果的です。非常に低い信号対雑音で、かつ情報量の少ない特徴量しかない領域では、効果は限定的です。コードは https://github.com/tingyuansen/LatentNN で利用できます。