欠損値の予測的補完：良いアイデアか？

Abstract

平均二乗誤差（MSE）を最小化することは機械学習における重要な目的であり、欠損値の補完に広く用いられている。 このアプローチは正確な点推定を提供する一方で、下流の解析において体系的なバイアスを導入する。 これらのバイアスは、分散、有病率（prevalence）、相関、傾き、説明分散（explained variance）といった主要なパラメータに影響を与える。 根本原因は、MSEを最適化するために補完された値が平均であり、データに内在する自然なばらつきを減少させてしまうことである。 本論文では、補完値にノイズを追加することにより、これらのバイアスを効果的に除去できることを示す。 必要なノイズ量はMSEに比例する。 多変量正規分布の設定における玩具例を用いて、MSEを最小化する予測的補完と、乱数ノイズを取り込む確率的補完の2つの方法を比較する。 シミュレーション結果は、予測的手法が体系的なバイアスを導入する一方で、確率的手法はデータの自然なばらつきを保持し、バイアスのない推定を生成することを示している。 さらに、3つの代表的な補完ツール――missForest、softImpute、mice――を評価し、予測的手法において一貫したバイアスが観測されることを確認する。 これらの知見は、MSEが補完の質を測るには不十分であり、ばらつきよりも精度を優先してしまうことを示している。 補完手法にノイズを組み込むことは、バイアスを防ぎ、下流の解析を妥当なものにするために不可欠であり、不完全データを扱ううえで確率的アプローチが重要であることを裏付けている。