フリーフォーム密度推定のためのCDFファースト・フレームワーク

要旨: 条件付き密度推定（CDE）は、機械学習における基本的な課題であり、単なる点予測（例：平均、最頻値）を超えて、条件付き確率分布
\mathbb{P}(\mathbf{y} \mid \mathbf{x}) 全体をモデル化することを目的とします。主要な課題は、自由形式の密度推定、すなわち、制約的な仮定なしに、多峰性、非対称性、あるいは位相的な複雑さを示す分布を捉えることです。しかし、従来の手法の多くは確率密度関数（PDF）を直接推定しますが、これは数学的に不適切（ill-posed）です。有限データセットに固有のランダムなゆらぎを含む経験分布を微分すると、そのゆらぎが増幅されるため、表現力を制限し、仮定が破られると機能しなくなるような強い帰納的バイアスが必要になります。そこで本研究では、CDF（累積分布関数）を推定することでこの問題を回避する、CDF-first の枠組みを提案します。すなわち、安定で適切に定式化された目標である CDF を推定し、その後、学習した滑らかな CDF を微分することで PDF を復元します。Smooth Min-Max（SMM）ネットワークで CDF をパラメータ化することで、本枠組みは構成により有効な PDF を保証し、扱いやすい近似尤度（approximate likelihood）による学習を可能にし、複雑な分布形状を保持します。多変量出力に対しては、SMM 因子を用いた自己回帰分解を行います。実験の結果、提案手法は一変量および多変量の幅広い課題において、最先端の密度推定器よりも優れていることが示されます。