単一観測で拡散プリオルを最適化する

arXiv cs.LG / 2026/4/24

💬 オピニオンIdeas & Deep AnalysisModels & Research

要点

  • 拡散プリオルは高品質な事後サンプルを生成できる一方で、限られた学習データやシミュレーションに基づく学習の誤り・バイアスを引き継ぎやすい。
  • 既存の微調整手法は、異なる順方向オペレータに対する多くの観測を必要とすることが多く、データが少ない場合には過学習につながり得る。
  • 本論文では、既存の拡散プリオルをproduct-of-expertsとして組み合わせ、ベイズエビデンスを最大化する指数(exponent)を見つけることで、単一の観測だけからプリオルを調整する手法を提案する。
  • ブラックホール・イメージングやテキスト条件付きの画像デブロ ールのような実問題で検証した結果、単一データセットで学習したプリオルを超える組み合わせがエビデンス最大となることが多い。
  • 指数付き重み付けにより、temperedモデルとcombinedモデルの双方から事後サンプリングでき、事後画像分布の信頼性を高める柔軟なプリオルが得られる。

要旨: 拡散事前分布は多くの逆問題にわたって高品質な事後サンプルを生成できますが、限られた学習データセット、あるいは純粋にシミュレーションされたデータで訓練されていることが多く、そのため、元となる情報源が持つ誤りやバイアスを引き継いでしまいます。拡散モデルのファインチューニングに関する現在の手法は、前方作用素がさまざまに異なる多数の観測を必要としますが、多くの用途ではそれを収集することが難しく、その結果、計測データが少ない場合に過学習につながります。本研究では、既存の拡散事前分布を単一の積の専門家(product-of-experts)事前分布に組み合わせることで、たった1つの観測から事前分布を調整する方法を提案し、ベイズエビデンスを最大化する指数を同定します。提案手法は、ブラックホールのイメージングなど、真の事前分布が事前には不明である実世界の逆問題、ならびにテキスト条件付き事前分布による画像デブラーリングに対して検証します。その結果、エビデンスはしばしば、単一のデータセットで訓練された事前分布の範囲を超える事前分布によって最大化されることが分かりました。指数による重み付けを通じて事前分布を一般化することで、本手法は調温(tempered)された拡散モデルと結合された拡散モデルの両方からの事後サンプリングを可能にし、その結果として得られる事後画像の分布の信頼性を高める、より柔軟な事前分布を実現します。