Abstract
自動ラプラス・コラプスト・サンプリング（ALCS）を提示します。これは、自動微分を用いてベイズモデルにおける潜在パラメータを周辺化するための一般的な枠組みであり、これをネストサンプリングと組み合わせて、ハイパーパラメータ空間を頑健かつ効率的に探索します。ネストサンプリングにおける各尤度評価の際、ALCSは自動微分により計算した最尤事後推定（MAP）最適化とラプラス近似を用いて、高次元の潜在変数zをスカラーの寄与へと潰し込みます。これにより、有効次元はd_\theta + d_zから d_\thetaのみに削減されます。その結果、手で導出した勾配やヘッセ行列を用いることなく、高次元設定でもベイズエビデンス計算が扱いやすくなり、さらにモデル固有の工学的調整も最小限で済みます。MAP最適化とヘッセ行列の評価は、GPUハードウェア上でライブポイントごとに並列化されるため、手法を大規模に適用可能にします。また、自動微分により、ラプラス以外にも、Student-tのようなパラメトリック族へと拡張した局所近似が可能であることを示します。これにより、重い裾をもつ潜在変数に対するエビデンス推定が改善されます。階層型、時系列、離散尤度モデルにまたがる一連のベンチマークでALCSを検証し、ガウス近似が成立する範囲を特定します。これにより、事後的なESS診断が可能となり、高価な同時サンプリングを行わずに、失敗がハイパーパラメータ空間のどこに局在しているかを特定できます。
