適応的主成分変換によるMCMC：ベイズ構造システム同定のための回転不変ユニバーサル・サンプラー

Abstract

過去数十年にわたり、マルコフ連鎖モンテカルロ（MCMC）法は広く研究されてきました。その典型的な用途は、構造ダイナミクス・モデルのベイズ的システム同定における事後不確実性の定量化です。特定の問題に適用した際に、汎用的なMCMC法ではサンプリング効率が過度に低くなってしまうという課題に対処するため、研究者らは、重要な構成要素を置き換え、さらに強化するために訓練可能なニューラルネットワークを統合したいくつかのMCMCアルゴリズムを開発してきました。その後、メタラーニングMCMC法が登場し、訓練時間の削減が可能になりました。しかし、それらはテストタスクと訓練タスクの間でかなりの類似性を必要とする一方、サンプリング効率は、トレードオフを簡素化したネットワーク設計によって制約されます。本論文では、適応型主成分（PC）メタラーニング確率的勾配ハミルトンモンテカルロ（APM-SGHMC）アルゴリズムを提案します。本手法は、パラメータ空間において座標軸を現在の事後サンプルのPC（主成分）方向に整合するように適応的に回転させることで、事後分布に関する回転不変性をサンプリング性能にもたらします。翻訳不変性、スケール不変性、回転不変性を統一された枠組みで取り入れることにより、APM-SGHMCは、最小限のタスクで多様なベイズ的システム同定タスクにまたがって汎化可能な知識を獲得できるユニバーサルサンプラを実現し、さらにサンプリング効率に対してネットワーク設計のトレードオフによって課されていた制約を排除します。加えて、実運用上の実現可能性の問題も扱います。2つのベイズ的システム同定の事例研究により、その有効性と普遍性が示されます。本手法は、従来のデータ駆動型アプローチが抱えるケースごとの制約を克服し、再訓練を行うことなく、構造的に異なるモデル間でゼロショットな汎化を達成するとともに、あらゆる状況において一貫して優れた性能を維持します。