Teacher Forcing を一般化ベイズとして捉える：混沌力学における切替サロゲートの最適化ジオメトリ不整合

Abstract

恒等教師強制（ITF）により、カオス的な動力学系に対する決定論的反復（リカレント）サロゲートの安定した学習が可能になり、反復型ニューラルネットワーク（RNN）による動力学系の再構成（DSR）において非常に有効であり、解釈可能なほぼ線形RNN（AL-RNN）を含みます。しかし、介入ベースの予測損失（したがって一般化されたベイズ更新）では、教師強制は自由運転モデルの周辺尤度の幾何（ジオメトリ）と一致する必要はありません。本研究では、AL-RNNの確率的スイッチング拡張において、ITFと周辺尤度が誘導する目的関数の曲率を比較し、Louisの恒等式を用いて曖昧性を考慮した観測情報を推定します。ここで検討したスイッチング設定では、（ITFのように）単一の強制レジームの経路に条件付けすると曲率が増大します。一方、複数のスイッチング説明が依然として妥当であり得る場合、周辺尤度の曲率は、情報欠落に対する補正によって低減されます。Lorenz-63の実験では、ウィンドウ化した証拠による微調整は保持データ（held-out）の証拠を改善できますが、ITFで事前学習したモデルに比べて、関心のある動力学的量（QoI）を悪化させ得ます。