表現の観点からダイナミクスモデリングをより容易に一般化する
arXiv cs.LG / 2026/3/25
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- この論文は、観測からシステムのダイナミクスを学習することに取り組む。これはしばしばニューラルODEのようなニューラル潜在ダイナミクスでモデル化されるが、既存の手法は複雑な異なるシステム間でうまく一般化できないことが多い。
- PDEDER（Pre-trained Dynamics EncoDER）を提案する。これは、観測状態を潜在空間へ写像し、ダイナミクスのモデル化をより容易にするための汎用的な事前学習済みダイナミクスエンコーダである。
- PDEDERは、局所的に安定で構造化された潜在ダイナミクスを促すために、リャプノフ指数で制約した事前学習済み言語モデルの目的関数を用いて事前学習する。さらに、過度な平滑化を抑えるために再構成損失と予測（フォーキャスティング）損失を追加する。
- この手法は、23の複雑なシステムにまたがる152のデータセット（実データと合成データ）で事前学習し、その後、新たなターゲットのダイナミクスに対して下流のダイナミクスモデリング手法で微調整する。
- 12の動的システムでの実験により、ドメイン内およびドメイン間の両設定において、短期・長期の予測を評価し、有効性と一般化性能が向上することを示す。
