安定した自己回帰予測のためのハイブリダイズ可能なニューラル時間積分器
arXiv cs.LG / 2026/4/24
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- この論文は、自己回帰トランスフォーマーを射影（shooting）ベースの混合有限要素法スキームに組み込み、位相（トポロジー）構造を明示して混乱的ダイナミクスに対する確率的安定性を「証明可能」にするハイブリッド手法を提案する。
- 前向き（推論）問題では離散エネルギーの保存を証明し、学習では勾配の一様上界を証明して、破裂（exploding）勾配問題を回避することを理論的に示している。
- ビジョントランスフォーマーと組み合わせることで、構造を保つダイナミクスを持つ潜在トークンを学習できると述べている。
- 実験では、パラメータ数を65分の1に削減しつつ近年の基盤モデルを上回り、混乱系の長期予測で性能改善を報告している。
- さらに「ミニ基盤」モデル（融合コンポーネント）では、実時間サロゲートの学習に必要なシミュレーションが12回で足り、粒子・格子（PIC）シミュレーションに対して9,000倍の高速化を達成したと示している。
