二乗損失における金融時系列でのトランスフォーマーベースモデルの崩壊予測
arXiv stat.ML / 2026/4/2
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、条件付き構造が弱い場合における二乗損失下での金融時系列の軌道予測を分析し、そのもとでベイズ最適な予測器が実質的に退化（典型的な設定ではフラットな価格とゼロのリターン）することを示す。
- この退化した領域では、表現力を高める（例えば非常に表現力の高いTransformerベースの予測器を用いる）ことはバイアスを低減せず、その代わりに、見かけ上の軌道の揺らぎを生み出す。
- 著者らは性能低下の原因を、ノイズの再利用によって生じる分散駆動のメカニズムに帰しており、平均予測が改善されないまま予測の分散が増大する。
- 高頻度のEUR/USD為替データを用いた数値実験により理論を支持しており、ほとんどのウィンドウで、Transformerモデルは単純な線形ベンチマークよりも軌道レベルの予測誤差が大きくなることを示す。
