分布シフト下での最適化を改善するための時系列予測における Adam の再考: 簡易ヒューリスティック
arXiv cs.LG / 2026/3/12
📰 ニュースTools & Practical UsageModels & Research
要点
- TS_Adam は、非定常な時系列予測における分布ドリフトへの対応を高めるために二次バイアス補正を除去した、Adam の軽量な派生版です。
- この変更は、コアなオプティマイザ構造を保持し、追加のハイパーパラメータを必要としません。
- MICN モデルを用いた ETT データセットの実証結果では、Adam と比較して MSE が平均 12.8%、MAE が 5.7% 改善されました。
- この手法は既存のモデルへ容易に統合でき、コードは GitHub に公開されています。
- 二次補正を除くことで、損失ランドスケープの変化への適応性が高まり、実世界の非定常データに対する実用的な最適化戦略を提供することを示しています。
本文: arXiv:2603.10095v1 アナウンス種別: new
Abstract: 時系列予測は、特にデータ分布が時間とともに変化する分布ドリフトといった非定常性の課題に直面することが多い。この動的な挙動は、通常は定常目的のために設計された Adam のような適応型オプティマイザの有効性を損なう可能性がある。本論文では、非定常な予測の文脈で Adam を再検討し、二次バイアス補正が変化する損失ランドスケープへの応答性を制限していることを特定した。これに対処するため、学習率計算から二次補正を取り除いた軽量な派生版 TS_Adam を提案する。この単純な変更は、追加のハイパーパラメータを必要とせず、分布ドリフトへの適応性を向上させつつ、オプティマイザのコア構造を維持する。TS_Adam は既存のモデルへ容易に統合でき、長期および短期の予測タスクの性能を一貫して改善する。MICN モデルを用いた ETT データセットでは、Adam と比較して平均で MSE が 12.8%、MAE が 5.7% 減少する。これらの結果は、非定常データを含む現実世界の予測シナリオにおいて、TS_Adam が効果的な最適化戦略として実用性と汎用性を有することを強調している。コードは以下から入手可能です: https://github.com/DD-459-1/TS_Adam.
