WaveMoE: 時系列予測のためのウェーブレット強化ミクスチャー・オブ・エキスパート・基盤モデル

arXiv cs.LG / 2026/4/14

📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、ウェーブレットを用いて周波数領域の明示的な情報を取り込むことで、標準的なトークンモデリングを強化した時系列予測の基盤モデル「WaveMoE」を提案する。
WaveMoEは、同一の時間軸に揃えた時系列トークンとウェーブレットトークンの両方を処理するデュアルパス構造を採用し、共有するエキスパートルーティング機構によってそれらを結びつける。
共有ルーティングにより、2つの表現間で一貫したエキスパートの専門化が可能になり、ミクスチャー・オブ・エキスパート設計によってモデル容量を効率的にスケールできる。
16の多様なベンチマークに関する予備実験の結果、WaveMoEは予測性能を改善できることが示唆され、とりわけウェーブレット領域のコーパスを活用することで周期性や局所的な高周波ダイナミクスをより適切に捉えられる。

Abstract

時系列の基盤モデル（TSFM）は、さまざまな時系列データに対する大規模な事前学習を活用することで、ユニバーサルな予測において近年目覚ましい成功を収めています。この進展を補完する形で、周波数領域の情報を取り入れることは、現実世界の時系列で広く見られる周期性や局所的な高周波ダイナミクスといった複雑な時間的パターンのモデリングを改善するうえで有望な性能をもたらすことが示されています。この方向性をさらに発展させるために、本稿では、明示的な周波数領域表現をスケーラブルな基盤モデルに統合する新しい観点を提案し、時系列予測のためのウェーブレット強化混合専門家（Mixture-of-Experts）の基盤モデルであるWaveMoEを導入します。WaveMoEは、統一された時間軸に沿って整合させた時系列トークンとウェーブレットトークンを、それぞれ同時に処理するデュアルパス構造を採用しており、共有されたエキスパート（専門家）ルーティング機構によってそれらを調整します。これにより、専門家の特化を一貫して実現しつつ、モデルの容量を効率的にスケールできます。16種類の多様なベンチマークデータセットに対する予備的な実験結果は、ウェーブレット領域のコーパスを取り込むことでWaveMoEが予測性能をさらに改善できる可能性を示唆しています。