TimeSAF:時系列予測のためのLLM誘導セマンティック非同期フュージョンに向けて

arXiv cs.LG / 2026/4/15

💬 オピニオンIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、多くのLLMベースの時系列予測手法が、深い同期的フュージョンに依存しており、全てのネットワーク層にわたって高レベルのLLMセマンティクスときめ細かな数値ダイナミクスを繰り返し絡み合わせていると主張する。
  • 「セマンティック知覚の不協和(semantic perceptual dissonance)」を低減するために、単一モーダル学習とクロスモーダル相互作用を切り離す新しいフレームワークTimeSAFを提案する。
  • TimeSAFは階層的な非同期フュージョンを用い、学習可能なクエリによってグローバルなセマンティクスを集約する独立したセマンティック・フュージョン・トランクと、段階(ステージ)ごとにそれらの信号を非同期に時系列バックボーンへ注入するステージワイズ・デコーダから構成される。
  • 長期予測ベンチマークでの実験では、最先端のベースラインに対して報告ベースで大幅な改善が見られ、少数ショットおよびゼロショットでの強い汎化が確認されたという。
  • 全体としてTimeSAFは、同期的フュージョンに代わるアーキテクチャ案として、低レベルの時系列ダイナミクス学習を損なうことなく安定したセマンティックなガイダンスを提供することを目指している。

要旨: 時系列予測における大規模言語モデル(LLM)の最近の成功にもかかわらず、既存のほとんどの手法は依然として、ネットワークの各層でテキスト特徴と時間特徴の密な相互作用を強制する「深層同期融合(Deep Synchronous Fusion)」戦略を採用しています。この設計は、モダリティ間に内在する粒度の不一致を見落としており、我々はこれを「意味知覚の不協和(semantic perceptual dissonance)」と呼びます。すなわち、LLMが提供する高レベルの抽象的意味論が、時系列の低レベルで細粒度な数値ダイナミクスと不適切に絡み合ってしまい、意味の事前知識が予測を効果的に導くことが困難になります。この問題に対処するために、階層的非同期融合に基づく新しい枠組み TimeSAF を提案します。同期型のアプローチとは異なり、TimeSAF はモダリティ間の相互作用から単一モダリティの特徴学習を明示的に切り離します。さらに、独立したクロスモダル意味融合トランクを導入し、学習可能なクエリを用いて、ボトムアップの手法により時系列バックボーンとプロンプトバックボーンからグローバルな意味を集約します。そして段階的(ステージごとの)意味洗練デコーダが、これらの高レベル信号を非同期的に時系列バックボーンへ再注入します。この仕組みにより、低レベルの時間的ダイナミクスとの干渉を回避しつつ、安定かつ効率的な意味的ガイダンスを提供できます。標準的な長期予測ベンチマークでの大規模な実験により、TimeSAF が最先端のベースラインを大幅に上回ることが示され、さらに few-shot と zero-shot の転移設定の両方において強い汎化性能を示します。