指示条件付きイン・コンテキスト時系列タスクのための基盤モデル

Abstract

イン・コンテキスト学習（ICL）では、パラメータを更新するのではなく、例を条件として与えることで、推論時にモデルが適応できる。既存の時系列基盤モデルは、暗黙的な位置コンテキスト、リトリーバル、またはタスク固有の目的関数を用いることが多いが、明示的に指示に条件付けされたデモンストレーションを用いることは稀である。本稿では、量子回帰T5のエンコーダ・デコーダに基づく、指示条件付きイン・コンテキスト時系列タスクのための基盤モデルを提案する。歴史的な例とクエリは、対象系列、共変量、コンテキスト、およびタスク固有の将来情報を示す構造化されたトークン化スキームにより符号化する。例ごとの符号化、例レベルのフュージョン、およびデモンストレーション対に基づく交差例注意を用いる階層的Transformerにより、タスク固有の微調整を行わずに予測や関連タスクを可能にする。大規模な実データおよび合成の時系列を用いて、教師あり予測に加え、補完、再構成、分類、異常検知、ソース・デミキシングを含む自己教師ありタスクで学習する。このマルチタスク学習はタスク写像の分布を学習し、推論時に局所構造への適応を改善する。多様なデータセット、周波数、予測ホライズンにおいて、本手法は点予測および確率予測のベンチマーク（fev-bench や GIFT-Eval など）で強力な基盤ベースラインを上回りつつ、分類および異常検知でも競争力を維持している。