TimeSqueeze: 効率的な時系列予測のための動的パッチ適用

トランスフォーマーを基盤とする時系列モデルは、トークン化の選択において根本的なトレードオフに直面します。点ごとの埋め込みは時間的忠実度を保ちますが、シーケンス長が長くなるとスケールが悪化します。一方、固定長パッチは均一な境界を課すことで効率を改善しますが、自然な遷移を乱し、情報量の多い局所ダイナミクスをぼかしてしまう可能性があります。これらの制限に対処するため、TimeSqueeze を導入します。TimeSqueeze は、局所信号の複雑さに基づいて各シーケンス内のパッチ境界を適応的に選択する動的パッチ機構です。TimeSqueeze はまず軽量な状態空間エンコーダを適用して全解像度の点ごとの特徴を抽出し、次に内容に応じたセグメンテーションを行い、情報密度の高い領域には短いパッチを、滑らかなまたは冗長なセグメントには長いパッチを割り当てます。この可変解像度の圧縮は、重要な時間的構造を保持しつつ、トランスフォーマーのバックボーンに入力されるトークン列を大幅に削減します。特に大規模な事前学習において、TimeSqueeze は同等の点トークンベースの基準と比較して最大で20倍の収束速度と8倍のデータ効率を達成します。長期予測のベンチマークにおける実験は、TimeSqueeze が点ごとのトークン化または固定サイズパッチを用いる比較可能なアーキテクチャを一貫して上回ることを示しています。