持続ホモロジーとEulerバイアスに基づく、トポロジーを考慮したグローバル/ローカル注意機構による時系列予測

Abstract

科学的な時系列は、連結性、サイクル、殻のような幾何、方向の変化、非線形な近傍など、予測的な幾何学的構造をエンコードしていることが多い一方で、標準的なドット積アテンションはそれらの構造を明示的には表現していません。そこで本研究では、持続ホモロジー（H0-H2）、係留されたオイラー標数変換、およびカーネル・ヒルベルト・チャネルを用いて、そのような構造をアテンションのロジットに追加する、トポロジー認識型アテンションの枠組みを提案します。検証ゲート付きのローカル残差により、ザング（Zeng）型のローカルH0成分を含む局所トポロジー信号を捉えますが、この補正は、保持していない検証データがその補正を支持するときに限られます。厳密なヴィエトリス＝リプス（Vietoris-Rips）計算と、滑らかなトポロジー近似は、情報漏洩なしのプロトコル（学習のみでのキャリブレーション、検証のみでの選択、テストのみでの報告）に基づいて評価します。 我々は、ガード付きのトポロジー認識型バリアントを3つのアーキテクチャ系統にわたって評価します：軽量アテンション／Ridge、PatchTSTForRegression、TimeSeriesTransformerForPrediction。実験には、上位（高次）のトポロジーを切り分ける合成ベンチマークと、CO2、S&P 500のリターン・ウィンドウの幾何、NASA IMSの軸受劣化を扱う実データセットが含まれます。監査（audit）は、7つのデータセット・ユニット、3つのランダムシード、3つの時系列分割にわたる対応の取れたペア比較により行い、アーキテクチャごとに63のペア・ユニット、全体で189のペア・ユニットを得ます。トポロジー認識型モデルは、幾何が予測に有用な場合に、対応の取れた有意な効果（正のペア効果）を示し、データセットおよびアーキテクチャ間で効果量は不均一です。軽量アテンション／Ridgeは63ユニット中46ユニットで改善し、平均相対RMSE削減は12.5%、対応するランダム化検定のp値は7.2e-4でした。PatchTSTは33ユニットで改善し、20ユニットではベースラインを維持し、23.5%の削減とp=3.5e-5を示しました。TimeSeriesTransformerは47ユニットで改善し、47.8%の削減とp<1e-4を示しました。これらの結果は、トポロジーが、検証によって選択され、かつアーキテクチャと整合する帰納バイアスとして機能することを支持します。