抽象: 近さバイアス（recency bias）は、逐次モデリングにとって有用な帰納的事前分布です。これは近傍の観測を強調しつつ、より長距離の依存関係もなお許容できます。標準的なTransformerの注意（attention）はこの性質を欠いており、因果的でしばしば局所的な時間データの構造を見落とす、全結合の相互作用に依存しています。我々は、滑らかな裾の重い減衰（smooth heavy-tailed decay）によって注意スコアを再重み付けすることで、近さバイアスを導入する単純なメカニズムを提案します。この調整により、より広範でデータ固有の相関を捉えるための柔軟性を損なうことなく、局所的な時間的依存関係が強化されます。近さバイアス付き注意は、逐次モデリングを一貫して改善し、TransformerをRNNの読む（read）、無視する（ignore）、書く（write）という操作により近づけることを示します。最後に、我々のアプローチが、難しい時系列予測のベンチマークにおいて競争力のある、しばしば優れた性能を達成することを実証します。
時系列予測のための再現性バイアス付き因果注意機構
arXiv stat.ML / 2026/4/23
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、再現性（recency）バイアスが時系列／逐次モデリングに有用な帰納的事前知識であり、近い観測を重視しつつ長距離の依存関係も扱えると主張している。
- 標準的なTransformerの注意機構は全対全の相互作用であるため、時系列データにある因果的かつ局所的な構造を見落としがちだと指摘する。
- 著者らは、「再現性バイアス付き因果注意」を、注意スコアを滑らかなロングテール減衰で再重み付けすることで導入し、局所的な時間依存を強化する。
- 実験の結果、逐次モデリングおよび時系列予測で一貫した改善が示され、一般的なベンチマークでは競争力があり、多くの場合で優れた性能を達成している。
- この手法は、RNNの読み取り／無視／書き込みのような挙動に近づけるものとして位置づけられている。
