財務時系列予測のための蒸留によるトランスフォーマーへの帰納的バイアスの統合

要約：トランスフォーマーに基づくモデルは、その高い表現力とアーキテクチャの柔軟性のため、時系列予測に広く採用されている。しかし、多くのトランスフォーマー派生は、定常性と安定した時系列ダイナミクスを暗黙のうちに仮定しており、レジームシフトと非定常性を特徴とする金融市場ではこの仮定が日常的に破られる。実証的には、最先端の時系列トランスフォーマーは、金融タスクで従来型のトランスフォーマーよりも劣ることが多く、CNNやRNNのような明確な帰納的バイアスを持つよりシンプルなアーキテクチャは、はるかに低い複雑さでより強い性能を発揮できる。同時に、市場やレジームを横断して単一の帰納的バイアスが支配的であるとは限らないことから、堅牢な金融予測には補完的な時間的事前知識の統合が必要であることを示唆している。私たちはTIPS（Inductive Prior Synthesisを用いたトランスフォーマー）、さまざまな帰納的バイアス――因果性、局所性、周期性――を統一されたトランスフォーマー内で統合する知識蒸留フレームワークを提案する。TIPSは、アテンションマスキングを介してバイアスに特化したトランスフォーマー教員を訓練し、帰納的バイアス間のレジーム依存の整合性を持つ単一の生徒モデルへ知識を蒸留する。4つの主要な株式市場にわたって、TIPSは最先端の性能を達成し、年次リターン、シャープ比、カルマー比で強力なアンサンブルベースラインをそれぞれ55%、9%、16%上回り、推論時の計算量をわずか38%に抑える。さらに分析によれば、TIPSは従来のトランスフォーマーおよび教員アンサンブルを上回る統計的に有意な超過リターンを生み出し、利益期間中には古典的なアーキテクチャとレジーム依存の挙動整合を示す。これらの結果は、非定常な金融時系列データにおける堅牢な一般化のためには、レジーム依存の帰納的バイアス活用の重要性を強調している。