レジーム変更下におけるイン・コンテキスト・ラーニング

arXiv cs.LG / 2026/4/21

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、データ生成過程が不明な時点で変化する非定常環境において、モデルが変化を検知してオンラインで適応する必要がある点を扱っている。
変化点の検知をイン・コンテキスト学習として定式化し、トランスフォーマー・ベースの基盤モデルがその問題を解けることを形式的に示している。
著者らは、変化点のタイミングについてモデルがどれだけ情報を持っているかに応じて、層数やパラメータ数といった必要なモデル複雑性が変わることを示している。
合成データの線形回帰や線形動力学系での実験により、情報の前提が異なる場合でも訓練済みトランスフォーマーが最適ベースラインに匹敵する性能を達成できることが確認された。
変化点知識をエンコードして取り込むことで、感染症の予測やFOMC発表を跨ぐ金融ボラティリティ予測において、再学習なしで事前学習済みモデルの実性能が向上することも示している。