Listeningしながら考える：長期ホライゾンの逐次モデリングのための高速・低速リカレンス

arXiv cs.LG / 2026/4/3

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、観測間隔に紐づく遅い自己組織化アップデートと、速い反復（リカレント）潜在更新を組み合わせることで、長期ホライゾンの逐次モデリングのための「高速・低速リカレンス」を提案する。
潜在リカレントモデリングを逐次入力ストリームへ拡張し、時系列の中でデータと整合的に変化する安定した内部構造の学習を目指す。
提案メカニズムは、いくつかの逐次ベースラインの挙動のようにドリフトするのではなく、長期ホライゾンにわたって表現がクラスタ化され、一貫した状態を保つよう設計されている。
抄録で報告された実験では、LSTM、状態空間モデル、Transformer系の変種と比べて、強化学習およびアルゴリズム課題において外れ値（out-of-distribution）一般化が向上することが示唆されている。

Abstract

近年の潜在リカレントモデリングを、逐次入力ストリームへ拡張します。高速なリカレント潜在更新と、遅い観測更新の間における自己組織化能力とを交互に配置することで、本手法は入力に応じて変化する安定した内部構造の学習を促進します。この仕組みにより、長い地平線にわたって首尾一貫したクラスタ化された表現を維持できるようになり、強化学習やアルゴリズム課題において、LSTM、状態空間モデル、Transformerの変種といった逐次的なベースラインと比べて、分布外一般化が改善されます。