未来を見据える: トランスフォーマーのための潜在先読み学習
arXiv cs.CL / 2026/3/24
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、次トークンの自己回帰的な学習が、各ステップでモデルを単一の継続に固定してしまい、さらにトークンごとに計算資源を等しく割り当てるため、探索や表現力が制限され得ると主張している。
- 「潜在先読み（latent lookahead）」を導入する。これは、離散的な将来トークンをサンプリングするのではなく、隠れ状態を再帰的にフィードしながら、選択したシーケンス位置で潜在空間上において複数ステップの先読みを行う学習戦略である。
- この手法は、中間の潜在表現に関する予測を、次の正解トークンに対して教師信号として学習させる。これにより、モデルに対して「先を考える」ことを明示的に促し、次に生成する内容を洗練させる。
- 実験では、潜在先読みが、自己回帰および非自己回帰のベースラインの両方に比べて大幅に性能を改善することが示される。迷路の解法、数独、ProsQAといった計画（プランニング）依存のタスクでは、先見性が重要である。
