離散フローマップ

arXiv stat.ML / 2026/4/14

📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、自己回帰型LLMにおける重要なボトルネック、すなわち本質的に逐次的な次トークン生成が速度を制限してしまう点に取り組み、代替となる並列生成手法の必要性を動機づけている。
本論文では、生成過程（モデルの生成軌跡）を単一ステップの写像に圧縮することで、ノイズから1回のフォワードパスで全系列生成を可能にする「Discreet Flow Maps（離散フローマップ）」を提案する。
先行する離散フローのアプローチが、離散的な確率データに適していないユークリッド回帰損失を用いていたのに対し、本手法では確率単体（確率シンプレックス）の幾何学を尊重するように学習を作り替える。
フローマップの学習ダイナミクスを言語の離散構造に整合させることで、著者らは実験的に改善された結果を報告し、離散フローモデリングにおける先行の最先端を上回っている。