Early Decisions Matter：非自己回帰型拡散言語モデルにおける近接バイアスと初期軌道形成

概要: 拡散ベースの言語モデル（dLLM）は、自己回帰型言語モデルの有望な代替として登場しており、並列トークン生成や双方向の文脈モデリングが可能になる可能性があります。しかし、この柔軟性を活用して完全に非自己回帰的なデコーディングを実現することは、特に推論および計画タスクにおいて、未解決の問いとして残っています。本研究では、時間軸に沿った推論ダイナミクスを体系的に分析することで、dLLMにおける非自己回帰的デコーディングを調査します。具体的には、自己回帰に基づかない生成における自信ベースの非自己回帰的生成が抱える固有の失敗モードを明らかにします。それは、強い近接バイアス（ノイズ除去の順序が空間的に隣接したトークンに集中する傾向）に起因するものです。この局所的な依存は、空間的な誤り伝播を引き起こし、軌跡全体が最初のアンマスキング位置に対して決定的に依存するようになります。この洞察を活用し、軽量なプランナーと終端記号（end-of-sequence）の温度アニーリングを用いて、初期トークン選択を導く最小介入アプローチを提案します。我々は、さまざまな推論および計画タスクでこの方法を徹底的に評価し、大きな計算オーバーヘッドなしに、既存のヒューリスティックなベースラインに対して全体的に顕著な改善が得られることを確認しました。