温度の物語：拡散言語モデルからのシンプルで効率的、かつ多様なサンプリング

概要: 拡散言語モデル（dLLM）のための高速かつ正確なサンプリングの設計に関しては、多くの研究が行われてきました。しかし、これらの取り組みは主として、個々のサンプルにおける速度と品質のトレードオフに焦点が当てられており、サンプル間の多様性を追加的に確保する方法は、十分には理解されていません。本研究では、よく知られた確信度ベースのリマスキング（remasking）ヒューリスティックを、ソフト化（softened）および調節（tempered）したバージョンを用いることで、多様性を増やせることを示します。これにより、その計算上の利点を保持しつつ、実装をシンプルにできます。本アプローチの動機として、フォークトークンの理想化された形式モデルを導入し、フォークにおける期待エントロピーへのリマスキングの影響を検討します。実験的には、提案する調節済みヒューリスティックは、既存の確信度ベースのサンプリングと自己回帰的サンプリングの間にある探索ギャップ（pass@k）を埋め、コストを制御した場合（pass@NFE）には両者を上回ることが示されます。さらに、多様性の増加が、下流の事後学習（post-training）およびテスト時の計算（compute）スケーリングへどのように反映されるかを調べます。総合すると、dLLMから単純で効率的かつ多様なサンプルを生成することが可能であることを、本研究結果は示しています。