T$^\star$：軌道（トラジェクトリ）を意識した強化学習によるマスク付き拡散言語モデルのためのプログレッシブ・ブロックスケーリング

Abstract

我々は、マスク付き拡散言語モデル（MDM）における段階的ブロックサイズ拡張のための、TraceRLベースのシンプルな訓練カリキュラムであるT^\starを提示する。ARによって初期化された小さなブロックのMDMから出発し、T^\starはより大きなブロックへと滑らかに移行し、数学的推論ベンチマークにおいて性能劣化を最小限に抑えつつ、高い並列性を持つデコードを可能にする。さらに、追加の分析により、T^\starは実際には同等の性能を達成する別のデコードスケジュールへ収束する可能性があることが示唆される。