要旨: Timestep sampling p(t) は Flow Matching モデルにおける中心的な設計選択であるが、一般的な実践は静的な中点バイアス分布（例: Logit-Normal）をますます支持するようになっている。
この選択は速度と品質のトレードオフを生み出す：中点バイアスのサンプリングは初期の収束を加速する一方で、漸近的忠実度は一様サンプリングより劣る。
各タイムステップのトレーニング損失を分析することで、境界領域付近で持続的な誤差を伴うU字型の難易度プロファイルを特定し、端点の過少サンプリングが微細なディテールを解決できないことを示唆している。
この洞察に基づき、\textbf{Curriculum Sampling}、迅速な構造学習のために中点バイアスのサンプリングから始まり、境界の精練のために一様サンプリングへ切り替える二段階のスケジュールを提案します。
CIFAR-10 では、Curriculum Sampling は最良のFIDを 3.85（Uniform）から 3.22 に改善し、ピーク性能は 150k のトレーニングステップではなく 100k で達成します。
我々の結果は、タイムステップサンプリングは固定されたハイパーパラメータではなく、進化するカリキュラムとして扱うべきであることを強調している。
カリキュラム・サンプリング: Flow Matching の効率的な訓練のための二段階カリキュラム
arXiv cs.LG / 2026/3/16
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 著者らは、Flow Matching における静的な中間寄りタイムステップのサンプリングが、Uniform サンプリングと比較して、初期収束の速さと長期的な忠実度の間にトレードオフを生むことを示している。
- タイムステップ全体で U字形の訓練難易度が現れ、境界近傍に持続的な誤差が生じることを明らかにしている。端点を過少サンプリングすると細部が失われる、という意味である。
- 彼らはカリキュラムサンプリングを提案する。中間寄りのサンプリングで構造を迅速に学習し、その後、端点の精練のために一様サンプリングへ切り替える、二段階のスケジュールである。
- CIFAR-10 における実証結果は、FID が 3.85（Uniform ベースライン）から 3.22 へ改善され、100k ステップでより早くピーク性能を達成することが示され、より速く質の高い訓練を実証している。
- より広い意味で、タイムステップのサンプリングは固定ハイパーパラメータとして扱うべきではなく、進化するカリキュラムとして扱うべきだ、という含意がある。
