Just-in-Time: トレーニング不要の拡散トランスフォーマーの空間的加速
arXiv cs.CV / 2026/3/12
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- Just-in-Time (JiT) は、アンカー・トークンのスパースな集合で計算を行うことにより、全ての空間領域を等しく扱うのではなく、空間冗長性を活用して拡散トランスフォーマーを加速するトレーニング不要のフレームワークです。
- JiT は、空間的に近似された生成用の常微分方程式（ODE）と決定論的マイクロフローを導入し、新しいトークンが追加され潜在状態の次元が拡張される際に滑らかに遷移を保ち、構造的一貫性と統計的正確性を維持します。
- FLUX.1-dev モデルでの実験において、JiT は最大で 7 倍の推論速度向上を達成し、ほぼロスレスの性能を維持して、既存の加速法を大きく上回りました。
- 本研究は、時間的加速から空間的加速へ焦点を移し、計算コストを削減することで拡散ベースのモデルの実用的な展開を可能にします。
本文: arXiv:2603.10744v1 告知タイプ: 新規
要旨: 拡散トランスフォーマーは画像合成において新たな最先端を確立していますが、反復的サンプリングの高い計算コストが実用的な展開を大きく妨げています。既存の加速手法はしばしば時間的領域に焦点を当てる一方で、生成過程に内在する顕著な空間冗長性を見落としており、グローバルな構造は微細なディテールが形成されるよりもずっと前に現れます。すべての空間領域を均一に計算処理することは重大な非効率性を生み出します。本論文では、Just-in-Time (JiT) を紹介します。トレーニング不要の新しいフレームワークで、空間領域での加速を通じてこの課題に対処します。JiT は、動的に選択されたスパースなアンカー・トークンの計算に基づいて、全潜在状態の進化を駆動する空間的に近似された生成用の常微分方程式（ODE）を定式化します。新しいトークンが潜在状態の次元を拡張する際のシームレスな遷移を保証するため、構造的一貫性と統計的正確性の両方を維持する、決定論的マイクロフローを提案します。最先端のFLUX.1-devモデルを用いた広範な実験により、JiT は最大で 7 倍の速度向上を達成し、ほぼロスレスの性能を維持して、既存の加速法を大幅に上回り、推論速度と生成忠実度の新しく優れたトレードオフを確立しました。
