ビジュアル・インプリシット自己回帰モデリング

要旨: 次スケール予測に基づく視覚自己回帰モデリング（VAR）は強い生成品質を達成しますが、その明示的な深いスタックはスケールごとの計算量を固定してしまい、高解像度ではメモリを膨張させます。そこで我々は、浅いpre/postブロックの間に暗黙の平衡（インプリシット・エクイリブリアム）層を埋め込んだ次スケール自己回帰ジェネレータであるVisual Implicit Autoregressive Modeling（VIAR）を提案します。暗黙層はヤコビアンフリー・バックプロパゲーションで学習され、学習時のメモリを一定に保ちます。一方、推論ではスケールごとの反復（イテレーション）を調整するノブが露出し、計算量の制御を可能にします。ImageNet 256x256のベンチマークでは、VIARはFID 2.16を達成し、さらにVARのパラメータの38.4%のみでsFID 8.07となり、強力なARベースラインに匹敵、または上回り、大規模な拡散モデルとも競争力を維持します。スケールごとのノブを制御することで、VIARはピークメモリを19.24 GBから8.53 GBへ削減し、学習し直すことなく、単一のRTX 4090上でスループットを15.16から32.08 images/sへ倍増できます。アブレーションにより、固定点反復が収束するために必要なステップ数はより少なくてよいこと、そしてVIARは品質と効率の作業点（operating points）において一貫してVARを上回ることが示されます。ゼロショットのインペイントとクラス条件付き編集では、VIARはグローバルな構造を保持しつつ、よりシャープなディテールと滑らかな境界を生成し、実運用・デプロイ可能な視覚生成における暗黙の平衡とスケールごとの計算量制御の利点を検証します。