トークン効率の高い画像生成のための意味論に着目したプレフィックス学習

概要: 視覚トークナイザーは、高次元の画像と扱いやすい生成モデリングをつなぐことで、潜在画像生成において中心的な役割を果たします。しかし、既存の多くのトークナイザーは依然として、再構成が支配的な目的関数で学習されており、その結果得られる潜在表現は、高レベルのセマンティクスに対して十分には根拠づけられていないことがしばしばあります。近年の手法ではセマンティクスの整合が改善されていますが、一般にセマンティクスの信号を、表現学習において機能的に必須とするのではなく、補助的な正則化として扱います。我々はSMAP（SeMantic-Aware Prefix トークナイザー）を提案します。SMAPは、クエリベースの1Dトークン化フレームワークに、クラスレベルのセマンティック条件を注入します。学習中にセマンティクスを不可欠なものにするため、SMAPはテールトークンのドロップ戦略を導入します。これにより、セマンティック条件と、初期の潜在プレフィックスに対して、トークン予算が段階的に減少するのに伴い、その責任が増大するよう強制されます。得られた潜在空間が、再構成のみではなく生成に有用であることを検証するために、さらにCARD（ハイブリッドな因果自己回帰--拡散ジェネレータ）を導入します。ImageNet上での大規模な実験により、SMAPは離散および連続のトークン化設定のいずれにおいても、再構成品質を一貫して改善すること、そしてセマンティクスに根ざした潜在空間が、コンパクトなトークン予算下で強力な下流の生成性能をもたらすことが示されます。