画像再構成と生成のためのセマンティックな1次元トークナイザー

要約：潜在空間に基づく視覚的生成モデルは大きな成功を収め、視覚トークン化の重要性を強調している。画像を潜在表現へ写像することは効率を高め、下流タスクのスケーリングを可能にするマルチモーダル整合性を実現します。既存の視覚トークナイザーは主に画像を固定された2D空間グリッドへマッピングし、ピクセルレベルの復元に焦点を当てるため、コンパクトなグローバルセマンティクスを持つ表現の捉えを妨げます。これらの問題に対処するため、私たちは SemTok、高レベルの意味論を持つ1D離散トークンへ2D画像を圧縮するセマンティック1次元トークナイザーを提案します。SemTok は画像再構成において新たな最先端を確立し、非常にコンパクトなトークン表現にもかかわらず優れた忠実度を達成します。これは、2D-to-1Dトークン化スキーム、セマンティック整合性制約、および2段階の生成トレーニング戦略という3つの重要な革新からなる相乗的なフレームワークによって実現されます。SemTokを基盤として、マスク付き自己回帰生成フレームワークを構築し、下流の画像生成タスクにおいて顕著な改善をもたらします。実験は、私たちのセマンティック1Dトークン化の有効性を確認しています。私たちのコードはオープンソース化されます。