LLaDA2.0-Uni：拡散型ラージ言語モデルでマルチモーダル理解と生成を統一する

要旨: 本稿では、ネイティブに統合された枠組みの中で、マルチモーダルな理解と生成をサポートする統一的な離散拡散大規模言語モデル（dLLM）であるLLaDA2.0-Uniを提案する。そのアーキテクチャは、完全に意味論的な離散トークナイザ、MoEベースのdLLMバックボーン、そして拡散デコーダを組み合わせている。SigLIP-VQによって連続的な視覚入力を離散化することで、バックボーン内にてテキスト入力と視覚入力の両方に対してブロック単位のマスク付き拡散を可能にし、一方デコーダは視覚トークンを高精細な画像へ再構成する。推論効率は、バックボーンでのプレフィックスに配慮した最適化と、デコーダでの少ステップ蒸留によって、並列デコーディングを超えて向上させている。厳密にキュレーションされた大規模データと、それに合わせて設計されたマルチステージの学習パイプラインにより、LLaDA2.0-Uniはマルチモーダル理解において専門特化したVLMに匹敵しつつ、画像生成および編集において強力な性能を実現する。また、生成と推論のインタリーブ（交互）をネイティブにサポートすることにより、次世代の統一型基盤モデルに向けた、有望でスケーラブルなパラダイムが確立される。コードとモデルは https://github.com/inclusionAI/LLaDA2.0-Uni で公開されている。