LongCat-Next: モダリティを離散トークンとして語彙化する

論文: https://arxiv.org/abs/2603.27538

コード: https://github.com/meituan-longcat/LongCat-Next

ブログ: https://longcat.chat/longcat-next/intro

モデル: https://huggingface.co/meituan-longcat/LongCat-Next

MIT License: https://huggingface.co/meituan-longcat/LongCat-Next/blob/main/LICENSE

要旨

従来の次トークン予測（NTP）パラダイムは、離散的な自己回帰モデリングによって大規模言語モデルの成功を牽引してきました。しかし、今日のマルチモーダル・システムは依然として言語中心であることが多く、非言語モダリティを外付けの付属物として扱うため、アーキテクチャが分断され、統合が最適でない状態につながっています。この制約を超えるために、私たちは、マルチモーダル情報を共通の離散空間の中で表現する統一フレームワークである Discrete Native Autoregressive（DiNA）を提案します。これにより、モダリティ間で一貫した、かつ原理に基づく自己回帰モデリングが可能になります。中心となる革新は、任意解像度でのトークン化とデトークン化を行う Discrete Native Any-resolution Visual Transformer（dNaViT）であり、連続的な視覚信号を階層的な離散トークンへと変換します。この基盤の上に、LongCat-Next を構築します。これは、最小限のモダリティ固有設計で、単一の自己回帰目的関数のもとでテキスト・視覚・音声を処理するネイティブなマルチモーダルモデルです。産業レベルの基盤モデルとして、単一の枠組みの中で「見る」「描く」「話す」において優れた性能を発揮し、多様なマルチモーダル評価ベンチマークにおいて強力な結果を達成しています。特に LongCat-Next は、理解タスクにおける離散的な視覚モデリングの長年にわたる性能上限に対処し、理解と生成の間にある対立を効果的に調停するための統一的アプローチを提供します。ネイティブ・マルチモダリティへの試みとして、LongCat-Next とそのトークナイザをオープンソース化し、コミュニティにおけるさらなる研究開発の促進を期待しています。GitHub: https://github.com/meituan-longcat/LongCat-Next