NEO-unify — 視覚エンコーダなし、VAEなしの2Bマルチモーダルモデル。「たぶん長くないうちに」オープンソース公開

SenseTime（中国のAIラボ）が、NEO-unifyの詳細を公開しました。これは、vision encoder と VAE をどちらも捨てるマルチモーダルモデルです。つまり「生のピクセル」を入力して「生のピクセル」を出力するだけ。

手短にまとめると：

• CLIPなし、SigLIPなし、VAEなし — ピクセル入力をネイティブに処理
• 2Bパラメータのモデル。単一の統一Transformerバックボーン（彼らは MoT — Mixture of Transformer と呼んでいます）が、理解と画像生成の両方を扱う
• 画像生成はフローマッチングで学習、テキストは自己回帰で — すべて1つのモデルで

私の目を引いた数字：

1. 画像再構成品質（PSNR 31.56）は、たった90Kの事前学習ステップで Flux のVAE（32.65）にすでにかなり近い
2. データ効率でBagelを上回る（同じベンチマークで、必要トークン数が少ない）
3. 理解ブランチを完全に凍結した状態でも、画像編集が機能する

悪いニュース：まだリリースされていません。チームメンバーのコメントによると、彼らは「オープンソース化に加えて、詳細な技術レポートの準備も積極的に進めている」とのことです。

エンコーダ依存がない2Bモデルなので、ローカルで動かすのが面白いかもしれません。多くのマルチモーダル構成よりも軽い依存スタックです。

彼らのHFページを要チェック： https://huggingface.co/blog/sensenova/neo-unify

Discordサーバー招待コード： https://discord.gg/vh5SE45D8b

ほかにもエンコーダレスのマルチモーダルモデルを追っている人はいますか？ この流れ（Chameleon、Vila-U、そして今NEO-unify）は勢いが出てきている感じがします。