ViTに語らせる：言語-画像生成型事前学習

要旨: 本論文では、マルチモーダル大規模言語モデル（MLLMs）向けに設計された、Vision Transformer（ViTs）のためのミニマリストな生成事前学習フレームワークである\textbf{Gen}erative \textbf{L}anguage-\textbf{I}mage \textbf{P}re-training（GenLIP）を提示する。視覚エンコーダをLLMの自己回帰的な性質により適切に整合させるために、GenLIPは、標準的な言語モデリング目的を用いて、追加のテキストデコーダや対照的なバッチ構築なしで、視覚トークンから言語トークンを直接予測するようにViTを学習する。この設計には、3つの主要な利点がある: (1) \textbf{単純さ}: 1つのトランスフォーマが視覚トークンとテキストトークンを共同でモデル化する; (2) \textbf{拡張性}: データ量とモデル規模の両方に対して効果的にスケールする; (3) \textbf{性能}: 多様なマルチモーダルのベンチマークにおいて、競争力のある、あるいはそれを上回る結果を達成する。Recap-DataComp-1Bの8Bサンプルで学習したGenLIPは、実質的により少ない事前学習データを用いているにもかかわらず、強力なベースラインに対して同等または上回る。ネイティブのアスペクト比で多解像度画像に対して継続事前学習を行った後、GenLIPは、OCRや図表理解など、細部に敏感なタスクでもさらに改善し、MLLMにおける視覚エンコーダの強力な基盤となる。