TIPSv2: 強化されたパッチ-テキスト整合でビジョン・言語プリトレーニングを前進させる

Abstract

近年の視覚言語事前学習の進歩により、分類、検索、セグメンテーション、深度予測など、多くの下流コンピュータビジョン応用において大きな改善が可能になりました。しかし、これらのモデルが依然として苦手としている基本的な能力の一つは、対応する概念のテキスト埋め込みと、密なパッチ表現を整合させることです。本研究では、この重要な問題を調査し、基礎となる視覚言語モデルにおいてこの能力を高めるための新しい手法を提案します。まず、パッチレベルの蒸留手順が、密なパッチとテキストの整合を大幅に向上させることを明らかにします。驚くべきことに、蒸留された学生モデルのパッチ—テキスト整合は、教師モデルのそれを強く上回ります。この観察は、事前学習レシピの改変を検討する動機となり、一般に用いられるiBOTのマスク画像目的をアップグレードしたiBOT++を提案します。ここでは、未マスクのトークンも損失に直接寄与します。これにより、事前学習済みモデルのパッチ—テキスト整合が劇的に向上します。さらに、視覚言語事前学習の効率と有効性を高めるために、学習レシピにおける指数移動平均の設定を修正し、異なる粒度の合成キャプションから利益を得るためのキャプションサンプリング戦略も導入します。これらの構成要素を組み合わせることで、幅広い下流アプリケーションに適した新しい画像—テキストエンコーダモデルのファミリーであるTIPSv2を開発します。9つのタスクと20のデータセットに対する包括的な実験により、強い性能を示すことを明らかにします。概ね、最近の視覚エンコーダモデルと同等、あるいはそれよりも良好です。コードとモデルは、プロジェクトページ https://gdm-tipsv2.github.io/ から公開します。