GoldiCLIP：言語—画像事前学習における明示的教師信号のバランスを取るためのGoldilocksアプローチ

Abstract

従来、大規模な視覚言語モデル（VLMs）の成功は主に、数十億サンプル規模のデータセットに依存しており、これが進歩の大きな障壁となっていました。最新の研究では、教師信号の品質を改善することでこのギャップを埋め始めていますが、それらはいずれも対照学習（contrastive pretraining）における弱点の一部にしか対処していません。私たちは、適切な教師信号のバランスを見つけるというゴルディロックスの原理に基づいて構築された枠組み「GoldiCLIP」を提示します。私たちの多面的な学習フレームワークは、3つの主要な革新を相乗的に組み合わせます：(1) テキスト条件付きの自己蒸留手法により、テキスト非依存およびテキスト依存の両方の特徴を整合させること；(2) エンコーダに統合されたデコーダと、Visual Question Answering（VQA）目的を用いることで、エンコーダがキャプションのようなクエリを超えて汎化できるようにすること；(3) 不確実性に基づく重み付けメカニズムにより、すべての異種（heterogeneous）な損失を自動的にバランスさせること。GoldiCLIPは、主要手法よりもデータを300倍少ないわずか3,000万枚の画像で学習されており、データ効率の高いアプローチの中で最先端の性能を達成しています。MSCOCOの検索で比較可能な最良ベースラインより2.2ポイント、きめ細かな検索で2.0ポイント、質問に基づく検索で5.9ポイント改善しつつ、数十億規模のモデルとも競争力を維持しています。プロジェクトページ: https://petsi.uk/goldiclip.