データ不要のフラットネス認識型プロンプト事前学習による、視覚言語モデルのテスト時プロンプト調整におけるキャリブレーション改善

概要: テスト時プロンプトチューニング（TPT）は、ラベルなしのテストデータを用いてテキストプロンプトを最適化することで、視覚-言語モデルの適応性を高める有望な手法として注目されている。 しかし、先行研究ではTPTがしばしば不十分に校正された（キャリブレーションの悪い）モデルを生成することが観察されており、その予測の信頼性が懸念されている。 近年の研究では、この問題に対して、モデル出力を制約する追加の正則化項を組み込むことで対応しており、キャリブレーションは改善するものの、多くの場合性能が低下する。 本研究では、これらの正則化戦略が暗黙によりフラットな極小（フラットなミニマム）へ向けた最適化を促していること、そして適応されたプロンプト周りにおける損失地形（ロス・ランドスケープ）の鋭さが、キャリブレーション品質を左右する重要な要因であることを明らかにする。 この観察に動機づけられ、我々はFlatness-aware Prompt Pretraining（FPP：フラットさを意識したプロンプト事前学習）を提案する。これはTPTのための単純でありながら効果的な事前学習枠組みであり、適応の前に損失地形のよりフラットな領域内でプロンプトを初期化する。 既存のTPTパイプラインにおいて、他のいかなる要素も変更せずに初期化のみを置き換えるだけで、キャリブレーションと性能の両方が改善されることを示す。 特筆すべき点として、FPPはラベル付きデータを必要とせず、テスト時のチューニング中に追加の計算コストも発生しないため、実運用において非常に実用的である。 コードは以下で入手可能: https://github.com/YonseiML/fpp。