部分ラベル下でのロバストなプロンプト学習のためのホリスティック最適ラベル選択

Abstract

プロンプト学習は、大規模な事前学習済み視覚-言語モデルを下流タスクに適応するための、パラメータ効率の高いアプローチとして大きな注目を集めている。だが、部分的なラベルしか利用できない場合、その性能はラベルの曖昧さや不十分な教師情報によって制限されることが多い。そこで本研究では、事前学習済みの特徴エンコーダの汎化能力を、互いに補完的な2つの戦略によって活用するHolistic Optimal Label Selection（HopS）を提案する。まず、局所的な密度に基づくフィルタを設計し、最近傍の候補集合から上位の頻出ラベルを選択し、ソフトマックスのスコアを用いて最ももっともらしいラベルを特定する。これにより、特徴空間における構造的な規則性を捉える。次に、最適輸送に基づくグローバルな選択目的を導入し、一様サンプリング分布をバッチ全体にわたる候補ラベル分布へ写像する。輸送コストの期待値を最小化することで、最も可能性の高いラベル割り当てを決定できる。これら2つの戦略は、局所的・グローバルな両面から頑健なラベル選択を行うために協調して機能する。8つのベンチマークデータセットに対する大規模な実験により、HopSが部分的教師あり条件下で一貫して性能を向上させ、すべてのベースラインを上回ることが示された。これらの結果は、ホリスティックなラベル選択の有用性を裏付け、弱教師あり設定におけるプロンプト学習のための実用的な解決策を提供するものである。