Few-Shot Learningアダプターを高度化するための訓練時限定の異種画像パッチ-テキストグラフ監督

要旨：最近のアダプター ベースの CLIP チューニング（例：Tip-Adapter）は、サポート特徴をキャッシュして高速なプロトタイプ照合を実現することで、強力な少数ショット学習モデルとなっている。しかし、これらの方法はグローバルな単一モーダル特徴ベクトルに依存しており、細粒度のパッチ間の関係とクラステキストとの構造的整合性を見落としている。このギャップを推論コストを発生させずに埋めるため、非対称のトレーニング専用フレームワークを提案します。軽量アダプターを変更する代わりに、トレーニング中のみ動作する高容量の補助的ヘテロジニアスグラフ教師を構築します。この教師 (i) 複数スケールの視覚パッチとテキストプロンプトを統一グラフに統合し、(ii) Modality-aware Graph Transformer (MGT) による深いクロスモーダル推論を実行し、(iii) 判別的ノードフィルタリングを適用して高忠実度のクラス特徴を抽出します。特に、キャッシュ対応型の二重目的戦略を採用し、この関係知識を直接 Tip-Adapter のキー-値キャッシュに監督させ、テスト時にはグラフ教師を破棄する一方でプロトタイプを実質的にアップグレードします。したがって、推論は追加の待機遅延やメモリを一切増やすことなく、Tip-Adapterと同一のままです。標準の1〜16ショットのベンチマークにおいて、我々の手法は一貫して新しい最先端を確立します。アブレーション実験から、補助グラフ監督、テキスト誘導推論、ノードフィルタリングが、堅牢な少数ショット適応の不可欠な要素であることが確認されました。コードは https://github.com/MR-Sherif/TOGA.git に公開されています。