階層的に頑健なゼロショットの視覚・言語モデル

要旨: 複数の視覚と言語のモデル（VLM）はゼロショット分類を実行できますが、敵対的攻撃に対して脆弱です。堅牢な微調整により頑健性は向上しますが、既存の手法は固定されたテキスト埋め込みを画像埋め込みに整合させることで、自然な性能と頑健性を犠牲にしています。また、モデルが基底（葉）クラス（例: cat）のほかに、スーパークラス（親クラス、例: mammal）を標的とする敵対的攻撃に直面した場合にも、頑健性の低下が発生します。そこで、敵対的頑健性を高め、クラス空間の階層的性質を活用するために、階層的埋め込みに基づく新しい敵対的微調整フレームワークと、画像—テキスト・モダリティの複数レベルにわたる敵対的に頑健な整合を提案します。追加の仕組みにより、視覚埋め込みを階層の所望の深さに配置し、階層における埋め込みの深さと、最大で実現可能なマージンサイズとの間の理論的な関係も示します。本モデルは複数のマージンサイズを自然に実現し、頑健化のための敵対者に対する汎化を高めます。さらに、異なる親ラベルを持つさまざまな木が同一の葉ラベルを共有し得るため、意味の多様性を高めるために、複数の木にわたる整合も検討します。複数のデータセットにわたる実験を行います。