視覚-言語モデルの頑健性のための部分的再中心化ソフトマックス損失

要旨: 大規模言語モデルが自然言語処理タスク(NLP)で画期的な進展を遂げる中、マルチモーダル技術の人気は高まっている。しかし、マルチモーダルNLPは入力への摂動によりモデルの出力が大幅に変化する敵対的攻撃に対して脆弱であることが示されている。コンピュータビジョンとNLPのモデルの両方でいくつかの防御技術が提案されている一方で、モデルのマルチモーダルな頑健性は十分には探究されていない。本論文では、事前学習済みマルチモーダルモデルの損失関数を変更し、上位K個のソフトマックス出力を制限することによって敵対的ロバストネスを評価する。評価とスコアリングに基づくと、ファインチューニング後には、事前学習済みモデルの敵対的ロバストネスが、一般的な攻撃に対して顕著に改善されることが示される。今後の研究課題として、出力の多様性、一般化、およびこの種の損失関数のロバスト性と性能のトレードオフなどが挙げられる。本論文が受理された後、コードを公開する予定である。