低ランク適応（LoRA）による敵対的摂動

Abstract

低ランク適応（LoRA）は、モデル更新が典型的に低次元空間に存在するという洞察を活用し、低ランク行列を用いてニューラルネットワーク層を更新することで、大規模言語モデル（LLM）の訓練効率を大幅に向上させてきました。敵対的例（adversarial examples）の生成は、モデル訓練に類似した最適化プロセスであるため、自然に次の問いが生じます。すなわち、敵対的な摂動は同様の低ランク構造を示すのでしょうか？ 本論文では、様々な攻撃手法、モデルアーキテクチャ、データセットにわたって、理論的解析と広範な実証的調査の両方を行い、敵対的摂動が確かに本質的に低ランクな構造を持つことを示します。この洞察は、敵対的攻撃と防御の双方を改善する新たな機会を切り開きます。私たちは主に、この低ランク特性を活用して、ブラックボックス敵対的攻撃の効率と有効性を改善することに焦点を当てます。ブラックボックス攻撃はしばしば過度なクエリ（問い合わせ）要求に悩まされます。提案手法は二段階のアプローチに従います。まず、参照モデルと補助データを用いて、勾配の射影を低次元部分空間へ導きます。次に、ブラックボックス攻撃における摂動探索をこの低ランク部分空間に制限し、敵対的攻撃の効率と有効性を大幅に改善します。 私たちは、さまざまな攻撃手法、ベンチマークモデル、データセット、脅威モデルにわたって提案手法を評価しました。その結果、従来手法と比較して、低ランク敵対的攻撃の性能が実質的かつ一貫して向上することが示されました。