秩序の力：表の敵対的な並べ替えでLLMを欺ける

概要: 大規模言語モデルは目覚ましい成功を収め、テーブル質問応答のように表形式データを扱う重要なアプリケーションにますます導入されるようになっています。しかし、この入力の構造に対する頑健性は、依然として未解決の重大な問題です。本論文では、最新のLLMが表形式データのレイアウトに対して重大な脆弱性を示すことを明らかにします。具体的には、表の根本的な情報を変えない行や列の意味的に不変な置換（並べ替え）が、モデルの誤った、あるいは一貫性のない出力を引き起こすのに十分な場合があることを示します。この脆弱性を体系的に検証するために、Adversarial Table Permutation（敵対的テーブル置換）を提案します。これは、新規の勾配ベースの攻撃であり、モデル性能を最大限に低下させることを目的とした最悪ケースの置換を効率的に特定します。広範な実験の結果、ATPは多種多様なLLMの性能を大きく低下させることが示されました。これは、異なるモデルサイズやアーキテクチャにまたがって、最も新しく人気のあるモデルを含め、広範に存在する脆弱性があることを明らかにします。以上の知見は、現在のLLMが構造化データを処理する方法における根本的な弱点を明確にし、信頼性のある実世界のアプリケーションのために、置換に頑健なモデルを開発することが急務であることを強調します。