プロンプトが相互作用するとき：分布シフト下でのデコンファウンド（交絡の排除）に向けた「プロンプト算術」の評価
arXiv cs.LG / 2026/5/6
📰 ニュースIdeas & Deep AnalysisTools & Practical UsageModels & Research
要点
- 分類モデルは、学習データ内（インディストリビューション）では有望に見える交絡（スプリアス）特徴に依存し得るが、それが分布シフト下で大きな性能低下につながる。
- 「タスク算術」は、二次モデル更新を差し引くことで不要な信号を減らせる可能性がある一方、通常は全量ファインチューニングが必要で計算コストが高い。
- 本研究は、ソフトプロンプト・チューニング（パラメータ効率の高い手法）に対してタスク算術をプロンプト単位で適用することで、スプリアスへの依存をどこまで抑えられるかを検討する。
- 著者らは Hybrid Prompt Arithmetic（HyPA）を提案し、タスクプロンプトと線形化した交絡プロンプトを組み合わせることで、分布シフト下の複数ベンチマークでプロンプト算術のベースラインより堅牢性と性能のトレードオフを改善できることを示す。
- さらに、HyPAが交絡を、予測への交絡信号の影響を弱めるか、あるいは隠れ表現内でそれを抑制することで軽減している可能性を示す分析結果が提示される。
