コンテキストが“張り付く”とき：イン・コンテキスト学習における干渉の研究

arXiv cs.LG / 2026/4/28

💬 オピニオンModels & Research

共有:

要点

本論文は、イン・コンテキスト学習（ICL）における「コンテキスト・スティックiness（文脈の張り付き）」、つまりプロンプト内の最初の例が後続タスクの予測を継続的にバイアスしてしまう現象を扱っています。
線形から2次へのタスク切り替えを伴う合成回帰ベンチマークを用い、著者らは誤解を招く文脈が予測誤差をどれだけ増やし、切り替え後にモデルがどれほど素早く回復するかを定量化しています。
結果として、干渉は持続的であり、誤った線形の先行例を増やすほど2次の予測品質は一貫して悪化する一方、正しい2次の例を増やすことは有効だが限界（逓減）も見られます。
さらに、学習カリキュラムが頑健性に大きく影響し、対象の関数クラスに対する逐次学習が最も回復が速いのに対し、ランダム学習は最も耐性が低い挙動を示すことが明らかになりました。

Abstract

本論文では、文脈スティッキネス（context stickiness）を調査する。これは、インコンテキスト学習（ICL）において、プロンプト内の先行する例が、後続のタスクに適応するトランスフォーマーの能力を妨げてしまう現象である。線形関数および二次関数に対する合成回帰タスクを用いて、推論時における急激なタスク切り替えを、連続、混合、ランダムの各カリキュラムで訓練されたモデルがどのように扱うかを検討する。誤解を招く線形の例を続け、その後に回復用の二次の例を配置する、構造化された組合せを走査することで、先行する文脈が予測誤差にどの程度バイアスを与えるか、またモデルがどれほど迅速に再整列（realign）するかを定量化する。結果は、持続的な干渉が強く示されている。すなわち、より多くの先行する線形の例は二次予測の精度を確実に悪化させる一方、追加の二次の例は誤差を減少させるものの、その効果は逓減する。さらに、訓練カリキュラムはレジリエンス（耐性）を大きく左右し、標的となる関数クラスに対して連続的に訓練することで最も回復が速いことを見出す。加えて意外にも、ランダムな訓練は最も頑健性の低い挙動をもたらすことが分かった。