対照的な文脈サンプリングによる、イン・コンテキストおよびイン・ウェイト・ミクスチャの学習

arXiv cs.LG / 2026/4/3

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、与えられた文脈の関連度に応じて両者を切り替えられることを目指し、イン・コンテキスト学習（ICL）とイン・ウェイト学習（IWL）を共同で育成する学習手法を研究する。
標準的なファインチューニングはICLを損なう可能性があり、IC-Trainの後にICLが出現するかどうかは、タスク多様性や学習期間といった要因に依存することが先行研究で示されていると主張する。
著者らは、文脈選択が重要だと見出す。ランダムな文脈を用いるとICLとIWLの両方が弱まる一方で、非常に類似した例だけを用いると、関連性を無視したラベルのコピーモードへとICLが崩壊してしまうことがある。
「Contrastive-Context（対照的文脈）」サンプリングを提案し、文脈内で類似例とランダム例を混ぜ合わせるとともに、文脈ごとに類似度の段階を変化させることで、安定したICL–IWLの混合を学習する。
4つのLLMに対して複数タスクで大規模な実験を行い、診断用のプロービングと理論的な最小モデル分析による裏付けのもと、対照的な設定が、純粋なICL／純粋なIWL／コピー挙動への崩壊を回避できることを示す。

要旨: 本研究では、文脈内学習（ICL）と重み内学習（IWL）を同時に発展させる訓練戦略、ならびに文脈の関連性に応じてそれらを切り替える能力を調査します。現在のLLMはいずれのモードも示しますが、標準的なタスク固有の微調整はしばしばICLを劣化させるため、IC-Train――文脈内の例による微調整――が動機づけられます。先行研究では、IC-Train後にICLが創発するかどうかは、タスクの多様性や訓練期間といった要因に依存することが示されています。
本論文では、ターゲット入力と文脈例の間の類似性構造が重要な役割を果たすことを示します。ランダムな文脈はICLとIWLの優位性のいずれも失わせますが、文脈中に類似した例のみを入れると、ICLが関連性を無視してラベルを単にコピーすることへと退化してしまいます。これに対処するため、2種類の対比を強制する単純なContrastive-Context（対照的文脈）を提案します: (1) 正しい形のICLを発展させるために、文脈内で類似した例とランダムな例を混ぜること、ならびに (2) 文脈ごとに類似度を段階的に変化させることでICL-IWL混合を発展させることです。本稿では、最小モデルに対する理論解析を通して、こうした対比の重要性に関する洞察を提示します。4つのLLMと複数のタスクに対して、広範な実験的評価により検証します。診断プローブにより、対比された文脈は純粋なICL、純粋なIWL、またはコピーへと崩壊することなく、安定したICL-IWL混合をもたらすことが確認されます。