文脈内学習における時間的依存関係：誘導ヘッドの役割

arXiv cs.CL / 2026/4/3

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、いくつかのオープンソースLLMが、入力系列中で繰り返されるトークンの直後に続くトークンに対して最も高い確率を割り当てる（+1ラグ挙動）という、系列想起（serial-recall）に似たバイアスを示すことを通じて、LLMの文脈内学習のあり方を調べる。
アブレーション実験により、「誘導ヘッド（induction heads）」—すなわち、現在のトークンが以前に出現したことに続く、その直後のトークンに注意を向ける注意ヘッド—が、この時間的依存パターンの主要なメカニズム的駆動要因であることを特定する。
誘導スコアが高い注意ヘッドを取り除くと、+1ラグバイアスが大幅に低減される一方で、無作為に選んだヘッドをアブレーションしても同様の効果は得られない。
本研究はさらに、高誘導ヘッドのアブレーションは、無作為ヘッドのアブレーションよりも、少数ショットのプロンプトによる系列想起性能をより強く劣化させることを見出している。
全体として、本結果は、トランスフォーマー型の文脈内学習における、順序化された時間的文脈の想起と誘導ヘッドとの間に、メカニズムとして特定可能な結び付きを与える。

Abstract

大規模言語モデル（LLM）は強力なインコンテキスト学習能力を示しますが、コンテキストから情報を追跡し検索する仕組みは、まだ十分に探究されていません。認知科学における自由再生パラダイム（参加者がリスト項目を任意の順序で想起するもの）に基づき、いくつかのオープンソースLLMが、入力系列中で同じトークンが繰り返される直後に続くトークンへピーク確率を割り当てる、シリアルリコールに似たパターンを一貫して示すことを示します。体系的なアブレーション実験により、この現象には、現在のトークンの以前の出現に続くトークンに注目する専門化された注意ヘッドである「インダクションヘッド」が重要な役割を果たすことを明らかにします。インダクションスコアが高いヘッドを取り除くと、+1ラグのバイアスが大幅に低下する一方で、ランダムなヘッドをアブレートしても同様の低下は再現されません。また、インダクションスコアが高いヘッドを取り除くことは、ランダムなヘッドを取り除く場合よりも、少数ショット学習を用いてシリアルリコールを行うようプロンプトされたモデルの性能を、より大きく損なうことも示します。これらの発見は、インダクションヘッドとトランスフォーマにおける時間的コンテキスト処理との間に、機構に基づく特異的な関連があることを強調しており、これらのヘッドが、インコンテキスト学習中の順序づけられた検索やシリアルリコールに類似した振る舞いに特に重要であることを示唆しています。