トランスフォーマーにおけるタスクベクトル幾何が二つのタスク推論モードを支える

要旨: トランスフォーマーは、文脈から潜在的なタスクを推論するのに効果的であり、推論モードとして「学習中に見たタスクを認識する」ことと「新規のタスクに適応する」ことの2つのモードがある。近年の解釈可能性研究では、中間層の表現からモデル挙動を導くタスク固有の方向、すなわちタスクベクトルが同定されている。しかし、内部表現と外部のモデル挙動を結び付けるための厳密な基盤の欠如が、これを妨げている。既存研究では、タスクベクトルの幾何が学習分布によってどのように形成されるのか、そしてどのような幾何が分布外（OOD）一般化を可能にするのかが説明されていない。本論文では、潜在タスクの系列分布上で小型トランスフォーマーをスクラッチから学習する、制御された合成設定においてこれらの問いを研究し、原理に基づく数学的な特徴付けを可能にすることを示す。我々は、2つの推論モードが単一のモデル内で同時に共存し得ることを示す。学習分布内での挙動は、学習されたタスクベクトルの凸結合によって内部的に実装されるベイズ的なタスク検索によって支配される。一方、分布外での挙動は、ほぼ直交する部分空間をタスクベクトル部分空間に対して占める、外挿的なタスク学習によって生じる。以上を総合すると、我々の結果は、タスクベクトルの幾何、学習分布、そして一般化挙動が密接に関連していることを示唆している。