共有された語彙的タスク表現がLLMの行動変動を説明する

概要: 大規模言語モデル（LLM）に関して最もよく聞かれる不満の1つは、そのプロンプトへの感度――すなわち、タスクを実行したり質問に対して正しい答えを提示したりする能力が、質問の提示の仕方によって予測不可能に左右され得るという点です。本研究では、プロンプトの2つの非常に異なるが、一般に広く使われているスタイルを比較することで、この変動を調べます。具体的には、自然言語でタスクを記述する指示ベースのプロンプトと、タスクを例示するための文脈内の少数ショットによるデモンストレーションのペアを与える例ベースのプロンプトです。プロンプトに応じて性能が大きくばらつくにもかかわらず、モデルはタスクが異なるプロンプト間でもいくつかの共通する根本メカニズムに関与していることを見いだします。具体的には、タスク固有の注意ヘッドを特定し、その出力が文字どおりタスクを記述している――そこで私たちはこれを語彙的タスクヘッド（lexical task heads）と呼ぶ――ことを示し、これらのヘッドがプロンプトのスタイルをまたいで共有され、続く回答生成を引き起こすことを明らかにします。さらに、プロンプト間の行動のばらつきは、これらのヘッドがどの程度活性化されるかによって説明でき、失敗は少なくともときには、目標タスクの信号を希釈する競合するタスク表現によるものだとわかります。これらの結果を総合すると、LLMの内部表現が、ユーザーや開発者には特異に見える振る舞いをどのように説明し得るのかについて、ますます明確な像が得られつつあります。