言語モデルはイン・コンテキストで学習した表現を使うのが苦手

Abstract

大規模言語モデル（LLM）は多種多様なタスクにわたって大きな成功を収めてきたものの、それでもなお、人工知能研究のより高い目標の一つ――導入（デプロイ）時に、劇的に新しい状況に適応して振る舞いを変えられる人工システムを作り出すこと――に対しては不足があるように見えます。この目標に向けた重要な一歩は、文脈（in-context）内で見られるデータから豊かな表現を誘導できるシステムを作り、その後、それらの表現を柔軟に展開して目標を達成することです。近年、Parkら（2024）は、現在のLLMが実際に文脈からそのような表現を誘導できること（すなわち、文脈内表現学習）を示しました。本研究は、LLMがこれらの表現を用いて単純な下流タスクを完了できるかどうかを調べます。 まず、オープンウェイトのLLMが文脈内表現を次トークン予測に使えるかどうかを評価し、その後、新規のタスクである適応的ワールドモデリングを用いてモデルを精査します。両方のタスクにおいて、オープンウェイトのLLMは、たとえ潜在表現の中にそれらの意味論を符号化していたとしても、文脈内で定義された新規な意味論の表現を展開することに苦戦しているという証拠を見いだします。さらに、適応的ワールドモデリング課題においてクローズドソースの最先端推論モデルを評価し、文脈内で提示された新規パターンを確実に活用できないことを示します。全体として、本研究は、モデルが文脈内で提示された情報を単に符号化するだけでなく、その情報を柔軟に展開できる形で符号化することを促すための新しい方法の創出につながることを目指します。