AI Navigate

学習済みだが表現されない:大規模言語モデルにおける能力と表現の解離

arXiv cs.CL / 2026/3/20

💬 オピニオンIdeas & Deep AnalysisModels & Research

要点

  • 研究は、大規模言語モデル(LLMs)が特定の喚起条件の下で訓練データから学習した内容を再構築・追跡できることを示しているが、この能力は標準的な生成コンテキストには現れない。
  • 経験的分析では、3つのモデル、10のタスクシナリオ、創作的な語りと実用的な助言の文脈の両方を対象に、生成出力において非因果的で実装不能な解法の枠組みが0件しか観察されなかった。
  • 結果は、学習済みの能力と表現された出力の間に解離があることを示しており、タスク条件付き生成方針が再構築が可能であっても学習済み内容を抑制し得ることを示唆している。
  • これらの発見は、生成ダイナミクスの理解、出力分布の制御、現代の大規模言語モデルの挙動的境界の規定と明確化に影響を与える。

要旨: 大規模言語モデル(LLMs)は、特定の誘発条件の下で訓練データから学習した内容を再構築・追跡する能力を示しますが、この能力は標準的な生成文脈には現れません。
この経験的観察研究は、物語性および問題解決タスクの文脈にまたがる300のプロンプト応答生成における、非因果的で実装不能な解法タイプの表現を検討します。
記憶の連続性と整合性誘導の談話事前情報に関する最近の知見を踏まえ、学習可能性と表現出力との間に体系的な解離を記録します。
三つの異なるLLMs、十のタスクシナリオ、創造的な物語性と実務的助言の文脈の両方にわたり、生成された出力中の非因果的解法フレームの出現を0件と記録しました(0%、95%信頼区間:[0%、1.2%])、条件付き抽出の下での再構築能力は検証済みであるにもかかわらず。
これらの知見は、訓練データの有無が出力確率を直接予測するという支配的な仮定に挑戦し、代わりにタスク条件付き生成方針が多様な文脈にわたって学習内容を包括的に抑制し得ることを示しています。
本研究の結果は、生成ダイナミクスの理解、出力分布の制御、および現代のLLMsの行動的境界の理解に影響を与えるものです。