大規模言語モデルにおけるプロンプトのその先へ: 理解、文脈内学習、そして思考過程の連鎖
arXiv cs.CL / 2026/3/12
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 本論文は、自己回帰型LLMがプロンプトからトークン間の遷移確率を正確に推定できる方法を調査し、次トークン予測のみを訓練されたにもかかわらずプロンプト意味論をどのようにデコードするかを説明します。
- 文脈内学習が、プロンプトの曖昧さを低減し、事後分布を意図されたタスクへ集中させることによって性能を向上させることを示します。
- Chain-of-Thought prompting は、タスク分解の能力をモデルに活性化させ、複雑な問題を事前学習段階で習得した、より単純なサブタスクの連鎖へと分解することを示します。
- 高度なプロンプト設計技術の統計的優位性を主張するために、誤差境界の理論的比較を提供します。
- この研究は、プロンプトベースの能力の理論的基盤を前進させ、今後のプロンプト設計と評価に情報を提供します。
本文: arXiv:2603.10000v1 アナウンス種別: 新規
アブストラクト: 大規模言語モデル（LLMs）は、多様なタスクにおいて顕著な能力を示し、意味的プロンプト理解、文脈内学習（ICL）、および思考過程（CoT）推論といった新興特性を示しています。これらの現象を実証的に成功させたにもかかわらず、それらを駆動する理論的機構は十分に理解されていません。本研究は、これらの観察の基盤を掘り下げるため、次の3つの重要な問いに取り組みます：（1）LLMsは、次トークン予測のみを目的として訓練されているにもかかわらず、どのようにしてプロンプト意味論を正確にデコードできるのか？（2）文脈内学習は明示的なパラメータ更新なしにどのように性能向上を促進するのか？（3）CoT prompting による中間推論ステップは、なぜ複雑で多段階の問題の能力を効果的に解放するのか？
結果として、自己回帰過程を通じて、LLMsは提供されたプロンプトを用いて異なるタスク間のトークン間遷移確率を正確に推定できることを示します。文脈内学習は、プロンプトの曖昧さを低減し、意図されたタスクへの事後分布の集中化を促進することによって性能を向上させることを示します。さらに、CoT promptingは、モデルのタスク分解能力を活性化し、複雑な問題を事前学習段階で習得した、より単純なサブタスクの連鎖へと分解することを発見しました。個別のエラーバウンドを比較することにより、高度なプロンプト設計技術の統計的優位性について新たな理論的洞察を提供します。
