デモンストレーション、CoT、プロンプティング：ICL の理論的分析

要旨：In-Context Learning (ICL) は、少数の入力-出力デモンストレーションを条件として用いることで、事前学習済みの大規模言語モデル（LLMs）が下流タスクへ適応するのを可能にします。パラメータの更新は一切行いません。ICL の仕組みを説明する多くの理論的研究がこれまでにも存在しますが、その多くは強いアーキテクチャ上またはデータ仮定に依存しているか、デモンストレーションの選択、Chain-of-Thought (CoT) プロンプティング、デモンストレーションの数、プロンプトテンプレートといった重要な実用的要因の影響を十分には捉えられていません。このギャップに対処するため、これらの設計選択と一般化挙動を結びつける、穏やかな仮定のもとでの ICL の理論分析を確立します。ICL のテスト損失の上限を導出し、性能が（i）テストプロンプトと事前学習サンプルを結ぶ経路に沿った ICL 損失のリプシッツ定数で定量化される、選択されたデモンストレーションの質、（ii）事前学習済みモデルの固有の ICL 能力、（iii）分布シフトの程度、によって支配されることを示します。同じ枠組みの下で、CoT プロンプティングをタスク分解を誘発するものとして分析し、各サブステップでデモンストレーションが適切に選択され、得られるサブタスクが学習しやすい場合に有益であることを示します。最後に、デモンストレーションの数とともに、プロンプトテンプレートに対する ICL の性能感度がどのように変化するかを特徴づけます。総じて、我々の研究は、事前学習が観測済みタスクを超えた一般化能力をモデルに与える一方、CoT によってモデルがより簡単なサブタスクを組み合わせてより複雑なタスクを構成できるようにし、デモンストレーションと指示が類似したまたは複雑なタスクを取り出せるようにすることで、未見のタスクへの一般化を共同で支援することを示しています。すべての理論的洞察は実験によって裏付けられています。