思考が事実と出会うとき：長文コンテキストLMのための再利用可能な推論
arXiv cs.CL / 2026/4/29
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- この論文は、長文コンテキスト言語モデルが非常に大きな入力を扱える一方で、多段（マルチホップ）推論において証拠をどう結び付けるべきかの表現が難しいと主張しています。
- 「思考テンプレート」を提案し、過去の問題解決トレースから得た再利用可能な推論手順を、キャッシュのような構造化要素として扱うことで、取得した事実文書をどのように組み合わせて推論するかを導きます。
- さらに、学習データから得たテンプレートを自然言語フィードバックで反復的に更新・洗練する戦略を提案し、効果を維持または向上させます。
- 複数のベンチマークと長文コンテキスト系のモデル群にわたる実験では、検索あり／なしの両方の設定で強力なベースラインを一貫して上回る改善が示されました。
- 最適化したテンプレートは小規模なオープンソースモデルにも蒸留できるため、実用面でのスケーラビリティと推論の再利用の透明性が示唆されています。
