メタ推論を超えて：自己改善型LLM推論のためのメタ認知の統合的（Consolidation）

要旨: 大規模言語モデル（LLM）は強力な推論能力を示しており、LLMの推論を強化する既存のアプローチが成熟し続けるにつれて、さらなる改善の有望な方向性としてメタ推論に注目が集まってきています。しかし、既存のほとんどのメタ推論手法はエピソード的なままです。これらは、個々のインスタンス内で複雑なメタ推論ルーチンを実行することに焦点を当てますが、インスタンス間で再利用可能なメタ推論スキルが蓄積されることを無視してしまいます。その結果、同じような失敗モードが繰り返され、メタ認知的な負荷が高い状態が繰り返し発生します。本論文では、Metacognitive Consolidation（メタ認知の統合）という新しい枠組みを提案します。この枠組みでは、モデルが過去の推論エピソードからメタ認知的な経験を再利用可能な知識へと統合し、それにより将来のメタ推論を改善します。我々はこの枠組みを、インスタンス単位の問題解決を、推論・モニタリング・制御という明確な役割に構造化することで実現し、豊かで帰属可能なメタレベルの痕跡（トレース）を生成します。次に、これらの痕跡を階層的なマルチタイムスケール更新メカニズムによって統合し、時間とともに進化していくメタ知識を徐々に形成します。実験結果は、ベンチマークおよびバックボーンモデルの双方にわたって一貫した性能向上を示し、さらに、メタ認知的な経験が時間の経過とともに蓄積されるにつれて性能が改善することを示します。