Thinking About Thinking：ポスト学習した言語モデルにおける推論の評価

Abstract

近年の事後学習（post-training）手法の進展により、大規模言語モデル（LLM）は、補助的な計画トークンを生成することで、複雑で論理性の高いタスクに取り組む能力が高まってきました。この発展は、根本的な問いを提起します。すなわち、これらのモデルは自分が「学習」し「思考」している内容を認識しているのでしょうか。これに対処するために、私たちは3つの中核的能力を定義します。（1）学習した潜在ポリシーに対する認識、（2）これらのポリシーのドメインをまたいだ一般化、（3）内部の推論トレースと最終出力の整合です。私たちは、各々が異なるポリシーの学習を必要とするよう設計された複数のタスクにおいて、これらの能力を実験的に評価します。さらに、教師あり微調整（Supervised Fine-Tuning: SFT）、直接ポリシー最適化（Direct Policy Optimization: DPO）、およびグループ相対ポリシー最適化（Group Relative Policy Optimization: GRPO）によって事後学習されたモデルのプロファイルを比較します。私たちの結果は、強化学習（RL）で学習されたモデルが、学習した振る舞いに対する認識がより強く、また構造的に類似した新規タスクへの一般化もSFTモデルよりも優れているだけでなく、多くの場合、推論トレースと最終出力の整合が弱いことを示しています。この効果は、特にGRPOで学習されたモデルにおいて顕著です。