大規模推論モデルにおける批評機構の解読

要旨: 大型推論モデル（LRMs）は、バックトラッキングと自己検証のメカニズムを備え、中間の手順を修正して正しい解を導くことを可能にし、複雑な論理的ベンチマークで強力な性能を発揮します。私たちは、このような挙動はモデルが自分のミスを検知するための十分に強力な「批評」能力を持つ場合にのみ有益であると仮定します。 本研究は、LRMs が中間の推論ステップに算術的ミスを挿入することにより、誤りからどのように回復するかを体系的に調査します。特筆すべき、奇妙でありながら重要な現象を発見します：思考過程の連鎖（CoT）を通じて誤りが伝播し、中間の結論が不正確になるにもかかわらず、モデルは最終的に正しい答えに到達します。この回復は、モデルがエラーを検知し自己修正を発動する内部機構を備えていることを示唆し、それを「隠れた批評能力」と呼ぶことにします。特徴空間分析に基づき、この挙動を表す高度に解釈可能な批評ベクトルを特定します。複数のモデル規模やファミリにわたる広範な実験は、このベクトルを用いて潜在表現を操作することが、モデルのエラーチェック能力を向上させ、訓練コストを増やさずにテスト時のスケーリング性能を高めることを示しています。私たちの発見は、LRMs の批評行動を貴重な理解へと導き、自己検証機構を制御し改善する有望な方向性を示唆します。コードは https://github.com/mail-research/lrm-critique-vectors で利用可能です。