十分な思考とはいつか？十分性評価による早期退出で効率的な推論を実現

Abstract

大規模推論モデル（LRM）は、その強力な推論時スケーリング能力によって、複雑な推論課題において目覚ましい性能を達成してきました。しかし、LRMはしばしば過剰な考え込み（overthinking）に悩まされ、その結果として計算の冗長性が大きくなり、効率が大幅に低下します。早期終了（early-exit）手法は、十分な証拠が生成された時点で推論を打ち切ることでこの問題を緩和することを狙っていますが、既存のアプローチの多くは、信頼性が低く実用的でもない手作りまたは経験的な指標に主に依存しています。本研究では、効率的な推論のための新しい枠組みである Dynamic Thought Sufficiency in Reasoning（DTSR）を導入します。これにより、モデルが自らの思考連鎖（CoT）が十分であるかを動的に評価し、早期終了の最適なタイミングを決定できるようになります。人間のメタ認知に着想を得たDTSRは、2段階で動作します：（1）Reflection Signal Monitoring（反省シグナル監視）：早期終了の手がかりとなり得る反省シグナルを特定し、（2）Thought Sufficiency Check（思考の十分性チェック）：現在のCoTが最終回答を導出するのに十分かどうかを評価します。Qwen3モデルに関する実験結果では、DTSRにより推論の長さが28.9%-34.9%削減されつつ、性能低下は最小限で、過剰な考え込みを効果的に緩和できることが示されました。さらに、LRMにおける過信（overconfidence）および自己評価のパラダイムについて議論し、早期終了型推論に向けた有益な知見を提供します。