大規模推論モデルの「システム1的思考」能力を探る

Abstract

本論文では、大規模推論モデル（LRMs）の「システム1」的な思考能力、すなわち最小限のトークン使用で効率的に応答するための直観的な能力を探究する。既存のLRMsは長い推論鎖に依存し複雑なタスクで優れている一方で、そのシステム1的な思考能力はほとんど未開拓である。この能力は、モデルの困難さ認識と推論の効率性の両方を反映するものであり、現実世界の応用において重要である。我々は、モデルにとって単純なシステム1の問いから成る、多分野・多言語のベンチマークであるS1-Benchを提案する。28のLRMsを調査した結果、システム1の問題において精度不足と非効率が見られた。既存の効率的推論手法は、単純な問いへの汎化が不十分であるか、効率のために性能を犠牲にしていることが分かった。さらに調査を進めると、LRMsは低い自信を伴う早期の困難さ認識を示し、問題の難易度が隠れ状態に暗黙的に符号化されていることが明らかになった。