書く前にもう一度考えて——LLM推論を強化するためのエントロピーに基づくデコーディング戦略

概要: デコード戦略は、大規模言語モデル（LLM）の推論能力を形成する上で中核的な役割を果たします。貪欲デコードやビームサーチのような従来手法は、しばしば誤りの伝播に悩まされます。一方、サンプリングに基づくアプローチは、十分な頑健性を伴わないままランダム性を導入します。自己整合性は複数のロールアウトを集約することで信頼性を高めますが、計算コストの大きな増加を伴います。そこで本研究では、生成にトークン単位の適応性を導入する、エントロピー誘導型デコード枠組みを提案します。各ステップにおいてモデルはトークン分布のエントロピーを計算し、不確実性の高い位置を特定したうえで、その脆弱な点に対して選択的に分岐します。部分ロールアウトの動的プールを維持し、解が完成するまで拡張します。これにより、不確実性が最も大きい箇所に計算を集中させ、確信のある領域での不要な探索を回避します。効率的な終了を可能にするために、すべての推論トレースを完了した後でエントロピー評価を行う、ロールアウト単位の Entropy After (EAT) 停止基準を適用します。すなわち、各ステップごとに逐次的に評価するのではなく、推論トレース全体の後で評価します。GSM8K、AMC2023、およびそれらの摂動版に関する実験により、本手法が一貫して高い精度を達成することを示します。特に、小規模なLLMにおいては、GPT-5と同等の性能を、コストの一部で実現します。