ETR：効率的な連鎖的思考のためのエントロピー・トレンド報酬（Entropy Trend Reward）

Abstract

Chain-of-thought（CoT）推論は、大規模言語モデルの複雑なタスクにおける性能を向上させますが、しばしば過度に長く非効率な推論トレースを生成します。既存の手法は、長さペナルティや大域的エントロピー削減によってCoTを短縮しますが、その際には暗黙的に、推論の全過程において低い不確実性が望ましいと仮定しています。私たちは代わりに、推論の効率は不確実性の軌跡によって支配されることを示します。不確実性エントロピーが支配的に下向きに推移するCoTは、実質的に大幅に短くなります。この洞察に動機づけられて、Entropy Trend Reward（ETR）を提案します。ETRは、限られた局所的探索を許しつつ、進行に伴う不確実性の漸進的な低減を促す、軌跡を考慮した目的関数です。ETRをGroup Relative Policy Optimization（GRPO）に統合し、複数の推論モデルと難易度の高いベンチマークにわたって評価します。ETRは、一貫して精度と効率の優れたトレードオフを達成し、4つのベンチマークにわたって、CoTの長さを67%削減しつつ、精度を9.9%向上させます（DeepSeek-R1-Distill-7B）。コードは https://github.com/Xuan1030/ETR で利用可能です