サイキックを試す：思考ツリーでコーディング課題における推論モデルの精度を予測する

概要: 大規模言語モデル（LLM）における最近の進歩により、テスト時スケーリングが複雑な課題において、特にコーディング領域でモデル性能を大幅に向上させ得ることが示されています。このパラダイムでは、モデルは最終回答を生成する前に、推論の中間的な痕跡（reasoning traces）を生成するために、推論時により大きなトークン予算を使用します。しかし、現在の評価は主として競技プログラミングのベンチマークに依存しており、推論能力の全範囲を捉えきれていない可能性があります。本研究では、実世界のコーディングベンチマークにおける性能を理解するために、最先端の推論モデルに対して体系的な調査を行います。このようなモデルの性能に関するより多くの洞察を得るため、既存のベンチマークから任意の難易度と構造をもつコーディング課題を {自動的に生成する} ための、プログラムによる手法を考案しました。この枠組みによる分析により、推論痕跡の内容だけでなく、その構造が正しさの強力な予測因子であることが明らかになります。これに動機づけられ、推論痕跡を表現する手段として、構造化された thought-trees を提案します。それらの利用を示すために、thought-tree から抽出した特徴量に基づいて、軽量な分類器を学習して痕跡の正確性を予測し、さらに抽出された特徴量に基づいて構造的に異常な痕跡をフラグ付けし、再試行することで、より低い複雑度レベルにおいて一貫した向上が得られることを示します。