FoE：Forest of Errors（誤りの森）が、大規模推論モデルにおいて最初の解答こそが最良になる理由

arXiv cs.AI / 2026/4/6

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文では、大規模推論モデル（LRM）において直感に反するパターンを見出す。すなわち、生成される最初の解答がしばしば最良であり、その後に提示される代替解答は、単に劣るだけでなく能動的に有害になり得る。
推論時スケーリングに関する一般的な前提に挑戦し、推論パスの誤りがテスト時間とともに増大することを提案する。これを、森林構造の「Forest of Errors（FoE）」としてモデル化する。
これらの知見に基づき、著者らはRED（自己誘導型の効率的推論フレームワーク）を導入する。REDは、双方向の整合性（dual-consistency）アプローチにより、最初の解答の改善と、その後の推論の刈り込み（プルーニング）を両立する。
5つのベンチマークと6つのバックボーンモデルにわたる実験により、REDは性能を最大19.0%向上させつつ、トークン使用量を大幅に削減（約37.7%〜70.4%）し、8つのベースラインを上回ることが示される。
FoEに関連する診断実験を用いて、REDが有害な代替解答の誤りが増えるのを抑制する仕組みと、その理由を説明する。