検出—抽出ギャップ：モデルは言う前に答えを知っている

要旨: 現代の推論モデルは、答えがすでに決定された後もなお長く生成を続けます。5つのモデル構成、2つの系列、3つのベンチマークにわたって調査したところ、 extbf{連鎖思考（chain-of-thought）トークンの52--88%が、部分的なプレフィックスから答えが復元可能であるのに生成されている}ことを見いだしました。このポストコミットメント生成は構造的な現象を明らかにします。それが extbf{検出--抽出ギャップ（detection--extraction gap）}です。初期プレフィックスからの自由な継続（free continuations）では、トレースの10%においても正しい答えが回復されますが、強制抽出（forced extraction）はこれらの42%のケースで失敗します。答えはモデル状態から復元可能なのに、プロンプト条件付きのデコーディングではそれを抽出できません。この不一致を、自由継続分布と強制継続分布の全変動（total-variation）に基づく上界として形式化し、サフィックスが引き起こすシフトを定量的に見積もります。この非対称性を活用して、ブラックボックス適応型アーリーイグジット（Black-box Adaptive Early Exit、\BAEE{}）を提案します。これは検出と抽出の両方に自由な継続を用い、 extbf{直列生成の70--78%を切り詰め}つつ、 extbf{すべてのモデルで精度を1--5pp向上}させます。思考モードのモデルでは、アーリーイグジットによりポストコミットメントの上書きが防がれ、最大5.8ppの利得が得られます。コスト最適化版では、API呼び出しの中央値が9回のところで、68--73%の削減を達成します。コードは https://github.com/EdWangLoDaSc/know2say で公開されています。
返却形式: {"translated": "翻訳されたHTML"}