Think Less, Know More：効率的推論のための知識誘導による状態対応型推論圧縮

arXiv cs.CL / 2026/4/13

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、大規模推論モデルにおける不要な「過考」を減らしつつ推論効率を向上させる、段階的な思考連鎖（CoT）圧縮のための枠組みSTACKを提案する。
STACKは段階ごとの冗長性の発生源をモデル化し、検索拡張型の知識誘導を用いる。具体的には、不確実／偏りのある状態では知識誘導型の圧縮へ切り替え、長すぎるが自信のある状態では自己プロンプト型の圧縮へ切り替える。
推論中の冗長な検証を抑えるため、回答の収束に基づく早期終了メカニズムを追加する。
著者らは、PPOとDPOを組み合わせた報酬差駆動の学習アプローチを提案し、モデルが状態に条件づけられた圧縮方策を学習できるようにする。
3つの数学的推論ベンチマークでの実験では、平均応答長が約59.9%減少し、同時に従来の圧縮手法に比べて精度が約4.8ポイント向上したことが報告されている。