Select to Think：ローカル・サフィシエンシーでSLMの可能性を引き出す

arXiv cs.CL / 2026/4/30

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

小型言語モデル（SLM）は効率的だが、しばしば大規模言語モデル（LLM）の推論力に届かず、外部LLMを呼び出す既存手法は低遅延・低コストの面で大きな負担になります。
本論文は「ローカル・サフィシエンシー」を示し、推論の分岐点ではLLMが好むトークンがSLMの上位K個の次トークン予測の範囲に入ることが多い一方、SLMの最上位（top-1）としては必ずしも出てこない点を明らかにします。
これに基づき、SELECT TO THINK（S2T）では、LLMの役割を生成ではなくSLMの候補提案からの選択へと置き換え、学習を離散的な候補ランキングに単純化します。
さらにS2T-LOCALを提案し、この選択ロジックをSLM側に蒸留して、推論時にLLM呼び出しなしで自律的にリランキングできるようにします。
実験では、1.5BのSLMがtop-8候補を用いると32B LLMの選択を95%のヒット率で回収でき、S2T-LOCALは平均24.1%のグリーディデコード改善を示しながら、単一トラジェクトリ効率で8パスの自己整合に匹敵する性能を得ています。