推測デコーディングにおける認知領域間の受容ダイナミクス

Abstract

推論的デコーディングは、大規模言語モデル（LLM）の推論を高速化します。これは、小さなドラフトモデルを用いて、将来トークンの木（ツリー）を提案します。その後、大きなターゲットモデルが、単一のバッチ化されたフォワードパスでこれらのトークンを検証します。推論的手法に関する研究は増え続けているものの、タスクの認知的特徴が受容確率にどの程度影響するかは、いまだ十分に調べられていません。本研究では、木ベースの推論的デコーディングにおける受容ダイナミクスを実証的に検討します。本研究は、広く確立されたNLPベンチマークの4つの領域、すなわちコード生成、数学的推論、論理的推論、およびオープンエンド型チャットにまたがります。ここでは、TinyLlama-1.1Bをドラフトモデルとして、Llama-2-7B-Chat-GPTQをターゲットとして用います。200件のプロンプトから収集した99,768件を超える推論的ノードに基づき、領域ごとの受容率、期待される受容長、深さに対する受容プロファイル、およびエントロピーと受容の相関を導出します。タスクの種類は、ツリーの深さよりも受容のより強い予測因子であることがわかりました。さらに、チャット領域のみが、1.0トークンをステップあたりの期待される受容長として一貫して上回ります。また、エントロピーと受容の相関は、すべての領域において一貫して負ですが弱いことを示します（rhoは[-0.20, -0.15]）。直感に反して、チャットはエントロピーが最も高いにもかかわらず、受容率も最も高い結果となります。この乖離は、RLHF整合レジスタの語彙的な予測可能性によるものだと考えられます。これらの知見は、領域を考慮した推論的スペキュレーションの予算（speculation budgets）やドラフトモデル選択戦略に対して直接的な意味を持ちます。Index Terms--推論的デコーディング、大規模言語モデル推論、ツリーアテンション、ドラフトモデル、受容確率、LLM効率