Select-then-Solve：LLMエージェントにおける推論時最適化としてのパラダイムルーティング

Abstract

LLMベースのエージェントがタスクを改善するとき、その向上はモデルそのものによるものなのか、それともそれに包まれた推論パラダイムによるものなのか？ 私たちは、この問いを、推論時（inference-time）の6つのパラダイム、すなわち Direct、CoT、ReAct、Plan-Execute、Reflection、ReCode を、4つの最先端LLMと10のベンチマークにわたって比較することで調査します。実験は約18,000回の実行から構成されます。その結果、推論の構造は一部のタスクでは劇的に有効だが、他のタスクでは逆に悪化させることが分かりました。具体的には、ReAct は GAIA で Direct に比べて 44pp 改善する一方、CoT は HumanEval で 15pp パフォーマンスを低下させます。いかなる単一のパラダイムも支配的ではなく、タスクごとのオラクル的な選択は、最良の固定パラダイムに対して平均で 17.1pp 上回ります。この補完性に動機づけられ、select-then-solve（選択してから解く）アプローチを提案します。各タスクに回答する前に、軽量な埋め込みベースのルータが最も適したパラダイムを選択します。4つのモデルにおいて、ルータは平均精度を 47.6% から 53.1% に改善させ、最良の固定パラダイム（50.3%）を 2.8pp 上回ります。また、オラクル・ギャップの最大で37%を回復します。これに対し、ゼロショットの自己ルーティングは GPT-5 では 67.1% でのみ機能し、より弱いモデルでは失敗し、いずれも学習済みルータより劣ります。私たちの結果は、推論パラダイムの選択は、固定されたアーキテクチャの選択ではなく、学習されたルータによってタスクごとに行うべきだということを示しています。