ExecTune：ガイドモデルによるブラックボックスLLMの効果的なステアリング

要旨: ブラックボックスAPIを通じてデプロイされた大規模言語モデルでは、推論コストが反復されるたびに、しばしば一度きりの学習コストを上回ります。そこで、費用のかかる推論を再利用可能な中間表現へと償却（amortize）する、構成的なエージェント型システムが動機づけられます。本研究では、この種の広範なシステムを Guide-Core Policies（GCoP）と呼びます。そこでは、ガイドモデルが構造化された戦略を生成し、その戦略をブラックボックスのコアモデルが実行します。この抽象化は、ベース、教師あり、およびアドバイザー型のアプローチを包含します。これらは主に、ガイドの学習方法の違いによって区別されます。私たちは、コストに配慮した効用目的のもとで GCoP を形式化し、エンドツーエンドの性能が、ガイド平均化された実行可能性（guide-averaged executability）によって支配されることを示します。これは、ガイドが生成した戦略がコアによって忠実に実行可能である確率です。分析の結果、既存の GCoP の具体化はしばしば、デプロイ時の制約のもとで実行可能性を最適化できていないことがわかり、その結果、脆い（brittle）戦略と非効率な計算が生じます。これらの洞察に動機づけられ、私たちは ExecTune という原理に基づく学習レシピを提案します。そこでは、教師ありによる受け入れサンプリング（teacher-guided acceptance sampling）、教師あり微調整（supervised fine-tuning）、および構造を意識した強化学習を組み合わせ、構文的妥当性、実行の成功、コスト効率を直接的に最適化します。数学的推論およびコード生成のベンチマークにおいて、ExecTune による GCoP は、従来の最先端ベースラインに比べて最大 9.2% 精度を向上させつつ、推論コストを最大 22.4% 削減します。これにより Claude Haiku 3.5 は、数学タスクとコードタスクの両方で Sonnet 3.5 を上回ることができ、さらにコストを 38% 下げた状態で Sonnet 4 と絶対精度で 1.7% 以内に迫ります。効率性に加えて、GCoP はコアを再学習することなくガイドを更新することで、モジュール型の適応もサポートします。