LLMを用いた反復的ジェネレーティブ最適化における課題を理解する

要旨: 生成的最適化は、大規模言語モデル（LLM）を用いて、実行フィードバックを使いながら、成果物（コード、ワークフロー、プロンプトなど）を反復的に改善する手法です。自己改善するエージェントを構築するための有望なアプローチではあるものの、実際には脆弱さが残ります。活発な研究が行われているにもかかわらず、調査されたエージェントのうち自動最適化を何らか用いていたのは 9% に過ぎません。私たちは、この脆弱さの原因が、学習ループを設定するために、エンジニアが「隠れた」設計上の選択を行わなければならない点にあると主張します。すなわち、オプティマイザは何を編集できるのか、各更新時にどの「正しい」学習根拠（学習のための証拠）を与えるべきなのか、です。私たちは、多くのアプリケーションに影響する 3 つの要因を調査します。それは、開始時の成果物、実行トレースに対するクレジット・ホライゾン（評価の対象期間）、そして試行錯誤を学習根拠にバッチングすることです。MLAgentBench、Atari、BigBench Extra Hard におけるケーススタディを通じて、これらの設計上の決定が、生成的最適化が成功するかどうかを左右し得る一方で、従来研究ではそれらが明示的に扱われることがまれであることを見いだします。開始時の成果物が、MLAgentBench で到達可能な解の種類を決め、トレースを切り詰めても Atari のエージェントは改善し得るが、より大きなミニバッチは BBEH における汎化を単調に改善しない、といった結果です。私たちは、ドメインをまたいで学習ループを設定するための単純で普遍的な方法が欠けていることが、プロダクション化と導入に向けた大きな障壁であると結論づけます。これらの選択を行うための実践的な指針を提供します。