ベイズ最適化における適応的な獲得のためのマルチエージェントLLM

要約: 探索と活用（exploitation）のトレードオフは、逐次的な意思決定およびブラックボックス最適化の中心的な概念ですが、大規模言語モデル（LLM）がこのトレードオフをどのように推論し、管理しているのかについては、いまだ十分に理解されていません。ベイズ最適化とは異なり、探索と活用は獲得関数を通じて明示的に符号化されます。一方、LLM による最適化では、過去の評価に基づく暗黙的かつプロンプト主導の推論に依存するため、探索行動を解析したり制御したりすることが困難です。本研究では、LLM が媒介する探索方策学習に関する「メトリクス（指標）レベル」の調査を提示し、情報量、多様性、代表性といった探索の複数の運用定義の下で、LLM が探索と活用の戦略をどのように構築し、適応させるのかを検討します。戦略選択と候補生成を単一のプロンプト内で同時に行う、単一エージェント型の LLM 手法は、認知負荷の過大さにより、探索ダイナミクスが不安定になり、早期収束を引き起こすことを示します。この制約に対処するために、本研究では探索と活用の制御を、戦略的な方策の仲介と戦術的な候補生成に分解するマルチエージェントの枠組みを提案します。戦略エージェントは、複数の探索基準に対して解釈可能な重みを割り当て、生成エージェントは、その結果として定義される重みとして表された探索方策に条件付けられた候補を生成します。この分解により、探索と活用の意思決定が明示的になり、観測可能で、調整可能になります。さまざまな連続最適化ベンチマークにわたる実験結果は、戦略的制御を候補生成から切り離すことによって、LLM を媒介する探索の有効性が大幅に向上することを示しています。