LLMを良い最適化器にする要因は何か：LLM誘導による進化的探索の軌跡分析
arXiv cs.CL / 2026/4/22
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 本論文は、進化的・エージェント型の最適化システムにおいてLLMがなぜ成果を押し上げるのかを、15のLLMと8つのタスクにわたる大規模な最適化“軌跡（trajectory）”の解析によって明らかにしようとしています。
- ゼロショットでの問題解決力が高いほど最終的な最適化結果も良い傾向がある一方、その相関は性能分散の一部にとどまり、LLMが誘導する探索ダイナミクスが重要であることを示唆しています。
- 強いLLM最適化器は「局所的な改良者（local refiners）」として振る舞い、頻繁に微小な改善を重ねながら探索を意味空間内の適切な領域へ徐々に絞り込むのに対し、弱い最適化器は「意味のドリフト」を引き起こし、大きな飛躍の後に停滞しがちです。
- 解のノベルティ（新規性）は最終性能を予測しませんが、高性能領域の近くに探索が十分に局所化されている場合に限ってノベルティが有益になることが示されます。
- 著者らは、LLMベースの最適化システムをより効果的に設計・学習するうえで、軌跡分析が不可欠であり、失敗モードの診断にも役立つと主張しています。
