AVO:自律的進化探索のためのAgentic Variation Operators

arXiv cs.LG / 2026/3/26

📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research

要点

  • 本論文は、固定された突然変異/交叉や手設計のヒューリスティックに依存するのではなく、コーディングエージェントが自律的にバリエーション(提案、修復、批評、検証)を実行する新しい進化探索手法「Agentic Variation Operators(AVO)」を提案する。
  • AVOは、制約付きのLLMによる候補生成パイプラインを置き換え、自分で指向するエージェントループによって、系譜(lineage)情報、ドメイン知識ベース、実行フィードバックを活用しながら実装を反復的に改善できるようにする。
  • 実験では、高度に最適化されたAIカーネル(マルチヘッド注意)に焦点を当て、NVIDIA Blackwell(B200)GPU上で7日間にわたる連続的な自律進化を行い、cuDNNを最大3.5%、FlashAttention-4を最大10.5%上回るカーネルを見いだす。
  • 発見されたカーネル最適化は、グループクエリ注意(grouped-query attention)にも移植でき、さらに自律的な適応を約30分行うだけで、cuDNNに対して最大7.0%、FlashAttention-4に対して9.3%の向上を達成する。
  • 著者らはAVOが「LLM-in-the-loop」の進化パイプラインを超える一歩であり、エージェントを単なる候補生成器から、マイクロアーキテクチャの性能改善を生み出し得る完全なバリエーション演算子へと格上げするものだと主張する。