闇の中の反射: 反射的プロンプト最適化におけるブラックボックスの暴露と脱出

要約: 自動プロンプト最適化（APO）は、手動のプロンプト設計を必要とせずにLLMの性能を向上させる強力なパラダイムとして登場した。反省的な APO 手法である GEPA は、失敗ケースを診断してプロンプトを反復的に洗練させるが、最適化プロセスはブラックボックスでラベルレスのままであり、解釈不能な軌跡や体系的な失敗を招く。私たちは4つの制限を特定し、実証的に示す：欠陥のあるシードを用いた GSM8K において、GEPA は精度を23.81%から13.50%へ低下させる。私たちは仮説生成とプロンプト書き換えを分離するマルチエージェント APO フレームワーク VISTA を提案し、意味論的にラベル付けされた仮説、並列ミニバッチ検証、および解釈可能な最適化トレースを可能にする。ランダムリスタートと ε-greedy サンプリングを組み合わせた2層の探索-活用機構は、局所最適解からの脱出をさらに促進する。VISTA は同じ欠陥シードで精度を87.57%まで回復させ、GSM8K および AIME2025 のすべての条件でベースラインを一貫して上回る。