LLMプロンプト対戦オプティマイザ：ラベル不要の効率的プロンプト最適化

Abstract

大規模言語モデル（LLM）はプロンプトに非常に敏感ですが、ほとんどの自動プロンプト最適化（APO）手法は、入手コストが高い正解参照（例：ラベル付き検証データ）へのアクセスを前提としています。私たちは、LLMジャッジによる対（ペア）ごとの嗜好フィードバックに基づくラベルなしプロンプト最適化のための、サンプル効率の高い枠組みであるPrompt Duel Optimizer（PDO）を提案します。PDOはプロンプト選択をデュエリング・バンディット問題として定式化し、（i）固定されたジャッジ予算のもとで有益な比較を優先するためのDouble Thompson Samplingと、（ii）より高い性能を示した候補に導かれる突然変異（mutation）によって候補プールを拡張しつつ弱いプロンプトを刈り込むことを組み合わせます。BIG-bench Hard（BBH）およびMS MARCOでの実験により、PDOはラベルなしベースラインよりも一貫してより強いプロンプトを特定できることが示されました。また、比較予算が制約された状況下で、良好な品質—コストのトレードオフを提供します。