$p1$: より少ないプロンプトで実現するプロンプト最適化

要旨: プロンプト最適化は、重みを更新することなく、より良いシステムプロンプトを探索することで言語モデルを改善しますが、その有効性はタスクによって大きく異なります。私たちは、どのような条件がタスクをプロンプト最適化に適したものにするのかを調べます。異なるシステムプロンプト間の報酬の分散は、2つの成分に分解できることを示します。すなわち、生成の確率的性質（stochasticity）を捉える「応答間の分散」と、システムプロンプトの品質の違いを捉える「システムプロンプト間の分散」です。プロンプト最適化は、システムプロンプト間の分散が十分に大きい場合に成功しますが、応答間の分散がシステムプロンプト間の分散を支配する場合には失敗します。驚くべきことに、より多くのユーザープロンプトへスケールすると、システムプロンプト間の分散が減少することで最適化が悪化しうることも示します。特に、異なるユーザープロンプトが異なるシステムプロンプトを好むような不均一（heterogeneous）なデータセットではこの傾向が顕著です。この洞察に動機づけられて、候補となるシステムプロンプトに対して分散が高いユーザープロンプトの小さな部分集合を選択する、単純なユーザープロンプトフィルタリング手法である p1 を提案します。この部分集合により、良いシステムプロンプトと悪いシステムプロンプトを区別できるため、システム最適化が容易になります。推論ベンチマークに関する実験では、p1 は全データセットでの学習に比べてプロンプト最適化を大幅に改善し、GEPA のような強力なベースラインを上回ることが示されます。特に、AIME 24 から2つのプロンプトだけで学習すると、他の推論ベンチマークにもよく一般化するシステムプロンプトが得られます。