連続プロンプト探索のための射影なし進化戦略

要約：連続プロンプト探索は、自然言語処理タスクにおける従来のパラメータ調整に対する計算効率の高い代替手段を提供します。とはいえ、その実践的な有効性はブラックボックス性と目的関数の固有の高次元性のため大幅に妨げられる可能性があります。既存の手法は通常、検索をランダムに投影された低次元の部分空間に制限することでこれらの課題を緩和します。しかし、射影機構の有効性と背後にある動機は依然としてあいまいです。本論文では、プロンプト空間が低次元の構造を有するにもかかわらず、ランダムな射影がこの本質的な構造を十分に捉えられないことを実証的に示します。この知見に動機づけられ、射影を用いないプロンプト探索手法を、進化戦略に基づいて提案します。固有の次元に合わせて調整された適応機構を用いて全てのプロンプト空間で直接最適化することにより、追加の計算オーバーヘッドなしで競争力のある探索能力を実現します。さらに、few-shot シナリオでの一般化ギャップを埋めるため、ターゲットの語彙表現に対するモデルの自信を体系的に高める信頼度ベースの正則化機構を導入します。GLUEベンチマークの7つの自然言語理解タスクの実験結果は、提案手法が既存のベースラインを大きく上回ることを示しています。