PEEM: 解釈可能なプロンプトとレスポンスの共同評価のための プロンプト設計評価指標

プロンプト設計は大規模言語モデル（LLM）の主要な制御インターフェースですが、標準的な評価は性能を回答の正確性のみに還元する傾向があり、プロンプトが成功する理由や失敗する理由を覆い隠し、実践的な指針をほとんど提供しません。我々は PEEM（Prompt Engineering Evaluation Metrics）を提案します。これはプロンプトとレスポンスの共同で解釈可能な評価のための統一フレームワークです。PEEM は9軸の構造化ルーブリックを定義します：3つのプロンプト基準（明確さ/構造、言語品質、公平性）と6つのレスポンス基準（正確性、一貫性、関連性、客観性、明確さ、簡潔さ）、そしてルーブリックに根ざした出力を行う LLM ベースの評価者を用い、(i) 1-5 のリッカート尺度のスカラー点と (ii) 各基準に対応する自然言語による根拠を出力します。7つのベンチマークと5つのタスクモデルをまたぐと、PEEM の正確性軸は従来の正確性と強く一致しつつ、モデルのランキングを維持します（総合 Spearman rho 約0.97、Pearson r 約0.94、p < 0.001）。4モデルを用いた多評価者研究では、一貫した相対判断（ρ = 0.68-0.85）が示され、評価者に依存しない展開を支持します。整合性を超えて、PEEM は補完的な言語的欠陥モードを捉え、プロンプトの摂動下でも有益な情報を提供します。例えば、プロンプト品質の動向は逐次的な書き換えの下流の正確性を追跡し、意味論的な敵対的操作は明確なスコア低下を誘発し、意味を保持する言い換えは高い安定性をもたらします（頑健性約76.7-80.6%）。最後に、PEEM のスコアと根拠だけをフィードバックとして使用すると、ゼロショットのプロンプト書き換えループが下流の正確性を最大で11.7ポイント向上させ、教師あり学習および RL ベースのプロンプト最適化のベースラインを上回ります。総じて、PEEM は再現性のある、基準駆動のプロトコルを提供し、プロンプトの設計とレスポンスの挙動を結びつけ、LLM の相互作用を体系的に診断・最適化することを可能にします。