PROMPT2BOX：LLMプロンプト間の含意（エンテイルメント）構造を解明する

Abstract

LLMの弱点を発見するために、研究者はしばしばプロンプトをベクトル空間に埋め込み、それらをクラスタリングして洞察に富んだパターンを抽出します。しかし、ベクトル埋め込みは主にトピックの類似性を捉えます。その結果、同じトピックを共有しているものの、具体性の度合いが異なり（ひいては難易度が異なり）、それゆえにベクトル表現が類似してしまうプロンプトが多く、きめ細かな弱点分析が困難になります。この制約に対処するため、学習済みエンコーダを用いてプロンプトをボックス埋め込み空間に埋め込むPROMPT2BOXを提案します。既存データセットと合成データセットで学習されたエンコーダは、「冒険物語を書く」は「物語を書く」よりも具体的である、のようなプロンプト間の具体性の関係だけでなく、意味的類似性も捉えるボックス埋め込みを出力します。さらに、データセットの可視化と比較を促進するために、ボックス埋め込みに対する新しい次元削減技術も開発します。実験の結果、ボックス埋め込みはベクトル基線よりも一貫してプロンプトの具体性をより適切に捉えることが示されました。UltraFeedbackデータセットから17のLLMに対する階層クラスタリングツリーを作成する下流タスクにおいて、PROMPT2BOXはベクトル基線よりも8.9 extbackslash%多くLLMの弱点を特定でき、階層の深さと命令の具体性の間の相関が約33 extbackslash%強いことを達成します。