小型言語モデルがLLMプロンプトの意味の曖昧さを解消するのに役立つ

Abstract

大規模言語モデル（LLM）は、その優れた指示追従能力により、さまざまな複雑な推論タスクでますます利用されるようになっている。 しかし、モデルの性能は、ユーザの入力プロンプトのオープンエンドな特性に大きく依存する。 自然なプロンプトはしばしば適切な構文規則に従わないため、複数の解釈を生み出す曖昧なクエリとなる。 このような曖昧なプロンプトは、質問に答えるための正しい推論経路を選択する際にモデルを混乱させる。 先行研究では、曖昧性の根本原因を明示的に解決することなく、LLM推論プロセス中にクエリ編集を適用することでこの課題に対処してきた。 この制限に対処するため、我々は明示的なプロンプトの曖昧性解消による、推論前のプロンプト最適化機構を提案する。 特に、プロンプト中の意味的リスクを特定し、それらの複数の観点における整合性を確認し、そこから生じる意味的な衝突を解消する。 最後に、解消された曖昧性を、LLMへのクリーンな入力として論理的に構造化して整理する。 意味的曖昧性を明示的に解消することで、我々の方法は意味的に本質的なトークンに対するより焦点の定まった注意分布を生成できる。 さらに、効率的な計算を活かすため、プロンプトの曖昧性解消の主な実行者として小規模言語モデル（SLM）を活用する。 複数のベンチマークにわたる包括的な実験により、我々の方法はコストわずか\$0.02で推論性能を2.5ポイント向上させることを示す。 本研究は、LLM推論の内部メカニズムを損なうことなく、効果的なプロンプト最適化手法として明示的なプロンプト曖昧性解消を推進する。