POaaS: オンデバイスの sLLMs における精度を向上させ、ハルシネーションを抑制するための最小編集プロンプト最適化をサービスとして提供

発表タイプ: 新規
要旨: 小型言語モデル（sLLMs）は端末上にますます展開されており、ここでは不完全なユーザー入力――誤字、意図の不明瞭さ、または文脈の欠如――が事実誤認や幻覚を引き起こすことがあります。既存の自動プロンプト最適化（APO）手法は大規模なクラウドLLMs用に設計されており、長く構造化された指示を生み出すことが多い検索に依存しています。端末上の制約の下で同じ小型モデルが最適化子と解決者の両方を務める場合、これらのパイプラインは文脈を浪費し、精度を損なうことさえあります。私たちは POaaS を提案します。これは各クエリを軽量な専門家（Cleaner、Paraphraser、Fact-Adder）へルーティングし、厳格なドリフトと長さの制約の下で出力を統合し、適切に形成されたプロンプトには保守的なスキップ方針を適用します。Llama-3.2-3B-Instruct および Llama-3.1-8B-Instruct を用いた厳格な固定モデル設定の下で、POaaS はタスクの正確性と事実性の両方を向上させ、代表的な APO ベースラインはそれらを低下させ、POaaS はトークン削除とミックスアップの下で最大で +7.4% を回復します。全体として、クエリごとの保守的な最適化は、端末上の sLLMs に対する検索重視の APO に対する実用的な代替手段です。」} # End of translation