LLMの性能に対するプロンプト構成要素の影響を理解するための回帰フレームワーク

arXiv cs.LG / 2026/3/31

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、プロンプトの各セグメントを評価結果に結び付けることで、特定のプロンプト構成要素がLLMの性能にどのように影響するかを定量化する統計的回帰フレームワークを提案する。
先行研究のXAIスタイルの手法をLLMの検査に適応し、プロンプト部分への回帰を用いて性能のばらつきを説明する。
算術タスクに適用したところ、回帰モデルはMistral-7Bで性能のばらつきの72%、GPT-OSS-20Bで77%を説明できた。
著者らは、誤った例のクエリ—回答ペアとして現れる誤情報は、両モデルの算術クエリを解く能力を損なう一方で、正しい例は影響に有意なばらつきを示さないことを見出した。
正の指示と負の指示が性能に対して矛盾する効果を持ち得ることを報告しており、重要な導入においてはきめ細かなプロンプト監査の必要性が示唆される。

Abstract

大規模言語モデル（LLM）が継続的に改善され、ソフトウェアシステムへのさらなる統合が進むにつれて、それらがどのような条件下で動作するかを理解する必要性も高まっています。本研究では、特定のプロンプト特徴がLLMの性能に与える影響を理解するための統計的枠組みを提案します。このアプローチは、回帰モデルを用いてプロンプトの一部とLLM評価の関係を当てはめることで、LLMを検査するために、従来の説明可能な人工知能（XAI）手法を特に拡張したものです。提案手法を用いて、2つのオープンソースモデルであるMistral-7BとGPT-OSS-20Bが、プロンプトをどのように活用して単純な算術問題を解くかを比較します。個々のプロンプト部分の回帰モデルは、それぞれモデルの性能における変動の72%および77%を説明します。誤った例のクエリと回答の組として現れる誤情報は、算術クエリを解くことを両モデルとも妨げる一方で、肯定的な例は、肯定的および否定的な指示が与える影響に有意なばらつきがないことを示します――これらのプロンプトはモデル性能に対して矛盾した効果を持ちます。この枠組みは、重大な状況における意思決定者が、プロンプトがタスクを解くためにLLMにどのように影響するかをきめ細かく把握するためのツールとして機能します。