DiscoTrace:情報探索型質問応答における人間とLLMの回答戦略の表現と比較

arXiv cs.CL / 2026/4/17

📰 ニュースIdeas & Deep AnalysisModels & Research

要点

  • 本論文では、情報探索型質問応答において回答者が用いる修辞(レトリカル)戦略を特定するための手法「DiscoTrace」を提案する。
  • DiscoTraceは、回答を「質問に関連する談話行為の系列」と「元の質問に対する解釈」の組として表現し、それを修辞構造理論のパースの上に注釈付けする。
  • DiscoTraceを9つの異なる人間コミュニティの回答に適用すると、コミュニティごとに回答構成の好みが異なることが分かる。
  • それに対してLLMは、特定の人間コミュニティの回答ガイドラインを模倣するよう促しても、回答に修辞的多様性がほとんど見られない。
  • さらにLLMは、Human回答者が通常取り上げない質問解釈にも系統的に幅広く応答しようとするため、文脈に応じた戦略を考慮する実用的(pragmatic)なLLM回答者の開発に役立つと主張する。

Abstract

DiscoTraceは、情報探索型の質問に応答する際に応答者が用いる修辞戦略を特定するための手法を導入します。DiscoTraceは、質問に関連する談話行為の列として回答を表現し、さらに元の質問に対する解釈を、それに対応する修辞構造理論のパースの上に注釈として付与します。DiscoTraceを9つの異なる人間コミュニティから得られた回答に適用すると、コミュニティごとに回答の構成に関する嗜好が多様であることが明らかになります。対照的に、LLMは、特定の人間コミュニティの回答ガイドラインを模倣するよう指示されても、回答において修辞の多様性を示しません。さらにLLMは、体系的に広い範囲を選好し、人間の応答者が扱わないことを選ぶ質問の解釈にも対応します。これらの発見は、QAにおける文脈に基づいて多様な戦略を考慮する実用的(プラグマティック)なLLM回答者の開発に役立てられます。