取得拡張型言語モデルにおけるソースに忠実な説明のための発話内（イロキューショナリー）説明計画
arXiv cs.CL / 2026/4/9
📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、3冊の教科書に根拠づけた90のStack Overflowの質問を用いて、プログラミング教育における取得拡張生成（RAG）で生成される説明のソース忠実性と追跡可能性を評価し、6つのLLMをソース遵守の指標でベンチマークする。
- 結果として、非RAGモデルではソース忠実性の中央値が0%であるのに対し、ベースラインRAGは控えめな中央値（22〜40%）にとどまり、引用されたソースに基づく説明がしばしば部分的にしか根拠づけられていないことが示される。
- 本論文は、発話内理論に基づいて、発話内マクロ計画を提案し、連鎖する発話内プロンプト（CoI）によって実装する。これにより、クエリを暗黙の説明用サブ質問へ分解し、検索（リトリーバル）をより適切に駆動することを目指す。
- CoIは、ほとんどのモデルにおいてソース忠実性を統計的に有意に改善する（最大63%）が、絶対的な忠実性は依然として中程度であり、一部のモデルでは弱い改善、または有意でない改善にとどまる。
- ユーザースタディ（保持された参加者165名）では、ソース忠実性の向上がユーザ満足度、関連性、または知覚された正しさを低下させないことが示され、このプロンプト手法の実用的価値が裏づけられる。
