PassiveQA：教師ありファインチューニングによるエピステミックに較正された質問応答のための3アクション・フレームワーク

Abstract

大規模言語モデル（LLM）は質問応答および検索拡張生成（RAG）において強い性能を達成していますが、それらは暗黙的に、ユーザの問い合わせが完全に指定され、回答可能であることを前提としています。現実の状況では、問い合わせがしばしば不完全であったり、曖昧であったり、重要な変数が欠けていたりします。その結果、モデルは過度に自信のある、または幻覚（ハルシネーション）を含む回答を生成することがあります。 本研究では、不完全な情報のもとでの決定を意識したクエリ解決、すなわちモデルが「回答する（Answer）」「明確化を求める（Ask for clarification）」「棄権する（Abstain）」のいずれを選ぶべきかを判断しなければならない問題を扱います。標準のRAGシステムおよび強化されたRAGシステムは、このような認識論的な（epistemic）気づきを確実に示すわけではなく、情報が不十分な場合でも回答生成へとデフォルトで切り替わってしまうことを示します。 これに対処するため、我々はPassiveQAを提案します。これは、教師ありファインチューニングによって情報の十分性に整合するようにモデル挙動を合わせ込む、3つの行動から成る枠組みです。我々の手法は、構造化された情報状態表現、知識グラフに基づく文脈、そして欠けている変数と意思決定の推論を明示的にモデル化するファインチューニング済みプランナを統合します。 複数のQAデータセットにわたる実験の結果、計算資源に制約のある学習設定のもとで、ファインチューニング済みプランナがマクロF1および棄権（abstention）リコールを大幅に改善し、同時に幻覚率を低下させることが示されました。 これらの結果は、認識論的な意思決定は推論時に後から課すのではなく、学習の過程で獲得される必要があることを裏づける強力な実証的証拠を提供します。