より悪化しない文脈に配慮したデコーディング：文脈条件付き生成におけるニュートラル・レグレッションの防止

Abstract

大規模言語モデル（LLM）は、外部の文脈（例：検索された根拠）に条件付けられることで、質問に答えたり文書を要約したりできますが、文脈の利用はなお不確実です。文脈が有益な情報を含まない場合でも、モデルはすでに正しい出力を上書きしてしまうことがあります（中立的回帰）。本稿では、この中立的回帰を「害を与えないこと（do-no-harm）」という要件として形式化し、回答が文脈と整合している状況での文脈付き条件において、ベースラインで正解の項目に対する精度の低下を測定することで定量化します。そこで、No-Worse Context-Aware Decoding（NWCAD）を提案します。これは、二つのストリーム構成に基づくデコード時アダプタであり、二段階のゲートを備えています。文脈が非情報的であるときは文脈なしデコードへ後退し、そうでない場合は不確実性のもとでCAD型のフォールバックを伴う、文脈条件付きデコードを用います。私たちは、害を与えない信頼性と文脈の利用（本当に有益な文脈に対する精度向上）を切り分けるベンチマークでNWCADを評価します。NWCADは、ベースラインで正解の項目における中立的回帰を防ぎつつ、有益な文脈に対する強力な文脈駆動の精度を維持します。