RoTRAG：検索拡張生成による会話の危害検出のための経験則推論

要旨: 有害なコンテンツを多回（マルチターン）対話で検出するには、個別の発話だけでなく、会話全体の文脈に基づく推論が必要です。しかし、既存の多くの手法は、外部の規範的原則に対する明示的な根拠付けを行わず、主にモデル内部のパラメトリックな知識に依存しています。その結果、社会的にニュアンスのある文脈において判断が一貫しない、解釈可能性が低い、ターン間で推論が冗長になる、といった問題が生じます。これに対処するために、我々はRoTRAGを提案します。RoTRAGは、Rules of Thumb（RoTs）と呼ばれる、簡潔に人が書いた道徳的規範を取り入れる検索拡張フレームワークであり、LLMに基づく有害性評価へと組み込みます。各ターンにおいて、RoTRAGは外部コーパスから関連するRoTsを検索し、それらをターンレベルの推論および最終的な深刻度分類のための明示的な規範的証拠として用います。効率を高めるためにさらに、新しいターンが検索に基づく根拠付け推論を必要とするのか、それとも既存の文脈を再利用できるのかを判断する軽量な二値ルーティング分類器も導入します。ProsocialDialogおよびSafety Reasoning Multi Turn Dialogueに関する実験の結果、RoTRAGは、競合するベースラインに比べて、有害分類と深刻度推定の両方を一貫して改善することが示されました。ベンチマークデータセット全体でF1における平均相対向上率は約40%であり、分布誤差における平均相対低減率は8.4%です。さらに、性能を損なうことなく冗長な計算を削減できています。