CatRAG：検索拡張によるRAGとファンクタ誘導の構造的デバイアスで実現する、公平なLLMのための手法
arXiv cs.CL / 2026/3/24
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、大規模言語モデルに対するデバイアス（偏り）軽減のための枠組み「CatRAG」を提案しており、パイプライン全体でバイアスをより適切に制御するために、ファンクタ誘導の構造的デバイアスと検索拡張生成（RAG）を組み合わせる。
- ファンクタ要素では、圏論的（category-theoretic）な構造を用いて、タスクに関連する意味を保つことを目指しつつ、バイアスに結び付く方向を狙った、構造を保つ埋め込み空間への射影（embedding-space projection）を適用する。
- 3つのオープンソースLLM（Llama-3、GPT-OSS、Gemma-3）に対して、BBQの質問応答ベンチマークで実験を行った結果、最先端の性能が示され、基盤モデルに対して精度が最大約40%向上する。
- 本手法はバイアス指標も大幅に低減し、性別、国籍、人種、交差的サブグループにおいて、基盤モデルで概ね60%程度だったものをほぼゼロにまで近づける。
- 著者らは、従来のデバイアス手法はしばしば単一の段階で動作しており、分布シフトに対して脆くなり得ると主張し、それに対する動機として、構造を保つデュアル（複線）構成のパイプライン設計を提案している。
