VerifAI：生物医学QAのための検証可能なオープンソース検索エンジン

要旨: 本論文では、RAG（retrieval-augmented generation：検索拡張生成）と新しい事後的な主張検証メカニズムを統合する、バイオメディカル質問応答のためのオープンソース・エキスパートシステムであるVerifAIを紹介します。従来の標準的なRAGシステムとは異なり、VerifAIは、生成された回答を原子的な主張（atomic claims）に分解し、微調整した自然言語推論（NLI）エンジンを用いて取得した根拠（evidence）に照らしてそれらを検証することで、事実整合性を保証します。システムは3つのモジュールで構成されています:（1）バイオメディカルのクエリに最適化されたハイブリッド情報検索（Information Retrieval, IR）モジュール（MAP@10が42.7%）、（2）カスタムデータセットで微調整され、参照付きの回答を生成する、引用情報を考慮した生成コンポーネント、（3）最先端の精度で幻覚（hallucinations）を検出する検証コンポーネントであり、HealthVerベンチマークにおいてGPT-4を上回ります。評価の結果、VerifAIはゼロショットのベースラインと比べて幻覚的な引用を大幅に減らし、すべての主張に対して透明で検証可能な系譜（lineage）を提供することが示されます。コード、モデル、データセットを含む全パイプラインは、ハイステークス領域における信頼性の高いAI導入を促進するためにオープンソース化されています。