メタデータ強化型RAGパイプラインと直接的好み最適化による法務向け大規模言語モデルの強化

要旨：大規模言語モデル（LLMs）は短い文脈では高い性能を示しますが、長い法的文書では性能が低下し、誤った条項や先例といった幻覚を生じることがあります。法的領域では正確さが極めて重要であり、こうした誤りは信頼性と信用を損ないます。
Retrieval Augmented Generation (RAG) は出力の根拠づけに役立ちますが、法的設定では依然として制限があり、特にデータプライバシーのために小規模で局所展開されるモデルが必要とされる場合には限界があります。私たちは二つの失敗モードを特定します：法的コーパスにおける語彙的冗長性による取得エラーと、十分な文脈が不足しているにもかかわらずモデルが回答を生成してしまうデコードエラー。
これに対処するため、文書レベルの取得を改善する Metadata Enriched Hybrid RAG を提案し、文脈が不十分な場合には安全な拒否を強制する Direct Preference Optimization (DPO) を適用します。これらの手法を組み合わせることで、法的言語モデルの根拠付け、信頼性、そして安全性を向上させます。