インド向けリーガル支援のための大規模言語モデルの軽量ドメイン適応

Abstract

インドでは、一般市民が法的支援を受けるためのアクセスに重大なギャップがあることが観察されている。多くの市民は、適切な法的情報へのアクセスの制限や認知度の不足によって、自身の法的権利を十分に活用できていない。本論文は、インド領域において法的支援を提供するために設計された、高効率な枠組みである Legal Assist AI を導入する。中核となる貢献は、小型の8ビリオン（80億）パラメータの量子化モデル（Llama 3.1）が、領域特化型の性能においていかに優れた結果を達成できるかを示す枠組みである。この有効な性能は、高品質で最新の、600以上の法律文書からなるコーパスを基盤として、戦略的なプロンプトエンジニアリングと Retrieval-Augmented Generation（RAG）システムを統合することで実現されている。このコーパスには、インド憲法が含まれており、さらに重要なのは、新たに制定された Bharatiya Nyaya Sanhita（BNS）や Bharatiya Nagarik Suraksha Sanhita（BNSS）などが含まれている点である。さらに、All-India Bar Examination（AIBE）のベンチマークで60.08 ext%のスコアを達成することで、RAG に基づく専門的アプローチが非常に高い効率性と有効性を備えていることが確認された。これは、175ビリオン・パラメータの GPT-3.5 Turbo の58.72 ext%のスコアを上回っている。また、枠組みが実運用上の重要な要件である、ハルシネーションの事例を適切に管理し軽減できることも観察された。さらに、8B モデルが 175B 基準モデルに比べて 22 倍もパラメータ効率に優れていること、ひいては小型の領域適応モデルの可能性を裏付けることを示すための、パラメータ効率指数（PEI）も導入する。