ドイツの法律事務所向けにAIリサーチアシスタントを作ったのですが、検索（リトリーバル）パイプラインにかかったのは開発全体のたぶん30%でした。残りの70%は、LLMに出典を正しく引用させることに費やされました。
弁護士の引用には非常に独特の基準があります。「法的ガイドラインによれば」とは言いません。「DSGVO第32条(1)(a)項を、C-300/21におけるEuGHの解釈に従って」と言います。システムがそれをできないなら役に立ちません。弁護士は、検証できない答えを信頼することはないからです。
以下が、私が遭遇したすべての引用失敗パターンと、それぞれへの対処方法です。
失敗1：曖昧なカテゴリ引用。LLMは「laut professioneller Fachliteratur」（専門文献によれば）などと書き、特定の文書名を挙げないことがありました。これは、出典というよりメタデータのラベルを引用しているのと同じでした。対処：明示的なプロンプト指示で「カテゴリ名を出典参照として言い換えて（paraphraseして）絶対に使うな」とし、やってはいけない例を具体的に示しました。
失敗2：内部カテゴリラベルが出力に漏れる。LLMがインライン引用として「(Kategorie: High court decision)」（カテゴリー：高等裁判所の判断）を書いてしまうことがありました。これは利用者にとって意味がありません。対処：「(Kategorie: ...) をインライン引用として絶対に使うな」というプロンプト指示を入れ、代わりに実際の文書タイトルまたは裁判所名を必須としました。
失敗3：権威（当局）の誤った帰属。高等裁判所の文書での判断が、下級裁判所に誤って帰属されたり、その逆になったりしました。裁判所の権威レベルは法務において非常に重要なので、これは危険です。対処：「帰属させる前に、文書がどのカテゴリ区分に出現しているかをLLMに確認させる」ことを必須の指示にし、正しい帰属ロジックを示す具体例を用意しました。
失敗4：相違する見解の平坦化。同じ法律問題について、高等裁判所と下級裁判所が対立する場合、LLMはそれらを1つの見解に統合してしまいがちでした。多くの場合は、より分かりやすい言い回しのほう（＝高い権威とは限らない方）を優先していました。対処：双方の見解を、それぞれの出典と権威レベルを明記したうえで別々に提示することを明示的に指示しました。
失敗5：不存在の虚偽の主張。情報が実際には文脈の中に存在していたのに、密度の高い法的文言に埋もれていたため、LLMが自信満々に「文書にはXに関する情報が含まれていない」と断言してしまうことがありました。対処：「情報がないと主張するのは、徹底的に検証できた場合に限る」ことを指示し、その代わりにLLMに「利用可能な抜粋には詳細のすべてが含まれていない可能性がある」と言わせる提案をしました。
失敗6：過度に断定的な言い回し。LLMが法的結論に「ohne jeden Zweifel」（疑いの余地なく）や「ganz klar」（非常に明確に）のような補強フレーズを追加してしまうことがありました。弁護士は、法的分析は確信なしで行われることがまれなので、これは非専門的だと感じます。対処：トーン指示として、事実に基づき冷静な言い回しを要求し、出典に語らせる（断定を盛らない）ようにしました
[link] [comments]
