ベンチマークから推論へ：ベトナムの法文に対するLLMのデュアル観点・大規模評価

要旨: ベトナムの法令文書の複雑さは、国民が司法へのアクセスを得るうえで大きな障壁となっている。大規模言語モデルは法令文書の簡潔化に有望な解決策を提供し得るが、その真の能力を評価するには、表面的な指標を超えた多面的なアプローチが必要である。本論文では、このニーズに応えるための包括的な二面（dual-aspect）評価フレームワークを提案する。第一に、最先端の大規模言語モデル4つ（GPT-4o、Claude 3 Opus、Gemini 1.5 Pro、Grok-1）について、3つの主要な次元――正確性（Accuracy）、読みやすさ（Readability）、一貫性（Consistency）――にわたる性能ベンチマークを確立する。第二に、これらの性能スコアの背後にある「なぜ」を理解するために、専門家によって検証された新規の誤り分類法を用い、複雑なベトナム語の法令記事60本からなるキュレーション済みデータセットに対して、大規模な誤り分析を行う。その結果、重要なトレードオフが明らかになった。Grok-1のようなモデルは読みやすさと一貫性において優れている一方で、微細な法的正確性を犠牲にしている。反対にClaude 3 Opusのようなモデルは、高い正確性スコアを達成するものの、多数の微妙だが重大な推論エラーを覆い隠している。誤り分析により、最も頻発する失敗として extit{Incorrect Example} と extit{Misinterpretation} が特定される。これにより、現行のLLMにとっての主要な課題は要約ではなく、制御された正確な法的推論であることが確認される。定量的ベンチマークと定性的な深掘りを統合することで、本研究は法的用途におけるLLMのための、全体的で実行可能な評価を提供する。