計算論的アーギュメンテーションに基づく、LLMによる国会討論の要約評価

要旨: 議会において政策がどのように議論され、正当化されるのかを理解することは、民主的プロセスの基本的な側面である。しかし、そのような議論の量と複雑さのために、議会の外部の聴衆が関与することは困難である。一方で、大規模言語モデル（LLM）は、規模に応じた自動要約を可能にすることが示されている。議論の要約は議会の手続をより身近にする可能性があるが、これらの要約が、主張内容を忠実に伝えているかどうかを評価することは依然として難しい。既存の自動要約の評価指標は、一貫性（すなわち、要約と出典との間の整合性または忠実性）に関する人間の判断とは相関が低いことが示されている。本研究では、争点となっている提案（議論の対象となる提案）に基づいて議論の構造を位置づける、議会討論要約を評価するための形式的枠組みを提案する。我々の新規のアプローチは計算論的アーギュメンテーション（計算による議論）によって駆動されており、政策の帰結を正当化する、またはそれに反対するために提示された推論が、忠実に保持されていることに関する形式的性質に評価の焦点を当てる。欧州議会における討論の事例研究と、それに関連するLLM主導の要約を用いて、我々の手法を示す。