SUMMIR: LLMからのスポーツ洞察をランク付けするための、幻覚（ハルシネーション）を意識したフレームワーク

要旨: オンラインのスポーツジャーナリズムが急速に拡大する中で、記事から有意義な試合前および試合後の洞察を抽出することは、ユーザーのエンゲージメントと理解度を高めるために不可欠である。本論文では、試合の前後に公開された記事から、そうした洞察を自動的に抽出する課題に取り組む。われわれは、4つの主要スポーツ（クリケット、サッカー、バスケットボール、野球）にまたがる800試合を対象として、7,900本のニュース記事からなるデータセットを構築した。文脈上の適切性を確保するために、オープンソースおよび独自の大規模言語モデル（LLM）を活用した2段階の検証パイプラインを用いる。さらに、複数の最先端LLM（GPT-4o、Qwen2.5-72B-Instruct、Llama-3.3-70B-Instruct、Mixtral-8x7B-Instruct-v0.1）を利用して、包括的な洞察を生成する。これらの出力の事実的正確性は、FactScoreに基づく手法により厳密に評価し、併せてGPT-4oによるSummaC（Summary Consistency）フレームワークを用いた幻覚検出によって補完する。最後に、ユーザー固有の関心に基づいて洞察を順位付けするために設計された新しいアーキテクチャ、SUMMIR（Sentence Unified Multimetric Model for Importance Ranking）を提案する。実験結果は、このアプローチによって高品質で関連性の高い洞察を生成できる有効性を示すと同時に、LLM間で事実的一貫性と興味深さに大きな違いがあることも明らかにする。本研究は、スポーツニュースの内容から自動化された信頼できる洞察生成を実現する堅牢な枠組みを提供する。ソースコードはこちら https://github.com/nitish-iitp/SUMMIR。