構造的手がかりは大規模言語モデルを救えるのか？膨大な文書ストリームにおける言語モデルの評価

要約: ストリーミング環境における言語モデルの評価は重要であるが、十分には探究されていない。既存のベンチマークは、単一の複雑なイベントに焦点を当てるもの、または各クエリごとに厳選された入力を提供するものが多く、同じ文書ストリーム内で複数の同時イベントが混在する際に生じる対立の下でモデルを評価していない。StreamBenchを導入する。これは2016年と2025年の主要なニュース記事から構築されたベンチマークで、605件のイベントと15,354件の文書を含み、3つのタスクで構成されている：トピッククラスタリング、時系列質問応答、要約。モデルの失敗を診断するために、イベントごとに主要な事実を整理する構造的手掛かりの有無で性能を比較する。構造的手掛かりは、クラスタリングの性能を改善し（最大+4.37%）、時系列QAでは最大+9.63%を達成することを示し、モデルが関連情報を見つけ出し、異なるイベントを区別するのを助ける。時系列推論は、現在のLLMsに内在する未解決の課題であり続けるが、タスク全体で一貫した利益を示すことから、構造的手掛かりは巨大な文書ストリームの将来の研究において有望な方向性である。
返却形式: {"translated": "翻訳されたHTML"}