LVSum：タイムスタンプ対応型の長尺動画要約のためのベンチマーク

概要: 長時間の動画要約は、現在のマルチモーダル大規模言語モデル（MLLMs）にとって大きな課題をもたらします。特に、長い時間軸にわたって時間的な忠実性を維持すること、そして意味的にも時間的にも根拠のある要約を生成することが難しい点が挙げられます。本研究では、長時間動画要約を微細な時間的アライメントにより評価することを目的とした、人手でアノテーションされたベンチマークであるLVSumを提案します。LVSumは13の領域にわたる多様な長尺動画から構成され、各動画には、正確な時間参照を含む人手生成の要約が対応付けられています。さらに、LVSumに対して、独自（プロプライエタリ）およびオープンソースの双方のMLLMを対象に、包括的な評価を行います。内容の関連性とモダリティの整合性を測るために新たに導入したLLMベースの指標に加え、標準的な評価指標も用いて性能を評価します。実験の結果、既存のMLLMにおいて時間理解に関する体系的なギャップが存在することが明らかになり、長時間動画要約における時間推論を前進させるための新たな基盤を築くための洞察が得られます。