知識強化型ビジュアル推論による自動サッカー実況生成に向けて

Abstract

サッカー実況解説は、観客のためのサッカー観戦体験を向上させる上で重要な役割を果たします。自動サッカー実況解説の生成に関する先行研究では、通常、匿名のライブテキスト実況を生成するためにエンドツーエンド手法を採用しています。しかし、このように生成された実況解説は、実世界のライブ地上波実況の文脈においては不十分です。なぜなら、匿名の実体（エンティティ）を含み、文脈依存の誤りがあり、さらにゲームイベントに関する統計的洞察が欠けているからです。ギャップを埋めるために、我々はGameSightを提案します。GameSightは、サッカー実況解説生成を知識強化型の視覚推論タスクとして扱うための二段階モデルであり、選手やチームといった実体への正確な参照を伴う、ライブ地上波のような知識に基づいた実況解説を可能にします。GameSightはまず、匿名の実体をきめ細かな視覚および文脈の分析に対応づけるための視覚推論を行います。続いて、外部の過去統計を取り込み、内部のゲーム状態情報を反復的に更新することで、実体に対応づけられた実況解説を知識によって洗練します。その結果、GameSightはGemini 2.5-proと比べてSN-Caption-test-alignデータセット上でプレイヤー対応付けの精度を18.5%向上させます。さらに知識強化を組み合わせることで、GameSightは、セグメント単位の精度と実況解説の品質において、またゲームレベルでの文脈の関連性と構造的な構成においても優れています。我々は、この取り組みがAIスポーツアプリケーションにおける、より有益で魅力的な人間中心の体験への道を切り拓くと考えています。デモページ: https://gamesight2025.github.io/gamesight2025