FCMBench-Video：ドキュメント動画インテリジェンスのベンチマーク

概要: 文書理解は、金融分野における与信審査、オンボーディング、および遠隔での検証において重要な能力です。ここでは、判断の正確性と証拠の追跡可能性の両方が重要になります。静的な文書画像と比べて、文書動画は時間的に冗長で、かつ時系列に展開される証拠のストリームを提示します。フレーム間での証拠統合が必要であり、さらに真正性に配慮した審査や不正防止の観点で関連する取得プロセスの手がかりも保持されます。私たちは、現実的な撮影条件のもとで文書知覚、時間的な位置づけ、および証拠に基づく推論を評価する、文書動画インテリジェンスのためのベンチマークであるFCMBench-Videoを提案します。プライバシーに準拠しつつ現実的なデータを大規模に提供するために、構築を「原子的な取得」と「構成」のワークフローとして整理し、再利用可能な単一文書クリップを記録し、制御された劣化を適用し、所定の時間範囲を持つ長尺の複数文書動画を組み立てます。FCMBench-Videoは、原子的な495本の動画から1,200本の長尺動画を構成し、さらに11,322件の専門家による注釈付きの質問--回答インスタンスを組み合わせています。28種類の文書タイプを、20秒--60秒の期間ティアにまたがってカバーし、5,960件の中国語／5,362件の英語インスタンスを含みます。直近の9つのVideo-MLLMに対する評価により、FCMBench-Videoがシステム間および能力間の有意義な差別化を提供することが示されました。計数は最も期間に敏感なタスクであり、Cross-Document ValidationおよびEvidence-Grounded Selectionはより高次の証拠統合を検証し、Visual Prompt Injectionは補完的な頑健性の次元を提供します。全体のスコア分布は広く、概ねベル型であり、ベンチマークが飽和しているわけでも、些末なケースに支配されているわけでもないことを示しています。これらの結果から、FCMBench-Videoは、文書動画理解におけるVideo-MLLMの進歩を追跡し、真正性に配慮した与信ドメインのアプリケーションにおける能力境界を探るための、再現可能なベンチマークとして位置づけられます。