VLMは視覚バグ検出でどこまで到達できるか？ ゲームプレイ動画41時間から19,738枚のキーフレームを調査

要旨: 長時間のゲームプレイ動画に対する動画ベースの品質保証（QA）は、労力が大きく誤りも起こりやすい一方で、長時間のプレイセッションにわたってゲームの安定性や映像の正確さを評価するうえで価値があります。視覚言語モデル（VLM）は汎用的な視覚推論能力を約束しており、そのため動画フレームから直接視覚的な不具合を検出する用途に魅力を感じさせます。近年のベンチマークでは、VLMがキュレーションされたデータセットにおける視覚グリッチの検出で有望な結果を達成できることが示唆されています。これらの知見に基づき、我々は産業用のQAゲームプレイ動画を用いた実世界の調査を行い、VLMが実運用のシナリオでどれほどうまく機能するかを評価します。我々の調査では、長時間のゲームプレイ動画からキーフレームをサンプルし、各キーフレームに不具合が含まれているかどうかをVLMに尋ねます。単一プロンプトのベースラインから始めて、モデルは適合率0.50、精度0.72を達成します。次に、微調整なしでVLMの性能を向上させるために用いられる2つの一般的な強化戦略を検討します：（1）VLMの出力を再評価する二次ジャッジモデル、（2）過去の不具合報告の検索によるメタデータ拡張プロンピングです。\textbf{100本の動画}、合計\textbf{41時間}、\textbf{19,738枚のキーフレーム}において、これらの戦略は単純なベースラインに比べてわずかな改善しかもたらさない一方で、追加の計算コストと出力のばらつきを導入します。本調査の結果は、既製のVLMがQAゲームプレイ動画における一定範囲の視覚的な不具合をすでに検出できることを示していますが、さらなる進歩には、テキストと視覚の異常検出をより適切に切り分けるハイブリッド手法が必要になる可能性が高いことを示唆しています。