ビジョン言語モデルはゲームにおける人間の関与を理解しているのか？

要旨：視覚情報だけからこのような潜在的心理状態を推測できるかどうかはまだ不確かです。視覚と言語モデル（VLMs）を用いて、視覚的手掛かりだけからこのような潜在的心理状態を推測できるかを検討します。9種類のファーストパーソン・シューティングゲームにまたがるGameVibe Few-Shotデータセットを用いて、6つのプロンプト戦略の下で3つのVLMを評価します。これにはゼロショット予測、Flow、GameFlow、自己決定理論、およびMDAに基づく理論指向プロンプト、そして取得拡張型プロンプトを含みます。点ごとのエンゲージメント予測と、連続するウィンドウ間のエンゲージメント変化のペアワイズ予測の両方を検討します。結果は、ゼロショットのVLM予測が一般に弱く、しばしば各ゲームごとの単純な多数派クラスのベースラインを上回れないことを示しています。メモリーベースまたは取得拡張型プロンプトは、いくつかの設定で点ごとの予測を改善しますが、ペアワイズ予測は戦略を問わず一貫して難しいままです。理論に基づくプロンプトのみでは信頼性の高い助けにはならず、むしろ表層的な近道を強化することがあります。これらの知見は、現行のVLMには知覚と理解のギャップがあることを示唆します。彼らは目に見えるゲームプレイの手掛かりを認識できますが、ゲーム間で人間のエンゲージメントを堅牢に推測するにはまだ苦労しています。