スクリーンショットの先へ：UIアニメーションに対するVLMの理解度評価

概要: ユーザーインターフェース上で動作するAIエージェントは、インターフェースが状態やフィードバックをどのように伝達しているかを理解し、確実に行動する必要があります。主要なコミュニケーション手段として、アニメーションは単なる美観以上の重要な機能的目的のために、現代のインターフェースでますます用いられています。したがって、UIアニメーションを理解することは、インターフェースを包括的に解釈するために不可欠です。しかし、UI理解のための視覚言語モデル（VLM）に関する最近の研究は主に静的なスクリーンショットに焦点を当てており、これらのモデルが動的なUIアニメーションをどの程度うまく扱えるのかはいまだ不明です。このギャップに対処するために、密に注釈が付けられたUIアニメーション動画300本から成る、新しいデータセットAniMINTを作成しました。我々は、アニメーション効果を認識する能力、アニメーションの目的を特定する能力、アニメーションの意味を解釈する能力を含め、UIアニメーション理解に関して最先端のVLMを体系的に評価します。その結果、VLMは素朴な動き（primitive motion）を確実に検出できることが示されます。一方で、高レベルのアニメーション解釈は一貫せず、人間の性能に対して大きなギャップがあります。最後に、Motion、Context、Perceptual Cues（MCPC）を用いてVLMの性能に影響する要因を調べ、主要なボトルネックと今後の改善の方向性を明らかにします。