GUIビジュアルエージェントにおける履歴スクリーンショットのためのトークン削減の再考：意味・空間・時間の観点から

要旨: 近年、マルチモーダル大規模言語モデル（MLLM）を基盤とするGUIの視覚エージェントは、ナビゲーション課題において強い可能性を示しています。しかし、高解像度のGUIスクリーンショットは大量の視覚トークンを生成するため、完全な履歴情報をそのまま保持することは計算上高コストになります。本論文では、GUIシナリオにおける履歴スクリーンショットのトークンプルーニング（削除）に関して実証的な研究を行い、有効なプルーニング戦略の設計に不可欠な3つの実践的示唆を抽出します。第一に、GUIスクリーンショットは、独特の前景・背景の意味論的構成を持つことを観察します。この性質を検証するために、単純なエッジベースの分離を適用し、スクリーンショットを前景領域と背景領域に分割します。驚くべきことに、背景領域は意味的価値がほとんどないという一般的な仮定とは対照的に、背景はインターフェース状態の遷移を効果的に捉え、それによってGUI推論に対する補助的手がかりを提供していることが分かります。第二に、慎重に設計されたプルーニング戦略と比較すると、ランダムプルーニングには空間構造を保持するという本質的な利点があり、同じ計算予算のもとでより良い性能を実現できます。最後に、GUIエージェントは人間の認知と同様の「新しさ（近時性）効果」を示すことを観察します。より最近のスクリーンショットにはより大きなトークン予算を割り当て、遠いものは強く圧縮することで、ほぼ変わらない性能を維持しつつ計算コストを大幅に削減できます。これらの発見は、効率的なGUI視覚エージェントの設計に向けた新たな洞察と実践的な指針を提供します。