盲目的に行動しないで：作用効果の検証と自己修正による堅牢なGUI自動化

Abstract

視覚言語モデル（VLM）に基づく自律GUIエージェントは、多くの場合、環境の応答が決定的であると仮定し、先行する操作が成功したかどうかを検証せずに行動を生成します。しかし、ネットワーク遅延、描画遅延、システムの中断がある現実の環境では、この仮定により、検出されない行動失敗、反復される無効な挙動、そして破局的なエラー蓄積が引き起こされます。さらに、オンライン相互作用のコストが高く、オフラインデータセットにリアルタイムのフィードバックがないため、頑健な回復戦略を学習することは困難です。 私たちは、VeriGUI（Verification-driven GUI Agent）を提案します。VeriGUIは、ノイズのある環境下での行動の結果と回復を明示的にモデル化します。VeriGUIは、失敗を検出し、修正に向けた推論を導くための Thinking--Verification--Action--Expectation（TVAE）フレームワークを導入し、Robust SFT（頑健SFT）と合成の失敗トラジェクトリを組み合わせ、さらに非対称な検証報酬を用いたGRPOを組み合わせる二段階の学習パイプラインを構築します。加えて、AndroidControl に基づく頑健性ベンチマークを構築し、失敗の認識と修正を評価します。実験の結果、VeriGUIは失敗のループを大幅に減らし、回復の成功率を向上させつつ、標準的なタスク性能において競争力のある水準を維持することが示されました。