強化学習によるGUIエージェント：デジタルな住人へ向けて

Abstract

グラフィカル・ユーザー・インターフェース（GUI）エージェントは、視覚的にグラフィカル・インターフェースを認識し相互作用する知的システムに対する有望なパラダイムとして登場してきた。 しかし、教師ありの微調整だけでは、長期ホライズンのクレジット割当、分布シフト、不可逆的な環境における安全な探索に対処できず、自動化を前進させる上で強化学習（RL）が中核となる方法論となっている。本研究では、RLとGUIエージェントの交差領域に関する最初の包括的な概説を提示し、この研究方向が「デジタルな住人（digital inhabitants）」へ向かう可能性を検討する。既存手法をオフラインRL、オンラインRL、ハイブリッド戦略に整理する、原理に基づいた分類法を提案するとともに、報酬エンジニアリング、データ効率、および主要な技術的革新に関する分析を補完する。 分析の結果、いくつかの新たな傾向が明らかになった。すなわち、信頼性とスケーラビリティの間の緊張が、複合的で階層化された報酬アーキテクチャの採用を後押ししていること、GUIのI/Oレイテンシのボトルネックが世界モデルに基づく学習への移行を加速させ、それにより大きな性能向上が得られ得ること、そして、System-2型の熟慮が自発的に現れることが、十分に豊かな報酬信号が利用可能であれば、明示的な推論のスーパービジョンは必須ではないことを示唆している。これらの知見を、プロセス報酬、継続（continual）RL、認知アーキテクチャ、安全なデプロイメントを扱うロードマップとして凝縮し、次世代の頑健なGUIオートメーションと、そのエージェントネイティブなインフラストラクチャを導くことを目指す。