要旨: モデルコンテキストプロトコル(MCP)を介して、GUI操作と構造化API呼び出しを組み合わせるコンピュータ利用エージェントは、ソフトウェアタスクの自動化に有望である。しかし、既存のアプローチでは、エージェントがこの2つのモダリティのバランスをどう取るべきか、また多様なアプリケーションにまたがって反復的な自己改善をどう可能にするべきかについての、原理に基づく理解が欠けている。私たちは、MCPとGUIの相互作用を、統一されたハイブリッド方策学習問題として定式化する。そこではエージェントが、それぞれのモダリティが補完的な利点をもたらすのがいつかを学習する。さらに、蒸留と経験拡張は本質的に異なる失敗モードを対象としていることを示し、そのためにはアプリケーションを意識したメカニズム選択が必要である。この定式化に基づき、環境生成と検証、軌跡収集、ギャップに基づくタスク合成、品質フィルタリングされた学習を完全自動のパイプラインでオーケストレーションする、自発的に進化する枠組みを提案する。これは手動の介入なしで実現される。主要な革新は、私たちの経験バンクであり、軌跡比較からLLMによって学習されたルールを蓄積することで、微調整(ファインチューニング)なしに推論時の改善を可能にする。3つのデスクトップアプリケーションにわたる体系的な\textbf{クロスアプリケーション分析}により、最適戦略はMCP-GUIの構成に依存することが明らかになる。すなわち、蒸留はMCP優勢タスクで77.8\%の合格率を達成し(+17.8pp)、一方で経験バンクはGUI集約タスクで優れている(+10.0pp)。
EE-MCP:自動環境生成と経験学習による自己進化型MCP-GUIエージェント
arXiv cs.AI / 2026/4/14
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 本論文は、MCP-GUIエージェントに対する統一的な「ハイブリッド方策学習」の見方を提案し、各手段が最も有効なときに、構造化されたAPI呼び出し(MCP)とGUI操作のどちらを選ぶべきかをエージェントに学習させる。
- 蒸留と経験の拡張は異なる失敗モードに対処するため、最適なメカニズム選択はアプリケーションに応じて行うべきだと主張する。
- 著者らはEE-MCPを導入する。EE-MCPは、環境生成/検証、軌跡収集、ギャップに基づくタスク合成、品質フィルタリングを施した学習を、手動介入なしで完全自動化する自己進化型フレームワークである。
- 中核となる構成要素は「経験バンク」であり、軌跡の比較からLLMが学習したルールを保存することで、追加のファインチューニングなしに推論時の改善を可能にする。
- 3つのデスクトップアプリにまたがる横断実験では、戦略に依存した効果が示される。蒸留はMCP優位のタスクで大幅に優れており(合格率77.8%、+17.8pp)、一方で経験バンクはGUI中心のタスクで優位となる(+10.0pp)。




