OS-SPEAR：OSエージェントの安全性・性能・効率・堅牢性を分析するためのツールキット

概要: マルチモーダル大規模言語モデル（MLLMs）の進化は、テキスト生成から能動的な行動実行へと焦点を移してきました。特に、複雑なGUIをナビゲートするOSエージェントを通じて顕著です。しかし、これらのエージェントを信頼できる日常のパートナーへと移行するには、安全性・効率性・マルチモーダル頑健性に関する厳密な評価が不足していることが障壁となっています。現在のベンチマークは、安全に関するシナリオが狭いこと、軌跡ラベル付けがノイズを含むこと、および頑健性指標が限られていることに起因する課題を抱えています。このギャップを埋めるために、我々はOS-SPEARを提案します。これは、OSエージェントを4つの次元――安全性（Safety）、性能（Performance）、効率（Efficiency）、頑健性（Robustness）――にわたって体系的に分析するための包括的なツールキットです。OS-SPEARは4つの専門的サブセットを導入します： (1) 環境および人間に起因する多様な危険を含むS（afe ty）サブセット；(2) 軌跡価値推定と階層化サンプリングによってキュレーションされたP（erformance）サブセット；(3) 時間的なレイテンシとトークン消費という2つの観点から性能を定量化するE（fficiency）サブセット；(4) 視覚入力とテキスト入力の両方に対してクロスモーダル擾乱を適用するR（obustness）サブセット。さらに、人間が読める診断レポートを生成するための自動分析ツールも提供します。OS-SPEARを用いて、22の人気OSエージェントに対して大規模な評価を実施しました。我々の実証結果は、現在の状況に関する重要な洞察を明らかにしています。とりわけ、効率と安全性または頑健性の間に広く見られるトレードオフ、汎用モデルよりも専門特化エージェントのほうが高い性能を示すこと、ならびにモダリティごとに異なる頑健性の脆弱性が存在することです。多次元のランキングと標準化された評価枠組みを提供することで、OS-SPEARは、信頼でき効率的な次世代OSエージェントを開発するための基盤となるリソースを提供します。データセットとコードは https://github.com/Wuzheng02/OS-SPEAR で公開されています。