HippoCamp：個人用PC上での文脈対応エージェントのベンチマーク

概要: 本稿では、マルチモーダルなファイル管理におけるエージェントの能力を評価するための新しいベンチマーク「HippoCamp」を提案します。ウェブ操作、ツール利用、ソフトウェア自動化といった汎用的な設定でのタスクに焦点を当てる既存のエージェントベンチマークとは異なり、HippoCampはユーザー中心の環境でエージェントを評価し、個々のユーザープロフィールをモデル化し、大量の個人ファイルを文脈に応じて検索して推論することを重視します。このベンチマークは、多様なモダリティにまたがる実世界のプロファイルに基づき、デバイス規模のファイルシステムを具体化します。これにより、2K以上の実世界ファイルにまたがって合計42.4GBのデータを構成します。生データの上に、検索、証拠の知覚、複数ステップにわたる推論におけるエージェントの能力を評価するために581のQAペアを構築します。きめ細かな分析を可能にするため、ステップごとの失敗診断のための、密に注釈付けされた構造化トラジェクトリを46.1K件提供します。HippoCamp上で、多様な最先端のマルチモーダル大規模言語モデル（MLLM）とエージェント型手法を幅広く評価します。包括的な実験の結果、重大な性能ギャップが明らかになりました。すなわち、最も先進的な商用モデルでさえ、ユーザープロファイリングの精度は48.3%にとどまり、特に、長い探索の地平にまたがる検索や、密な個人ファイル環境におけるクロスモーダル推論が困難です。さらに、ステップごとの失敗診断により、主なボトルネックはマルチモーダル知覚と証拠の基盤化（evidence grounding）であることが特定されます。最終的に、HippoCampは、現実的でユーザー中心の環境における現在のエージェントの重要な限界を明らかにするとともに、次世代のパーソナルAIアシスタントを開発するための堅牢な基盤を提供します。