AgentPulse：デプロイ状況でAIエージェントを評価するための継続型マルチシグナル・フレームワーク
arXiv cs.AI / 2026/4/28
📰 ニュースDeveloper Stack & InfrastructureSignals & Early TrendsModels & Research
要点
- この論文では、複数のプラットフォームやレジストリにまたがる18のリアルタイム・シグナルを集約して、デプロイ環境でAIエージェントをスコアリングする「AgentPulse」を提案している。
- 静的ベンチマークの能力だけに依存せず、AgentPulseはBenchmark Performance、Adoption Signals、Community Sentiment、Ecosystem Healthの4要素で評価する。
- 4要素は概ね補完的な情報を含むことが示され、AdoptionとEcosystemの間は比較的高い相関がある一方、他の組み合わせは相関が低い。
- GitHub由来シグナルを除外したサブコンポジットでも、GitHubスター数やStack Overflowの活動、（インストールが11件中の一部に限られるため参考として）VS Codeインストール数といった外部の採用指標を予測できることが、循環性を制御したテストで示されている。
- 著者らはAgentPulseを「方法論」であり「決定的な順位付け（ground-truth ranking）」ではないと強調し、フレームワーク、収集したデータ、スコア出力、評価ハーネスをCC BY 4.0で公開している。
