Red Skills or Blue Skills? ClawHubに掲載されたスキルを深掘りする

Abstract

スキル・エコシステムは、大規模言語モデル（LLM）エージェント・システムにおける、ますます重要なレイヤーとして登場している。これにより、再利用可能なタスクのパッケージ化、公的な配布、そしてコミュニティ主導の能力共有が可能になる。しかし、急速な成長が見られる一方で、公的スキル登録台帳（レジストリ）の機能性、エコシステム構造、およびセキュリティ上のリスクは、十分に調査されていない。本論文では、エージェント・スキルの大規模な公開レジストリである ClawHub に関する実証的研究を提示する。26,502 スキルからなるデータセットを構築し正規化したうえで、言語分布、機能的な組織化、人気度、そしてセキュリティのシグナルについて体系的な分析を行う。クラスタリング結果は、明確な言語間の違いを示している。すなわち、英語のスキルは、API、オートメーション、メモリといった技術的能力を中心とする、よりインフラ指向である。一方で、中国語のスキルは、メディア生成、ソーシャル・コンテンツ制作、金融関連サービスといったシナリオ駆動のクラスターがよりはっきりしており、よりアプリケーション指向である。さらに、クロールされたすべてのスキルの 30% 超が、利用可能なプラットフォーム・シグナルによって疑わしい、または悪意のあるものとしてラベル付けされていることを見出した。一方で、かなりの割合のスキルは、完全な安全性の観測（安全性に関する見通し）を欠いている。初期段階でのリスク評価を研究するために、出版時点で利用可能な情報のみを用いて、投稿時点でのスキル・リスク予測を定式化し、11,010 スキルからなるバランスの取れたベンチマークを構築する。12 個の分類器にわたって、最良のロジスティック回帰は精度 72.62%、AUROC 78.95% を達成しており、主要な文書（プライマリなドキュメンテーション）が、投稿時点のシグナルとして最も情報量の多いものとして現れる。これらの知見は、公的スキル登録台帳が、エージェント能力の再利用を可能にする重要な要因であると同時に、エコシステム規模のセキュリティ・リスクに対する新たな露出面（観測されやすい領域）でもあることを示している。