LLMベースのセマンティック・プロトタイプ最適化によるゼロショット分類のための反復的定義精緻化

要旨: Webフィルタリングシステムは、サイバー脅威を遮断し、データの不正な持ち出しを防止し、コンプライアンスを確保するために、正確なWebコンテンツの分類に依存している。 しかし、現代のWebが動的かつ急速に進化している性質により、分類はますます困難になっている。 埋め込みベースのゼロショット手法は、コンテンツとカテゴリの説明文を共有された意味空間に写像することで、ラベル付きの学習データなしでラベル付与を可能にするが、定義の品質に対して非常に敏感である。 不適切に指定された、または曖昧な定義は、埋め込み空間に意味の重なりを生み出し、その結果として体系的な誤分類が生じる。
本論文では、モデルのパラメータを更新するのではなく、カテゴリーの定義を段階的に最適化することで、ゼロショットのWebコンテンツ分類を改善する、学習不要の適応的反復定義洗練（refinement）フレームワークを提案する。 フィードバックに基づく定義オプティマイザとしてLLMを用い、すなわち、例ガイド型、混同（confusion）対応型、履歴（history）対応型の3つの洗練戦略を調査し、それぞれが誤分類された実例から得られる構造化された信号を用いてクラスの記述文を洗練する。 さらに、各クラス1,000サンプルを含むURLカテゴリ10種について、人手でラベル付けしたベンチマークを導入し、13の最先端の埋め込み基盤モデルにわたって評価を行う。 結果は、反復的な定義洗練が、多様なアーキテクチャにわたって一貫して分類性能を向上させることを示しており、定義の品質が埋め込みベースのシステムにおいて重要でありながら十分に検討されていない要因であることを明らかにする。 データセットは https://github.com/naeemrehmat/B2MWT-10C で公開されている。