PeopleSearchBench: AI駆動型の人検索プラットフォームを評価するための多次元ベンチマーク

要旨: AIによる人の検索プラットフォームは、採用、営業の見込み顧客探索、プロフェッショナル・ネットワーキングにおいてますます活用されていますが、それらの性能を評価するための広く受け入れられたベンチマークは存在しません。私たちは、PeopleSearchBenchというオープンソースのベンチマークを提案します。これは、4つの人の検索プラットフォームを、4つのユースケースにまたがる119件の実世界クエリに対して比較します。ユースケースは、企業採用、B2Bの営業見込み顧客探索、決定論的な回答を伴うエキスパート検索、そしてインフルエンサー/KOLの発見です。主要な貢献は、Criteria-Grounded Verification（基準に基づく検証）です。これは、各クエリから明示的で検証可能な基準を抽出し、ライブなWeb検索を用いて、返された人物がそれらを満たしているかどうかを判定する、事実ベースの関連性パイプラインです。これにより、主観的な「ホリスティックなLLMをジャッジにするスコア」ではなく、事実確認に裏付けられた二値の関連性判定が得られます。私たちはシステムを3つの次元で評価します。関連性の精度（padded nDCG@10）、実効的なカバレッジ（タスク完了と適格な結果の産出）、情報有用性（プロフィールの完全性と有用性）で、これらを均等に平均して全体スコアとします。専門特化型のAI人の検索エージェントであるLessieは、全体として最も優れており、65.2というスコアで、2位のシステムより18.5%高く、さらに119件すべてのクエリにおいてタスク完了率100%を達成した唯一のシステムです。加えて、信頼区間、検証パイプラインの人手による妥当性確認（Cohen's kappa = 0.84）、アブレーション、クエリ・プロンプト・正規化手順の完全なドキュメントも報告します。コード、クエリ定義、および集計結果はGitHubで公開されています。