会話型コマースにおけるビジネス成果のためのLLM-as-Judgeの基準妥当性

Abstract

多次元のルーブリックに基づく対話評価は、会話型AIを評価するために広く用いられていますが、その基準妥当性――品質スコアが、本来それに対応しているはずの下流の成果と結び付いているかどうか――は、ほとんど検証されていません。本研究は、このギャップを埋めるために、中国の主要なマッチング・プラットフォームにおける二段階の研究を通じて取り組みます。LLM-as-Judge（LLMを審判として用いる）によって実装した7次元の評価ルーブリックを、検証済みのビジネス転換（コンバージョン）に対してテストしました。私たちの結果が関心を持つのは、ルーブリック設計や重み付けであり、LLMスコアの正確さではありません。同じルーブリックを用いる審判であれば、誰でも同様の構造的問題に直面するからです。中核となる発見は、次元レベルでの異質性です。第2段階（n=60の人間同士の会話、層化抽出、検証済みラベル）では、Need Elicitation（D1: rho=0.368, p=0.004）およびPacing Strategy（D3: rho=0.354, p=0.006）が、ボンフェローニ補正後も、転換との関連が有意であるのに対し、Contextual Memory（D5: rho=0.018, n.s.）は検出可能な関連を示しません。この異質性により、等重みの複合指標（rho=0.272）は、その中で最も優れた次元の性能を下回ります。転換に情報を与えた重み付けの再調整は、この複合の希釈効果を部分的に是正し（rho=0.351）、改善が見られます。会話時間（長さ）を統制するロジスティック回帰では、D3の関連がより強くなることが確認されます（OR=3.18, p=0.006）。これは、長さによる交絡を排除します。初期のパイロット（n=14）では、人間の会話とAIの会話を混ぜたことで、誤解を招く「評価―成果のパラドックス」が生じていましたが、第2段階の分析により、それがエージェント種別の交絡によるアーティファクトであることが明らかになりました。Trust-Funnel（信頼ファネル）の枠組みに基づく130会話の行動分析により、候補となるメカニズムが特定されます。すなわち、AIエージェントはユーザーの信頼を構築せずに販売行動を実行する、というものです。私たちはこれらの知見を、三層の評価アーキテクチャとして実装し、応用的な対話評価において基準妥当性の検証を標準的実務として提唱します。