ビジネスアイデア評価における集約型ジャッジとパーソナライズ型ジャッジ：専門家の意見不一致の証拠

要旨: LLMが生成したビジネスアイデアを評価することは、それらを生成するよりもスケールさせるのが難しいことが多い。標準的なNLPベンチマークとは異なり、ビジネスアイデアの評価は、実現可能性、新規性、差別化、ユーザーニーズ、市場規模といった多次元の基準に依存し、専門家の判断はしばしば一致しない。本論文は、この不一致によって提起される方法論的な問いを研究する。すなわち、自動ジャッジは集約されたコンセンサスを近似すべきなのか、それとも評価者を個別にモデル化すべきなのか。私たちはPBIG-DATAを導入する。これは、特許に基づく製品アイデア300件に対して、ドメイン専門家が6つのビジネス志向の次元（具体性、技術的妥当性、革新性、競争上の優位性、ニーズの妥当性、市場規模）について付与した、約3,000件の個別スコアからなるデータセットである。分析の結果、細粒度の序数スコアでは専門家間の不一致が相当程度見られる一方、粗い選択では合意が高くなり、ランダムなノイズではなく、構造化された異質性が示唆される。次に、3つのジャッジ構成を比較する。すなわち、ルーブリックのみのゼロショット・ジャッジ、混合された評価者履歴に条件付けされた集約ジャッジ、そして対象評価者のスコア履歴に条件付けされたパーソナライズド・ジャッジである。次元およびモデルサイズを通じて、パーソナライズド・ジャッジは集約ジャッジよりも、対応する評価者により密に一致する。また、評価者間の合意は、パーソナライズドな条件付けがある場合に限って、ジャッジが生成した推論との類似性と相関する。これらの結果は、多元的な評価設定では、プールされたラベルが脆いターゲットになり得ることを示し、ビジネスアイデア評価のための、評価者に条件付けされたジャッジ設計を動機づけるものである。