要旨: 従来の情報検索は、与えられたクエリに対してテキストが関連しているかどうかを特定することに関心があります。しかし、従来の「関連性」の定義は、テキスト間の類似性という側面によって支配されており、テキストが本当にクエリに対処するのに役立つのかどうかは観測されないままになっています。たとえば、「パリはベルリンより大きいか」という問いに答えるとき、パリがフランスにあるということを述べたテキストは（語彙的/意味的な）類似性の観点では関連していますが、役には立ちません。本論文では、UsefulBench を提案します。これは3名の専門アナリストによってキュレーションされた、領域固有のデータセットであり、テキストがクエリに結び付いているか（関連性）またはそれに応答する際の実用的な価値を持つか（有用性）をラベル付けします。古典的な類似性ベースの情報検索は、関連性とより強く整合することを示します。LLMベースのシステムはこのバイアスを相殺できますが、領域固有の問題には高い専門性が必要であり、現在のLLMはそれを十分に取り込めていないことが分かります。本研究では、この課題を（部分的に）克服するためのアプローチを探ります。しかし、UsefulBench は、特定の情報検索システムにとってのデータセット上の課題を提示します。
UsefulBench：情報検索における目標として「意思決定に役立つ情報」を目指して
arXiv cs.CL / 2026/4/20
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、従来の情報検索がテキストの「関連性」をテキスト間の類似性に基づいて最適化する一方で、検索結果がクエリへの回答として本当に役立つか（有用性）を見落としうると主張しています。
- UsefulBenchというドメイン特化データセットを提案し、専門アナリストがテキストを「関連性（クエリとのつながり）」と「有用性（回答における実用的価値）」の両面でラベル付けします。
- 著者らは、従来の類似性ベースの情報検索が「有用性」よりも「関連性」とより強く整合することを示し、類似性主導ランキングの限界を明らかにします。
- LLMベースのシステムはこのバイアスをある程度緩和できるものの、ドメイン特化の問題では現在のLLMが十分に取り込めていない専門知識が必要になると指摘します。
- 専門知識のギャップを（部分的に）埋めるためのアプローチも検討しており、UsefulBenchを特定目的の情報検索システム向けベンチマーク課題として位置づけています。
