言語モデルはあなたが望むものを知らない: 深層研究におけるパーソナライズの評価には実際のユーザーが必要

要約: Deep Research (DR) ツール（例：OpenAI DR）は、急増する出版物数に対処する研究者を支援します。このようなツールは研究者の問いに答えるために科学論文を統合して回答できますが、ユーザーを理解する能力に欠けています。私たちはそれを MyScholarQA（MySQA）というパーソナライズされた DR ツールで変えます。1) ユーザーの研究関心のプロフィールを推定する；2) ユーザーの入力クエリに対してパーソナライズされたアクションを提案する；3) ユーザー承認済みのアクションに従うクエリの複数セクションからなるレポートを作成する。まず NLP の標準プロトコルで MySQA をテストします。合成ユーザーと LLM ジャッジのベンチマークを設計し、MySQA は引用指標とパーソナライズされたアクションの追従でベースラインを上回ります。 しかし、このプロセスがパーソナライズされた DR のユーザー価値のすべての側面を網羅していないと考えられるため、MySQA のオンライン版でユーザーへインタビューを行い彼らの実態を浮き彫りにします。LLM ジャッジには検出できない 9 つの微妙なパーソナライズ DR の誤りを明らかにし、将来の DR 設計の教訓を形成するために定性的なフィードバックを検討します。総じて、使いやすい LLM ジャッジが NLP に見落とされがちなパーソナライズの柱を導くという主張をします。パーソナライズの真の進歩は、実在のユーザーとともにのみ可能です。